Der DiscoverBot.

Findet neue Pfade. WebAtlasDiscoverBot durchforstet das Web, um unsere globale Indexierungswarteschlange zu füllen.

So funktioniert es

Identifikation

WebAtlasDiscoverBot identifiziert sich mit folgendem User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Zweck & Logik

Ein leichtgewichtiger Crawler, der sich ausschließlich auf die Link-Entdeckung konzentriert. Er respektiert robots.txt-Regeln unter seinem eigenen Namen, lädt maximal 512 KB pro Verbindung herunter und beachtet Crawl-delay, um die Serverlast gering zu halten.

⫶

Filterebenen

Jeder gefundene Link durchläuft drei Filter, bevor er in die Warteschlange kommt:

Gesperrte Werbe-/Social-Media-Domains.
Technische Pfade (z. B. /admin, /wp-login, /api).
Heuristische Werbe-/Tracking-Parameter (gclid, utm_source, clickid).

⌫

Kontrolle für Webmaster

Um WebAtlasDiscoverBot vollständig zu blockieren, füge dies zu deiner robots.txt hinzu:

User-agent: WebAtlasDiscoverBot
Disallow: /