De DiscoverBot.

Vindt nieuwe paden. WebAtlasDiscoverBot verkent het web om onze globale indexeringswachtrij te voeden.

Hoe het werkt

Identificatie

WebAtlasDiscoverBot identificeert zich met de volgende User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Doel & logica

Een lichtgewicht crawler die zich puur richt op het ontdekken van links. Hij respecteert robots.txt-regels onder zijn eigen naam, downloadt maximaal 512 KB per verbinding, en houdt rekening met Crawl-delay om de belasting van je server laag te houden.

⫶

Filterlagen

Elke gevonden link doorloopt drie filters voordat deze in de wachtrij komt:

Geblokkeerde advertentie-/socialmediadomeinen.
Technische paden (bijv. /admin, /wp-login, /api).
Heuristische advertentie-/trackingparameters (gclid, utm_source, clickid).

⌫

Controle voor webmasters

Om WebAtlasDiscoverBot volledig te blokkeren, voeg dit toe aan je robots.txt:

User-agent: WebAtlasDiscoverBot
Disallow: /