DiscoverBot.

Hittar nya vägar. WebAtlasDiscoverBot utforskar webben för att fylla på vår globala indexeringskö.

Så fungerar det

Identifiering

WebAtlasDiscoverBot identifierar sig med följande User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Syfte och logik

En lättviktig crawler som enbart fokuserar på länkupptäckt. Den respekterar robots.txt-regler under sitt eget namn, hämtar högst 512 KB per anslutning och följer Crawl-delay för att hålla belastningen på din server låg.

⫶

Filtreringslager

Varje upptäckt länk passerar tre filter innan den läggs i kö:

Blockerade annons-/sociala domäner.
Tekniska sökvägar (t.ex. /admin, /wp-login, /api).
Heuristiska annons-/spårningsparametrar (gclid, utm_source, clickid).

⌫

Kontroll för webbmastrar

För att blockera WebAtlasDiscoverBot helt, lägg till detta i din robots.txt:

User-agent: WebAtlasDiscoverBot
Disallow: /