DiscoverBot.

Hledá nové cesty. WebAtlasDiscoverBot prozkoumává web a plní naši globální indexovací frontu.

Jak to funguje

Identifikace

WebAtlasDiscoverBot se identifikuje následujícím User-Agentem.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Účel a logika

Lehký robot zaměřený čistě na objevování odkazů. Respektuje pravidla robots.txt pod svým vlastním jménem, stahuje maximálně 512 KB na připojení a dodržuje Crawl-delay, aby minimálně zatěžoval váš server.

⫶

Vrstvy filtrování

Každý nalezený odkaz projde třemi filtry, než je zařazen do fronty:

Blokované reklamní/sociální domény.
Technické cesty (např. /admin, /wp-login, /api).
Heuristické reklamní/sledovací parametry (gclid, utm_source, clickid).

⌫

Kontrola pro webmastery

Chcete-li WebAtlasDiscoverBota zcela zablokovat, přidejte toto do souboru robots.txt:

User-agent: WebAtlasDiscoverBot
Disallow: /