DiscoverBot.

Finner nye stier. WebAtlasDiscoverBot utforsker nettet for å fylle vår globale indekseringskø.

Slik fungerer det

Identifikasjon

WebAtlasDiscoverBot identifiserer seg med følgende User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Formål og logikk

En lettvekts-robot som utelukkende fokuserer på lenkeoppdagelse. Den respekterer robots.txt-regler under sitt eget navn, laster ned maksimalt 512 KB per tilkobling, og følger Crawl-delay for å holde belastningen på serveren din lav.

⫶

Filtreringslag

Hver oppdagede lenke går gjennom tre filtre før den settes i kø:

Blokkerte annonse-/sosiale domener.
Tekniske stier (f.eks. /admin, /wp-login, /api).
Heuristiske annonse-/sporingsparametere (gclid, utm_source, clickid).

⌫

Kontroll for nettredaktører

For å blokkere WebAtlasDiscoverBot helt, legg til dette i robots.txt-filen din:

User-agent: WebAtlasDiscoverBot
Disallow: /