Le DiscoverBot.

À la découverte de nouveaux chemins. WebAtlasDiscoverBot explore le web pour alimenter notre file d'indexation globale.

Comment ça marche

Identification

WebAtlasDiscoverBot s'identifie avec le User-Agent suivant.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Objectif et logique

Un robot léger entièrement dédié à la découverte de liens. Il respecte les règles robots.txt sous son propre nom, télécharge au maximum 512 Ko par connexion, et honore Crawl-delay pour rester peu intrusif sur votre serveur.

⫶

Couches de filtrage

Chaque lien découvert passe par trois filtres avant d'être mis en file d'attente :

Domaines publicitaires/sociaux sur liste noire.
Chemins techniques (ex. /admin, /wp-login, /api).
Paramètres publicitaires/de suivi heuristiques (gclid, utm_source, clickid).

⌫

Contrôle webmaster

Pour bloquer entièrement WebAtlasDiscoverBot, ajoutez ceci à votre robots.txt :

User-agent: WebAtlasDiscoverBot
Disallow: /