À propos Robots Outils webmaster API Support
Ajouter votre page

Documentation du robot

Le RssSitemapBot.

Lit les fichiers RSS, Atom et sitemap pour alimenter notre file d'indexation globale.

Comment ça marche

#

Identification

WebAtlasRssSitemapBot s'identifie avec le User-Agent suivant.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Objectif et logique

Un robot léger dont le rôle est de lire les flux RSS/Atom et fichiers sitemap soumis, puis d'en extraire les URL.

⫶

Couches de filtrage

Les URL extraites sont automatiquement filtrées par trois couches :

  • Domaines publicitaires/sociaux sur liste noire.
  • Chemins techniques (ex. /admin, /wp-login, /api).
  • Paramètres publicitaires/de suivi heuristiques (gclid, utm_source, clickid).
⌫

Contrôle webmaster

Pour bloquer entièrement WebAtlasRssSitemapBot, ajoutez ceci à votre robots.txt :

User-agent: WebAtlasRssSitemapBot
Disallow: /