Acerca de Rastreadores Herramientas para webmasters API Soporte
Añadir tu página

Documentación del rastreador

El RssSitemapBot.

Lee archivos RSS, Atom y sitemap para alimentar nuestra cola de indexación global.

Cómo funciona

#

Identificación

WebAtlasRssSitemapBot se identifica con el siguiente User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Propósito y lógica

Un rastreador ligero cuya tarea es leer los feeds RSS/Atom y archivos sitemap enviados, y luego extraer las URL que contienen.

⫶

Capas de filtrado

Las URL extraídas se filtran automáticamente a través de tres capas:

  • Dominios de publicidad/redes sociales en lista negra.
  • Rutas técnicas (p. ej. /admin, /wp-login, /api).
  • Parámetros heurísticos de publicidad/seguimiento (gclid, utm_source, clickid).
⌫

Control para webmasters

Para bloquear completamente WebAtlasRssSitemapBot, añade esto a tu robots.txt:

User-agent: WebAtlasRssSitemapBot
Disallow: /