RssSitemapBot.

Читает файлы RSS, Atom и sitemap, пополняя нашу глобальную очередь индексирования.

Как это работает

WebAtlasRssSitemapBot идентифицирует себя следующим User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Лёгкий бот, задача которого — читать отправленные RSS/Atom-ленты и файлы sitemap и извлекать из них URL-адреса.

⫶

Извлечённые URL-адреса автоматически фильтруются через три уровня:

Заблокированные рекламные/социальные домены.
Технические пути (напр. /admin, /wp-login, /api).
Эвристические рекламные/трекинговые параметры (gclid, utm_source, clickid).

⌫

Чтобы полностью заблокировать WebAtlasRssSitemapBot, добавьте это в robots.txt:

User-agent: WebAtlasRssSitemapBot
Disallow: /