DiscoverBot.

Ищет новые пути. WebAtlasDiscoverBot исследует сеть, пополняя нашу глобальную очередь индексирования.

Как это работает

Идентификация

WebAtlasDiscoverBot идентифицирует себя следующим User-Agent.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Назначение и логика

Лёгкий бот, сосредоточенный исключительно на обнаружении ссылок. Он соблюдает правила robots.txt под своим именем, загружает не более 512 КБ на соединение и учитывает Crawl-delay, чтобы минимально нагружать ваш сервер.

⫶

Уровни фильтрации

Каждая найденная ссылка проходит через три фильтра, прежде чем попасть в очередь:

Заблокированные рекламные/социальные домены.
Технические пути (напр. /admin, /wp-login, /api).
Эвристические рекламные/трекинговые параметры (gclid, utm_source, clickid).

⌫

Контроль для вебмастеров

Чтобы полностью заблокировать WebAtlasDiscoverBot, добавьте это в robots.txt:

User-agent: WebAtlasDiscoverBot
Disallow: /