Знакомьтесь с WebAtlasBot.

Официальный бот поисковой системы MevaSearch, строящий безопасную и свободную от фильтров карту интернета.

Как это работает

Идентификация

WebAtlasBot идентифицирует себя следующим User-Agent. Рекомендуем проверять запросы через обратный DNS.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

⏱

Поведение

Бот минимизирует нагрузку на сервер. Он соблюдает директивы robots.txt, учитывает Crawl-delay и проверяет теги noindex/canonical перед сохранением страницы.

◎

WebAtlas Index

Собранный контент пополняет WebAtlas Index — нашу собственную базу данных, которую MevaSearch использует для поиска и семантического анализа.

⌫

Контроль сканирования

Заблокируйте или ограничьте WebAtlasBot с помощью стандартных правил robots.txt:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Бот также учитывает мета-тег <meta name="robots" content="noindex">.

Почему мы посещаем ваш сайт?

WebAtlasBot собирает данные для системы MevaSearch, фокусируясь на качественном, образовательном и техническом контенте, стремясь построить базу знаний, устойчивую к алгоритмическим манипуляциям.

⚭

Связанные боты

AdultBot и WebOrbitonBot — родственные боты того же проекта, управляемые той же командой и соблюдающие те же стандарты, описанные на этой странице.