Poznaj WebAtlasBota.

Oficjalny crawler wyszukiwarki MevaSearch, budujący bezpieczną i wolną od filtrów mapę internetu.

Jak to działa

Identyfikacja

WebAtlasBot identyfikuje się następującym nagłówkiem User-Agent. Zalecamy weryfikację żądań przez odwrotne DNS.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

⏱

Zachowanie

Crawler minimalizuje obciążenie serwera. Respektuje dyrektywy robots.txt, honoruje Crawl-delay i sprawdza znaczniki noindex/canonical przed zapisaniem strony.

◎

WebAtlas Index

Zebrana treść zasila WebAtlas Index — naszą własną bazę danych wykorzystywaną do wyszukiwania i analizy semantycznej przez MevaSearch.

⌫

Kontrola crawlowania

Zablokuj lub ogranicz WebAtlasBota standardowymi regułami robots.txt:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Bot honoruje też meta tag <meta name="robots" content="noindex">.

Dlaczego odwiedzamy Twoją stronę?

WebAtlasBot zbiera dane dla silnika MevaSearch, koncentrując się na treści wysokiej jakości, edukacyjnej i technicznej, dążąc do zbudowania bazy wiedzy odpornej na manipulację algorytmiczną.

⚭

Powiązane boty

AdultBot i WebOrbitonBot to siostrzane crawlery tego samego projektu, prowadzone przez ten sam zespół i trzymające się tych samych standardów opisanych na tej stronie.