Dokumentace robota

Poznejte WebAtlasBota.

Oficiální robot vyhledávače MevaSearch, který buduje bezpečnou a nefiltrovanou mapu internetu.

Jak to funguje

Identifikace

WebAtlasBot se identifikuje následujícím User-Agentem.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

Ověření

Všechny roboty WebAtlas se připojují pouze z IP adres uvedených v ip-ranges.json. Požadavek s naším User-Agentem z jiné adresy nepochází od WebAtlas.

Chování

Robot minimalizuje zátěž serveru. Respektuje direktivy robots.txt, dodržuje Crawl-delay a před uložením stránky kontroluje značky noindex/canonical.

WebAtlas Index

Shromážděný obsah plní WebAtlas Index — naši vlastní databázi využívanou MevaSearch k vyhledávání a sémantické analýze.

Kontrola procházení

Zablokujte nebo omezte WebAtlasBota standardními pravidly robots.txt:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Bot také respektuje meta značku <meta name="robots" content="noindex">.

Proč navštěvujeme váš web?

WebAtlasBot sbírá data pro vyhledávač MevaSearch se zaměřením na kvalitní, vzdělávací a technický obsah, s cílem vybudovat znalostní bázi odolnou vůči algoritmické manipulaci.

Související roboti

AdultBot a WebOrbitonBot jsou sesterští roboti stejného projektu, provozovaní stejným týmem a dodržující stejné standardy popsané na této stránce.

O nás Roboti Nástroje pro webmastery API Ceník Podpora
Přidat stránku