Roboto dokumentacija

Susipažinkite su WebAtlasBot.

Oficialus paieškos sistemos MevaSearch robotas, kuriantis saugų ir nefiltruotą interneto žemėlapį.

Kaip tai veikia

Identifikacija

WebAtlasBot prisistato šiuo User-Agent.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

Patikrinimas

Visi WebAtlas robotai jungiasi tik iš IP adresų, nurodytų ip-ranges.json. Užklausa su mūsų User-Agent iš kito adreso nėra iš WebAtlas.

Elgsena

Robotas sumažina serverio apkrovą. Jis gerbia robots.txt nurodymus, laikosi Crawl-delay ir prieš įrašydamas puslapį tikrina noindex/canonical žymas.

WebAtlas Index

Surinktas turinys papildo WebAtlas Index — mūsų pačių duomenų bazę, kurią MevaSearch naudoja paieškai ir semantinei analizei.

Tikrinimo valdymas

Užblokuokite arba apribokite WebAtlasBot standartinėmis robots.txt taisyklėmis:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Botas taip pat gerbia meta žymą <meta name="robots" content="noindex">.

Kodėl lankomės jūsų svetainėje?

WebAtlasBot renka duomenis MevaSearch sistemai, daugiausia dėmesio skirdamas aukštos kokybės, edukaciniam ir techniniam turiniui, siekdamas sukurti žinių bazę, atsparią algoritminei manipuliacijai.

Susiję robotai

AdultBot ir WebOrbitonBot yra to paties projekto broliai robotai, valdomi tos pačios komandos ir laikosi tų pačių šiame puslapyje aprašytų standartų.

Apie mus Robotai Įrankiai svetainių valdytojams API Kainos Pagalba
Pridėti puslapį