Robotdokumentasjon

Møt WebAtlasBot.

Den offisielle roboten til søkemotoren MevaSearch, som bygger et trygt og filterfritt kart over internett.

Slik fungerer det

Identifikasjon

WebAtlasBot identifiserer seg med følgende User-Agent.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

Verifisering

Alle WebAtlas-roboter kobler seg kun til fra IP-adressene oppført i ip-ranges.json. En forespørsel med vår User-Agent fra en annen adresse kommer ikke fra WebAtlas.

Atferd

Roboten minimerer serverbelastningen. Den respekterer robots.txt-direktiver, følger Crawl-delay, og sjekker noindex/canonical-tagger før en side lagres.

WebAtlas Index

Innsamlet innhold mater WebAtlas Index — vår egen database som brukes av MevaSearch til søk og semantisk analyse.

Robotkontroll

Blokker eller begrens WebAtlasBot med standard robots.txt-regler:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Boten respekterer også meta-taggen <meta name="robots" content="noindex">.

Hvorfor besøker vi nettstedet ditt?

WebAtlasBot samler inn data for MevaSearch-motoren, med fokus på høykvalitets, lærerikt og teknisk innhold, med mål om å bygge en kunnskapsbase som er motstandsdyktig mot algoritmisk manipulasjon.

Relaterte roboter

AdultBot og WebOrbitonBot er søsken-roboter i samme prosjekt, driftet av samme team og underlagt de samme standardene som beskrives på denne siden.

Om oss Roboter Verktøy for nettredaktører API Priser Support
Legg til siden din