Robotdokumentasjon
Møt WebAtlasBot.
Den offisielle roboten til søkemotoren MevaSearch, som bygger et trygt og filterfritt kart over internett.
Robotdokumentasjon
Den offisielle roboten til søkemotoren MevaSearch, som bygger et trygt og filterfritt kart over internett.
WebAtlasBot identifiserer seg med følgende User-Agent. Vi anbefaler å verifisere forespørsler via omvendt DNS.
WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)
Roboten minimerer serverbelastningen. Den respekterer robots.txt-direktiver, følger Crawl-delay, og sjekker noindex/canonical-tagger før en side lagres.
Innsamlet innhold mater WebAtlas Index — vår egen database som brukes av MevaSearch til søk og semantisk analyse.
Blokker eller begrens WebAtlasBot med standard robots.txt-regler:
User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5
Boten respekterer også meta-taggen <meta name="robots" content="noindex">.
WebAtlasBot samler inn data for MevaSearch-motoren, med fokus på høykvalitets, lærerikt og teknisk innhold, med mål om å bygge en kunnskapsbase som er motstandsdyktig mot algoritmisk manipulasjon.
AdultBot og WebOrbitonBot er søsken-roboter i samme prosjekt, driftet av samme team og underlagt de samme standardene som beskrives på denne siden.