Botin dokumentaatio

Tutustu WebAtlasBotiin.

MevaSearch-hakukoneen virallinen botti, joka rakentaa turvallista ja suodattamatonta karttaa internetistä.

Miten se toimii

Tunnistus

WebAtlasBot tunnistautuu seuraavalla User-Agentilla.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

Varmentaminen

Kaikki WebAtlas-indeksointirobotit muodostavat yhteyden vain tiedostossa ip-ranges.json luetelluista IP-osoitteista. Meidän User-Agentillamme tehty pyyntö muusta osoitteesta ei ole peräisin WebAtlasilta.

Käyttäytyminen

Botti minimoi palvelimen kuormituksen. Se noudattaa robots.txt-direktiivejä, kunnioittaa Crawl-delay-asetusta ja tarkistaa noindex/canonical-tagit ennen sivun tallentamista.

WebAtlas Index

Kerätty sisältö täyttää WebAtlas Indexin — omaa tietokantaamme, jota MevaSearch käyttää hakuun ja semanttiseen analyysiin.

Indeksoinnin hallinta

Estä tai hidasta WebAtlasBotia vakiomuotoisilla robots.txt-säännöillä:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Botti kunnioittaa myös meta-tagia <meta name="robots" content="noindex">.

Miksi vierailemme sivustollasi?

WebAtlasBot kerää dataa MevaSearch-moottorille keskittyen laadukkaaseen, opettavaiseen ja tekniseen sisältöön tavoitteenaan rakentaa tietopohja, joka kestää algoritmista manipulointia.

Liittyvät botit

AdultBot ja WebOrbitonBot ovat saman projektin sisarbotteja, joita ylläpitää sama tiimi ja jotka noudattavat tällä sivulla kuvattuja samoja standardeja.

Tietoa meistä Botit Työkalut ylläpitäjille API Hinnoittelu Tuki
Lisää sivusi