Crawler-dokumentation

Möt WebAtlasBot.

Den officiella crawlern för sökmotorn MevaSearch, som bygger en säker och filterfri karta över internet.

Så fungerar det

Identifiering

WebAtlasBot identifierar sig med följande User-Agent.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

Verifiering

Alla WebAtlas-crawlers ansluter endast från IP-adresserna i ip-ranges.json. En förfrågan med vår User-Agent från en annan adress kommer inte från WebAtlas.

Beteende

Crawlern minimerar serverbelastningen. Den respekterar robots.txt-direktiv, följer Crawl-delay och kontrollerar noindex/canonical-taggar innan en sida sparas.

WebAtlas Index

Insamlat innehåll matar WebAtlas Index — vår egen databas som används av MevaSearch för sökning och semantisk analys.

Crawlkontroll

Blockera eller begränsa WebAtlasBot med vanliga robots.txt-regler:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Botten respekterar även meta-taggen <meta name="robots" content="noindex">.

Varför besöker vi din webbplats?

WebAtlasBot samlar in data för sökmotorn MevaSearch, med fokus på högkvalitativt, pedagogiskt och tekniskt innehåll, i syfte att bygga en kunskapsbas som är resistent mot algoritmisk manipulation.

Relaterade crawlers

AdultBot och WebOrbitonBot är syskoncrawlers i samma projekt, driftade av samma team och underställda samma standarder som beskrivs på denna sida.

Om oss Botar Webbmastersverktyg API Priser Support
Lägg till din sida