Möt WebAtlasBot.

Den officiella crawlern för sökmotorn MevaSearch, som bygger en säker och filterfri karta över internet.

Så fungerar det

Identifiering

WebAtlasBot identifierar sig med följande User-Agent. Vi rekommenderar att verifiera förfrågningar via omvänd DNS.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

⏱

Beteende

Crawlern minimerar serverbelastningen. Den respekterar robots.txt-direktiv, följer Crawl-delay och kontrollerar noindex/canonical-taggar innan en sida sparas.

◎

WebAtlas Index

Insamlat innehåll matar WebAtlas Index — vår egen databas som används av MevaSearch för sökning och semantisk analys.

⌫

Crawlkontroll

Blockera eller begränsa WebAtlasBot med vanliga robots.txt-regler:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Botten respekterar även meta-taggen <meta name="robots" content="noindex">.

Varför besöker vi din webbplats?

WebAtlasBot samlar in data för sökmotorn MevaSearch, med fokus på högkvalitativt, pedagogiskt och tekniskt innehåll, i syfte att bygga en kunskapsbas som är resistent mot algoritmisk manipulation.

⚭

Relaterade crawlers

AdultBot och WebOrbitonBot är syskoncrawlers i samma projekt, driftade av samma team och underställda samma standarder som beskrivs på denna sida.