Crawlerdocumentatie
Maak kennis met WebAtlasBot.
De officiële crawler van de zoekmachine MevaSearch, die een veilige en filtervrije kaart van het internet bouwt.
Crawlerdocumentatie
De officiële crawler van de zoekmachine MevaSearch, die een veilige en filtervrije kaart van het internet bouwt.
WebAtlasBot identificeert zich met de volgende User-Agent. We raden aan verzoeken te verifiëren via reverse DNS.
WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)
De crawler minimaliseert de serverbelasting. Hij respecteert robots.txt-richtlijnen, houdt rekening met Crawl-delay en controleert noindex/canonical-tags voordat een pagina wordt opgeslagen.
Verzamelde content voedt de WebAtlas Index — onze eigen database die door MevaSearch wordt gebruikt voor zoeken en semantische analyse.
Blokkeer of beperk WebAtlasBot met standaard robots.txt-regels:
User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5De bot respecteert ook de meta-tag <meta name="robots" content="noindex">.
WebAtlasBot verzamelt data voor de zoekmachine MevaSearch, met focus op hoogwaardige, educatieve en technische content, met als doel een kennisbank te bouwen die bestand is tegen algoritmische manipulatie.
AdultBot en WebOrbitonBot zijn zustercrawlers van hetzelfde project, beheerd door hetzelfde team en gebonden aan dezelfde standaarden die op deze pagina worden beschreven.