Crawler-Dokumentation

Lerne WebAtlasBot kennen.

Der offizielle Crawler der Suchmaschine MevaSearch, der eine sichere und filterfreie Karte des Internets erstellt.

So funktioniert es

Identifikation

WebAtlasBot identifiziert sich mit folgendem User-Agent.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

Verifizierung

Alle WebAtlas-Crawler verbinden sich ausschließlich von den in ip-ranges.json aufgeführten IP-Adressen. Eine Anfrage mit unserem User-Agent von einer anderen Adresse stammt nicht von WebAtlas.

Verhalten

Der Crawler minimiert die Serverlast. Er respektiert robots.txt-Direktiven, beachtet Crawl-delay und prüft noindex-/canonical-Tags, bevor er eine Seite speichert.

WebAtlas Index

Gesammelte Inhalte fließen in den WebAtlas Index ein — unsere eigene Datenbank, die von MevaSearch für Suche und semantische Analyse genutzt wird.

Crawl-Kontrolle

Blockiere oder drossle WebAtlasBot mit Standard-robots.txt-Regeln:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

Der Bot beachtet auch das Meta-Tag <meta name="robots" content="noindex">.

Warum besuchen wir deine Seite?

WebAtlasBot sammelt Daten für die Suchmaschine MevaSearch mit Fokus auf hochwertige, edukative und technische Inhalte, um eine gegen algorithmische Manipulation resistente Wissensbasis aufzubauen.

Verwandte Crawler

AdultBot und WebOrbitonBot sind Schwester-Crawler desselben Projekts, betrieben vom selben Team und unterliegen denselben auf dieser Seite beschriebenen Standards.

Über uns Crawler Webmaster-Tools API Preise Support
Seite hinzufügen