Crawler-Dokumentation
Wenn Ihre Website nicht im WebAtlas Index erscheinen soll, können Sie die Entfernung selbst beantragen. Wir prüfen jede Anfrage automatisch, bevor etwas gelöscht wird — nichts wird allein aufgrund der Anfrage entfernt.
Fügen Sie der Seite selbst ein noindex-Meta-Tag hinzu oder blockieren Sie genau diesen Pfad in der robots.txt. Reichen Sie die URL der Seite unten im Tool ein — sobald wir eines von beidem bestätigt haben, wird sie automatisch entfernt.
<meta name="robots" content="noindex">Um alles unterhalb eines Pfads zu entfernen (z. B. /blog/), blockieren Sie diesen Pfad für WebAtlasBot in der robots.txt:
User-agent: WebAtlasBot
Disallow: /blog/Kein Zugriff auf die robots.txt? Reichen Sie stattdessen den Pfad im Tool unten ein. Wir geben Ihnen eine kleine Verifizierungsdatei zum Hochladen im Stammverzeichnis Ihrer Website — sobald sie gefunden wird, werden alle URLs unter diesem Pfad entfernt und dauerhaft von künftigen Crawls ausgeschlossen.
Um eine ganze Domain zu entfernen, sperren Sie in der robots.txt alles für WebAtlasBot:
User-agent: WebAtlasBot
Disallow: /Wie oben — wenn Sie die robots.txt nicht bearbeiten können, reichen Sie die Domain im Tool unten ein und laden Sie die für Sie erzeugte Verifizierungsdatei hoch.
Ausstehende Anfragen werden automatisch etwa stündlich erneut geprüft. Sobald eine Anfrage bestätigt ist, werden passende Seiten sofort aus dem Index entfernt.
Sobald eine Entfernung bestätigt ist, werden URL, Pfad oder Domain dauerhaft ausgeschlossen — unsere Crawler fügen sie nie wieder zum Index hinzu, selbst wenn sie später erneut darauf stoßen.
Crawler-Dokumentation
Das Entfernungs-Tool läuft auf unserer Crawler-Infrastruktur. Wählen Sie aus, was Sie entfernen möchten, reichen Sie es ein und folgen Sie den dort angezeigten Verifizierungsanweisungen.