Crawlerdocumentatie
Als je site niet in WebAtlas Index hoort te verschijnen, kun je zelf de verwijdering aanvragen. We controleren elk verzoek automatisch voordat er iets wordt verwijderd — er wordt niets verwijderd op basis van alleen het verzoek.
Voeg een noindex-metatag toe aan de pagina zelf, of blokkeer precies dat pad in robots.txt. Dien de URL van de pagina hieronder in — zodra we een van beide bevestigen, wordt deze automatisch verwijderd.
<meta name="robots" content="noindex">Om alles onder een pad te verwijderen (bijv. /blog/), blokkeer dat pad voor WebAtlasBot in robots.txt:
User-agent: WebAtlasBot
Disallow: /blog/Geen toegang tot robots.txt? Dien het pad dan hieronder in. We geven je een klein verificatiebestand om naar de root van je site te uploaden — zodra we het vinden, wordt elke URL onder dat pad verwijderd en permanent uitgesloten van toekomstige crawls.
Om een heel domein te verwijderen, blokkeer je alles voor WebAtlasBot in robots.txt:
User-agent: WebAtlasBot
Disallow: /Hetzelfde als hierboven — als je robots.txt niet kunt bewerken, dien dan het domein hieronder in en upload het verificatiebestand dat we voor je genereren.
Openstaande verzoeken worden automatisch ongeveer elk uur opnieuw gecontroleerd. Zodra een verzoek is bevestigd, worden overeenkomende pagina's direct uit de index verwijderd.
Zodra een verwijdering is bevestigd, worden de URL, het pad of het domein permanent uitgesloten — onze crawlers voegen het nooit meer toe aan de index, zelfs niet als ze het later opnieuw tegenkomen.
Crawlerdocumentatie
De verwijderingstool draait op onze crawlerinfrastructuur. Kies wat je wilt verwijderen, dien het in en volg de verificatie-instructies die daar worden getoond.