Dokumentacja crawlera
Jeśli Twoja witryna nie powinna pojawiać się w WebAtlas Index, możesz samodzielnie zgłosić jej usunięcie. Każde zgłoszenie weryfikujemy automatycznie, zanim cokolwiek usuniemy — nic nie znika tylko na podstawie samego zgłoszenia.
Dodaj znacznik noindex do samej strony albo zablokuj dokładnie tę ścieżkę w robots.txt. Zgłoś adres URL strony w narzędziu poniżej — gdy potwierdzimy jedno z tych dwóch, zostanie usunięta automatycznie.
<meta name="robots" content="noindex">Aby usunąć wszystko w obrębie danej ścieżki (np. /blog/), zablokuj tę ścieżkę dla WebAtlasBot w robots.txt:
User-agent: WebAtlasBot
Disallow: /blog/Nie masz dostępu do robots.txt? Zgłoś ścieżkę w narzędziu poniżej. Otrzymasz niewielki plik weryfikacyjny do wgrania w katalogu głównym witryny — gdy go znajdziemy, każdy adres URL w obrębie tej ścieżki zostanie usunięty i trwale wykluczony z przyszłych odwiedzin.
Aby usunąć całą domenę, zablokuj wszystko dla WebAtlasBot w robots.txt:
User-agent: WebAtlasBot
Disallow: /Podobnie jak wyżej — jeśli nie możesz edytować robots.txt, zgłoś domenę w narzędziu poniżej i wgraj wygenerowany dla Ciebie plik weryfikacyjny.
Oczekujące zgłoszenia są automatycznie ponownie sprawdzane mniej więcej co godzinę. Gdy tylko zgłoszenie zostanie potwierdzone, pasujące strony są natychmiast usuwane z indeksu.
Gdy usunięcie zostanie potwierdzone, adres URL, ścieżka lub domena są trwale wykluczone — nasze crawlery nigdy ponownie nie dodadzą ich do indeksu, nawet jeśli natrafią na nie ponownie w przyszłości.
Dokumentacja crawlera
Narzędzie do usuwania działa w naszej infrastrukturze crawlera. Wybierz, co chcesz usunąć, zgłoś to i postępuj zgodnie z instrukcjami weryfikacji pokazanymi na miejscu.