Dokumentacja crawlera
RssSitemapBot.
Odczytuje pliki RSS, Atom i sitemapy, zasilając naszą globalną kolejkę indeksowania.
Dokumentacja crawlera
Odczytuje pliki RSS, Atom i sitemapy, zasilając naszą globalną kolejkę indeksowania.
WebAtlasRssSitemapBot identyfikuje się następującym nagłówkiem User-Agent.
WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)
Lekki crawler, którego zadaniem jest czytanie przesłanych kanałów RSS/Atom oraz plików sitemap i wyciąganie zawartych w nich adresów URL.
Wyciągnięte adresy URL są automatycznie filtrowane przez trzy warstwy:
/admin, /wp-login, /api).gclid, utm_source, clickid).Aby całkowicie zablokować WebAtlasRssSitemapBota, dodaj to do robots.txt:
User-agent: WebAtlasRssSitemapBot
Disallow: /