爬蟲文件
RssSitemapBot。
讀取 RSS、Atom 與 sitemap 檔案，為我們的全球索引佇列補充內容。
爬蟲文件
讀取 RSS、Atom 與 sitemap 檔案，為我們的全球索引佇列補充內容。
WebAtlasRssSitemapBot 以下列 User-Agent 進行識別。
WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)
一個輕量爬蟲，任務是讀取提交的 RSS/Atom 訂閱源與 sitemap 檔案，並擷取其中包含的網址。
擷取出的網址會自動經過三層篩選：
/admin、/wp-login、/api）。gclid、utm_source、clickid）。若要完全封鎖 WebAtlasRssSitemapBot，請將以下內容加入您的 robots.txt：
User-agent: WebAtlasRssSitemapBot
Disallow: /