關於我們 爬蟲 站長工具 API 支援
新增您的網站

爬蟲文件

DiscoverBot。

尋找新路徑。WebAtlasDiscoverBot 探索網路，為我們的全球索引佇列補充內容。

運作方式

#

識別方式

WebAtlasDiscoverBot 以下列 User-Agent 進行識別。

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

目的與邏輯

一個專注於連結探索的輕量爬蟲。它以自己的名稱遵守 robots.txt 規則，每次連線最多下載 512 KB，並尊重 Crawl-delay 以將伺服器負擔降到最低。

⫶

篩選層級

每個被發現的連結在加入佇列前都會經過三層篩選：

  • 已封鎖的廣告／社群網域。
  • 技術性路徑（例如 /admin、/wp-login、/api）。
  • 啟發式廣告／追蹤參數（gclid、utm_source、clickid）。
⌫

站長控制選項

若要完全封鎖 WebAtlasDiscoverBot，請將以下內容加入您的 robots.txt：

User-agent: WebAtlasDiscoverBot
Disallow: /