爬蟲文件
認識 WebAtlasBot。
MevaSearch 搜尋引擎的官方爬蟲，建構安全且無過濾的網際網路地圖。
爬蟲文件
MevaSearch 搜尋引擎的官方爬蟲，建構安全且無過濾的網際網路地圖。
WebAtlasBot 以下列 User-Agent 進行識別。建議透過反向 DNS 驗證請求來源。
WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)
此爬蟲會將伺服器負載降到最低。它遵守 robots.txt 指令、尊重 Crawl-delay，並在儲存頁面前檢查 noindex／canonical 標籤。
收集的內容會匯入 WebAtlas Index——我們自有的資料庫，供 MevaSearch 用於搜尋與語意分析。
使用標準 robots.txt 規則封鎖或限制 WebAtlasBot：
User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5此機器人也遵守 meta 標籤 <meta name="robots" content="noindex">。
WebAtlasBot 為 MevaSearch 引擎收集資料，專注於高品質、具教育性與技術性的內容，致力於建構一個能抵抗演算法操弄的知識庫。
AdultBot 與 WebOrbitonBot 是同一專案的姊妹爬蟲，由同一團隊營運，並遵循本頁所述的相同標準。