クローラードキュメント
WebAtlasBotをご紹介します。
安全でフィルターのないインターネットの地図を構築する、MevaSearch検索エンジンの公式クローラーです。
クローラードキュメント
安全でフィルターのないインターネットの地図を構築する、MevaSearch検索エンジンの公式クローラーです。
WebAtlasBotは以下のUser-Agentで識別されます。リクエストの逆引きDNSによる検証をお勧めします。
WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)
このクローラーはサーバー負荷を最小限に抑えます。robots.txtの指示に従い、Crawl-delayを尊重し、ページを保存する前にnoindex/canonicalタグを確認します。
収集されたコンテンツはWebAtlas Index（MevaSearchが検索と意味解析に使用する独自のデータベース）を補充します。
標準のrobots.txtルールでWebAtlasBotをブロックまたは制限できます：
User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5このボットはメタタグ<meta name="robots" content="noindex">も尊重します。
WebAtlasBotはMevaSearchエンジンのためにデータを収集し、高品質で教育的・技術的なコンテンツに焦点を当て、アルゴリズムによる操作に耐性のある知識ベースの構築を目指しています。
AdultBotとWebOrbitonBotは同じプロジェクトの姉妹クローラーであり、同じチームによって運用され、このページに記載されているのと同じ基準に従っています。