クローラードキュメント

WebAtlasBotをご紹介します。

安全でフィルターのないインターネットの地図を構築する、MevaSearch検索エンジンの公式クローラーです。

仕組み

識別

WebAtlasBotは以下のUser-Agentで識別されます。

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

検証

WebAtlasのすべてのクローラーは、ip-ranges.json に記載されたIPアドレスからのみ接続します。当社のUser-Agentを使用していても、それ以外のアドレスからのリクエストはWebAtlasによるものではありません。

動作

このクローラーはサーバー負荷を最小限に抑えます。robots.txtの指示に従い、Crawl-delayを尊重し、ページを保存する前にnoindex/canonicalタグを確認します。

WebAtlas Index

収集されたコンテンツはWebAtlas Index(MevaSearchが検索と意味解析に使用する独自のデータベース)を補充します。

クロール制御

標準のrobots.txtルールでWebAtlasBotをブロックまたは制限できます:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

このボットはメタタグ<meta name="robots" content="noindex">も尊重します。

なぜあなたのサイトを訪問するのですか?

WebAtlasBotはMevaSearchエンジンのためにデータを収集し、高品質で教育的・技術的なコンテンツに焦点を当て、アルゴリズムによる操作に耐性のある知識ベースの構築を目指しています。

関連クローラー

AdultBotとWebOrbitonBotは同じプロジェクトの姉妹クローラーであり、同じチームによって運用され、このページに記載されているのと同じ基準に従っています。

概要 クローラー ウェブマスターツール API 料金 サポート
サイトを追加