概要 クローラー ウェブマスターツール API サポート
サイトを追加

クローラードキュメント

DiscoverBot。

新しい経路を発見する。WebAtlasDiscoverBotはウェブを探索し、グローバルなインデックス登録キューを補充します。

仕組み

#

識別

WebAtlasDiscoverBotは以下のUser-Agentで識別されます。

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

目的とロジック

リンク発見のみに特化した軽量クローラーです。自身の名前でrobots.txtルールを尊重し、接続あたり最大512KBをダウンロードし、サーバーへの負荷を低く保つためにCrawl-delayを尊重します。

⫶

フィルタリング階層

発見されたリンクはキューに入る前に3つのフィルターを通過します：

  • ブロックリストに登録された広告/SNSドメイン。
  • 技術的なパス（例：/admin、/wp-login、/api）。
  • ヒューリスティックな広告/トラッキングパラメータ（gclid、utm_source、clickid）。
⌫

ウェブマスター向けコントロール

WebAtlasDiscoverBotを完全にブロックするには、robots.txtに以下を追加してください：

User-agent: WebAtlasDiscoverBot
Disallow: /