소개 크롤러 웹마스터 도구 API 지원
사이트 추가

크롤러 문서

DiscoverBot.

새로운 경로를 찾습니다. WebAtlasDiscoverBot은 웹을 탐색하여 전역 색인 대기열을 채웁니다.

작동 방식

#

식별

WebAtlasDiscoverBot은 다음 User-Agent로 자신을 식별합니다.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

목적 및 로직

링크 발견에만 집중하는 경량 크롤러입니다. 자체 이름으로 robots.txt 규칙을 준수하고, 연결당 최대 512KB를 다운로드하며, 서버 부담을 낮게 유지하기 위해 Crawl-delay를 존중합니다.

⫶

필터링 계층

발견된 모든 링크는 대기열에 들어가기 전 세 가지 필터를 거칩니다:

  • 차단 목록에 있는 광고/소셜 도메인.
  • 기술적 경로 (예: /admin, /wp-login, /api).
  • 휴리스틱 광고/추적 매개변수 (gclid, utm_source, clickid).
⌫

웹마스터를 위한 제어

WebAtlasDiscoverBot을 완전히 차단하려면 robots.txt에 다음을 추가하세요:

User-agent: WebAtlasDiscoverBot
Disallow: /