WebAtlasBot을 소개합니다.

안전하고 필터 없는 인터넷 지도를 구축하는 MevaSearch 검색 엔진의 공식 크롤러입니다.

작동 방식

WebAtlasBot은 다음 User-Agent로 자신을 식별합니다. 역방향 DNS를 통해 요청을 확인하는 것을 권장합니다.

WebAtlasBot/2.0 (+https://webatlasindex.pl/bot.php)

⏱

이 크롤러는 서버 부하를 최소화합니다. robots.txt 지시문을 준수하고, Crawl-delay를 존중하며, 페이지를 저장하기 전에 noindex/canonical 태그를 확인합니다.

◎

수집된 콘텐츠는 MevaSearch가 검색 및 의미 분석에 사용하는 자체 데이터베이스인 WebAtlas Index를 채웁니다.

⌫

표준 robots.txt 규칙으로 WebAtlasBot을 차단하거나 제한할 수 있습니다:

User-agent: WebAtlasBot
Disallow: /private/
Crawl-delay: 5

이 봇은 메타 태그 <meta name="robots" content="noindex">도 준수합니다.

WebAtlasBot은 MevaSearch 엔진을 위해 데이터를 수집하며, 고품질의 교육적·기술적 콘텐츠에 집중하여 알고리즘 조작에 강한 지식 기반을 구축하는 것을 목표로 합니다.

⚭