DiscoverBot.

Löytää uusia polkuja. WebAtlasDiscoverBot tutkii verkkoa ja täyttää globaalia indeksointijonoamme.

Miten se toimii

Tunnistus

WebAtlasDiscoverBot tunnistautuu seuraavalla User-Agentilla.

WebAtlasDiscoverBot/2.1 (+https://webatlasindex.pl/discover-bot.php)

↝

Tarkoitus ja logiikka

Kevyt botti, joka keskittyy puhtaasti linkkien löytämiseen. Se noudattaa robots.txt-sääntöjä omalla nimellään, lataa enintään 512 kt yhteyttä kohden ja kunnioittaa Crawl-delay-asetusta pitääkseen kuormituksen palvelimellasi matalana.

⫶

Suodatuskerrokset

Jokainen löydetty linkki käy läpi kolme suodatinta ennen jonoon lisäämistä:

Estetyt mainos-/some-verkkotunnukset.
Tekniset polut (esim. /admin, /wp-login, /api).
Heuristiset mainos-/seurantaparametrit (gclid, utm_source, clickid).

⌫

Hallinta ylläpitäjille

Estääksesi WebAtlasDiscoverBotin kokonaan, lisää tämä robots.txt-tiedostoosi:

User-agent: WebAtlasDiscoverBot
Disallow: /