Tietoa meistä Botit Työkalut ylläpitäjille API Tuki
Lisää sivusi

Botin dokumentaatio

RssSitemapBot.

Lukee RSS-, Atom- ja sitemap-tiedostoja täyttääkseen globaalia indeksointijonoamme.

Miten se toimii

#

Tunnistus

WebAtlasRssSitemapBot tunnistautuu seuraavalla User-Agentilla.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Tarkoitus ja logiikka

Kevyt botti, jonka tehtävänä on lukea lähetettyjä RSS-/Atom-syötteitä ja sitemap-tiedostoja ja poimia niiden sisältämät URL-osoitteet.

⫶

Suodatuskerrokset

Poimitut URL-osoitteet suodatetaan automaattisesti kolmen kerroksen läpi:

  • Estetyt mainos-/some-verkkotunnukset.
  • Tekniset polut (esim. /admin, /wp-login, /api).
  • Heuristiset mainos-/seurantaparametrit (gclid, utm_source, clickid).
⌫

Hallinta ylläpitäjille

Estääksesi WebAtlasRssSitemapBotin kokonaan, lisää tämä robots.txt-tiedostoosi:

User-agent: WebAtlasRssSitemapBot
Disallow: /