O nás Roboti Nástroje pro webmastery API Podpora
Přidat stránku

Dokumentace robota

RssSitemapBot.

Čte soubory RSS, Atom a sitemap a plní naši globální indexovací frontu.

Jak to funguje

#

Identifikace

WebAtlasRssSitemapBot se identifikuje následujícím User-Agentem.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Účel a logika

Lehký robot, jehož úkolem je číst odeslané kanály RSS/Atom a soubory sitemap a extrahovat z nich URL adresy.

⫶

Vrstvy filtrování

Extrahované URL adresy jsou automaticky filtrovány třemi vrstvami:

  • Blokované reklamní/sociální domény.
  • Technické cesty (např. /admin, /wp-login, /api).
  • Heuristické reklamní/sledovací parametry (gclid, utm_source, clickid).
⌫

Kontrola pro webmastery

Chcete-li WebAtlasRssSitemapBota zcela zablokovat, přidejte toto do souboru robots.txt:

User-agent: WebAtlasRssSitemapBot
Disallow: /