Om oss Botar Webbmastersverktyg API Support
Lägg till din sida

Crawler-dokumentation

RssSitemapBot.

Läser RSS-, Atom- och sitemap-filer för att fylla på vår globala indexeringskö.

Så fungerar det

#

Identifiering

WebAtlasRssSitemapBot identifierar sig med följande User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Syfte och logik

En lättviktig crawler vars uppgift är att läsa inskickade RSS-/Atom-flöden och sitemap-filer och extrahera de URL:er de innehåller.

⫶

Filtreringslager

Extraherade URL:er filtreras automatiskt genom tre lager:

  • Blockerade annons-/sociala domäner.
  • Tekniska sökvägar (t.ex. /admin, /wp-login, /api).
  • Heuristiska annons-/spårningsparametrar (gclid, utm_source, clickid).
⌫

Kontroll för webbmastrar

För att blockera WebAtlasRssSitemapBot helt, lägg till detta i din robots.txt:

User-agent: WebAtlasRssSitemapBot
Disallow: /