Om oss Roboter Verktøy for nettredaktører API Support
Legg til siden din

Robotdokumentasjon

RssSitemapBot.

Leser RSS-, Atom- og sitemap-filer for å fylle vår globale indekseringskø.

Slik fungerer det

#

Identifikasjon

WebAtlasRssSitemapBot identifiserer seg med følgende User-Agent.

WebAtlasRssSitemapBot/1.1 (+https://webatlasindex.pl/rsssitemap-bot.php)

⟲

Formål og logikk

En lettvekts-robot hvis oppgave er å lese innsendte RSS-/Atom-feeder og sitemap-filer og hente ut URL-ene de inneholder.

⫶

Filtreringslag

Hentede URL-er filtreres automatisk gjennom tre lag:

  • Blokkerte annonse-/sosiale domener.
  • Tekniske stier (f.eks. /admin, /wp-login, /api).
  • Heuristiske annonse-/sporingsparametere (gclid, utm_source, clickid).
⌫

Kontroll for nettredaktører

For å blokkere WebAtlasRssSitemapBot helt, legg til dette i robots.txt-filen din:

User-agent: WebAtlasRssSitemapBot
Disallow: /