robots.txt
robots.txt er en lille fil i roden af et website, som fortæller crawlere, hvilke dele af sitet de må hente.
E-mail først. Send robots.txt-adressen og den side, du er i tvivl om, så peger vi på næste praktiske skridt.
Brug den som guide, ikke som indeksknap.
robots.txt kan blokere crawling, men fjerner ikke pålideligt en URL fra Google, når Google allerede kender URL’en.
robots.txt er en ren tekstfil, som normalt ligger på /robots.txt. Den fortæller crawlere, hvilke stier de må eller ikke må hente.
Søgemaskiner respekterer den normalt, men den er ikke et privatlivsværktøj og ikke en sikker måde at fjerne sider fra søgeresultater på.
For sider, der ikke skal indekseres, skal du også bruge den rigtige metode: noindex, canonical-tags, sletning, redirects, adgangskodebeskyttelse eller fjernelse i Search Console alt efter situationen.
Hvad robots.txt kan styre 🧭
- Crawling af bestemte stier
- Opdagelse af sitemap via en XML sitemap-linje
- Forskellige regler for forskellige crawlere med
User-agent,AllowogDisallow
robots.txt hører hjemme i teknisk SEO. Den fungerer bedst med et rent XML sitemap, canonical-tags og sider, der må crawles, når de skal rangere.
En almindelig fejl er at blokere en side i robots.txt og samtidig sætte noindex på siden. Hvis Google ikke må crawle siden, ser Google måske aldrig noindex-instruksen.
Ofte stillede spørgsmål om robots.txt 🙋
Hvad er robots.txt?
robots.txt er en ren tekstfil, der giver crawler-instruktioner for et website.
Hvor ligger robots.txt?
Den ligger normalt i roden af et domæne, for eksempel https://example.com/robots.txt.
Kan robots.txt fjerne en side fra Google?
Ikke pålideligt. Den kan blokere crawling, men fjernelse fra søgning kræver ofte noindex, sletning, redirect, adgangskodebeskyttelse eller Search Console.
Bør sitemap stå i robots.txt?
Ja, det er normalt at henvise til XML sitemap i robots.txt, så crawlere finder det hurtigt.
Kan robots.txt blokere dårlige bots?
Kun bots, der vælger at respektere den. Sikkerhed og misbrug kræver server-, firewall- eller adgangsregler.
Tilbage til ordlisten.
Usikker på om robots.txt hjælper eller blokerer det forkerte?
Send robots.txt-adressen og den side, du er bekymret for. Vi kan se, om problemet handler om crawling, indeksering, canonicals eller sitestruktur.