Bruk den som veiviser for roboter, ikke som en indeksbryter.
robots.txt kan stoppe gjennomgang, men den fjerner ikke nødvendigvis en URL fra Google når Google allerede vet at URL-en finnes.
robots.txt er en ren tekstfil, vanligvis på /robots.txt. Den forteller roboter hvilke stier de har lov til, eller ikke har lov til, å hente.
Søkemotorer respekterer den vanligvis, men den er ikke et personvernverktøy og ikke en trygg måte å fjerne sider fra søkeresultater på.
For sider dere ikke vil ha indeksert, må riktig metode brukes i tillegg, for eksempel noindex, canonical-tagger, sletting, videresendinger, passordbeskyttelse eller fjerning i Search Console.
Hva robots.txt kan styre 🧭
User-agent, Allow og Disallowrobots.txt hører hjemme i teknisk SEO. Den fungerer best sammen med et ryddig XML sitemap, canonical-tagger og sider som faktisk kan gjennomgås når de skal rangere.
En vanlig feil er å blokkere en side i robots.txt og samtidig legge noindex på selve siden. Hvis Google ikke kan gjennomgå siden, ser Google kanskje aldri noindex-instruksen.
Vanlige spørsmål om robots.txt 🙋
Tilbake til ordlisten.
Hva er robots.txt?
robots.txt er en ren tekstfil som gir roboter instruksjoner for et nettsted.
Hvor ligger robots.txt?
Den ligger vanligvis i roten av domenet, for eksempel https://example.com/robots.txt.
Kan robots.txt fjerne en side fra Google?
Ikke pålitelig. Den kan stoppe gjennomgang, men fjerning fra søk krever vanligvis noindex, sletting, videresending, passordbeskyttelse eller Search Console-fjerning.
Bør jeg legge sitemap i robots.txt?
Ja, det er vanlig å vise til XML sitemap i robots.txt slik at roboter finner det raskt.
Kan robots.txt stoppe dårlige roboter?
Bare roboter som velger å respektere den. Sikkerhet og misbruk må håndteres med server-, brannmur- eller tilgangsregler.
Usikker på om robots.txt hjelper eller blokkerer feil ting?
Send robots.txt-adressen og siden dere er bekymret for. Vi kan sjekke om problemet handler om gjennomgang, indeksering, canonicals eller nettstedstruktur.