robots.txt
robots.txt er en liten fil i roten av et nettsted som gir roboter beskjed om hvilke deler av nettstedet de kan be om.
E-post først. Send robots.txt-adressen og siden du er usikker på, så peker vi deg mot neste praktiske steg.
Bruk den som veiviser for roboter, ikke som en indeksbryter.
robots.txt kan stoppe gjennomgang, men den fjerner ikke nødvendigvis en URL fra Google når Google allerede vet at URL-en finnes.
robots.txt er en ren tekstfil, vanligvis på /robots.txt. Den forteller roboter hvilke stier de har lov til, eller ikke har lov til, å hente.
Søkemotorer respekterer den vanligvis, men den er ikke et personvernverktøy og ikke en trygg måte å fjerne sider fra søkeresultater på.
For sider dere ikke vil ha indeksert, må riktig metode brukes i tillegg, for eksempel noindex, canonical-tagger, sletting, videresendinger, passordbeskyttelse eller fjerning i Search Console.
Hva robots.txt kan styre 🧭
- Gjennomgang av bestemte stier
- Oppdagelse av nettstedskart gjennom en XML sitemap-linje
- Ulike regler for ulike roboter med
User-agent,AllowogDisallow
robots.txt hører hjemme i teknisk SEO. Den fungerer best sammen med et ryddig XML sitemap, canonical-tagger og sider som faktisk kan gjennomgås når de skal rangere.
En vanlig feil er å blokkere en side i robots.txt og samtidig legge noindex på selve siden. Hvis Google ikke kan gjennomgå siden, ser Google kanskje aldri noindex-instruksen.
Vanlige spørsmål om robots.txt 🙋
Hva er robots.txt?
robots.txt er en ren tekstfil som gir roboter instruksjoner for et nettsted.
Hvor ligger robots.txt?
Den ligger vanligvis i roten av domenet, for eksempel https://example.com/robots.txt.
Kan robots.txt fjerne en side fra Google?
Ikke pålitelig. Den kan stoppe gjennomgang, men fjerning fra søk krever vanligvis noindex, sletting, videresending, passordbeskyttelse eller Search Console-fjerning.
Bør jeg legge sitemap i robots.txt?
Ja, det er vanlig å vise til XML sitemap i robots.txt slik at roboter finner det raskt.
Kan robots.txt stoppe dårlige roboter?
Bare roboter som velger å respektere den. Sikkerhet og misbruk må håndteres med server-, brannmur- eller tilgangsregler.
Tilbake til ordlisten.
Usikker på om robots.txt hjelper eller blokkerer feil ting?
Send robots.txt-adressen og siden dere er bekymret for. Vi kan sjekke om problemet handler om gjennomgang, indeksering, canonicals eller nettstedstruktur.