robots.txt
robots.txt är en liten fil i webbplatsens rot som talar om för sökrobotar vilka delar av webbplatsen de får hämta.
E-post först. Skicka robots.txt-adressen och sidan du undrar över, så pekar vi ut nästa praktiska steg.
Använd den som vägledning för robotar, inte som en indexeringsknapp.
robots.txt kan stoppa genomsökning, men tar inte säkert bort en URL från Google när Google redan känner till den.
robots.txt är en ren textfil, oftast på /robots.txt. Den säger vilka sökvägar robotar får eller inte får hämta.
Sökmotorer respekterar den normalt, men den är inte ett sekretessverktyg och inte ett säkert sätt att ta bort sidor från sökresultat.
För sidor som inte ska indexeras krävs rätt metod också, till exempel noindex, canonical-taggar, borttagning, omdirigeringar, lösenordsskydd eller borttagning i Search Console.
Vad robots.txt kan styra 🧭
- Genomsökning av specifika sökvägar
- Upptäckt av webbplatskarta via en XML-webbplatskarta-rad
- Olika regler för olika robotar med
User-agent,AllowochDisallow
robots.txt hör hemma i teknisk SEO. Den fungerar bäst med en ren XML-webbplatskarta, canonical-taggar och sidor som får genomsökas när de ska ranka.
Ett vanligt misstag är att blockera en sida i robots.txt och samtidigt lägga noindex på sidan. Om Google inte får genomsöka sidan ser Google kanske aldrig noindex-instruktionen.
Vanliga frågor om robots.txt 🙋
Vad är robots.txt?
robots.txt är en ren textfil som ger robotar instruktioner för en webbplats.
Var finns robots.txt?
Den finns normalt i domänens rot, till exempel https://example.com/robots.txt.
Kan robots.txt ta bort en sida från Google?
Inte tillförlitligt. Den kan blockera genomsökning, men borttagning från sök kräver ofta noindex, borttagning, omdirigering, lösenordsskydd eller Search Console.
Bör jag lägga sitemap i robots.txt?
Ja, det är vanligt att hänvisa till XML-webbplatskartan i robots.txt så att robotar hittar den snabbt.
Kan robots.txt stoppa dåliga robotar?
Bara robotar som väljer att respektera den. Säkerhet och missbruk kräver server-, brandväggs- eller åtkomstregler.
Tillbaka till ordlistan.
Osäker på om robots.txt hjälper eller blockerar fel sak?
Skicka robots.txt-adressen och sidan du oroar dig för. Vi kan se om problemet handlar om genomsökning, indexering, canonicals eller webbplatsstruktur.