Lär dig / Ordlista
robots.txt
robots.txt är en liten fil i webbplatsens rot som talar om för sökrobotar vilka delar av webbplatsen de får hämta.
E-post först. Skicka robots.txt-adressen och sidan du undrar över, så pekar vi ut nästa praktiska steg.
Använd den som vägledning för robotar, inte som en indexeringsknapp.
robots.txt är en ren textfil, oftast på /robots.txt. Den säger vilka sökvägar robotar får eller inte får hämta.
För sidor som inte ska indexeras krävs rätt metod också, till exempel noindex, canonical-taggar, borttagning, omdirigeringar, lösenordsskydd eller borttagning i Search Console.
Vad robots.txt kan styra 🧭
XML-webbplatskarta
Selected paths
XML sitemap discovery
Crawler-specific rules
Common questions about robots.txt
robots.txt hör hemma i teknisk SEO. Den fungerar bäst med en ren XML-webbplatskarta, canonical-taggar och sidor som får genomsökas när de ska ranka.
på sidan. Om Google inte får genomsöka sidan ser Google kanske aldrig
noindex-instruktionen.
Where is robots.txt located?
Tillbaka till ordlistan.
Var finns robots.txt?
Den finns normalt i domänens rot, till exempel https://example.com/robots.txt.
Bör jag lägga sitemap i robots.txt?
Ja, det är vanligt att hänvisa till XML-webbplatskartan i robots.txt så att robotar hittar den snabbt.
Kan robots.txt stoppa dåliga robotar?
Bara robotar som väljer att respektera den. Säkerhet och missbruk kräver server-, brandväggs- eller åtkomstregler.
Osäker på om robots.txt hjälper eller blockerar fel sak?
Skicka robots.txt-adressen och sidan du oroar dig för. Vi kan se om problemet handlar om genomsökning, indexering, canonicals eller webbplatsstruktur.