robots.txt
robots.txt on pieni tiedosto sivuston juuressa. Se kertoo hakuroboteille, mitä sivuston osia ne saavat pyytää.
Sähköposti ensin. Lähetä robots.txt-osoite ja sivu, josta olet huolissasi, niin kerromme käytännön seuraavan askeleen.
Käytä sitä robottien ohjeena, ei indeksoinnin katkaisijana.
robots.txt voi estää crawlausta, mutta se ei poista URL-osoitetta luotettavasti Googlesta, jos Google jo tuntee sen.
robots.txt on pelkkä tekstitiedosto, yleensä osoitteessa /robots.txt. Se kertoo roboteille, mitä polkuja ne saavat tai eivät saa pyytää.
Hakukoneet yleensä kunnioittavat sitä, mutta se ei ole tietosuojatyökalu eikä luotettava tapa poistaa sivuja hakutuloksista.
Jos sivua ei saa indeksoida, tarvitaan myös oikea menetelmä, kuten noindex, canonical-merkintä, poisto, uudelleenohjaus, salasanasuojaus tai Search Console -poisto tilanteen mukaan.
Mitä robots.txt voi ohjata 🧭
- Tiettyjen polkujen crawlausta
- Sivukartan löytymistä XML-sivukartta-rivin kautta
- Eri sääntöjä eri roboteille kentillä
User-agent,AllowjaDisallow
robots.txt kuuluu tekniseen SEO-työhön. Se toimii parhaiten siistin XML-sivukartan, canonical-merkintöjen ja oikein crawlattavien sivujen kanssa.
Yleinen virhe on estää sivu robots.txt-tiedostossa ja lisätä samalle sivulle noindex. Jos Google ei saa crawlata sivua, se ei välttämättä koskaan näe noindex-ohjetta.
Usein kysyttyä robots.txt-tiedostosta 🙋
Mikä robots.txt on?
robots.txt on tekstitiedosto, joka antaa roboteille ohjeita verkkosivustosta.
Missä robots.txt sijaitsee?
Se on normaalisti verkkotunnuksen juuressa, esimerkiksi https://example.com/robots.txt.
Voiko robots.txt poistaa sivun Googlesta?
Ei luotettavasti. Se voi estää crawlausta, mutta hakutuloksista poistaminen vaatii usein noindexin, poiston, uudelleenohjauksen, salasanasuojauksen tai Search Console -poiston.
Kannattaako sitemap lisätä robots.txt-tiedostoon?
Kyllä, XML-sivukartta mainitaan usein robots.txt-tiedostossa, jotta robotit löytävät sen nopeasti.
Voiko robots.txt estää huonot botit?
Vain botit, jotka päättävät noudattaa sitä. Turva ja väärinkäyttö vaativat palvelin-, palomuuri- tai käyttöoikeussääntöjä.
Takaisin sanastoon.
Etkö ole varma, auttaako robots.txt vai estääkö se väärän asian?
Lähetä robots.txt-osoite ja sivu, josta olet huolissasi. Voimme tarkistaa, onko kyse crawlaamisesta, indeksoinnista, canonical-merkinnöistä vai sivuston rakenteesta.