Gebruik het als crawlergids, niet als indexschakelaar.
robots.txt kan crawlen blokkeren, maar verwijdert een URL niet betrouwbaar uit Google zodra Google die URL al kent.
robots.txt is een tekstbestand, meestal op /robots.txt. Het vertelt crawlers welke paden ze wel of niet mogen opvragen.
Zoekmachines respecteren het meestal, maar het is geen privacytool en geen betrouwbare manier om pagina’s uit zoekresultaten te verwijderen.
Voor pagina’s die niet geïndexeerd mogen worden, is ook de juiste methode nodig, zoals noindex, canonical tags, verwijderen, redirects, wachtwoordbeveiliging of Search Console-verwijdering.
Wat robots.txt kan sturen 🧭
User-agent, Allow en Disallowrobots.txt hoort bij technische SEO. Het werkt het best met een schone XML-sitemap, canonical tags en pagina’s die gecrawld mogen worden wanneer ze moeten ranken.
Een veelgemaakte fout is een pagina blokkeren in robots.txt en tegelijk noindex op die pagina zetten. Als Google de pagina niet mag crawlen, ziet Google de noindex-instructie mogelijk nooit.
Veelgestelde vragen over robots.txt 🙋
Terug naar de woordenlijst.
Wat is robots.txt?
robots.txt is een tekstbestand dat crawlerinstructies geeft voor een website.
Waar staat robots.txt?
Normaal in de hoofdmap van een domein, bijvoorbeeld https://example.com/robots.txt.
Kan robots.txt een pagina uit Google verwijderen?
Niet betrouwbaar. Het kan crawlen blokkeren, maar verwijderen uit zoekresultaten vraagt vaak noindex, verwijderen, redirect, wachtwoordbeveiliging of Search Console.
Moet ik mijn sitemap in robots.txt zetten?
Ja, het is gebruikelijk om de XML-sitemap in robots.txt te noemen zodat crawlers die snel vinden.
Kan robots.txt slechte bots blokkeren?
Alleen bots die ervoor kiezen het te respecteren. Beveiliging en misbruik vragen server-, firewall- of toegangsregels.
Niet zeker of robots.txt helpt of juist het verkeerde blokkeert?
Stuur de robots.txt-URL en de pagina waarover je twijfelt. We kunnen controleren of het probleem crawlen, indexering, canonicals of sitestructuur is.