robots.txt
robots.txt is een klein bestand in de hoofdmap van een website dat crawlers vertelt welke delen ze mogen opvragen.
Eerst per e-mail. Stuur de robots.txt-URL en de pagina waarover je twijfelt, dan wijzen we je op de praktische volgende stap.
Gebruik het als crawlergids, niet als indexschakelaar.
robots.txt kan crawlen blokkeren, maar verwijdert een URL niet betrouwbaar uit Google zodra Google die URL al kent.
robots.txt is een tekstbestand, meestal op /robots.txt. Het vertelt crawlers welke paden ze wel of niet mogen opvragen.
Zoekmachines respecteren het meestal, maar het is geen privacytool en geen betrouwbare manier om pagina’s uit zoekresultaten te verwijderen.
Voor pagina’s die niet geïndexeerd mogen worden, is ook de juiste methode nodig, zoals noindex, canonical tags, verwijderen, redirects, wachtwoordbeveiliging of Search Console-verwijdering.
Wat robots.txt kan sturen 🧭
- Crawlen van specifieke paden
- Sitemapontdekking via een XML-sitemap-regel
- Verschillende regels voor verschillende crawlers met
User-agent,AllowenDisallow
robots.txt hoort bij technische SEO. Het werkt het best met een schone XML-sitemap, canonical tags en pagina’s die gecrawld mogen worden wanneer ze moeten ranken.
Een veelgemaakte fout is een pagina blokkeren in robots.txt en tegelijk noindex op die pagina zetten. Als Google de pagina niet mag crawlen, ziet Google de noindex-instructie mogelijk nooit.
Veelgestelde vragen over robots.txt 🙋
Wat is robots.txt?
robots.txt is een tekstbestand dat crawlerinstructies geeft voor een website.
Waar staat robots.txt?
Normaal in de hoofdmap van een domein, bijvoorbeeld https://example.com/robots.txt.
Kan robots.txt een pagina uit Google verwijderen?
Niet betrouwbaar. Het kan crawlen blokkeren, maar verwijderen uit zoekresultaten vraagt vaak noindex, verwijderen, redirect, wachtwoordbeveiliging of Search Console.
Moet ik mijn sitemap in robots.txt zetten?
Ja, het is gebruikelijk om de XML-sitemap in robots.txt te noemen zodat crawlers die snel vinden.
Kan robots.txt slechte bots blokkeren?
Alleen bots die ervoor kiezen het te respecteren. Beveiliging en misbruik vragen server-, firewall- of toegangsregels.
Terug naar de woordenlijst.
Niet zeker of robots.txt helpt of juist het verkeerde blokkeert?
Stuur de robots.txt-URL en de pagina waarover je twijfelt. We kunnen controleren of het probleem crawlen, indexering, canonicals of sitestructuur is.