Nutzen Sie sie als Crawler-Hinweis, nicht als Index-Schalter.
robots.txt kann Crawling verhindern, entfernt eine URL aber nicht zuverlässig aus Google, wenn Google die URL bereits kennt.
robots.txt ist eine reine Textdatei, meist unter /robots.txt. Sie sagt Crawlern, welche Pfade sie abrufen dürfen oder nicht abrufen sollen.
Suchmaschinen beachten sie normalerweise, aber sie ist kein Datenschutzwerkzeug und kein zuverlässiger Weg, Seiten aus Suchergebnissen zu entfernen.
Für Seiten, die nicht indexiert werden sollen, brauchen Sie zusätzlich die passende Methode, etwa noindex, Canonical-Tags, Löschung, Weiterleitungen, Passwortschutz oder Entfernung über die Search Console.
Was robots.txt steuern kann 🧭
User-agent, Allow und Disallowrobots.txt gehört zur technischen SEO. Sie funktioniert am besten mit sauberer XML-Sitemap, Canonical-Tags und Seiten, die gecrawlt werden dürfen, wenn sie ranken sollen.
Ein häufiger Fehler ist, eine Seite in robots.txt zu blockieren und zugleich noindex auf der Seite zu setzen. Wenn Google die Seite nicht crawlen darf, sieht Google die noindex-Anweisung möglicherweise nie.
Häufige Fragen zu robots.txt 🙋
Zurück zum Wörterbuch.
Was ist robots.txt?
robots.txt ist eine reine Textdatei mit Crawler-Anweisungen für eine Website.
Wo liegt robots.txt?
Normalerweise im Stammverzeichnis einer Domain, zum Beispiel https://example.com/robots.txt.
Kann robots.txt eine Seite aus Google entfernen?
Nicht zuverlässig. Sie kann Crawling blockieren, aber für die Entfernung aus der Suche sind je nach Fall noindex, Löschung, Weiterleitung, Passwortschutz oder Search-Console-Entfernung nötig.
Sollte die Sitemap in robots.txt stehen?
Ja, es ist üblich, die XML-Sitemap in robots.txt zu nennen, damit Crawler sie schnell finden.
Kann robots.txt schlechte Bots blockieren?
Nur Bots, die sich freiwillig daran halten. Sicherheit und Missbrauchsschutz brauchen Server-, Firewall- oder Zugriffsregeln.
Unsicher, ob robots.txt hilft oder das Falsche blockiert?
Senden Sie die robots.txt-URL und die Seite, um die es geht. Wir prüfen, ob es um Crawling, Indexierung, Canonicals oder Seitenstruktur geht.