robots.txt
robots.txt ist eine kleine Datei im Stammverzeichnis einer Website. Sie gibt Crawlern Hinweise, welche Bereiche sie abrufen dürfen.
E-Mail zuerst. Senden Sie die robots.txt-URL und die betroffene Seite, dann nennen wir den praktischen nächsten Schritt.
Nutzen Sie sie als Crawler-Hinweis, nicht als Index-Schalter.
robots.txt kann Crawling verhindern, entfernt eine URL aber nicht zuverlässig aus Google, wenn Google die URL bereits kennt.
robots.txt ist eine reine Textdatei, meist unter /robots.txt. Sie sagt Crawlern, welche Pfade sie abrufen dürfen oder nicht abrufen sollen.
Suchmaschinen beachten sie normalerweise, aber sie ist kein Datenschutzwerkzeug und kein zuverlässiger Weg, Seiten aus Suchergebnissen zu entfernen.
Für Seiten, die nicht indexiert werden sollen, brauchen Sie zusätzlich die passende Methode, etwa noindex, Canonical-Tags, Löschung, Weiterleitungen, Passwortschutz oder Entfernung über die Search Console.
Was robots.txt steuern kann 🧭
- Crawling bestimmter Pfade
- Auffinden der Sitemap über eine XML-Sitemap-Zeile
- Unterschiedliche Regeln für unterschiedliche Crawler mit
User-agent,AllowundDisallow
robots.txt gehört zur technischen SEO. Sie funktioniert am besten mit sauberer XML-Sitemap, Canonical-Tags und Seiten, die gecrawlt werden dürfen, wenn sie ranken sollen.
Ein häufiger Fehler ist, eine Seite in robots.txt zu blockieren und zugleich noindex auf der Seite zu setzen. Wenn Google die Seite nicht crawlen darf, sieht Google die noindex-Anweisung möglicherweise nie.
Häufige Fragen zu robots.txt 🙋
Was ist robots.txt?
robots.txt ist eine reine Textdatei mit Crawler-Anweisungen für eine Website.
Wo liegt robots.txt?
Normalerweise im Stammverzeichnis einer Domain, zum Beispiel https://example.com/robots.txt.
Kann robots.txt eine Seite aus Google entfernen?
Nicht zuverlässig. Sie kann Crawling blockieren, aber für die Entfernung aus der Suche sind je nach Fall noindex, Löschung, Weiterleitung, Passwortschutz oder Search-Console-Entfernung nötig.
Sollte die Sitemap in robots.txt stehen?
Ja, es ist üblich, die XML-Sitemap in robots.txt zu nennen, damit Crawler sie schnell finden.
Kann robots.txt schlechte Bots blockieren?
Nur Bots, die sich freiwillig daran halten. Sicherheit und Missbrauchsschutz brauchen Server-, Firewall- oder Zugriffsregeln.
Zurück zum Wörterbuch.
Unsicher, ob robots.txt hilft oder das Falsche blockiert?
Senden Sie die robots.txt-URL und die Seite, um die es geht. Wir prüfen, ob es um Crawling, Indexierung, Canonicals oder Seitenstruktur geht.