Robots.txt-Tester und Validator
Ein einziger Platzhalter in der robots.txt kann versehentlich einen ganzen Bereich sperren. Teste die wichtigen URLs, bevor du eine Änderung veröffentlichst.
Bei Online-Prüfungen geht nur die Adresse an den Server von IndexFix Tools. Er lädt diese öffentliche Seite und gibt die Antwort zurück. Gespeichert wird nichts.
Deine Daten bleiben in deinem Browser. Nichts wird hochgeladen oder gespeichert.
Das Wichtigste
- Google unterstützt die Felder user-agent, allow, disallow und sitemap; andere Felder wie crawl-delay werden nicht unterstützt.
- Google wendet die spezifischste Regel an, gemessen an der Länge des Regelpfads; bei widersprüchlichen Regeln gilt die am wenigsten restriktive.
- Regelpfade unterscheiden zwischen Groß- und Kleinschreibung, und Google ignoriert alles, was nach den ersten 500 KiB der Datei steht.
- robots.txt eignet sich nicht dazu, eine Seite aus Google herauszuhalten: Eine blockierte URL kann trotzdem indexiert werden, wenn andere Seiten auf sie verlinken.
Checkliste herunterladen: Indexierungsprobleme diagnostizieren
Schritt für Schritt: Status in der Search Console, Erreichbarkeit der Seite, robots.txt, noindex, kanonische URL, Weiterleitungen, Sitemap und Backlinks – jeweils mit dem nächsten Schritt.
PDF herunterladen PDF · 3 SeitenSo gehst du vor
- Öffne your-site/robots.txt im Browser und kopiere die gesamte Datei (oder füge einen Entwurf ein, den du veröffentlichen willst).
- Füge sie in das erste Feld ein.
- Gib das User-Agent-Token ein, das du testen willst, zum Beispiel Googlebot.
- Füge die zu testenden URLs oder Pfade ein, eine pro Zeile.
- Klicke auf URLs testen und lies für jede URL das Ergebnis und die entscheidende Zeile ab.
Woher du die Daten bekommst
Die aktuelle robots.txt
Sie liegt immer im Stammverzeichnis des Hosts: https://your-site/robots.txt. Jeder Host und jedes Protokoll hat eine eigene Datei.
Search Console
Der robots.txt-Bericht in den Search-Console-Einstellungen zeigt, ob Google deine robots.txt-Dateien verarbeiten kann. So prüfst du nach einer Änderung, was tatsächlich live ist.
Zu testende URLs
Wichtige Templates: Startseite, Kategorie- und Produktseiten, Parameter-URLs, CSS- und JavaScript-Dateien und alles, was du sperren willst.
Wie Google eine Gruppe auswählt
Ein Crawler folgt nur einer Gruppe – der, deren User-Agent am genauesten zu seinem eigenen passt. Gruppen mit demselben User-Agent werden zusammengeführt. Nennt keine Gruppe den Crawler, gilt die *-Gruppe; gibt es auch die nicht, ist alles erlaubt.
Wie Regeln abgeglichen werden
Regeln werden mit dem Pfad der URL einschließlich Query-String verglichen. * steht für eine beliebige Zeichenfolge, $ markiert das Ende der URL. Die längste passende Regel gewinnt; sind eine allow- und eine disallow-Regel gleich lang, setzt sich allow durch.
Was eine Sperre bewirkt – und was nicht
Eine per disallow gesperrte URL wird nicht gecrawlt, Google kann also weder ihren Inhalt noch ihre Meta-Tags lesen – auch kein noindex. Trotzdem kann sie ohne Beschreibung in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Um eine Seite aus der Suche herauszuhalten, erlaube das Crawling und setze noindex.
Nächster Schritt
Blockierte Seiten sind nur ein Teil des Problems. Ebenso wichtig: vergessene noindex-Tags massenhaft aufspüren.
Fragen und Antworten
Warum ruft der Tester die robots.txt nicht selbst ab?
Browser erlauben einer Website nicht, ohne Freigabe Dateien einer anderen Website zu lesen – deshalb musst du die Datei einfügen. Dafür kannst du so auch einen Entwurf testen, bevor du ihn veröffentlichst.
Funktioniert das auch für Googlebot-Image oder andere Crawler?
Gib ein beliebiges User-Agent-Token ein. Der Tester verwendet die Gruppe, die dieses Token nennt, oder die *-Gruppe, falls es keine solche Gruppe gibt.
Werden Zeilen wie Crawl-delay geprüft?
Sie werden als nicht unterstützt gezählt und ignoriert – genau wie bei Google.
Entfernt Disallow eine Seite aus Google?
Nein. Disallow verhindert nur das Crawling. Um eine Seite aus der Suche zu entfernen, erlaube das Crawling und setze noindex oder nutze in dringenden Fällen das Tool „Removals“.
Quellen
- How Google interprets the robots.txt specification — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
- Introduction to robots.txt — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/robots/intro