SEO-Tool · Technik
robots.txt testen: Welche Seiten sind gesperrt?
Testen Sie, ob Suchmaschinen und andere Crawler bestimmte Seiten abrufen dürfen – mit der Live-Datei oder mit Ihrem Entwurf, bevor Sie ihn hochladen.
- Kostenlos, ohne Anmeldung
- Ergebnisse nicht gespeichert, nicht veröffentlicht
Sie können hier auch einen Entwurf einfügen und testen, bevor Sie ihn hochladen. Die Auswertung läuft in Ihrem Browser.
Eine pro Zeile, z. B. /blog/ oder https://www.ihre-website.de/shop/?seite=2
So funktioniert der Test
Das Tool lädt die robots.txt der angegebenen Domain oder nimmt Ihren eingefügten Text. Die Regeln werden nach dem Standard RFC 9309 ausgewertet, den auch Google verwendet: Es gilt die Gruppe mit dem passendsten User-Agent und darin die längste passende Regel. Bei Gleichstand gewinnt „Allow“.
Das Testen der URLs läuft in Ihrem Browser. Sie können die Regeln im Textfeld ändern und sofort sehen, was sich ändert.
So lesen Sie das Ergebnis
- Erlaubt
- Der gewählte Crawler darf die Adresse abrufen.
- Gesperrt
- Der Crawler darf die Adresse nicht abrufen. Achtung: Gesperrte Seiten können trotzdem im Index auftauchen, wenn andere Seiten auf sie verlinken.
- Greifende Regel
- Die Zeile, die über das Ergebnis entschieden hat.
Häufige Fragen
Kann ich mit der robots.txt Seiten aus Google entfernen?
Nein. Die robots.txt steuert nur das Abrufen. Um eine Seite aus dem Index zu halten, braucht sie ein „noindex“ – und darf dafür gerade nicht gesperrt sein.
Wie sperre ich KI-Crawler?
Mit eigenen Gruppen, z. B. „User-agent: GPTBot“ und „Disallow: /“. Wählen Sie im Tool den jeweiligen Crawler aus, um Ihre Regeln zu prüfen.