Kostenlose Tools · Ohne Anmeldung
robots.txt Tester für Google und KI-Crawler
Testen Sie kostenlos, ob Googlebot, Bingbot und KI-Crawler wie OAI-SearchBot, GPTBot, PerplexityBot und ClaudeBot Ihre Seiten abrufen dürfen.
robots.txt für KI-Crawler
Welche Crawler Sie zulassen sollten und welche nicht
Die robots.txt entscheidet, welche Crawler Ihre Seiten abrufen dürfen. Für die Sichtbarkeit in Google, Bing, ChatGPT, Perplexity und Claude müssen die jeweiligen Such-Crawler erlaubt sein. Reine Trainings-Crawler wie GPTBot oder CCBot können Sie sperren, ohne dass Sie dadurch aus der KI-Suche verschwinden.
Such-Crawler, Abruf auf Nutzeranfrage und Training
Die großen KI-Anbieter trennen ihre Crawler nach Zweck. OpenAI nutzt OAI-SearchBot für die ChatGPT-Suche, ChatGPT-User für Abrufe, die ein Nutzer im Chat auslöst, und GPTBot für das Modelltraining. Anthropic unterscheidet ebenso zwischen Claude-SearchBot, Claude-User und ClaudeBot, Perplexity zwischen PerplexityBot und Perplexity-User.
Dadurch lässt sich fein steuern: Such-Crawler zulassen, Trainings-Crawler nach eigener Entscheidung sperren. Ausführlich erklärt das der Leitfaden GPTBot und KI-Crawler: zulassen oder blockieren?
Wie Crawler die robots.txt lesen
Ein Crawler sucht zuerst die Gruppe, deren User-agent genau seinem Namen entspricht. Gibt es keine, gilt die Gruppe für alle (User-agent: *). Wichtig: Sobald eine eigene Gruppe existiert, ignoriert der Crawler die allgemeinen Regeln vollständig. Wer GPTBot eine eigene Gruppe gibt, muss dort alle gewünschten Sperren wiederholen.
Innerhalb der Gruppe entscheidet die längste passende Regel. Bei gleich langen Regeln gewinnt Allow. Das Sternchen steht für beliebige Zeichen, das Dollarzeichen für das Ende der URL. Genau nach diesen Regeln wertet der Tester aus.
Häufige Fehler
Ein pauschales Disallow: / unter User-agent: * sperrt auch alle KI-Such-Crawler, die keine eigene Gruppe haben. Ebenso häufig sind Staging-Regeln, die versehentlich live gehen, oder Sperren für CSS- und JavaScript-Ordner, die Google beim Rendern braucht.
Die robots.txt ist außerdem nur ein Signal. Ob KI-Systeme Ihre Inhalte verstehen und empfehlen, hängt auch von Struktur, Inhalten und Vertrauen ab. Das prüft die kostenlose KI-Sichtbarkeitsanalyse.
Weiterlesen
Ratgeber zu Crawlern und KI-Suche
GPTBot & KI-Crawler: zulassen oder blockieren? Der Leitfaden für 2026
GPTBot, ClaudeBot, PerplexityBot & Co. – welche KI-Crawler Sie erlauben und welche Sie blockieren sollten. Der entscheidende Unterschied: Training-Crawler oder Such-Crawler.
Weiterlesenllms.txt erstellen: Anleitung – und die ehrliche Antwort, ob sie 2026 etwas bringt
llms.txt soll KI-Systemen den Weg durch Ihre Website weisen. So erstellen Sie die Datei korrekt – und was wirklich dahintersteckt, denn Google lehnt sie ausdrücklich ab.
WeiterlesenGoogle AI Mode: Was der KI-Modus für die Sichtbarkeit Ihres Unternehmens bedeutet
Der Google AI Mode zerlegt Fragen in Teilsuchen und antwortet im Dialog. So funktioniert der KI-Modus, so unterscheidet er sich von AI Overviews und so werden Sie dort als Quelle sichtbar.
WeiterlesenWelche KI-Suchmaschinen gibt es? Der große Überblick 2026
ChatGPT hat 900 Mio. wöchentliche Nutzer, Google AI Overviews 2,5 Mrd. Alle KI-Suchmaschinen 2026 im Vergleich – und was das für Ihr Unternehmen bedeutet.
WeiterlesenKI-Sichtbarkeitsanalyse: KI-Sichtbarkeit messen (KPIs & Checkliste)
So messen Sie Ihre KI-Sichtbarkeit in ChatGPT, Google AI Overviews, Gemini und Perplexity: Kennzahlen, Methoden, Checkliste – und ein kostenloser Score von 0–100.
WeiterlesenKI-Sichtbarkeit verbessern: Ein 30-Tage-Plan für Ihre Website
Vier Wochen, vier Schwerpunkte: So verbessern Sie Schritt für Schritt, wie ChatGPT, Google AI Overviews, Gemini und Perplexity Ihre Website finden, verstehen und als Quelle nutzen.
WeiterlesenHäufige Fragen
Fragen zum robots.txt Tester
Geben Sie Ihre Website und optional einen Pfad ein. Der Tester lädt die robots.txt, ermittelt für jeden Crawler die zuständige Regelgruppe und zeigt, welche Regel über den Zugriff entscheidet. Dabei gelten die Regeln aus RFC 9309: Die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow.
Das ist eine Abwägung. GPTBot sammelt Daten für das Training von OpenAI-Modellen. Für die Suche in ChatGPT ist dagegen OAI-SearchBot zuständig. Wer in ChatGPT als Quelle erscheinen möchte, sollte OAI-SearchBot zulassen, kann GPTBot aber unabhängig davon sperren.
Nein. Google-Extended steuert laut Google die Nutzung von Inhalten für Gemini-Training und Grounding in anderen Google-Produkten. Für die Google Suche, AI Overviews und den KI-Modus ist weiterhin der Googlebot zuständig.
Nicht zuverlässig. Die robots.txt steuert das Crawling. Eine gesperrte URL kann trotzdem ohne Inhalt im Index landen, wenn andere Seiten auf sie verlinken. Um eine Seite aus dem Index fernzuhalten, braucht sie ein noindex, und dafür muss sie crawlbar bleiben.
Antwortet der Server mit 404 oder einem anderen 4xx-Status, dürfen Crawler alle Seiten abrufen. Bei einem Serverfehler (5xx) behandelt Google die Website vorübergehend so, als wäre sie komplett gesperrt.
Weitere kostenlose Tools
Noch mehr prüfen
llms.txt Generator
Erstellt aus Sitemap und Seiteninhalten eine llms.txt nach dem Vorschlag von llmstxt.org, zum Bearbeiten und Herunterladen.
Tool öffnenStrukturierte Daten Test
Liest das JSON-LD einer Seite aus und prüft Pflicht- und empfohlene Felder für Organization, LocalBusiness, Article, FAQPage, Product und mehr.
Tool öffnenKI-Sichtbarkeitsanalyse
Alle Signale auf einmal: Crawler, Struktur, Inhalte und Vertrauen, mit Score von 0 bis 100.
Analyse startenAnleitung für Ihr System