GPTBot & KI-Crawler: zulassen oder blockieren? Der Leitfaden für 2026

Immer mehr Website-Betreiber stehen vor derselben Frage: Soll ich KI-Crawler wie GPTBot auf meine Seite lassen oder aussperren? Die Zahlen zeigen, wie schnell das Thema Fahrt aufgenommen hat – laut Originality.AI blockierten im August 2024 bereits 35,7 % der Top-1.000-Websites GPTBot, gegenüber rund 5 % ein Jahr zuvor (Search Engine Land). Die pauschale Sperre ist allerdings oft ein Fehler. Entscheidend ist eine Unterscheidung, die viele übersehen: Training-Crawler oder Such-Crawler.

Key Takeaways

• Training-Crawler (GPTBot, ClaudeBot, Google-Extended) sammeln Daten fürs Modelltraining. Sie zu blockieren ist eine Daten-/Rechtsentscheidung und kostet meist keine aktuelle Sichtbarkeit.
• Such-Crawler (OAI-SearchBot, PerplexityBot, Claude-SearchBot) speisen KI-Antworten. Wer sie sperrt, wird in ChatGPT-Suche, Perplexity und Claude unsichtbar.
• Google-Extended ist nur ein robots.txt-Steuertoken und beeinflusst weder Google-Ranking noch -Aufnahme.
• Empfehlung für KI-Sichtbarkeit: Such-Crawler erlauben, über Training-Crawler bewusst entscheiden.

Training-Crawler vs. Such-Crawler – der entscheidende Unterschied

KI-Crawler erfüllen zwei grundverschiedene Aufgaben. Training-Crawler laden Inhalte, um damit Sprachmodelle zu trainieren. Such-Crawler indexieren oder holen Inhalte, damit Ihre Seite in KI-Antworten zitiert und verlinkt werden kann. Wer diese beiden verwechselt, blockiert im schlimmsten Fall genau den Crawler, der für die eigene Sichtbarkeit sorgt.

Ein dritter Typ sind nutzerausgelöste Abrufe (ChatGPT-User, Claude-User, Perplexity-User): Sie holen eine einzelne Seite, weil ein Nutzer live danach fragt. Weil sie durch eine konkrete Anfrage ausgelöst werden, respektieren sie robots.txt nicht immer zuverlässig.

Die wichtigsten KI-Crawler im Überblick

| Anbieter | User-Agent | Zweck | Kategorie | |---|---|---|---| | OpenAI | GPTBot | Training generativer Modelle | Training | | OpenAI | OAI-SearchBot | Speist die ChatGPT-Suche | Suche | | OpenAI | ChatGPT-User | Nutzerausgelöster Seitenabruf | User-Fetch | | Anthropic | ClaudeBot | Sammelt Webinhalte fürs Training | Training | | Anthropic | Claude-SearchBot | Durchsucht das Web für Claude-Antworten | Suche | | Perplexity | PerplexityBot | Indexiert Seiten für Perplexity-Suche | Suche | | Google | Google-Extended | Steuert Nutzung für Gemini-Training/Grounding | Training-Steuerung |

Die exakten Tokens und IP-Listen dokumentieren die Anbieter selbst: OpenAI, Anthropic, Perplexity und Google. Wichtig: PerplexityBot wird laut Doku nur zur Suchindexierung genutzt, nicht fürs Foundation-Model-Training – und Google-Extended ist kein separater Crawler, sondern ein reines Steuertoken.

Das Trade-off: Was kostet welche Sperre?

Der Unterschied entscheidet über die Folgen:

• Training-Crawler blockieren (GPTBot, ClaudeBot, Google-Extended): eine legitime Entscheidung über die Nutzung Ihrer Inhalte zum Modelltraining. Sie kostet in der Regel keine aktuelle KI-Sichtbarkeit, weil diese Bots nicht für Live-Antworten zuständig sind. Der Nachteil: Ihre Marke fließt weniger ins „Weltwissen" künftiger Modelle ein.
• Such-Crawler blockieren (OAI-SearchBot, PerplexityBot, Claude-SearchBot): schadet der Sichtbarkeit direkt. OpenAI dokumentiert ausdrücklich, dass eine mit OAI-SearchBot blockierte Seite nicht in den ChatGPT-Suchergebnissen erscheint. Perplexity kann bei Blockade allenfalls noch Domain und Kurzbeschreibung zeigen, aber keinen Volltext indexieren.

Genau hier entsteht der häufigste Fehler: Viele Betreiber übernehmen Blocklisten aus dem Netz, die alles mit „GPT", „Claude" oder „AI" im Namen sperren – und schalten damit versehentlich die Such-Crawler ab, die sie für KI-Sichtbarkeit eigentlich brauchen. Die pauschale Sperre schützt keine Trainingsdaten mehr, sondern kostet nur Reichweite.

Die richtige robots.txt für KI-Sichtbarkeit

Wer in KI-Antworten sichtbar bleiben und zugleich über Trainingsdaten selbst entscheiden möchte, erlaubt die Such-Crawler und blockiert – falls gewünscht – nur die Training-Crawler:

# Training-Crawler blockieren (optional, Daten-/Rechtsentscheidung)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Such-Crawler ERLAUBEN (wichtig für KI-Sichtbarkeit)
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Wer maximale Kontrolle will, kann alle KI-Bots sperren – muss dann aber wissen, dass die Seite in KI-Suchen praktisch unsichtbar wird. Welche Crawler Ihre robots.txt aktuell zulässt oder blockiert, prüft der Website-KI-Readiness-Check automatisch; die Grundlagen vertieft unsere Wissensseite KI-Crawler steuern.

Häufige Fragen

Sollte ich GPTBot blockieren?

GPTBot sammelt Inhalte zum Training von OpenAI-Modellen und ist nicht für Live-Antworten in der ChatGPT-Suche zuständig. Ihn zu blockieren ist eine legitime Daten- und Urheberrechtsentscheidung und kostet in der Regel keine aktuelle KI-Sichtbarkeit. Für die Anzeige in der ChatGPT-Suche ist stattdessen OAI-SearchBot zuständig – diesen sollten Sie nicht blockieren.

Welchen KI-Crawler darf ich auf keinen Fall blockieren, wenn ich sichtbar bleiben will?

Die Such-Crawler: OAI-SearchBot (ChatGPT-Suche), PerplexityBot (Perplexity) und Claude-SearchBot (Claude-Suche). Wer sie per robots.txt sperrt, macht seine Seite in diesen KI-Antworten unsichtbar. OpenAI dokumentiert ausdrücklich, dass eine mit OAI-SearchBot blockierte Seite nicht in den ChatGPT-Suchergebnissen erscheint.

Beeinflusst Google-Extended mein Google-Ranking?

Nein. Google-Extended steuert nur, ob Inhalte für das Training künftiger Gemini-Modelle und das Grounding genutzt werden. Laut Google beeinflusst es weder die Aufnahme in die Google-Suche noch ist es ein Ranking-Signal. Das reguläre Suchcrawling läuft weiter über Googlebot.

Wie blockiere ich einen KI-Crawler in der robots.txt?

Mit einem User-agent-Block und einer Disallow-Regel, z. B. User-agent: GPTBot gefolgt von Disallow: /. Beachten Sie: Nutzerausgelöste Abrufe wie ChatGPT-User oder Perplexity-User respektieren robots.txt nicht immer zuverlässig, da sie durch eine konkrete Nutzeranfrage ausgelöst werden.

Fazit

Die Frage ist nicht „KI-Crawler zulassen oder blockieren?", sondern „welche". Such-Crawler zu erlauben ist die Grundvoraussetzung für Sichtbarkeit in ChatGPT, Perplexity und Claude; über Training-Crawler dürfen Sie bewusst entscheiden. Ob Ihre robots.txt heute die richtigen Crawler durchlässt, zeigt eine kostenlose KI-Sichtbarkeitsanalyse in wenigen Minuten.