Wissen
KI-Crawler über die robots.txt steuern
Welche KI-Crawler es gibt, wie man Such- und Trainings-Bots unterscheidet und wie die robots.txt öffentliche Inhalte zugänglich hält.
KI-Crawler lassen sich grob in zwei Gruppen teilen: Bots für KI-Suche und Antwortsysteme wie OAI-SearchBot, ChatGPT-User, PerplexityBot und ClaudeBot sowie reine Trainings-Crawler wie GPTBot. Beide Gruppen sollten bewusst und getrennt behandelt werden.
Wer in KI-Antworten zitiert werden möchte, sollte Such- und Antwort-Crawlern den Zugriff auf öffentliche Inhalte erlauben. Eine pauschale Sperre dieser Bots verhindert genau die Sichtbarkeit, die mit KI-Optimierung erreicht werden soll.
Trainings-Crawler können unabhängig davon erlaubt oder blockiert werden. Diese Entscheidung ist strategisch und sollte dokumentiert sein – sie beeinflusst nicht zwingend die unmittelbare Sichtbarkeit in der KI-Suche.
Die robots.txt steuert das Crawling, verhindert aber nicht zuverlässig die Indexierung bereits bekannter URLs. Inhalte, die sicher aus Such- und Antwortsystemen ferngehalten werden sollen, benötigen zusätzlich ein noindex-Signal oder eine Zugriffsbeschränkung.
Eine saubere robots.txt sperrt nur bewusst gewählte Bereiche, blockiert keine wichtigen öffentlichen Verzeichnisse versehentlich und verweist auf die XML-Sitemap. Generierte Regeln sollten niemals ungeprüft eine bestehende robots.txt ersetzen.
Die KI-Sichtbarkeitsanalyse prüft die robots.txt auf blockierte KI-Suchcrawler und erzeugt im Pro-Report eine ergänzende, kommentierte Regeldatei, die mit den bestehenden Regeln zusammengeführt werden muss.