Vergleich
KI-Training erlauben oder sperren: Was Sie gewinnen und was Sie verlieren
Der Vergleich im Überblick
Stand der Dokumentation der Anbieter am 11.10.2026.
| Anbieter | Kennung für das Training | Was eine Sperre nicht berührt |
|---|---|---|
| OpenAI | GPTBot | die Suche in ChatGPT (OAI-SearchBot) |
| Anthropic | ClaudeBot | Claude-SearchBot und Claude-User |
| Google-Extended | die Google-Suche; betroffen ist aber auch das Grounding in den Gemini-Apps | |
| Perplexity | laut Perplexity kein Crawling für KI-Grundmodelle | – |
Was für das Erlauben spricht
Was ein Modell im Training gesehen hat, kann es auch ohne Websuche nennen. Wer fehlt, kommt in Antworten aus dem Modellwissen nicht vor. Für ein Unternehmen, das mit öffentlichen Informationen Kunden gewinnen will, ist das ein Nachteil ohne Gegenwert.
Was für das Sperren spricht
Inhalte, die selbst das Produkt sind, verlieren an Wert, wenn sie ohne Besuch der Website wiedergegeben werden. Auch rechtliche und vertragliche Gründe können eine Sperre nahelegen. Das ist eine unternehmerische Entscheidung, die wir niemandem abnehmen.
Was eine Sperre nicht kann
Die robots.txt wirkt für die Zukunft. Anthropic spricht ausdrücklich davon, dass künftige Inhalte ausgenommen werden sollen. Was bereits erfasst wurde, holt eine Sperre nicht zurück.
Training sperren, Suche offen lassen
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Die Such-Kennungen (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot) bleiben mit dieser Fassung erlaubt, sofern keine andere Regel sie ausschließt.
Häufige Fragen
Verliere ich Sichtbarkeit in KI-Antworten, wenn ich das Training sperre?
In Antworten mit Websuche nicht, solange die Such-Kennungen erlaubt sind. In Antworten aus dem Modellwissen können Sie künftig fehlen.
Ist die Sperre rechtlich verbindlich?
Das ist eine Rechtsfrage, die wir nicht beantworten können. Die genannten Anbieter erklären, ihre Crawler an der robots.txt auszurichten.
Kann ich nur einzelne Verzeichnisse sperren?
Ja. Statt „Disallow: /“ geben Sie den Pfad an, etwa einen geschützten Mitgliederbereich.
Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026