Checkliste

robots.txt auf KI-Crawler prüfen: die Checkliste in sieben Schritten

Kurzfassung

Sie öffnen Ihre robots.txt, suchen nach pauschalen Sperren und nach acht Kennungen und entscheiden für jede, ob sie erlaubt sein soll. Danach wissen Sie, ob Ihre Website für die Suchantworten der KI-Assistenten überhaupt erreichbar ist.

Aufwand	etwa 20 Minuten
Voraussetzung	Zugriff auf die Datei robots.txt oder auf die Einstellung dazu in Ihrem Website-System
Ergebnis	eine robots.txt, in der jede Regel eine bewusste Entscheidung ist

Die Kennungen, nach denen Sie suchen

Stand der Dokumentation der Anbieter am 11.10.2026.

Kennung	Anbieter	Zweck
OAI-SearchBot	OpenAI	Suche in ChatGPT
GPTBot	OpenAI	Training
PerplexityBot	Perplexity	Suche in Perplexity
Claude-SearchBot	Anthropic	Suche
Claude-User	Anthropic	Abruf für einen Nutzer
ClaudeBot	Anthropic	Training
Googlebot	Google	Google-Suche einschließlich AI Overviews und AI Mode
Google-Extended	Google	Gemini-Training und Grounding in den Gemini-Apps

Schritt für Schritt

Datei aufrufen
Öffnen Sie ihre-domain.de/robots.txt im Browser. Erscheint ein Fehler, gibt es keine Datei; dann ist nichts gesperrt.
Pauschale Sperre suchen
Suchen Sie nach „User-agent: *“. Steht darunter „Disallow: /“, ist die gesamte Website für alle Crawler gesperrt, die keine eigene Regel haben.
Die acht Kennungen suchen
Suchen Sie nacheinander nach jeder Kennung aus der Tabelle und notieren Sie, was darunter steht.
Suche und Training trennen
Markieren Sie die Such-Kennungen und die Trainings-Kennungen getrennt. Die Entscheidung über das Training ist eine andere als die über die Suche.
Entscheiden
Legen Sie für jede Kennung fest: erlauben oder sperren. Für die Such-Kennungen lautet die Antwort fast immer: erlauben.
Datei anpassen
Ändern Sie die Regeln in der Datei oder in der entsprechenden Einstellung Ihres Systems. Manche Systeme und Plugins erzeugen die robots.txt automatisch und überschreiben Änderungen von Hand.
Nach einem Tag gegenprüfen
Rufen Sie die Datei erneut auf. OpenAI und Perplexity nennen rund 24 Stunden, bis ihre Systeme eine Änderung berücksichtigen.

Beispiel: Suche erlaubt, Training gesperrt

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.ihre-domain.example/sitemap.xml

Wer auch das Training erlauben will, lässt die beiden Disallow-Blöcke weg.

Kontrolle: Woran Sie sehen, dass es geklappt hat

Die Datei ist unter ihre-domain.de/robots.txt erreichbar und zeigt Ihre Änderung.
Keine Such-Kennung steht mehr unter einem „Disallow: /“.
In den Server-Logfiles tauchen in den folgenden Wochen Zugriffe der Such-Kennungen auf.

Typische Fehler

Nur die robots.txt prüfen. Firewall, CDN und Sicherheits-Plugins können dieselben Bots zusätzlich blockieren.
Training und Suche in einen Topf werfen und alles sperren.
Die Datei von Hand ändern, obwohl ein Plugin sie bei jedem Speichern neu erzeugt.
Die robots.txt für einen Zugriffsschutz halten. Sie ist eine Bitte an Crawler, kein Schloss.

Einschätzung

Diese Prüfung steht bei uns vor jeder anderen Arbeit. In der Mehrzahl der Fälle ist alles in Ordnung. Wenn nicht, erklärt dieser eine Fund oft die gesamte Unsichtbarkeit.

Häufige Fragen

Was ist, wenn ich gar keine robots.txt habe?

Dann ist nichts gesperrt. Eine Datei mit dem Verweis auf Ihre Sitemap ist trotzdem sinnvoll.

Muss ich jede Kennung einzeln erlauben?

Nein. Ohne eigene Regel gilt für einen Crawler der Abschnitt „User-agent: *“. Einzelne Einträge machen die Entscheidung nur ausdrücklich.

Gilt die robots.txt auch für Abrufe im Auftrag eines Nutzers?

OpenAI und Perplexity weisen darauf hin, dass die Regeln für solche Abrufe unter Umständen nicht greifen.

Quellen

Weiter im Thema

Erst messen, dann umsetzen

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026