Welche KI-Bots Ihre Website besuchen – und warum die meisten die falschen sperren

Es gibt einen Fehler, der Unternehmen regelmäßig die Sichtbarkeit in ChatGPT kostet – und er sieht aus wie eine vernünftige Entscheidung. Jemand liest, dass KI-Anbieter Websites für das Training ihrer Modelle auslesen, findet das unfair, und trägt in die robots.txt eine Sperre für alles ein, was nach KI aussieht. Wochen später taucht das Unternehmen in ChatGPT-Antworten nicht mehr auf. Der Zusammenhang wird selten erkannt.

Die Ursache: Hinter den Namen stecken völlig verschiedene Aufgaben. Ein Bot sammelt Trainingsdaten. Ein anderer baut den Suchindex, aus dem ChatGPT beim Antworten schöpft. Ein dritter wird erst aktiv, wenn ein Nutzer gerade eine Frage stellt. Wer alle drei gleich behandelt, entscheidet über etwas anderes, als er denkt.

Drei Arten von Bots, drei verschiedene Folgen

Training. Diese Bots holen Inhalte, die in künftige Modellversionen einfließen können. Bei OpenAI ist das GPTBot, bei Anthropic ClaudeBot. Sperren Sie sie, ändert das nichts an Ihrer Auffindbarkeit – es entzieht lediglich Ihre Texte dem Training.

Suche. Diese Bots bauen den Index, aus dem die Systeme antworten. Bei OpenAI ist das OAI-SearchBot, bei Perplexity PerplexityBot, bei Anthropic Claude-SearchBot. Hier wird es geschäftlich relevant. OpenAI schreibt in der eigenen Dokumentation: Websites, die OAI-SearchBot ausschließen, „werden in ChatGPT-Suchantworten nicht angezeigt" – sie können höchstens noch als Navigationslink erscheinen.

Nutzerausgelöst. Stellt jemand eine Frage und das System ruft dafür eine Seite live ab, kommt ein dritter Bot: ChatGPT-User, Perplexity-User, Claude-User. Diese Abrufe sind keine Crawls, sondern Reaktionen auf eine konkrete Anfrage.

Die praktische Folge: GPTBot zu sperren und OAI-SearchBot zu erlauben ist eine legitime, in sich schlüssige Haltung – kein Training, aber auffindbar bleiben. OpenAI nennt diese Kombination in der Dokumentation ausdrücklich als möglich. Beide zusammen zu sperren ist etwas anderes, und wer es tut, sollte wissen, dass er es tut.

Zwei Details, die regelmäßig übersehen werden

Google-Extended ist kein Bot, den Sie im Log finden. Google formuliert das unmissverständlich: Google-Extended „hat keinen separaten User-Agent-String für HTTP-Anfragen. Das Crawling erfolgt mit vorhandenen User-Agent-Strings von Google. Das robots.txt-User-Agent-Token wird zur Kontrolle verwendet." Es ist also ein reiner Schalter in der robots.txt, der regelt, ob bereits gecrawlte Inhalte für Gemini verwendet werden dürfen. Wer im Server-Log nach „Google-Extended" sucht, wird nie fündig – und schließt daraus fälschlich, Google rühre seine Seite nicht an.

Bei nutzerausgelösten Abrufen greift die robots.txt möglicherweise nicht. OpenAI schreibt zu ChatGPT-User: „Because these actions are initiated by a user, robots.txt rules may not apply." Die Logik dahinter ist dieselbe wie beim Browser – ein Mensch ruft eine öffentliche Seite ab, nur eben über ein Werkzeug. Wer solche Zugriffe wirklich unterbinden will, braucht eine Sperre auf Serverebene, nicht in der robots.txt.

So sehen Sie nach, wer tatsächlich da war

Die Frage „besuchen KI-Bots meine Seite überhaupt?" lässt sich beantworten, ohne ein Werkzeug zu kaufen. Sie steht im Zugriffsprotokoll Ihres Servers.

Bei einem Apache- oder Nginx-Server mit SSH-Zugang:

grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|PerplexityBot|Perplexity-User" \
  /var/log/nginx/access.log | awk '{print $1, $4, $7}' | tail -50

Das zeigt IP, Zeitpunkt und abgerufene Seite der letzten fünfzig Besuche. Bei Hosting-Paketen ohne SSH finden Sie dieselben Daten meist unter „Statistiken" oder „Zugriffsprotokolle" im Kundenmenü; die Datei heißt oft access.log und lässt sich herunterladen.

Drei Dinge lohnen den Blick:

Kommt überhaupt jemand? Wenn in vier Wochen kein einziger Suchbot auftaucht, ist das ein Befund – dann ist Ihre Seite für diese Systeme praktisch nicht vorhanden.

Welche Seiten werden geholt? Wenn ein Suchbot nur die Startseite abruft und nie Ihre Leistungsseiten, sagt das etwas über Ihre interne Verlinkung.

Sind es echte Bots? Der User-Agent ist ein reines Textfeld und beliebig fälschbar. Alle großen Anbieter veröffentlichen deshalb ihre IP-Bereiche: OpenAI unter openai.com/gptbot.json, openai.com/searchbot.json und openai.com/chatgpt-user.json, Anthropic und Perplexity in ihren Dokumentationen. Wer einen auffälligen Zugriff sieht, gleicht die IP dagegen ab.

Eine robots.txt, die Suche erlaubt und Training ausschließt

Diese Fassung macht Ihre Seite für die Suchsysteme zugänglich und nimmt sie gleichzeitig aus dem Modelltraining. Sie ist ein Vorschlag, keine Empfehlung für jeden Fall – die Abwägung gehört Ihnen.

# Suche erlauben – hier entscheidet sich Ihre Auffindbarkeit
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Training ausschließen
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://ihre-domain.de/sitemap.xml

Zwei Hinweise zur Wirkung. OpenAI weist darauf hin, dass es nach einer Änderung der robots.txt etwa 24 Stunden dauern kann, bis die Systeme sich angepasst haben – prüfen Sie also nicht zehn Minuten später. Und: Eine robots.txt ist eine Bitte, kein Schloss. Sie wird von den genannten Anbietern respektiert, hält aber niemanden auf, der sie ignorieren will.

Neu hinzugekommen: der Bot für Anzeigen

In der OpenAI-Dokumentation steht inzwischen ein vierter Name: OAI-AdsBot. Er ruft ausschließlich Seiten ab, die als Anzeige in ChatGPT eingereicht wurden, prüft sie auf Richtlinienkonformität und zieht Inhalte heran, um die Ausspielung zu steuern. Für Training wird er laut OpenAI nicht verwendet. Wer keine Anzeigen schaltet, wird ihn im Log nicht sehen – es lohnt aber zu wissen, dass es ihn gibt.

Was das praktisch bedeutet

Sichtbarkeit in KI-Antworten beginnt bei einer technischen Grundvoraussetzung: Die Suchbots müssen herein dürfen. Das ist keine hinreichende Bedingung – dass Ihre Seite gelesen wird, heißt nicht, dass sie empfohlen wird. Aber es ist die notwendige. Eine gesperrte Seite kann in keiner Antwort auftauchen, egal wie gut ihre Inhalte sind.

Deshalb lohnt die Reihenfolge: erst robots.txt prüfen, dann ins Log schauen, ob die Bots tatsächlich kommen – und erst danach über Inhalte und Formulierungen nachdenken.

Wenn Sie wissen wollen, wie die KI-Systeme heute über Ihr Unternehmen sprechen und ob Sie bei den typischen Kundenfragen Ihrer Branche überhaupt vorkommen, können Sie das mit unserem kostenlosen KI-Sichtbarkeits-Test prüfen lassen. Wir stellen ChatGPT, Perplexity, Gemini und Google reale Kundenfragen aus Ihrem Bereich und zeigen Ihnen, wer stattdessen genannt wird. Was daraus folgt, steht in unseren Leistungen – und wenn Sie lieber direkt sprechen möchten, erreichen Sie uns über das Kontaktformular. Weitere Beiträge finden Sie in unserem Ratgeber.

Häufige Fragen

Verliere ich Google-Rankings, wenn ich GPTBot sperre?

Nein. GPTBot gehört zu OpenAI und hat mit dem Googlebot nichts zu tun. Ihre Platzierungen in der klassischen Google-Suche bleiben unberührt.

Wenn ich alle KI-Bots sperre – bin ich dann aus ChatGPT verschwunden?

Aus den Suchantworten ja, sobald OAI-SearchBot ausgeschlossen ist. OpenAI hält fest, dass solche Seiten in ChatGPT-Suchantworten nicht angezeigt werden. Was das Modell bereits aus früherem Training über Sie weiß, bleibt davon unberührt – ist aber statisch und veraltet mit der Zeit.

Woran erkenne ich einen gefälschten Bot?

Am Abgleich der IP-Adresse mit den veröffentlichten Bereichen des jeweiligen Anbieters. Der User-Agent allein beweist nichts, er lässt sich frei setzen.

Wie schnell wirkt eine Änderung an der robots.txt?

OpenAI nennt für die eigenen Systeme rund 24 Stunden. Andere Anbieter machen dazu keine festen Angaben; rechnen Sie eher in Tagen als in Minuten.

Brauche ich zusätzlich eine llms.txt?

Das ist ein vorgeschlagener Standard, der bislang von keinem der großen Anbieter verbindlich unterstützt wird. Er schadet nicht, ersetzt aber keine saubere robots.txt – und sollte nicht mit ihr verwechselt werden.