Anleitung

Cloudflare: So stellen Sie ein, welche KI-Bots Ihre Website abrufen dürfen

Kurzfassung

Wenn Ihre Website hinter Cloudflare liegt, entscheidet eine Einstellung im Cloudflare-Konto mit darüber, welche KI-Bots durchkommen. Sie prüfen die Richtlinien für die drei Gruppen Suche, Agenten und Training und stellen sicher, dass die Suche erlaubt ist.

Aufwand	etwa 15 Minuten
Voraussetzung	Zugang zum Cloudflare-Konto der Domain
Ergebnis	eine bewusste Einstellung je Bot-Gruppe

Warum das wichtig ist

Eine Sperre bei Cloudflare steht in keiner robots.txt. Die Website wirkt von innen offen, die Bots erhalten aber eine Ablehnung. Nach der Dokumentation von Cloudflare gelten seit dem 15. September 2026 für neu angelegte Domains Voreinstellungen, die Trainings- und Agenten-Bots auf Seiten mit Werbung blockieren und Such-Bots zulassen.

Die ältere Einstellung „Block AI bots“ bezeichnet Cloudflare als veraltet; sie blockierte Bots, die für das KI-Training crawlen.

Die Auswahl je Bot-Gruppe

Bezeichnungen nach der Cloudflare-Dokumentation, Stand 11.10.2026. Je nach Tarif und Sprache kann die Oberfläche abweichen.

Option	Bedeutung
Block (on all pages)	Bots der Gruppe werden auf allen Seiten blockiert
Block on pages with ads	Bots der Gruppe werden nur auf Seiten mit Werbung blockiert
Allow (do not block)	Bots der Gruppe werden nicht blockiert

Schritt für Schritt

Domain öffnen
Melden Sie sich bei Cloudflare an und wählen Sie die Domain.
Einstellung aufrufen
Öffnen Sie „Security Settings“ und dort „Configure AI bot policies“.
Gruppe Suche prüfen
Stellen Sie die Gruppe „Search“ auf „Allow“, wenn Sie in den Suchantworten der KI-Assistenten vorkommen wollen.
Gruppe Training entscheiden
Legen Sie für „Training“ fest, was zu Ihrer Entscheidung über das KI-Training passt.
Gruppe Agenten entscheiden
Entscheiden Sie für „Agent“, ob automatisierte Assistenten Ihre Seiten abrufen dürfen.
Weitere Regeln durchsehen
Prüfen Sie eigene Firewall-Regeln, die Bots nach Kennung blockieren. Sie wirken zusätzlich.
Mit den Logfiles gegenprüfen
Sehen Sie nach einigen Tagen nach, ob die Such-Kennungen Ihre Seiten abrufen.

Kontrolle: Woran Sie sehen, dass es geklappt hat

Die Gruppe „Search“ steht auf „Allow“.
Für „Training“ und „Agent“ gibt es eine Einstellung, die Sie bewusst gewählt haben.
In der Auswertung von Cloudflare oder in den Logfiles erscheinen Zugriffe der Such-Kennungen.

Typische Fehler

Nur die robots.txt prüfen und Cloudflare vergessen.
Eine Voreinstellung für eine eigene Entscheidung halten.
Alle Gruppen blockieren, um das Training zu verhindern, und damit auch die Suche aussperren.

Einschätzung

Cloudflare ist nur ein Beispiel. Dieselbe Frage stellt sich bei jedem CDN, jeder Firewall und jedem Sicherheits-Plugin: Gibt es dort eine Regel gegen Bots, von der im Haus niemand weiß?

Häufige Fragen

Betrifft mich das, wenn ich Cloudflare nicht nutze?

Diese Einstellung nicht. Prüfen Sie stattdessen Ihr CDN, Ihre Firewall und Ihre Sicherheits-Plugins auf ähnliche Regeln.

Woran erkenne ich, ob meine Domain über Cloudflare läuft?

Fragen Sie Ihren Webdienstleister oder sehen Sie in der Domainverwaltung nach, welche Nameserver eingetragen sind.

Ersetzt die Einstellung die robots.txt?

Nein. Beides wirkt unabhängig voneinander.

Quellen

Cloudflare Docs: Block AI bots

Weiter im Thema

Erst messen, dann umsetzen

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026