Glossar · KI-Crawler

Was ist ein KI-Crawler?

Definition

Ein KI-Crawler ist ein Programm, das Webseiten im Auftrag eines KI-Anbieters abruft. Die Anbieter unterscheiden dabei drei Zwecke mit jeweils eigenen Kennungen: Sammeln von Trainingsdaten, Aufbau eines Suchindex und Abruf einer Seite, wenn ein Nutzer gerade eine Frage stellt.

Warum das für Ihr Unternehmen zählt

Die drei Zwecke lassen sich getrennt erlauben oder sperren. Das ist der Punkt, an dem die meisten Fehler entstehen: Wer „alle KI-Bots“ aussperrt, um nicht für das Training verwendet zu werden, verschwindet zugleich aus den Suchantworten.

Die wichtigsten Kennungen

Stand der Dokumentation der Anbieter am 11.10.2026. Zu jeder Kennung gibt es eine eigene Seite im Glossar.

Anbieter	Training	Suche	Abruf für einen Nutzer
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	laut Perplexity kein Trainings-Crawling	PerplexityBot	Perplexity-User
Google	Google-Extended (Kennwort, kein eigener Bot)	Googlebot	–

Was Sie konkret tun können

Öffnen Sie ihre-domain.de/robots.txt und suchen Sie nach den Kennungen aus der Tabelle sowie nach „User-agent: *“ mit „Disallow: /“.
Prüfen Sie Sicherheits-Plugin, Firewall und CDN auf Regeln gegen „AI bots“ oder „KI-Crawler“.
Suchen Sie in den Server-Logfiles nach den Such-Kennungen. Fehlen sie über Wochen, kommt vermutlich etwas nicht durch.
Entscheiden Sie Training und Suche getrennt und halten Sie die Entscheidung schriftlich fest.

Wo die robots.txt endet

Die robots.txt ist eine Bitte, kein Schloss. Die genannten Anbieter erklären, ihre Crawler daran auszurichten. Abrufe, die ein Nutzer auslöst, behandeln OpenAI und Perplexity nach eigenen Angaben anders: Dort greifen die Regeln unter Umständen nicht. Wer Inhalte wirklich schützen muss, braucht einen Zugriffsschutz.

Einschätzung

Die Prüfung der Crawler-Zugriffe ist die Maßnahme mit dem besten Verhältnis von Aufwand zu Wirkung. Sie dauert Minuten und entscheidet darüber, ob jede weitere Arbeit an Inhalten überhaupt ankommen kann.

Häufige Fragen zu KI-Crawler

Soll ich KI-Crawler erlauben oder sperren?

Die Such-Kennungen sollten Sie erlauben, wenn Sie in Antworten vorkommen wollen. Ob Sie das Training erlauben, ist eine eigene Entscheidung.

Belasten KI-Crawler meinen Server?

Das kann vorkommen. Anthropic unterstützt nach eigenen Angaben die Angabe Crawl-delay in der robots.txt.

Wie erkenne ich gefälschte Bots?

Die Anbieter veröffentlichen die IP-Adressen ihrer Crawler. Ein Zugriff mit passender Kennung, aber fremder IP-Adresse stammt nicht vom Anbieter.

Quellen

Verwandte Begriffe

Weiter im Thema

Vom Begriff zur Messung

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026