Glossar · KI-Crawler

Was ist ClaudeBot?

Definition

ClaudeBot ist der Crawler von Anthropic, der Webinhalte sammelt, die zum Training der Claude-Modelle beitragen können. Daneben nennt Anthropic zwei weitere Kennungen: Claude-SearchBot für die Suche und Claude-User für Abrufe, die ein Nutzer auslöst.

Warum das für Ihr Unternehmen zählt

Wie bei OpenAI gilt: Training und Suche sind getrennt. Wer ClaudeBot ausschließt, nimmt seine Inhalte aus künftigen Trainingsdaten. Wer Claude-SearchBot oder Claude-User ausschließt, verringert nach Angaben von Anthropic die Sichtbarkeit in den Suchergebnissen und Antworten von Claude.

Die drei Kennungen von Anthropic

Stand des Anthropic-Hilfeartikels am 11.10.2026.

Kennung	Zweck laut Anthropic	Folge einer Sperre
ClaudeBot	sammelt Inhalte, die zum Training beitragen können	künftige Inhalte der Website sollen nicht in Trainingsdaten einfließen
Claude-SearchBot	durchsucht das Web, um die Qualität der Suchergebnisse zu verbessern	Inhalte werden nicht für die Suche indexiert
Claude-User	ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt	Inhalte können für die Antwort auf eine Nutzerfrage nicht abgerufen werden

Was Sie konkret tun können

Prüfen Sie die robots.txt auf alle drei Kennungen, nicht nur auf ClaudeBot.
Wenn der Crawler Ihren Server belastet, nutzen Sie Crawl-delay. Anthropic unterstützt diese Angabe.
Sperren Sie nicht über IP-Adressen. Anthropic weist darauf hin, dass das nicht zuverlässig oder dauerhaft wirkt, und empfiehlt die robots.txt.
Testen Sie Claude mit denselben Fragen, die Sie ChatGPT stellen, und vergleichen Sie.

Aus unserer eigenen Messung

Am 16.09.2026 haben wir zwölf Fragen an drei Systeme gestellt. ChatGPT nannte unsere Marken bei 7 Fragen, Perplexity bei 4, Claude bei keiner. Die Ursache war keine Sperre: Unsere Domains tauchten unter den Quellen, die Claude heranzog, schlicht nicht auf. Die vollständige Auswertung steht in der Fallstudie.

Was die robots.txt hier nicht löst

Eine Freigabe sorgt dafür, dass die Bots Ihre Seite erfassen dürfen. Ob Claude sie bei einer Frage heranzieht, hängt davon ab, welche Quellen das System für diese Frage findet.

Einschätzung

Claude wird bei Prüfungen am häufigsten vergessen. Unsere eigene Messung zeigt, warum das ein Fehler ist: Sichtbar in ChatGPT heißt nicht sichtbar in Claude.

Häufige Fragen zu ClaudeBot

Hält sich ClaudeBot an die robots.txt?

Anthropic schreibt, dass seine Bots die branchenüblichen Anweisungen in der robots.txt beachten.

Kann ich Training verbieten und trotzdem in Claude gefunden werden?

Ja. Sperren Sie ClaudeBot und lassen Sie Claude-SearchBot und Claude-User zu.

Wo stehen die IP-Adressen der Bots?

Anthropic verweist auf eine Liste unter claude.com/crawling/bots.json, empfiehlt für das Aussperren aber die robots.txt.

Quellen

Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?

Verwandte Begriffe

Weiter im Thema

Vom Begriff zur Messung

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026