Plattform
Common Crawl: Was CCBot sammelt und warum die Entscheidung darüber weiter reicht als bei anderen Bots
Steckbrief
Nach der Seite von Common Crawl zu CCBot, Stand 11.10.2026.
| Merkmal | Angabe von Common Crawl |
|---|---|
| Betreiber | Common Crawl, eine gemeinnützige Stiftung |
| Zweck | offenes Archiv von Web-Crawl-Daten, für jeden zugänglich und auswertbar |
| Kennung | CCBot/2.0 |
| Sperre | „User-agent: CCBot“ mit „Disallow: /“ in der robots.txt |
| Echtheit | eigene IP-Bereiche mit Rückwärtsauflösung; Liste unter index.commoncrawl.org/ccbot.json |
Warum die Entscheidung weiter reicht
Bei GPTBot oder ClaudeBot entscheiden Sie über einen Anbieter. Ein offenes Archiv kann von jedem ausgewertet werden. Wofür einzelne Nutzer die Daten verwenden, führt die Seite von Common Crawl nicht auf; sie spricht allgemein von Zusammenarbeit und Forschung.
Falsche CCBots
Common Crawl weist selbst darauf hin, dass sich Crawler fälschlich als CCBot ausgeben. Ein Zugriff mit dieser Kennung ist deshalb nur dann echt, wenn die IP-Adresse aus den veröffentlichten Bereichen stammt.
So sperren Sie CCBot
User-agent: CCBot
Disallow: /Was Sie konkret tun können
- Suchen Sie in der robots.txt nach „CCBot“.
- Entscheiden Sie bewusst: Sollen Ihre Inhalte in einem offenen Archiv liegen?
- Prüfen Sie bei auffällig vielen Zugriffen die IP-Adressen gegen die Liste von Common Crawl.
Häufige Fragen
Ist CCBot ein KI-Crawler?
Common Crawl beschreibt ihn als Crawler für ein offenes Web-Archiv. Wofür Dritte das Archiv nutzen, legt die Seite nicht im Einzelnen dar.
Macht mich eine Sperre in KI-Antworten unsichtbar?
Auf die Such-Kennungen der KI-Assistenten hat die Sperre keinen Einfluss.
Wirkt die Sperre rückwirkend?
Eine robots.txt wirkt für künftige Besuche. Zu bereits archivierten Daten macht die Seite, die wir gelesen haben, keine Angabe.
Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026