Anleitung

KI-Crawler in den Logfiles finden: So sehen Sie, welche Bots Ihre Website abrufen

Kurzfassung

Sie durchsuchen die Zugriffsprotokolle Ihres Servers nach den Kennungen der KI-Anbieter. Danach wissen Sie, welche Bots tatsächlich kommen, welche Seiten sie abrufen und ob Menschen über einen KI-Assistenten auf Ihre Seiten gelangen.

Aufwand	30 bis 60 Minuten beim ersten Mal
Voraussetzung	Zugriff auf die Zugriffsprotokolle (Access-Logs) Ihres Hostings
Ergebnis	eine Tabelle: Kennung, Zahl der Zugriffe, am häufigsten abgerufene Seiten

Was Sie daraus lesen können

Zugriffe der Such-Kennungen zeigen, dass Ihre Seiten erfasst werden dürfen. Zugriffe unter ChatGPT-User, Perplexity-User oder Claude-User bedeuten: Jemand hat gerade über diesen Assistenten eine Ihrer Seiten angesehen. Welche Frage gestellt wurde, sehen Sie nicht.

Schritt für Schritt

Logfiles beschaffen
Laden Sie die Zugriffsprotokolle der letzten vier Wochen aus der Verwaltung Ihres Hostings herunter. Fehlt der Menüpunkt, fragen Sie den Anbieter; manche Tarife speichern nur wenige Tage.
Nach Such-Kennungen suchen
Suchen Sie nach „OAI-SearchBot“, „PerplexityBot“ und „Claude-SearchBot“ und zählen Sie die Treffer.
Nach Nutzer-Abrufen suchen
Suchen Sie nach „ChatGPT-User“, „Perplexity-User“ und „Claude-User“.
Abgerufene Seiten auswerten
Lassen Sie sich je Kennung die am häufigsten abgerufenen Adressen ausgeben.
Echtheit prüfen
Gleichen Sie auffällige Zugriffe mit den IP-Listen der Anbieter ab, etwa openai.com/searchbot.json oder perplexity.com/perplexitybot.json.
Festhalten und wiederholen
Tragen Sie die Zahlen mit Datum in eine Tabelle ein und wiederholen Sie die Auswertung monatlich.

Suchbefehle für die Kommandozeile

Die Befehle gehen vom verbreiteten Combined-Format aus, in dem die abgerufene Adresse das siebte Feld ist.

# Zugriffe je Kennung zählen
grep -c "OAI-SearchBot" access.log
grep -c "ChatGPT-User" access.log

# Die 20 meistabgerufenen Seiten der Nutzer-Abrufe
grep -E "ChatGPT-User|Perplexity-User|Claude-User" access.log \
  | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Ohne Kommandozeile geht es auch: Datei in einem Texteditor öffnen und nach den Kennungen suchen.

Kontrolle: Woran Sie sehen, dass es geklappt hat

Sie haben für jede Kennung eine Zahl, auch wenn sie null ist.
Sie kennen die Seiten, die über Nutzer-Abrufe am häufigsten angesehen wurden.
Die Zahlen stehen mit Datum in einer Tabelle.

Typische Fehler

Null Zugriffe einer Such-Kennung als Beweis für eine Sperre lesen. Es kann auch heißen, dass der Bot Ihre Seite noch nicht besucht hat.
Jeden Zugriff mit passender Kennung für echt halten. Kennungen lassen sich fälschen; maßgeblich sind die IP-Adressen.
Website-Statistik und Logfile verwechseln. Statistik-Werkzeuge, die im Browser laufen, erfassen Bots in der Regel nicht.

Einschätzung

Die Logfiles sind die einzige Quelle, die nichts kostet und nichts schätzt. Wir sehen sie uns bei jeder Analyse an, bevor wir irgendein Werkzeug öffnen.

Häufige Fragen

Mein Hosting bietet keine Logfiles. Was nun?

Fragen Sie nach. Viele Anbieter schalten sie auf Wunsch frei. Bei vorgeschaltetem CDN finden Sie die Zugriffe in dessen Auswertung.

Wie viele Zugriffe sind normal?

Dafür gibt es keinen belastbaren Vergleichswert. Aussagekräftig ist die Entwicklung Ihrer eigenen Zahlen.

Sehe ich auch Google-Extended?

Nein. Es hat laut Google keine eigene Kennung im Zugriff.

Quellen

Weiter im Thema

Erst messen, dann umsetzen

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026