Vergleich

robots.txt oder llms.txt: Welche Datei brauchen Sie wirklich?

Kurzantwort

Sie brauchen die robots.txt. Sie regelt, welche Crawler was abrufen dürfen, und wird von den Anbietern ausdrücklich als Steuermittel genannt. Die llms.txt ist ein freiwilliger Wegweiser ohne steuernde Wirkung und ohne belegte Wirkung auf die Auswahl von Quellen.

Der Vergleich im Überblick

	robots.txt	llms.txt
Was sie ist	Regeln für Crawler	Inhaltsverzeichnis für Sprachmodelle in Markdown
Status	etablierte Konvention	Vorschlag von 2024, kein Standard
Steuert Zugriffe	ja	nein
Von KI-Anbietern dokumentiert	ja: OpenAI, Anthropic, Perplexity, Google	uns ist keine öffentliche Zusage bekannt
Laut Google für die KI-Funktionen der Suche nötig	Googlebot darf nicht gesperrt sein	nein, ausdrücklich nicht
Risiko bei Fehlern	hoch: eine Zeile kann die ganze Website ausschließen	gering

Warum die robots.txt zuerst kommt

Ein Fehler in der robots.txt macht jede weitere Arbeit wirkungslos. Eine pauschale Sperre der Such-Kennungen entfernt eine Website aus den Antworten, ohne dass irgendwo ein Fehler angezeigt wird.

Wozu die llms.txt taugt

Sie kostet wenig und zwingt dazu, die zehn bis zwanzig wichtigsten Seiten zu benennen. Das ist als Ordnungsübung nützlich. Einen messbaren Effekt auf Nennungen können wir nicht belegen.

So gehen Sie vor

Prüfen Sie die robots.txt auf Sperren für OAI-SearchBot, PerplexityBot, Claude-SearchBot und Googlebot.
Prüfen Sie Sitemap und Indexierung in der Google Search Console und in den Bing Webmaster Tools.
Legen Sie danach, wenn Sie möchten, eine llms.txt mit Ihren wichtigsten Seiten an.
Pflegen Sie beide Dateien bei jedem Umbau der Website mit.

Einschätzung

Wer eine llms.txt als erste Maßnahme verkauft bekommt, sollte nachfragen, was mit der robots.txt ist. Die Reihenfolge verrät, ob jemand nach belegter Wirkung arbeitet.

Häufige Fragen

Kann die llms.txt die robots.txt ersetzen?

Nein. Sie hat keine steuernde Wirkung auf Crawler.

Schadet eine llms.txt?

Nicht, solange sie aktuell ist. Eine Liste mit toten Adressen ist schlechter als keine.

Lesen KI-Systeme die robots.txt wirklich?

OpenAI, Anthropic, Perplexity und Google beschreiben sie in ihrer Dokumentation als das Mittel, ihre Crawler zu steuern. Für nutzerausgelöste Abrufe gelten bei OpenAI und Perplexity Ausnahmen.

Quellen

Weiter im Thema

Vom Vergleich zur Messung

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026