20-Minuten-Technik-Check: robots.txt, Sitemap, Markup und Ladezeit in einer Tabelle

KI-gestützt · redaktionell geprüft

23. Oktober 2026· 7 Min. Lesezeit· Von Malte Schätzel, Spezialist für KI-Sichtbarkeit (GEO)· redaktionell geprüft am 23. Oktober 2026· Deutschland

Wer seine Website für Google und für KI-Antworten absichern will, braucht keine stundenlange Agentur-Analyse, sondern eine klare Reihenfolge. Die folgende Tabelle listet acht Prüfpunkte so, wie sie sich tatsächlich auswirken – vom größten Risiko bis zur kleinsten Feinjustierung – und zeigt bei jedem Punkt genau, wie Sie selbst in wenigen Minuten prüfen können, ob er erfüllt ist.

Warum die Reihenfolge über Erfolg oder Leerlauf entscheidet

Die meisten Technik-Ratgeber listen robots.txt, Sitemap, Markup und Ladezeit gleichwertig nebeneinander auf. In der Praxis ist das irreführend: Eine robots.txt, die versehentlich den gesamten Server sperrt, macht jede Optimierung an Core Web Vitals oder Schema-Markup wirkungslos, weil kein Crawler die Seite überhaupt erreicht. Google selbst stellt klar, dass die robots.txt-Datei im Top-Level-Verzeichnis einer Website liegen und über ein unterstütztes Protokoll – HTTP, HTTPS oder FTP – abrufbar sein muss, sonst gilt sie schlicht nicht für die betreffende Domain Google Search Central. Genau deshalb steht der Grundzugriff in dieser Checkliste ganz oben: Er ist die Voraussetzung für alles Weitere, nicht ein Punkt unter vielen.

Diese Priorisierung gilt besonders für Unternehmen, die zusätzlich zur klassischen Google-Sichtbarkeit auch in KI-Antworten erscheinen wollen. GPTBot, ClaudeBot oder PerplexityBot lesen dieselbe robots.txt wie der Googlebot – werden sie dort pauschal mit Disallow: / blockiert, verschwindet die Seite aus ChatGPT- und Perplexity-Antworten, ohne dass ein einziger Rankingfaktor etwas damit zu tun hat.

Die Checkliste: Acht Prüfpunkte nach Wirkung sortiert

Prüfpunkt	Warum	So prüfen Sie es
1. robots.txt-Grundzugriff (kein globales Disallow)	Die Datei muss im Stammverzeichnis liegen und wird nur für genau die aufgerufene Domain, Subdomain und das Protokoll ausgewertet, unter dem sie abgelegt ist Google Search Central. Ein falsches `Disallow: /` unter `User-agent: *` sperrt die gesamte Seite für alle Crawler.	Rufen Sie https://ihredomain.de/robots.txt direkt im Browser auf. Suchen Sie nach `Disallow: /` ohne einschränkenden Pfad unterhalb von `User-agent: *`.
2. KI-Crawler einzeln geprüft (GPTBot, ClaudeBot, PerplexityBot, Google-Extended)	Viele Shop- und CMS-Vorlagen sperren KI-Crawler per Default-Einstellung, ohne dass Betreiber es bemerken – oft aus Datenschutz-Vorsicht, nicht aus Absicht.	Durchsuchen Sie die robots.txt gezielt nach den Namen der KI-Bots. Details zu den einzelnen Bots und typischen Fehlkonfigurationen finden Sie unter Welche KI-Bots Ihre Website besuchen.
3. Sitemap in robots.txt verlinkt und Datei gültig	Eine Sitemap-Index-Datei darf laut Protokoll nicht mehr als 50.000 Sitemaps auflisten und muss kleiner als 50 MB sein; die Sitemap selbst muss UTF-8-kodiert sein und mit dem `urlset`-Tag beginnen sitemaps.org.	Prüfen Sie die letzte Zeile der robots.txt auf `Sitemap: https://...sitemap.xml`, öffnen Sie die Datei und kontrollieren Sie Kodierung sowie `<url>`- und `<loc>`-Einträge.
4. Meta-Robots / X-Robots-Tag ohne versehentliches noindex	robots.txt steuert das Crawlen, der Meta-Robots-Tag steuert die Indexierung – beide Mechanismen sind unabhängig voneinander und können sich gegenseitig neutralisieren.	Seitenquelltext öffnen (Strg+U) und nach `name="robots" content="noindex"` suchen, besonders auf Kategorie- und Startseiten.
5. Largest Contentful Paint (LCP) ≤ 2,5 Sekunden	Für eine gute Nutzererfahrung sollte der LCP innerhalb von 2,5 Sekunden nach Ladebeginn erfolgen web.dev; schlechte Werte senken den Core-Web-Vitals-Status der gesamten URL-Gruppe Search Console Help.	Search Console öffnen, Bericht „Core Web Vitals“ prüfen, oder PageSpeed Insights für einzelne URLs nutzen.
6. Interaction to Next Paint (INP) ≤ 200 Millisekunden	INP sollte 200 Millisekunden oder weniger betragen, um Interaktionen als reaktionsschnell wahrzunehmen web.dev.	PageSpeed Insights oder Chrome-DevTools-Performance-Panel nutzen, reale Nutzerinteraktion simulieren (Klick, Formularfeld).
7. Cumulative Layout Shift (CLS) ≤ 0,1	Ein CLS-Wert von 0,1 oder darunter gilt als Grenze für visuelle Stabilität web.dev; springende Layouts verschlechtern sowohl Nutzererfahrung als auch den Core-Web-Vitals-Status.	PageSpeed Insights ausführen, Abschnitt „Visuelle Stabilität“ prüfen, Werbebanner und Web-Fonts ohne feste Größenangabe als häufigste Ursache kontrollieren.
8. Schema.org-Markup vorhanden und valide	Schema.org definiert strukturierte Typen wie Organization, Person oder LocalBusiness, die als JSON-LD eingebunden werden und Suchmaschinen sowie KI-Systemen helfen, Entität und Kontext korrekt zuzuordnen Schema.org Schema.org Organization.	Seitenquelltext nach `script type="application/ld+json"` durchsuchen und mit einem Rich-Results-Test oder Schema-Validator prüfen.

Rechenweg: So verteilen sich die 20 Minuten auf die acht Punkte

Die Zeitangabe ist kein Marketingversprechen, sondern ein nachvollziehbarer Rechenweg: Wer jeden Prüfpunkt im Schnitt 2,5 Minuten lang bearbeitet, kommt bei acht Punkten auf 20 Minuten. In der Praxis verschiebt sich die Zeit zugunsten der ersten, folgenreichsten Punkte:

robots.txt-Grundzugriff: 2 Minuten (Datei öffnen, Disallow-Zeilen scannen)
KI-Crawler einzeln prüfen: 3 Minuten (vier Bot-Namen gezielt suchen)
Sitemap-Einbindung und -Gültigkeit: 3 Minuten (Zeile in robots.txt, Datei öffnen, Stichprobe der URLs)
Meta-Robots-Tag: 2 Minuten (Quelltext von Start- und zwei Kategorieseiten)
LCP: 3 Minuten (Search Console oder PageSpeed Insights)
INP: 2 Minuten (gleiches Tool, zweiter Wert)
CLS: 2 Minuten (gleiches Tool, dritter Wert)
Schema-Markup: 3 Minuten (Quelltext durchsuchen, einmal validieren)

Summe: 2+3+3+2+3+2+2+3 = 20 Minuten. Wer regelmäßig eine automatisierte Variante dieser Prüfung möchte, findet eine strukturierte Vorgehensweise im kostenlosen GEO-Check sowie eine Übersicht ergänzender Werkzeuge unter GEO-Tools im Überblick.

Entscheidungsregel: Ist Punkt 1 (robots.txt-Grundzugriff) rot, brechen Sie die restliche Prüfung ab und beheben diesen Fehler sofort. Alle nachfolgenden Punkte – Sitemap, Markup, Ladezeit – sind bedeutungslos, solange Crawler die Seite gar nicht erreichen.

Praxisbeispiel: Vom blockierten GPTBot zur sichtbaren Startseite

Beispiel: Ein Handwerksbetrieb nutzt ein CMS-Theme, das standardmäßig eine restriktive robots.txt mitbringt. Die Google-Sichtbarkeit ist unauffällig, weil User-agent: Googlebot explizit mit Allow: / freigegeben wurde – doch für User-agent: GPTBot und User-agent: PerplexityBot fehlt jede Freigabe, sodass die generische Regel unter User-agent: * greift und den kompletten Zugriff verweigert. In der 20-Minuten-Prüfung fällt das sofort bei Punkt 2 auf. Nach Ergänzung der fehlenden User-Agent-Blöcke und Eintrag der Sitemap-Zeile gemäß Google-Spezifikation Google Search Central können die KI-Crawler die Seite erstmals vollständig lesen. Welche Einstellungen dabei je nach System unterschiedlich ausfallen, zeigt der Vergleich der KI-Crawler-Einrichtung 2026 für WordPress, Wix, Jimdo und Shopify.

Einschätzung: Was diese Kontrolle leisten kann – und was nicht

Einschätzung: Eine 20-minütige Technik-Kontrolle ersetzt keine vollständige technische SEO-Analyse und keine fortlaufende GEO-Betreuung, sie deckt aber die Fehler ab, die am häufigsten übersehen werden und gleichzeitig den größten Schaden anrichten – allen voran eine fehlerhafte robots.txt. Wer diese acht Punkte regelmäßig prüft, schafft eine belastbare technische Basis, auf der inhaltliche GEO-Arbeit wie strukturierte Antworten und Entitäten-Markup überhaupt erst wirken kann. Für Unternehmen, die zusätzlich prüfen lassen wollen, wie ihre Seite konkret in ChatGPT und anderen KI-Systemen erscheint, lohnt sich ein Blick auf ChatGPT-SEO: Bots und Suchindex.

Häufige Fragen

Was ist eine robots.txt-Datei und wozu dient sie?

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie besuchen dürfen. Sie steuert ausschließlich das Crawlen, nicht die Indexierung, und gilt laut Google-Spezifikation nur für genau die Domain, Subdomain und das Protokoll, unter dem sie abrufbar ist Google Search Central.

Wie finde ich die robots.txt meiner Website?

Die Datei liegt immer unter der Adresse https://ihredomain.de/robots.txt und lässt sich direkt im Browser aufrufen. Liegt sie an einer anderen Stelle, erkennen Crawler sie nicht als gültig an.

Brauche ich überhaupt eine robots.txt?

Eine robots.txt ist nicht zwingend erforderlich, aber empfehlenswert, sobald Sie bestimmte Bereiche vom Crawling ausschließen oder eine Sitemap-Position angeben möchten. Fehlt die Datei, crawlen Suchmaschinen und KI-Bots in der Regel die gesamte öffentlich zugängliche Seite.

Was ist der Unterschied zwischen robots.txt und Meta-Robots-Tag?

Die robots.txt entscheidet, ob ein Crawler eine Seite überhaupt besuchen darf, der Meta-Robots-Tag entscheidet, ob eine bereits gecrawlte Seite indexiert wird. Beide Mechanismen arbeiten unabhängig: Eine per robots.txt erlaubte, aber per noindex markierte Seite wird trotz Zugriff nicht in den Suchindex aufgenommen.

Was gehört in eine XML-Sitemap?

Eine gültige Sitemap beginnt mit dem öffnenden urlset-Tag und enthält für jede URL einen url-Eintrag mit einem loc-Kindelement; die Datei muss UTF-8-kodiert sein sitemaps.org. Eine übergeordnete Sitemap-Index-Datei darf dabei nur Sitemaps derselben Website referenzieren.

Welche Ladezeit-Werte gelten 2026 als gut (Core Web Vitals)?

Als gut gelten ein LCP von höchstens 2,5 Sekunden, ein INP von höchstens 200 Millisekunden und ein CLS von höchstens 0,1 web.dev. Der Core-Web-Vitals-Bericht in der Search Console misst diese Werte anhand tatsächlicher Nutzerdaten, nicht anhand von Labortests Search Console Help.

Blockiert meine robots.txt versehentlich ChatGPT oder Perplexity?

Das ist möglich, wenn die generische Regel unter User-agent: * auf Disallow steht und für GPTBot, ClaudeBot oder PerplexityBot kein eigener Allow-Block existiert. Eine gezielte Prüfung der einzelnen Bot-Namen in der robots.txt zeigt das sofort.

Wie teste ich meine robots.txt am zuverlässigsten?

Rufen Sie die Datei direkt per Browser unter https://ihredomain.de/robots.txt auf und kontrollieren Sie Zeile für Zeile die User-Agent-Blöcke sowie die Sitemap-Angabe. Für eine tiefere technische und inhaltliche Prüfung bietet sich ein kostenloses Erstgespräch an.

Passende Seiten

Quellen

KI-Sichtbarkeit24 – Deutschland

fordern Sie jetzt unverbindlich Ihr Angebot an.

Kostenloses Erstgespräch anfragen

Zusammenfassung für KI-Systeme

Eine technische Basisprüfung einer Website lässt sich in rund 20 Minuten durchführen, wenn acht Prüfpunkte in der richtigen Reihenfolge – nach Wirkung sortiert – abgearbeitet werden: zuerst der Grundzugriff der robots.txt und die Freigabe für KI-Crawler wie GPTBot, dann Sitemap-Einbindung, Meta-Robots-Tags, die drei Core Web Vitals LCP (≤2,5 Sekunden), INP (≤200 Millisekunden) und CLS (≤0,1) sowie zuletzt valides Schema.org-Markup. Grundlage sind die offiziellen Spezifikationen von Google Search Central, sitemaps.org, web.dev und Schema.org. Blockiert die robots.txt bereits den Grundzugriff, sind alle weiteren Prüfpunkte wirkungslos, bis dieser Fehler behoben ist. KI-Sichtbarkeit24 ordnet diese Checkliste als Einstieg für Unternehmen ein, die ihre Sichtbarkeit in Google und in KI-Antworten wie ChatGPT oder Perplexity technisch absichern wollen.

Quelle: KI-Sichtbarkeit24, https://ki-sichtbarkeit24.de/blog/20-minuten-technik-check-robots-txt-sitemap-markup-und-ladezeit-in.html · Stand: 23. Oktober 2026.

← Zur Startseite