Consent-Wand blockiert den Content: Rechtssichere Crawler-Diagnose nach Ursache und Häufigkeit sortiert

Ihr Content rankt nicht, und ChatGPT oder Perplexity zitieren Sie nicht – dabei ist der Text längst online. Der Verdacht fällt schnell auf Qualität oder Konkurrenz, dabei liegt die Ursache oft viel banaler: Der Crawler sieht gar nicht Ihren Artikel, sondern nur den Cookie-Banner davor. Dieser Artikel sortiert die vier häufigsten technischen Gründe dafür und zeigt zu jeder Ursache einen Prüfschritt und eine konkrete Lösung.

Der Fokus liegt dabei bewusst auf dem Sonderfall Consent: Anders als eine allgemeine Diagnose von JavaScript-Rendering-Problemen beim Crawling geht es hier gezielt um Fälle, in denen die Einwilligungspflicht nach TDDDG und DSGVO technisch mit dem Crawler-Zugriff kollidiert. Die rechtliche Einordnung ist deshalb fester Bestandteil jeder der vier Ursachen, nicht nur ergänzendes Beiwerk – wer ein Consent-Problem lösen will, muss Technik und Datenschutzrecht gemeinsam betrachten.

Das Symptom: Googlebot und GPTBot melden leere oder unvollständige Seiten

Das Muster ist immer ähnlich: In der Google Search Console taucht im Bericht zur Seitenindexierung die Meldung "Gecrawlt – zurzeit nicht indexiert" oder "Alternative Seite mit richtigem kanonischen Tag" auf, obwohl der Inhalt für menschliche Besucher sichtbar ist. Parallel liefert ein Blick in den gerenderten HTML-Quelltext (per "Element untersuchen" im Inkognito-Modus ohne gesetztes Cookie) nur Banner-Text, Buttons wie "Alle akzeptieren" und darunter eine leere oder stark verkürzte Seite. Bots wie GPTBot oder ClaudeBot klicken keine Buttons und akzeptieren keine Cookies – sie sehen exakt das, was der Server ihnen ungefragt ausliefert. Genau das macht den Cookie-Banner zu einem GEO-Problem, nicht nur zu einem Datenschutzthema.

Ursache 1 (am häufigsten): Der Content wird erst nach Klick per JavaScript nachgeladen

Die mit Abstand häufigste Ursache in der Praxis: Das Consent-Management-Tool blockiert per JavaScript das Rendering des Hauptinhalts, bis eine Entscheidung getroffen wurde. Technisch passiert das, weil Skripte für Analyse- oder Marketing-Tags vor dem eigentlichen Content im DOM eingebunden sind und Scriptblocker den kompletten Ladevorgang pausieren, nicht nur die Tracking-Skripte selbst. Laut der Datenschutzkonferenz dürfen während der Banner-Anzeige zwar keine Skripte nachgeladen werden, die Daten auslesen oder übermitteln – das bezieht sich aber auf Tracking-Skripte, nicht auf den redaktionellen Inhalt selbst, der unabhängig davon ausgeliefert werden kann und muss.

Prüfschritt: Öffnen Sie die Seite in einem Browser ohne gespeicherte Cookies, deaktivieren Sie JavaScript testweise über die Entwicklertools und laden Sie neu. Erscheint der Fließtext trotzdem? Zusätzlich hilft die URL-Prüfung in der Search Console mit der Funktion "Gerenderte Seite ansehen".

Lösung: Trennen Sie technisch den redaktionellen Content vom Consent-Layer. Der Artikeltext, die Produktbeschreibung oder die Leistungsseite müssen serverseitig im initialen HTML stehen – nur optionale Drittanbieter-Skripte (Tracking-Pixel, Chat-Widgets, eingebettete Videos) dürfen hinter die Einwilligung gelegt werden. Wie Inhalte überhaupt von der Veröffentlichung bis in eine KI-Antwort gelangen, erklärt der Beitrag Vom Veröffentlichen bis zur KI-Antwort im Detail.

Ursache 2: Eine serverseitige Kekswand sperrt Bots komplett aus

Eine Kekswand ("Cookie Wall") unterscheidet sich vom gewöhnlichen Banner dadurch, dass der Zugriff auf die Seite technisch verweigert wird, solange keine Entscheidung getroffen wurde. In der harten Variante liefert der Server für jeden Aufruf ohne gültiges Consent-Cookie einen Statuscode 401 oder leitet auf eine Interstitial-Seite um; in der Praxis beobachtet man an dieser Stelle gelegentlich auch den Statuscode 403, der allerdings eine zusätzliche technische Variante darstellt und nicht Teil der im Folgenden zitierten Google-Dokumentation ist. Das betrifft auch Crawler, da diese naturgemäß kein Cookie mitbringen. Laut Google Search Console-Hilfe kann eine Seite durch eine Autorisierungsanforderung mit Statuscode 401 für den Googlebot blockiert sein, sodass sie gar nicht erst indexiert werden kann.

Prüfschritt: Rufen Sie die Seite per Kommandozeile ohne Cookie auf (z. B. mit curl oder einem Server-Header-Checker) und prüfen Sie den zurückgegebenen HTTP-Statuscode. Alles außer 200 bei öffentlich zugänglichen Inhalten ist ein Warnsignal.

Lösung: Öffentliche Inhalte müssen mit Statuscode 200 ausgeliefert werden, unabhängig vom Cookie-Status. Die Kekswand darf nur optionale, nicht notwendige Verarbeitungen betreffen – niemals den Zugang zum Inhalt selbst. Das ist zugleich eine rechtliche Grenze, da eine erzwungene Einwilligung als Bedingung für den Zugriff nicht als freiwillig im Sinne der DSGVO gilt.

Ursache 3: noindex-Tags oder robots.txt-Regeln aus dem Consent-Setup treffen die falschen Seiten

Viele Consent-Tools werden über Tag-Manager-Container eingebunden, die versehentlich auch SEO-relevante Meta-Tags setzen – etwa wenn eine Testumgebung mit globalem noindex live geschaltet wurde oder das CMS pauschal alle Seiten mit aktivem Cookie-Banner-Plugin von der Indexierung ausschließt, um "doppelten Content" durch Consent-Varianten zu vermeiden. Laut Google wird eine Seite bei der Meldung "URL als noindex markiert" deshalb nicht indexiert, weil Google beim Indexierungsversuch auf diese Anweisung gestoßen ist – unabhängig davon, ob das beabsichtigt war.

Prüfschritt: Kontrollieren Sie den Quelltext der betroffenen Seite auf <meta name="robots" content="noindex"> und prüfen Sie die robots.txt auf pauschale Disallow-Einträge, die durch das Consent-Plugin automatisch generiert wurden.

Lösung: Entfernen Sie globale noindex-Regeln, die nicht gezielt gesetzt wurden, und lassen Sie Consent-Tools ausschließlich ihre eigenen Unterseiten (z. B. /datenschutz-einstellungen/) sperren, niemals den redaktionellen Hauptbereich. Für international ausgerichtete Seiten lohnt zusätzlich ein Blick auf Gemini und Google-Extended, da hier eigene Crawler-Regeln gelten können.

Ursache 4: Kein Fallback-Text für Besucher und Bots ohne aktives JavaScript

Seltener, aber hartnäckig: Manche Single-Page-Applications rendern den kompletten Content inklusive Überschriften erst clientseitig, nachdem React oder Vue geladen und die Consent-Entscheidung verarbeitet wurde. Fällt JavaScript aus irgendeinem Grund aus – etwa weil ein Bot ein Zeitlimit beim Rendering überschreitet –, bleibt die Seite leer. Laut Google Search Central erfasst Googlebot beim Crawlen die ersten 2 MB einer unterstützten Datei, danach wird der Abruf gestoppt – das gilt unabhängig vom Consent-Status einer Seite. Dass clientseitiges JavaScript-Rendering generell aufwendiger ist und zeitversetzt zum reinen HTML-Abruf erfolgt, ist allgemeines technisches Hintergrundwissen und keine Aussage der zitierten Google-Dokumentation; verzögertes oder blockiertes Rendering erhöht in der Praxis dennoch das Risiko, dass der Inhalt gar nicht erfasst wird.

Prüfschritt: Deaktivieren Sie JavaScript komplett im Browser und laden Sie die Seite. Bleibt außer dem Banner nichts übrig, liegt ein reines Fallback-Problem vor.

Lösung: Server-Side-Rendering oder zumindest ein statischer HTML-Kern mit Haupttext, Überschriften und internen Links sorgt dafür, dass auch Crawler ohne vollständiges JavaScript-Rendering den Inhalt erfassen. Für lokale Unternehmen ist das besonders relevant, da Suchanfragen mit Ortsbezug häufig schnell und ohne aufwendiges Rendering beantwortet werden müssen – mehr dazu unter GEO für lokale Unternehmen.

Die vier Ursachen im Überblick

Praxisbeispiel: Weiche Kekswand, aber leerer Cache

Beispiel: Ein Dienstleister betreibt eine Leistungsseite mit einem gängigen Cookie-Tool. Der Banner zeigt korrekt "Alle akzeptieren" und "Alle ablehnen" nebeneinander an – datenschutzrechtlich also auf den ersten Blick sauber. Trotzdem bleibt die Seite in ChatGPT unauffindbar. Die Ursache: Das Tool lädt den eigentlichen Seiteninhalt über ein JavaScript-Template, das erst nach der Consent-Entscheidung den DOM befüllt. Der GPTBot, der kein JavaScript ausführt, sieht nur ein leeres Grundgerüst mit Bannertext. Nach Umstellung auf serverseitiges Rendering des Haupttexts – bei unverändertem, DSGVO-konformem Banner – taucht die Seite innerhalb weniger Wochen in Antworten auf, weil der Crawler nun denselben Text liest wie ein menschlicher Besucher.

Rechtlicher Rahmen kurz eingeordnet

Nach § 25 Abs. 1 TDDDG ist die Speicherung von Informationen auf Endgeräten oder der Zugriff darauf nur mit klarer, umfassender Information und einer DSGVO-konformen Einwilligung zulässig; eine Ausnahme gilt laut § 25 Abs. 2 Nr. 1 TDDDG nur, wenn der alleinige Zweck die technische Übertragung einer Nachricht ist. Der BfDI stellt klar, dass ein Banner mit ausschließlich einem "Zustimmen"-Button keine echte freiwillige Wahl ermöglicht – Ablehnen muss ebenso leicht sein wie Zustimmen. Die Datenschutzkonferenz ergänzt, dass eine bloße "Okay"-Schaltfläche keine unmissverständliche Erklärung darstellt und generische Formulierungen auf erster Ebene nicht ausreichen. Wie real das Problem unzulässiger Banner ist, zeigt eine Untersuchung des vzbv aus dem Jahr 2021: Von 949 geprüften Webseiten verstießen zehn Prozent eindeutig gegen TMG und DSGVO, in der Folge wurden knapp 100 Abmahnungen verschickt. Die Verbraucherzentrale bestätigt, dass ein Großteil der übrigen Banner sich in einer rechtlichen Grauzone bewegte, häufig mit manipulativem Design. Diese Angaben ersetzen keine Rechtsberatung; prüfen Sie Ihr konkretes Setup im Einzelfall, Stand 17. Oktober 2026.

Einschätzung: Technische GEO-Probleme und rechtliche Cookie-Konformität laufen in der Praxis meist parallel – wer einen Banner nach den Vorgaben von BfDI und DSK sauber mit gleichwertigen Ablehnen-Optionen baut, schafft dabei fast automatisch die technische Trennung zwischen frei zugänglichem Content und optionalen Tracking-Skripten, die auch Crawlern zugutekommt. Ein Cookie-Banner ist also kein Gegensatz zu KI-Sichtbarkeit, sondern wird erst durch schlechte technische Umsetzung dazu. Wer dagegen ein grundsätzliches, nicht consent-spezifisches JavaScript-Rendering-Problem vermutet, findet eine breitere Diagnose unabhängig vom Cookie-Thema in verwandten Beiträgen zu JS-Ursachen bei der Bot-Darstellung.

Wer unsicher ist, ob die eigene Website betroffen ist, kann ein kostenloses Erstgespräch anfragen und die Seite gemeinsam auf Crawler-Sichtbarkeit prüfen lassen. Einen Überblick über mögliche Leistungsumfänge bieten die Preise & Pakete. Auch für die Sichtbarkeit in Google AI Overviews gilt dieselbe Grundregel: Was der Crawler nicht lesen kann, kann auch keine KI-Antwort zitieren.

Häufige Fragen