Plattform

Meta AI: Welche Crawler von Meta Ihre Website abrufen und wofür

Kurzantwort

Meta nennt mehrere Crawler mit getrennten Zwecken. Für die Sichtbarkeit in Meta AI zählt Meta-WebIndexer: Er wertet Webinhalte aus, um die Suchergebnisse von Meta AI zu verbessern. Meta-ExternalAgent crawlt für das Training von KI-Modellen und lässt sich getrennt sperren.

Steckbrief

Nach der Entwicklerdokumentation von Meta, Stand 11.10.2026.

Kennung	Zweck laut Meta	robots.txt
Meta-WebIndexer	Qualität der Suchergebnisse von Meta AI verbessern	steuerbar
Meta-ExternalAgent	Training von KI-Grundmodellen oder Verbesserung von Produkten durch Indexieren von Inhalten	steuerbar, mit Disallow sperrbar
Meta-ExternalFetcher	ruft einzelne Links auf Wunsch eines Nutzers ab	kann die Regeln laut Meta umgehen
FacebookExternalHit	ruft geteilte Links ab, um Vorschauen zu erzeugen	kann die Regeln bei Sicherheitsprüfungen umgehen
Meta-ExternalAds	Verbesserung von Werbe- und Unternehmensprodukten	steuerbar

Was Sie nicht versehentlich sperren sollten

FacebookExternalHit erzeugt die Vorschau, wenn jemand einen Link zu Ihrer Website bei Facebook, Instagram oder WhatsApp teilt. Wer „alles von Meta“ sperrt, um das Training zu verhindern, verliert unter Umständen diese Vorschauen und die Auffindbarkeit in Meta AI gleich mit.

Wie schnell Änderungen wirken

Meta schreibt, dass Änderungen an der robots.txt bis zu 24 Stunden brauchen können, weil die Crawler die Datei zwischenspeichern.

Training sperren, Suche und Vorschauen erlauben

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-WebIndexer
Allow: /

User-agent: facebookexternalhit
Allow: /

Was Sie konkret tun können

Suchen Sie in der robots.txt nach „Meta-“ und „facebookexternalhit“.
Entscheiden Sie über Meta-ExternalAgent getrennt von den übrigen Kennungen.
Teilen Sie einen Link zu Ihrer Website in einem Meta-Dienst und prüfen Sie, ob die Vorschau erscheint.
Suchen Sie in den Logfiles nach Meta-WebIndexer.

Einschätzung

Ob Ihre Kunden in Meta AI nach Anbietern fragen, können wir nicht belegen. Die Prüfung der Kennungen kostet zehn Minuten und verhindert, dass Vorschauen und Suche unbemerkt gesperrt sind.

Häufige Fragen

Welcher Meta-Crawler ist für die Sichtbarkeit wichtig?

Meta-WebIndexer. Meta schreibt, dass er der Verbesserung der Suchergebnisse von Meta AI dient.

Kann ich Abrufe für einzelne Nutzer sperren?

Meta weist darauf hin, dass Meta-ExternalFetcher die Regeln der robots.txt umgehen kann, weil ein Nutzer den Abruf auslöst.

Was ist mit „FacebookBot“?

In der aktuellen Dokumentation, die wir gelesen haben, ist diese Kennung nicht aufgeführt.

Quellen

Meta for Developers: Meta Web Crawlers

Weiter im Thema

Von der Plattform zur Messung

Sehen Sie in zwei Minuten, was KI-Systeme heute über Ihr Unternehmen sagen.

Kostenloser Check

Fachlich verantwortlich: Malte Schätzel · Stand: 11. Oktober 2026 · Quellen zuletzt geprüft am 11.10.2026