Cloudflare Content Signals: Was die robots.txt-Zeile wirklich bewirkt

Das Problem: robots.txt war nie für KI gemacht

Seit den frühen Tagen des Webs gilt robots.txt als das Standardwerkzeug, mit dem Website-Betreiber steuern, welche Crawler ihre Seiten besuchen dürfen. Das System beruht auf einem Ehrenkodex: Ob sich ein Bot an die Anweisungen hält, entscheidet allein sein Betreiber. Für klassische Suchmaschinen reichte das lange aus. Bei KI-Anwendungen stößt es an Grenzen.

Besonders heikel ist das bei Google. Googles KI-Antworten, die AI Overviews, sind laut Cloudflare-CEO Matthew Prince (Digiday, Oktober 2025) an die Google-Suche gekoppelt: Selbst wer den KI-Crawler Google-Extended blockiert, kann demnach weiterhin in AI Overviews auftauchen. Wer Google nicht crawlen lässt, verschwindet dagegen aus der Suche. Über den Crawler allein lässt sich beides also nicht trennen.

Was Cloudflare mit Content Signals eingeführt hat

Cloudflare hat am 24. September 2025 die Content Signals Policy vorgestellt, also vor rund einem Jahr. Sie erweitert die robots.txt um drei maschinenlesbare Signale, die zwischen Nutzungsarten unterscheiden:

• search – Aufbau eines Suchindex und Ausgabe von Suchergebnissen, etwa Links und kurze Textauszüge. KI-generierte Zusammenfassungen zählen ausdrücklich nicht dazu.
• ai-input – Einspeisen von Inhalten in KI-Modelle, zum Beispiel für Retrieval Augmented Generation oder andere Echtzeit-Nutzung für generative Suchantworten.
• ai-train – Training oder Fine-Tuning von KI-Modellen.

Cloudflares eigenes Beispiel in der Ankündigung lautet Content-Signal: search=yes, ai-train=no. Wer auch die Nutzung für KI-Antworten ausschließen möchte, ergänzt ai-input=no:

Damit lässt sich als Präferenz ausdrücken: Ja zur klassischen Suche, Nein zu KI-Antworten und KI-Training. Wichtig ist das Wort „Präferenz“: Die Signale sind eine Willenserklärung, keine technische Sperre. Cloudflare hat die Policy unter einer CC0-Lizenz veröffentlicht, damit jeder sie frei nutzen kann. Laut Cloudflare-Dokumentation testet das Unternehmen zusätzlich ein optionales Feld use mit den Stufen immediate, reference und full.

Reichweite: 3,8 Millionen Domains auf einen Schlag

Cloudflare hat die Signale für mehr als 3,8 Millionen Domains, die den verwalteten robots.txt-Dienst nutzen, automatisch ergänzt – standardmäßig mit search=yes, ai-train=no. Betreiber mussten dafür nichts tun.

Zum Start sagte Matthew Prince in der Cloudflare-Pressemitteilung (hier übersetzt): „Das Internet kann nicht auf eine Lösung warten, während in der Zwischenzeit die Originalinhalte von Creators von anderen Unternehmen zu Geld gemacht werden.“

Was die Signale nicht leisten – vor allem bei Google

Die zentrale Einschränkung nennt Cloudflare selbst: Manche Unternehmen könnten die Signale schlicht ignorieren. Cloudflare empfiehlt deshalb, sie mit WAF-Regeln und Bot-Management zu kombinieren.

Für Google gibt es keinen Beleg, dass die Zeile berücksichtigt wird. Laut Cloudflare-Dokumentation meldet die Google Search Console die Direktive gelegentlich als „Syntax not understood“; Cloudflare will dadurch keine Auswirkungen auf Crawling oder SEO beobachtet haben. Auch Digiday fand zum Start keine Hinweise, dass Google oder andere große Anbieter die Signale befolgen werden – ein leitender Manager eines großen Nachrichtenhauses sah laut Digiday keine Anzeichen dafür.

Zur Einordnung des Ansatzes sagte Justin Wohl, VP of Strategy bei Aditude und früher CRO bei Snopes, gegenüber Digiday (hier übersetzt): Die Policy trenne „Search, AI-Train und AI-Crawl“, was ein ausgereiftes Verständnis dafür sei, wie Publisher über KI nachdenken sollten. Mehrere Publisher bezeichneten die aktuelle robots.txt gegenüber Digiday als „unfit for purpose“.

Googles eigene Steuerung: „Search generative AI“ in der Search Console

Seit der Ankündigung hat Google eine eigene Möglichkeit geschaffen. In der Search Console lässt sich unter Einstellungen → Search generative AI festlegen, ob Inhalte in den generativen KI-Funktionen der Google-Suche erscheinen dürfen. Nach Googles Hilfeseite gilt:

• Standard ist, dass Inhalte einbezogen werden.
• Bei „ausschließen“ sind die Inhalte in diesen Funktionen nicht sichtbar, auch nicht als Link.
• Die Einstellung ist kein Ranking- oder Aufnahmesignal für andere Teile der Suche.
• Sie betrifft das KI-Training nicht; dafür bleibt Google-Extended zuständig.
• Stand 31. August 2026 ist die Steuerung laut Google für alle Websites weltweit ausgerollt.

Damit gibt es für Google inzwischen einen offiziellen Weg – der nicht über die Content-Signal-Zeile läuft.

Was Publisher jetzt tun können – und was realistisch bleibt

Die Content Signals Policy hat eine gemeinsame, maschinenlesbare Sprache für Nutzungspräferenzen geschaffen. Wer Cloudflare nutzt, hat sie meist schon aktiv. Alle anderen können die Zeile manuell in die robots.txt eintragen. Sie dokumentiert die eigene Haltung und kann bei Crawlern wirken, die sich daran halten.

Verlassen sollte man sich darauf nicht. Für Google ist die Search-Console-Einstellung der belegte Weg, bei anderen Crawlern bleiben technische Maßnahmen wie Bot-Management nötig. Für Publisher heißt das: Präferenz in der robots.txt festhalten, Googles Steuerung nutzen und nicht davon ausgehen, dass die Zeile allein schützt.