Cloudflare führt Einstellung „KI‑Training verbieten“ ein, um Websites suchbar zu halten und dennoch Trainingsdaten zu blockieren

Am 15. September 2026 veröffentlichte Cloudflare in einem Blog‑Beitrag die neue Konfiguration „KI‑Training verbieten“, die es Betreibern von Websites ermöglicht, weiterhin von herkömmlichen Suchmaschinen indexiert zu werden, während sie gleichzeitig verhindern, dass dieselben Crawler ihre Inhalte für das Training von KI‑Modellen nutzen dürfen.

Die Einführung dieser Einstellung richtet sich gezielt gegen eine wachsende Gruppe von Bots, die sowohl für die klassische Web‑Suche als auch für die massenhafte Datensammlung im Rahmen maschinellen Lernens eingesetzt werden. Diese Mixed‑Use‑Crawler stehen im Zentrum der aktuellen Diskussion, weil ein einzelner Request gleichzeitig zwei sehr unterschiedliche kommerzielle und ethische Zielsetzungen verfolgen kann.

Warum die Unterscheidung wichtig ist

Interne Messungen von Cloudflare zeigen, dass weniger als ein Prozent der Millionen von Sites, die das Unternehmen schützt, Suchbots vollständig blockieren. Im Gegensatz dazu haben bereits 17 % dieser Sites mindestens einen Mechanismus aktiviert, um KI‑Training zu verhindern, was den Wunsch nach einer fein granularen Kontrolle deutlich macht.

Eine herkömmliche robots.txt‑Datei kann lediglich eine allgemeine Präferenz ausdrücken; sie authentifiziert die Identität des Crawlers nicht und prüft nicht, ob die angeforderte Nutzung dem gewünschten Zweck entspricht. Deshalb kann ein Betreiber, dessen robots.txt‑Eintrag ignoriert wird, weiterhin Inhalte scrapen lassen, ohne dabei technische oder rechtliche Konsequenzen befürchten zu müssen.

Wie die Lösung von Cloudflare funktioniert

Cloudflare veröffentlicht die Präferenz der jeweiligen Site in den Metadaten, identifiziert anschließend jeden Bot, der das Netzwerk durchläuft, und klassifiziert ihn nach seiner beabsichtigten Nutzung. Bots, die das Flag „KI‑Training verbieten“ missachten, werden blockiert und ihre Aktivitäten in Cloudflare Radar protokolliert, um Transparenz zu gewährleisten.

Das von Cloudflare definierte „Accountable“-Label beinhaltet ein Set von Anforderungen für verantwortungsvolles Crawlen. Dazu zählen ein Mechanismus zum Verweigern von Training, die zukünftige Möglichkeit, KI‑generierte Zusammenfassungen abzulehnen, pro‑URL‑Sichtbarkeit der Ablehnung sowie die Garantie, dass die Ablehnung die reguläre Suchindizierung nicht beeinträchtigt.

• Apple, Google und Microsoft haben die Accountable‑Kriterien bereits erfüllt oder verpflichten sich, sie innerhalb eines festgelegten Zeitrahmens zu erfüllen.
• Amazon, Anthropic, Meta und OpenAI trennen ihre Such‑ und Trainings‑Bots bereits nach der Taxonomie von Cloudflare.
• Cloudflare unterscheidet drei Kategorien: Suche, Training und Agent.
• Die neue Einstellung „KI‑Training verbieten“ gilt nur für die Trainings‑Kategorie und erstreckt sich noch nicht auf benutzerdefinierte Agenten.

Die klare Trennung zwischen Such‑ und Trainings‑Bots ist entscheidend, weil sie den Kernwert der Web‑Entdeckbarkeit bewahrt. Websites können weiterhin in Google, Bing oder anderen Suchmaschinen erscheinen, während sie gleichzeitig signalisieren, dass ihre Inhalte nicht für groß‑maßstäbliche Modell‑Trainingszwecke verwendet werden dürfen.

Zukünftige Roadmap

Cloudflare hat angekündigt, dass die nächste Entwicklungsphase darauf abzielt, zu steuern, wie viel Inhalt einer Seite in KI‑generierten Zusammenfassungen angezeigt wird. Diese Fähigkeit ist vom reinen Verzicht auf Trainingsdaten getrennt und soll Bedenken hinsichtlich der ungewollten Aussetzung von Inhalten in konversationellen Agenten adressieren.

Für Unternehmen im deutschsprachigen Raum ist die praktische Auswirkung sofort spürbar: Durch das Aktivieren der Option „KI‑Training verbieten“ können sie ihre SEO‑Leistung erhalten und gleichzeitig ein klares technisches Signal an KI‑Anbieter senden, dass ihre Seiten für das Training gesperrt sind.

Die von Cloudflare Radar bereitgestellte Sichtbarkeit liefert ein detailliertes Prüfprotokoll, das Rechts‑ und Compliance‑Teams dabei unterstützt, die Einhaltung neuer Daten‑Nutzungs‑Richtlinien nachzuweisen und mögliche regulatorische Risiken zu minimieren.

Ein weiterer Vorteil besteht darin, dass die Trennung von Such‑ und Trainings‑Bots die Gefahr reduziert, dass Inhalte unbeabsichtigt in generativen Modellen auftauchen und später von Nutzern in unvorhergesehenen Kontexten wiedergegeben werden.

Gleichzeitig bleibt die Möglichkeit bestehen, dass Suchmaschinen weiterhin ihre üblichen Algorithmen anwenden, um die Sichtbarkeit der Seiten zu erhöhen, ohne dass diese Daten gleichzeitig für das Training von groß‑skaligen KI‑Modellen missbraucht werden.

Die Einführung von „KI‑Training verbieten“ markiert einen wichtigen Schritt hin zu mehr Transparenz und Kontrolle im Ökosystem der Web‑Crawler und könnte als Vorbild für weitere Anbieter von Infrastruktur‑ und Sicherheitsdiensten dienen.

In Berlin hat ein Branchenverband bereits angekündigt, die neue Einstellung von Cloudflare in seine Empfehlungen für digitale Unternehmensstrategien aufzunehmen, um kleinen und mittleren Unternehmen eine handhabbare Möglichkeit zu geben, ihre Daten souverän zu schützen.