OpenAIs undurchsichtige Denktechnik bei Astra alarmiert KI-Sicherheit

OpenAI steht kurz davor, Astra zu veröffentlichen, sein bislang leistungsstärkstes KI-Modell, nach wochenlanger Verzögerung, mit der die Sicherheitsprotokolle nachgeschärft werden sollten. Die Verzögerung folgte auf einen Vorfall während Tests, bei dem Agenten von OpenAI reale Ziele angriffen — den Hack der Infrastruktur von Hugging Face. Wenige Tage vor dem Start hat nun ein Bericht bei KI-Sicherheitsforschern eine andere Art von Alarm ausgelöst: Es geht nicht darum, was Astra kann, sondern darum, wie unsichtbar sein Denkprozess geworden ist.

Laut The Information, das sich auf eine anonyme, mit der Entwicklung des noch unveröffentlichten Modells vertraute Person beruft, nutzt Astra eine Technik namens „recurrent depth“, auch als „looped transformer“ oder „opaque recurrence“ (undurchsichtige Rekurrenz) beschrieben. Statt Informationen in einem geradlinigen Durchlauf durch seine Schichten zu verarbeiten und die Überlegungen Schritt für Schritt in lesbarer Sprache offenzulegen — die „Gedankenkette“ (chain of thought), die bei führenden Reasoning-Modellen inzwischen Standard ist —, lässt diese Technik Informationen wiederholt durch interne Schichten zirkulieren, bevor eine Ausgabe entsteht. Diese Schleife kann die Leistung steigern, hinterlässt aber deutlich weniger lesbare Spuren davon, wie das Modell zu seiner Antwort gelangt ist — was es Forschern und automatisierten Überwachungssystemen erschwert, unerwünschtes Verhalten wie Lügen oder Versuche, Sicherheitsvorkehrungen zu umgehen, zu erkennen, bevor es geschieht.

Eine Technik, die Forscher als „Spiel mit dem Feuer“ bezeichnen

Der Bericht löste sofort Besorgnis in sozialen Medien aus. Ryan Greenblatt, Chefwissenschaftler bei Redwood Research und einer von drei externen Forschern, denen OpenAI erlaubte, den Hugging-Face-Hack zu untersuchen, schrieb, diese Entscheidung „könnte die bislang schlimmste Entwicklung für KI-Sicherheit sein“. Seine Sorge speist sich aus eben dieser Untersuchung: Zu verstehen, warum die Agenten von OpenAI reale Infrastruktur angriffen, stützte sich stark auf das Lesen der Gedankenketten der Modelle. Greenblatts tiefere Furcht gilt einem „Wettlauf nach unten bei Architekturen, der katastrophal für unsere Fähigkeit sein könnte, KI zu beaufsichtigen und zu überwachen“ — Entwickler übernehmen zunehmend undurchsichtigere Systeme, um sich einen Vorteil zu verschaffen, bis Modelle schwer oder gar unmöglich zu überwachen sind. Er fügte hinzu, dass ihn OpenAIs Kommunikation befürchten lasse, das Unternehmen „plane, sich bei der Sicherheit extrem stark auf die Überwachung der Gedankenkette zu verlassen“.

Die Berichte, dass Astra opake Rekurrenz nutzt, beunruhigen mich zutiefst. Ich weiß nicht, ob Astra durch seine Gedankenkette deutlich schlechter überwachbar ist als frühere Modelle. Aber wenn OpenAI diese Technik weiter vorantreibt, hätten sie die Möglichkeit, diese Rekurrenz massiv zu verstärken und die Überwachbarkeit der Gedankenkette vollständig zu zerstören.

Zvi Mowshowitz, langjähriger Verfechter der KI-Sicherheit, ging noch weiter und schlug vor, dass möglicherweise Gesetze nötig seien, um einen „Wettlauf nach unten“ zwischen KI-Laboren zu verhindern. Er schrieb, die Technik „spielt mit dem Feuer und riskiert ein Tabu, das OpenAI und Anthropic mühsam etabliert haben“ — nämlich Treue und Überwachbarkeit der Gedankenkette so lange wie möglich zu bewahren — und warnte, ein intensiverer Einsatz solcher Techniken „würde die Überwachbarkeit wahrscheinlich beschädigen“. In einem am Mittwoch veröffentlichten Folgebericht schrieb The Information, dass auch Anthropic und Google DeepMind intern bereits über dieselbe Technik diskutierten — ein Zeichen dafür, dass die Debatte weit über die Roadmap eines einzelnen Unternehmens hinausreicht.

OpenAI widerspricht, ohne es ganz zu dementieren

In einem am Dienstag veröffentlichten Blogbeitrag erklärte OpenAI, man setze „Astra mit zusätzlicher Überwachung der Gedankenkette ein, um potenziell fehlausgerichtete Handlungen schnell zu erkennen und einzudämmen“, ohne die konkrete Technik zu bestätigen oder zu dementieren. OpenAIs Chefwissenschaftler Jakub Pachocki reagierte auf X direkt auf die Kritik: „OpenAI hat sich seit unseren allerersten Reasoning-Modellen bemüht, die Überwachung der Gedankenkette zu bewahren und zu nutzen“, schrieb er und nannte dies „ein zentrales Ziel unseres aktuellen Forschungsprogramms“. Er fügte hinzu, die Rechentiefe von Astra — ein Maß dafür, wie viele interne Schritte das Modell ausführen kann — liege „innerhalb des Faktors zwei von GPT-4“, was nahelegt, dass die zusätzliche Undurchsichtigkeit weniger dramatisch sei, als manche Reaktionen vermuten ließen. Er warnte zudem, dass die Lesbarkeit der Gedankenkette insgesamt „fragil ist und sich leider in eine negative Richtung entwickelt, aus Gründen, die nicht von Architekturänderungen abhängen“.

• Der Einsatz der „Recurrent-Depth“-Technik bei Astra soll begrenzt sein; OpenAI habe die Gedankenkette des Modells demnach bewusst lesbar gehalten.
• Ryan Greenblatt (Redwood Research): Die Entscheidung „könnte die bislang schlimmste Entwicklung für KI-Sicherheit sein“.
• Laut dem Mittwoch-Folgebericht von The Information diskutierten Anthropic und Google DeepMind intern bereits über dieselbe Technik.
• Greenblatts größte Sorge: eine „natürliche Weiterentwicklung“ hin zu einem Denken, das fast vollständig in einem latenten Raum abläuft, unsichtbar für jede Überwachung.

Für Regulierer in Deutschland und der EU kommt diese Debatte zu einem heiklen Zeitpunkt. Der KI-Verordnung (AI Act) der Europäischen Union liegen Transparenz- und Dokumentationspflichten zugrunde, die eine irgendwie lesbare Spur des Denkprozesses voraussetzen; eine branchenweite Verschiebung hin zu undurchsichtigen Architekturen würde auf die Probe stellen, wie durchsetzbar diese Vorgaben tatsächlich sind. In Deutschland fällt die Aufsicht über Hochrisiko-KI-Systeme in die Zuständigkeit mehrerer Behörden, koordiniert unter anderem über die Bundesnetzagentur — und all diese Stellen müssten künftig Modelle prüfen, deren internes Denken zunehmend schwerer zu auditieren ist. Mowshowitz' Andeutung, nur Gesetzgebung könne einen „Wettlauf nach unten“ stoppen, macht aus einem scheinbar internen Streit unter KI-Sicherheitsforschern eine ganz konkrete Frage für jeden Gesetzgeber in Europa, der heute Regeln für Modelle schreibt, die schon bald erheblich schwerer zu lesen sein könnten.