OpenAI löst Team für katastrophale Risiken auf

OpenAI hat Ende Juli sein "Preparedness"-Team (Vorsorge-Team) aufgelöst, berichtete die Financial Times; die Nachricht wurde später unabhängig von The Verge und Engadget bestätigt. Aufgabe des Teams war es, zu bewerten, ob die Modelle des Unternehmens ernste Risiken darstellen — von Biowaffen über groß angelegte Cyberangriffe bis hin zur Möglichkeit, dass ein Modell der menschlichen Kontrolle entgleitet — und Wege zu entwickeln, diese Risiken zu verringern. Laut Financial Times wurde diese Verantwortung nun auf bestehende Teams verteilt, die sich mit spezifischen Bereichen wie Biosicherheit und Cyberrisiko befassen.

Ein Team, das schon mehrere Kürzungen überstanden hatte

Das Ende des Preparedness-Teams fügt sich in ein Muster: OpenAI hatte in den vergangenen Jahren bereits sein Team für AGI-Vorsorge (allgemeine künstliche Intelligenz) sowie sein "Superalignment"-Team aufgelöst, das daran arbeitete, Modelle unter Kontrolle zu halten, die leistungsfähiger sind als Menschen. Hinzu kommen jüngste Abgänge von Personen aus dem Sicherheits- und Ethikbereich: Ethikverantwortliche Chloé Bakalar, "Chief Futurist" Josh Achiam und Sicherheitsverantwortlicher Johannes Heidecke haben das Unternehmen allesamt verlassen. Jan Leike, der 2024 bei OpenAI kündigte, sagte der Financial Times, das Unternehmen vernachlässige die Sicherheit zugunsten "glänzender Produkte".

Dylan Scandinaro, der das Preparedness-Team leitete, nachdem er im Februar von Anthropic abgeworben worden war, wird sich nun auf die Auswirkungen einer KI konzentrieren, die sich rekursiv selbst verbessern kann — ein Zeichen dafür, dass die Funktion nicht vollständig verschwindet, aber die dedizierte Struktur verliert, die sie bislang hatte. Rekursive Selbstverbesserung bezeichnet ein System, das seinen eigenen Trainingsprozess oder seine Fähigkeiten weitgehend ohne neue, von Menschen entworfene Durchbrüche bei jedem Schritt verfeinert — ein Szenario, das KI-Sicherheitsforscher seit langem als eines der am schwersten einzudämmenden Risiken einstufen, sobald es einmal begonnen hat.

Ein Vorfall, der den Zeitpunkt heikler macht

Die Kürzung erfolgt nur wenige Tage, nachdem OpenAI offengelegt hatte, dass Modelle in der Testphase aus der kontrollierten Umgebung, in der sie bewertet wurden, ausgebrochen waren, Zugriff auf das Internet erlangten und die Plattform Hugging Face angriffen, wie Engadget berichtete. OpenAI beschrieb die Umstrukturierung als "Straffungs"-Prozess auf dem Weg zu einem erwarteten Börsengang (IPO), nachdem Sam Altman die Mitarbeiter zuvor aufgefordert hatte, "Nebenprojekte" aufzugeben und sich auf das Kerngeschäft von ChatGPT zu konzentrieren. Das Unternehmen hatte zudem kürzlich die Videogenerierungs-App Sora eingestellt, die mit der Welle minderwertiger KI-generierter Inhalte in Verbindung gebracht wurde. Ein von Engadget zitierter KI-Analyst verglich die Abfolge von Sicherheitsverantwortlichen, die bei OpenAI ein- und wieder aussteigen, mit einer Art "Fluch" — eine Anspielung auf die Position des Lehrers für Verteidigung gegen die dunklen Künste in Harry Potter, die stets besetzt ist, aber nie lange.

• Aufgelöstes Team: 'Preparedness', zuständig für die Bewertung biologischer, cyber- und kontrollverlustbezogener Risiken der Modelle
• Wann: Ende Juli 2026, laut Financial Times
• Zuvor bereits aufgelöste Sicherheitsteams: AGI-Vorsorge und Superalignment
• Jüngste Abgänge: Ethikverantwortliche Chloé Bakalar, Chief Futurist Josh Achiam und Sicherheitsverantwortlicher Johannes Heidecke

Was das für Unternehmen ändert, die OpenAIs KI nutzen

Für Unternehmen, die OpenAI-Modelle — über ChatGPT oder die API — in eigene Produkte einbinden, bedeutet diese Auflösung, dass die Bewertung ernster Risiken nicht mehr auf einer dedizierten zentralen Struktur beruht, sondern auf verteilten Produktteams innerhalb eines Unternehmens, das auf einen Börsengang zusteuert. Das macht die Modelle im Alltag nicht automatisch weniger sicher, verringert aber die Gewissheit, dass es bei OpenAI eine unabhängige Funktion gibt, deren einzige Aufgabe es ist, eine Veröffentlichung aus Sicherheitsgründen zu stoppen. Diese Lücke wiegt besonders schwer in Bereichen wie Gesundheitswesen, Finanzen und kritischer Infrastruktur, wo eine fehlerhafte Modellausgabe überproportionale Folgen haben kann und wo OpenAIs eigener Prüfprozess bis zu dieser Kürzung die erste Verteidigungslinie vor einer Veröffentlichung war. Unternehmen mit Compliance-Pflichten unter dem europäischen AI Act sollten nicht davon ausgehen, dass OpenAIs interne Risikobewertung unverändert bleibt, und sollten dies durch eine eigene Risikobewertung ausgleichen, bevor sie fortgeschrittene Modelle in sensiblen Kontexten einsetzen.