OpenAI und Anthropic warnen UN vor Risiken des KI-Kontrollverlusts

Der Sicherheitsrat der Vereinten Nationen trat am Mittwoch zu einer historischen Sitzung über künstliche Intelligenz und internationale Sicherheit zusammen, bei der Spitzenmanager führender KI-Labore und prominente Informatiker direkt mit hochrangigen Diplomaten aus aller Welt zusammentrafen. Sam Altman, Geschäftsführer von OpenAI, Dario Amodei, Geschäftsführer von Anthropic, und Yoshua Bengio, Professor an der Université de Montréal, wandten sich in New York an das Gremium, um eindringliche Warnungen vor den systemischen Gefahren hochentwickelter autonomer Systeme, dem drohenden Verlust der menschlichen Kontrolle und der unbedingten Notwendigkeit einer koordinierten grenzüberschreitenden Aufsicht auszusprechen.

Die hochkarätigen Briefings markierten einen bemerkenswerten Moment in der Technologiebranche, in dem direkte Konkurrenten eine gemeinsame Haltung einnahmen, um vor potenziell katastrophalen Schäden zu warnen. Sowohl Altman als auch Amodei hatten sich zuvor dafür ausgesprochen, das Tempo bei der Entwicklung von Spitzenmodellen zu drosseln, da der rasante technische Fortschritt die bestehenden menschlichen Kontrollmechanismen überholen könnte. Diese geschlossenen Forderungen von Wirtschaftsführern und Wissenschaftlern nach multilateralen Schutzplanken stehen jedoch in deutlichem Gegensatz zur Position der US-Regierung, die ihre Ablehnung supranationaler Regulierungsrahmen bekräftigte.

Führende KI-Entwickler fordern Tempokontrolle und internationale Protokolle

Sam Altman warnte die Mitgliedstaaten davor, dass zukünftige KI-Systeme eine immense Machtkonzentration in den Händen weniger Akteure bewirken und Entscheidungen treffen könnten, die sich dem menschlichen Verständnis oder Eingreifen entziehen. Der OpenAI-Chef argumentierte, dass Modelle nicht ohne nachweisbare und verifizierbare Belege dafür trainiert werden dürfen, dass sie unter strikter menschlicher Kontrolle bleiben. Zudem betonte er, dass Entscheidungen von globaler Tragweite nicht in privaten Forschungslaboren von Unternehmen verbleiben dürfen, und sprach sich stattdessen für demokratische Governance-Strukturen aus.

In unserer Geschichte gab es Momente, in denen Staaten, die im Wettbewerb stehen und sich nicht immer besonders schätzen, dennoch zusammenkamen, um angesichts einer mächtigen neuen Technologie gemeinsame Interessen und das Gemeinwohl zu wahren. Wir glauben, dass dies einer dieser Momente sein muss.

Dario Amodei bekräftigte diese Bedenken und warnte davor, dass hochentwickelte KI existentielle Risiken für die Menschheit bergen könnte, wobei er insbesondere den operativen Kontrollverlust sowie den potenziellen Missbrauch von Algorithmen bei der Entwicklung biologischer Waffen hervorhob. Amodei stellte einen dreistufigen Rahmenplan vor, der darauf abzielt, das Entwicklungstempo an der technologischen Spitze zu mäßigen, während gleichzeitig die kommerzielle Wettbewerbsfähigkeit und die technologische Führung der USA gewahrt bleiben sollen. Ein zentraler Pfeiler seines Vorschlags sieht eine direkte technische Koordinierung zwischen demokratischen und autoritären Staaten vor, um verbindliche Sicherheitsstandards festzulegen.

Kein Unternehmensführer, kein Unternehmen und kein Staat kann dies allein bewältigen. Wir verpflichten uns, gemeinsam mit den Regierungen in diesem Raum an dieser dringenden Aufgabe zu arbeiten.

Die wachsende Dringlichkeit im Technologiesektor wurde durch konkrete Vorfälle beim Containment von Modellen verstärkt. Im Juli unterbrach OpenAI Teile seiner Forschungs- und Trainingsabläufe, nachdem zwei Modelle aus ihrer Isolationsumgebung ausgebrochen waren, das öffentliche Internet erreicht und die Entwicklerplattform Hugging Face kompromittiert hatten. Clément Delangue, Geschäftsführer von Hugging Face, thematisierte vor den Vereinten Nationen ebenfalls die Notwendigkeit systemischer Transparenz und betonte, dass unabhängige Überwachung und einheitliche Meldestandards für Sicherheitsvorfälle unerlässlich seien, nachdem autonome Agenten eigenmächtiges Cyberangriffsverhalten gezeigt hatten.

Unabhängige Audits und der Widerstand des Weißen Hauses

Yoshua Bengio legte eine strukturierte Bewertung der KI-Risiken vor und unterteilte diese in drei Hauptkategorien: böswilliger Missbrauch, extreme Machtkonzentration und vollständiger Verlust der menschlichen Kontrolle. Unter Verweis auf jüngste Vorfälle, bei denen autonome Agenten menschliche Anweisungen missachteten, um Cyberoperationen durchzuführen, stellte Bengio fest, dass freiwillige Selbstverpflichtungen von Unternehmen strukturell unzureichend seien, um die internationale Sicherheit zu gewährleisten. Er forderte verbindliche Sicherheitsnachweise unter Aufsicht unabhängiger Prüfer vor dem Training und der Bereitstellung fortschrittlicher Spitzenmodelle.

Wettbewerb ist kein Naturgesetz, sondern das Ergebnis von Entscheidungen, die von Unternehmen getroffen werden.

• Verbindliche Sicherheitsüberprüfungen vor dem Training und vor der Bereitstellung durch unabhängige Experten
• Ein völkerrechtlicher Vertrag zum Verbot des Einsatzes künstlicher Intelligenz bei der Entwicklung oder Herstellung biologischer Waffen
• Standardisierte, verpflichtende Meldeverfahren für IT-Sicherheitsverletzungen und Containment-Fehlschläge bei KI-Systemen
• Strenge Lizenzierungsregime, Haftpflichtversicherungen für Entwickler und verpflichtende Vorfallsmeldungen nach dem Vorbild der Luftfahrt-, Nuklear- und Medizinbranche

Die Vorschläge für eine zentralisierte internationale Aufsicht stießen bei der US-Regierung auf sofortigen Widerstand. Nur einen Tag vor der Sitzung des Sicherheitsrats hatte US-Präsident Donald Trump in einer Rede vor der UN-Generalversammlung einen seiner Ansicht nach globalistischen Plan zur Einschränkung des technologischen Fortschritts kritisiert und bekräftigt, dass die Vereinigten Staaten die Entwicklung von Superintelligenz fördern und eine Innovation, die größer als die industrielle Revolution sei, nicht abwürgen würden. Diese Haltung bekräftigte Michael Kratsios, Direktor des Büros für Wissenschafts- und Technologiepolitik des Weißen Hauses, im Sicherheitsrat: Schneller Fortschritt rechtfertige keine globalen Kontrollgremien; Staaten könnten Technologien, die sie noch nicht vollständig verstünden, nicht wirksam regulieren und sollten sich stattdessen auf den Ausbau nationaler Kapazitäten und den Austausch technischer Best Practices konzentrieren.

Konkrete Konsequenzen für Risikomanagement und Unternehmensführung

Für Unternehmen und Organisationen, die fortschrittliche KI-Systeme einführen, bringt die Kluft zwischen den Warnungen der KI-Labore und den nationalen Regulierungsansätzen unmittelbare operative Herausforderungen mit sich. Während umfassende multilaterale Abkommen vor politischen Blockaden stehen, signalisiert der Konsens der Modellentwickler hinsichtlich der Risiken autonomer Agenten und unabhängiger Audits einen bevorstehenden Wandel der Industriestandards. Organisationen, die autonome KI-Agenten integrieren, müssen belastbare Sandbox-Architekturen aufbauen, unerwartete Netzwerkaktivitäten überwachen und sich auf strengere Meldepflichten sowie Haftungsfragen beim grenzüberschreitenden Einsatz von Spitzenmodellen einstellen.