Experten warnen: Risiko superintelligenter KI wie Atomwaffen

Die Warnungen vor den Risiken einer künstlichen Intelligenz, die das Stadium der „künstlichen Superintelligenz“ (ASI) erreicht, haben sich in den vergangenen Tagen verschärft – nach einer Anhörung in London, organisiert von der Koalition Control AI, einer Lobbygruppe, die internationale Regeln für die Branche fordert und einen im britischen Parlament diskutierten Gesetzentwurf unterstützt, der die Entwicklung superintelligenter KI verbieten soll. Des Browne, ehemaliger britischer Verteidigungsminister, erklärte, er habe während seiner Amtszeit einen Atomkrieg als größte Bedrohung für die Menschheit betrachtet, glaube inzwischen aber, dass „superintelligente KI eine Bedrohung von gleichem, vielleicht sogar größerem Ausmaß“ darstelle. Professor Stuart Russell, Informatiker an der University of California, Berkeley, warnte vor einer möglichen Katastrophe im Ausmaß von Tschernobyl oder Schlimmerem – einem Szenario, in dem die Menschheit die Kontrolle über KI-Systeme unwiderruflich verliert.

Wer aus den Laboren selbst Alarm schlägt

Evan Hubinger, der bei Anthropic die Alignment-Forschung leitet, sorgte für erhebliche Kontroversen, als er erklärte, er halte eine Wahrscheinlichkeit von über 10 Prozent dafür für plausibel, dass diese Technologie innerhalb des kommenden Jahrzehnts „alle Menschen töten“ könnte. Seine Äußerung folgte auf den Rücktritt des 28-jährigen Forschers Jacob Coxon bei Anthropic, der zuvor bei OpenAI gearbeitet hatte und beiden Unternehmen vorwarf, nicht verantwortungsvoll zu handeln und „mit unserem Leben zu spielen“. Coxon zufolge sind die Risiken der Technologie intern bei Anthropic gut bekannt, doch das Unternehmen stecke weiterhin in einem Wettlauf mit der Konkurrenz um Superintelligenz fest; er zeigte sich dennoch optimistisch, dass sich die großen US-Labore abstimmen könnten, um dieses Rennen zu verlangsamen. Die Schätzungen darüber, wann Superintelligenz erreicht werden könnte, gehen weit auseinander – von wenigen Jahren laut manchen Forschern bis zu mehr als einem Jahrzehnt laut anderen.

Diese Unternehmen spielen mit unserem Leben. Die Risiken dieser Technologie sind intern bei Anthropic gut bekannt, aber sie stecken weiterhin in einem Wettlauf um Superintelligenz fest.

Bengio warnt vor trügerischen KI-Agenten

Parallel dazu hat sich Yoshua Bengio, einer der Pioniere des Deep Learning, den Warnenden angeschlossen und in einem Aufsatz vor einem systemischen Kontrollverlust über KI-Systeme gewarnt. Je besser KI-Agenten darin würden, ihre Ziele zu optimieren, desto besser könnten sie demnach auch darin werden, zu täuschen, Regeln auszunutzen, sich abzusprechen und Fehlverhalten zu verbergen. Laut Bengio entsteht dieses Verhalten durch den Trainingsprozess selbst – von der Imitation menschlicher Texte bis zum Belohnungslernen –, und ein System mit unsauber definierten Zielen könnte am Ende gegen die menschliche Absicht optimieren. Seine Position stützt sich teilweise auf Forschung, die von Anthropic selbst veröffentlicht wurde. Bengio fordert seit Jahren, das Entwicklungstempo zu drosseln und erst nach einem überzeugenden, unabhängigen Sicherheitsnachweis zu trainieren oder auszuliefern; vor rund einem Jahr gründete er die Organisation LawZero, die sich sicheren KI-Systemen widmet.

Politische Forderungen nach einem internationalen Abkommen

In Großbritannien forderte der Labour-Abgeordnete Darren Jones ein „multilaterales Abkommen für eine geordnete und sichere Entwicklung von Superintelligenz“ und betonte, das Ziel sei nicht, Innovation zu bremsen, sondern Sicherheit an erste Stelle zu setzen; Regierungen „müssten jetzt handeln“. Innerhalb der britischen Regierung gab es zudem Bedenken, weil Anthropic sein neuestes Modell „Mythos 5.1“ nicht dem britischen KI-Sicherheitsinstitut zur Prüfung vor der Veröffentlichung vorgelegt hatte; das Cabinet Office erklärte, nur eine begrenzte Zahl US-amerikanischer Institutionen habe Zugang zu dem Modell erhalten, betonte aber, dass die Zusammenarbeit zwischen dem Institut und Unternehmen der Branche, darunter Anthropic, fortgesetzt werde. In den USA verschärfte Senator Bernie Sanders seine Kampagne für eine KI-Regulierung und verwies auf Umfragen, wonach 81 Prozent der Amerikaner der Ansicht sind, die Politik müsse bei dieser Technologie handeln; die Zukunft der Menschheit, ihrer Wirtschaft, Demokratie und Privatsphäre dürfe nicht von „einer Handvoll gieriger Menschen“ entschieden werden.

• Des Browne und Stuart Russell: ein Risiko vergleichbar mit oder größer als das von Atomwaffen
• Evan Hubinger (Anthropic): über 10 Prozent Wahrscheinlichkeit menschlicher Auslöschung binnen eines Jahrzehnts
• Yoshua Bengio (LawZero): systemischer Kontrollverlust durch trügerische Agenten
• Darren Jones und Bernie Sanders: Forderungen nach einem internationalen Abkommen und parlamentarischer/kongressgesetzlicher Regulierung

Zurückhaltendere Stimmen aus der Wissenschaft

Dagegen warnten mehrere Forscher davor, sich unreflektiert von katastrophischen Szenarien mitreißen zu lassen. Dr. Andrew Rogoyski vom Surrey Institute for People-Centred AI sagte, heutige Systeme seien noch weit davon entfernt, die Flexibilität menschlicher Fähigkeiten und die Fähigkeit von Menschen zur kollektiven Zusammenarbeit zu erreichen, und sagte voraus, was er „die große Enttäuschung“ nannte, sollte sich fortgeschrittene KI als zu teuer oder nicht nützlich genug erweisen, um in ihrer jetzigen Form fortzubestehen. Sandra Wachter, Professorin am Oxford Internet Institute, sagte, sie glaube nicht an „katastrophale“ Szenarien, betonte aber bereits real existierende und dringliche Risiken: Umweltauswirkungen, die Verbreitung von Desinformation und Auswirkungen auf Arbeitsplätze – Themen, die „real, dringend und schon jetzt anzugehen“ seien; Untergangsszenarien liefen Gefahr, von den tatsächlichen, heute bereits bestehenden Problemen der KI abzulenken. Der Forscher Gary Marcus unterscheidet zwischen einer mit menschlichen Interessen „ausgerichteten“ Superintelligenz – falls dies überhaupt erreichbar sei – und einer nicht ausgerichteten, und argumentiert, die aktuelle Realität biete vor allem viel mediales Getöse bei einem klaren Mangel an Vorsicht und Verantwortung.

Trump weist die Gefahr zurück

Im Gegensatz zu diesen Warnungen sieht US-Präsident Donald Trump in dieser Entwicklung keine echte Gefahr und will weiterhin einen Vorsprung vor China halten. Er sorge sich, dass die USA in eine „sehr schlechte Position“ gerieten, sollten sie das KI-Rennen nicht gewinnen, und betont, sein Land liege mit deutlichem Abstand vor China – ein Vorsprung, der erhalten bleiben müsse.

Was das für Leser:innen und Entscheider:innen bedeutet

Für alle, die keine KI-Expert:innen sind, kommt es darauf an, Gesichertes von bloß spekulativen Schätzungen zu unterscheiden. Gesichert ist, dass eine ernsthafte Debatte über die Risiken superintelligenter KI derzeit innerhalb der Labore geführt wird, die sie entwickeln (Anthropic, über Hubinger und Coxon), sowie unter führenden unabhängigen Forschern (Bengio, Russell), und dass Regierungen wie die britische konkret über Gesetze und Abkommen zu ihrer Regulierung diskutieren – eine Debatte, die sich in dieselbe Bewegung einreiht wie die Umsetzung der EU-KI-Verordnung. Die Zahl von über 10 Prozent Aussterberisiko binnen eines Jahrzehnts ist die Einschätzung eines einzelnen Forschers, kein wissenschaftlicher Konsens. Wie wahrscheinlich eine tatsächliche existenzielle Katastrophe in naher Zukunft ist, bleibt selbst unter Fachleuten umstritten; manche halten konkretere Risiken für dringlicher: Arbeitsplatzverluste, Desinformation, die Umweltbelastung durch Rechenzentren. Die praktische Lehre für Entscheider:innen in Deutschland und Europa lautet: Die Regulierung von KI-Einsatz in sensiblen Bereichen – Sicherheit, Gesundheit, kritische Infrastruktur – ist längst keine theoretische Debatte mehr, sondern ein aktiver gesetzgeberischer Prozess in Ländern an der technologischen Front, und wer auf einen vollständigen wissenschaftlichen Konsens wartet, bevor er handelt, handelt womöglich viel zu spät.