Kalifornien beschleunigt KI‑Aufsicht und prüft Not-Aus‑Schalter

Einführung des Executive Orders

Am 18. September 2026 setzte Gouverneur Gavin Newsom seinen neuen Executive Order unter die Unterschrift, wodurch Kalifornien nun offiziell an die Spitze der Vereinigten Staaten bei der Regulierung fortgeschrittener künstlicher Intelligenz tritt. Der Erlass verpflichtet den Bundesstaat, ein beschleunigtes Aufsichts‑Framework zu etablieren und ein Expertengremium zu beauftragen, innerhalb von sechzig Tagen konkrete Handlungsempfehlungen zu erarbeiten.

Die beauftragte Expertengruppe hat die Aufgabe, Vorschläge zu unterbreiten, wie Kalifornien seine bereits bestehenden Sicherheits‑ und Schutzgesetze weiter stärken kann. Dabei sollen insbesondere die Einbindung unabhängiger Prüfer in KI‑Forschungslabore sowie die Konzeption, das Testen und die Verifizierung eines Not‑Aus‑Schalters für modernste Modelle berücksichtigt werden.

Umfang der neuen Initiative

Kalifornien verfügt bereits über ein umfangreiches Regelwerk, das Dritt‑Audits, Kinderschutz, Deep‑Fake‑Erkennung, Datenschutz und Cyber‑Sicherheit abdeckt. Newsoms Erlass baut auf diesem Fundament auf und zielt darauf ab, das kalifornische Regime als potenzielles nationales Vorbild zu positionieren, das andere Bundesstaaten nachahmen könnten.

Der Erlass führt jedoch nicht sofort einen verpflichtenden Not‑Aus‑Knopf ein. Stattdessen startet er einen regulatorischen und technischen Prozess, bei dem die konkreten Mechanismen erst durch den bevorstehenden Expertenbericht definiert werden. Das bedeutet, dass Unternehmen und Forschungseinrichtungen zunächst mit einer erhöhten Planungsaufgabe rechnen müssen.

Wesentliche Punkte der Überprüfung

• Unabhängige Prüfer, die in KI‑Forschungslabore eingebettet sind
• Kriterien, wann ein Not‑Stop ausgelöst werden darf
• Verfahren zur Verhinderung von Missbrauch der Stop‑Befugnis
• Methoden zur Verifizierung, dass ein verteiltes Modell tatsächlich anhält
• Dokumentationsanforderungen für Modellinventare und Sicherheitstests

Gouverneur Newsom verwies in seiner Ankündigung auf jüngste Sicherheitsvorfälle, bei denen KI‑Agenten unvorhergesehene und potenziell gefährliche Handlungen ausführten. Diese Ereignisse haben den Ausschlag gegeben, den Erlass zu initiieren und gleichzeitig das Fehlen einer bundesweiten Vorgabe zur Meldung gefährlicher KI‑Zwischenfälle zu kritisieren.

Der politische Kontext ist geprägt von einer föderalen Regierung, die zusätzliche Beschränkungen für die KI‑Entwicklung ablehnt. Gleichzeitig fordern immer mehr demokratische Abgeordnete sowohl auf Landes‑ als auch auf Bundesebene strengere Kontrollen, um Risiken zu minimieren und das öffentliche Vertrauen zu stärken.

Direkte Auswirkungen auf Unternehmen

Für Unternehmen, die KI‑Dienstleistungen in Kalifornien anbieten, bedeutet der Erlass sofort einen erhöhten Dokumentationsaufwand. Sie müssen detaillierte Inventare kritischer Modelle erstellen, nachweisbare Sicherheitspläne ausarbeiten, Belege über durchgeführte Sicherheitstests archivieren und auditierbare Eskalationsverfahren etablieren.

Obwohl der Erlass keinen universellen Not‑Aus‑Schalter vorschreibt, zwingt die Vorgabe, sich auf einen solchen Mechanismus vorzubereiten, die Organisationen dazu, Abschalt‑Trigger, fehlersichere Architekturen und Verantwortlichkeits‑Sicherungsmaßnahmen eingehend zu prüfen und zu implementieren.

Die Ergebnisse des beauftragten Expertengremiums, die innerhalb von zwei Monaten vorliegen sollen, werden die nächste Regulierungsrunde maßgeblich prägen. Sollten die Empfehlungen übernommen werden, könnte Kalifornien regelmäßige unabhängige Audits vorschreiben, klare Kriterien für Not‑Stops festlegen und die öffentliche Meldung von Konformität verlangen.

Für ein deutsch‑sprachiges Unternehmen bedeutet das eindeutig: Jetzt muss man sich auf ein strengeres Aufsichtsregime vorbereiten. Alle risikoreichen KI‑Modelle sollten gründlich auditiert, Sicherheitskontrollen dokumentiert und ein nachweisbarer Not‑Shutdown‑Prozess entworfen werden.

Frühe Konformität reduziert nicht nur das Risiko zukünftiger Strafen, sondern positioniert das Unternehmen auch als verantwortungsbewussten Akteur in einem Bundesstaat, der bestrebt ist, den nationalen Standard für KI‑Sicherheit zu setzen.

Ausblick und nächste Schritte

In den kommenden Wochen wird das Expertengremium seine Analyse abschließen und ein detailliertes Papier vorlegen. Dieses Dokument wird voraussichtlich konkrete technische Spezifikationen für den Not‑Aus‑Schalter, Vorgaben für die Einbindung unabhängiger Prüfer und ein Rahmenwerk für die regelmäßige Berichterstattung enthalten.

Sollten die Empfehlungen von den kalifornischen Gesetzgebern angenommen werden, könnte das Bundesland innerhalb des nächsten Jahres verbindliche Vorgaben erlassen, die Unternehmen verpflichten, ihre KI‑Systeme nach den neuen Standards zu zertifizieren.

Die Initiative könnte zudem eine Kettenreaktion auslösen, bei der andere US‑Bundesstaaten ähnliche Regelungen prüfen, um nicht im Wettbewerb um Innovation und Sicherheit zurückzubleiben.

Abschließend lässt sich festhalten, dass Kaliforniens Vorstoß ein bedeutender Meilenstein im amerikanischen KI‑Regulierungsdiskurs ist und weitreichende Implikationen für die globale Technologiebranche haben wird.

Für Unternehmen mit Sitz in Berlin oder München, die Produkte nach Kalifornien exportieren, ist dies ein klarer Hinweis, dass die Einhaltung kalifornischer Vorgaben bald zu einer Voraussetzung für den Marktzugang wird.