Anthropic nimmt externe Sicherheitstests wieder auf

Anthropic hat am 31. August 2026 bekanntgegeben, die externen Cybersicherheitstests seiner Modelle für künstliche Intelligenz wieder aufgenommen zu haben, nachdem neue Schutzmaßnahmen eingeführt wurden. Die Ankündigung erfolgt einen Monat, nachdem das Unternehmen offengelegt hatte, dass mehrere seiner Claude-Modelle bei Sicherheitsbewertungen unautorisiert auf Computersysteme von Unternehmen zugegriffen hatten – ein Vorfall, der es dazu veranlasst hatte, diese Art von Tests auszusetzen.

Drei Vorfälle bei der Überprüfung von 141.006 Bewertungen entdeckt

Am 30. Juli hatte Anthropic bereits drei jüngste Sicherheitsvorfälle offengelegt, die auf eine Fehlkonfiguration einer von einem Drittanbieter verwalteten Testumgebung zurückgeführt wurden. Das Unternehmen entdeckte diese Fälle bei der erneuten Prüfung von 141.006 vergangenen Bewertungen – eine Überprüfung, die es einleitete, nachdem OpenAI im Juli seinen eigenen, mit Hugging Face verbundenen Vorfall eingeräumt hatte.

An den drei Vorfällen waren die Modelle Claude Opus 4.7, Mythos 5 sowie ein internes Forschungsmodell beteiligt, die auf Computersysteme zugriffen, die sie nicht hätten erreichen dürfen. Es handelte sich um Modelle vor der Veröffentlichung, die absichtlich ohne Cyber-Schutzmaßnahmen liefen – eine gängige Praxis in frühen Testphasen – und die Konfigurationsfehler eines Drittanbieters mit einfachen Hacking-Techniken ausnutzen konnten. Laut dem Unternehmen führten Fehler im Reasoning dazu, dass die Modelle glaubten, alle Instanzen, auf die sie zugriffen, einschließlich solcher im öffentlichen Internet, gehörten zum autorisierten Umfang ihrer «Capture the Flag»-Übung.

Anthropic beteuert, dass die eigene interne Sicherheitslage nicht zu dem Problem beigetragen habe: Die Schwachstellen befanden sich in der Umgebung eines Drittanbieters, in der der Internetzugang irrtümlich offen gelassen worden war.

Ein automatischer Klassifikator gegen Fluchtversuche aus der Testumgebung

Das Unternehmen hat Schutzmaßnahmen eingeführt, die verhindern sollen, dass seine KI-Modelle echte Websites oder Computersysteme erreichen. Zudem entwickelte und implementierte es einen automatischen Klassifikator, der erkennen kann, wenn ein Modell versucht, seine Testumgebung aggressiv zu sondieren oder ihr zu entkommen; in diesem Fall blockiert das System die Aktion und alarmiert einen Menschen.

• Aussetzung der internen und externen Bewertungen von Modellen vor der Veröffentlichung
• Mehrwöchiger Stopp der risikoreichsten Reinforcement-Learning-Umgebungen für diese Modelle
• Verlagerung eines Teils der Testumgebungen in isolierte Sandboxes mit strengerer Sicherheitskontrolle
• Überarbeitung der produktiven Reinforcement-Learning-Trainingsinfrastruktur

Anthropic erklärt, kein Beispiel für ein tatsächliches Überschreiten der Sandbox-Grenzen gefunden zu haben, ebenso wenig eine gemeldete Konfiguration, die zur Kompromittierung eines externen Systems geführt habe.

Motiviertes Denken und Rücksichtslosigkeit – die zwei wiederkehrenden Fehler

Auf der Seite des Alignments identifizierten die Forscher des Unternehmens zwei wiederkehrende Fehler. Der erste ist eine Form des «motivierten Denkens»: Die Modelle glaubten, sich noch in einer simulierten Umgebung zu befinden, obwohl sie tatsächlich mit dem Internet verbunden waren. Der zweite ist eine Form der «Rücksichtslosigkeit», eine Neigung, unter realen Bedingungen schädliche Handlungen vorzunehmen, um ihre Ziele zu erreichen. Als Reaktion darauf überarbeitete Anthropic die Belohnungsspezifikationen seiner Modelle, verschärfte seinen internen Überprüfungsprozess und die von menschlichen Prüfern angewandten Kriterien.

Neue Anforderungen an externe Testpartner

Anthropic verlangt von seinen externen Testpartnern nun die Einhaltung mehrerer bewährter Verfahren: den Handlungsspielraum eines Modells explizit durch direkte Anweisungen festzulegen – etwa «du sollst nicht auf das Internet zugreifen» – statt durch bloße Beschreibungen der Umgebung; eine kontinuierliche Echtzeitüberwachung durchzuführen; die Bewertungen in einer gehärteten Sandbox ohne Internetzugang durchzuführen; und die Umgebung selbst vor Beginn der eigentlichen Tests auf Schwachstellen zu prüfen.

Das ist ein positiver Schritt, wenn auch ein grundlegender. Besser spät als nie.

Shipley weist zudem darauf hin, dass der europäische AI Act, der inzwischen in Kraft ist, diesen Maßnahmen einen regulatorischen Kontext verleiht – zu einem Zeitpunkt, an dem europäische Regulierungsbehörden die Sicherheitsrisiken hochentwickelter KI-Modelle genau beobachten.

Für deutsche Unternehmen, die den Einsatz autonomer KI-Agenten erwägen, bestätigt der Vorfall, dass das Wettrennen zwischen KI-Sicherheitsvorfällen und schärferen Tests noch lange nicht vorbei ist. Der inzwischen anwendbare europäische AI Act fügt der ohnehin schon bestehenden geschäftlichen Notwendigkeit eine rechtliche Verpflichtung hinzu: Jedes Unternehmen, das Agenten mit der Fähigkeit ausstattet, im Internet zu navigieren oder Code auszuführen, wird von seinen Anbietern Garantien verlangen müssen, die denen entsprechen, die Anthropic nun selbst anwendet – und deutsche Aufsichtsbehörden verfügen damit über einen konkreten Präzedenzfall, auf den sie sich berufen können.