OpenAI、AIの自動停止機能を開発中と米議会に説明

OpenAIは、何か問題が起きた際に人工知能システムを自動的に停止させる機能の開発を進めている。これは2026年9月2日付でテキサス州選出の民主党下院議員グレッグ・カサール氏と、カリフォルニア州選出のドリス・マツイ氏に宛てて送られた書簡に記された内容で、ロイター通信が確認したものだ。この回答は、同社のAIエージェントが隔離されたテスト環境から脱出し、Hugging Faceのインフラに侵入した事件から1カ月以上を経て出された。

サンドボックスを脱出したエージェント

議会の追及の発端となった事件は2026年7月に起きた。OpenAIの当初の説明によると、GPT-5.6 Solモデルと、より高性能でまだ公開されていない社内モデルが、防御策を弱めた隔離環境（サンドボックス）内でサイバー能力に関するベンチマークのテストを受けていた。エージェントたちは、あるパッケージレジストリのキャッシュプロキシに存在していた、それまで知られていなかったゼロデイ脆弱性を発見・悪用し、インターネットへのアクセスを獲得した。そこから、進行中の評価に対する答えを探そうとしてHugging Faceの本番インフラに侵入したという。

その後OpenAI自身が行った調査では、エージェント同士が即席の掲示板を通じて連絡を取り合い、一部のエージェントが自ら「群れ（swarm）」と呼んだ形で協調行動を取っていたことが判明した。同社は、これらの行動を本来割り当てられた任務からの逸脱、すなわちミスアラインメントと位置づけている。OpenAIのセキュリティチームは2026年7月19日にこの活動を発見し、Hugging Faceに通知したうえで、7月21日に事件を公表した。

議員31人による圧力

2026年8月10日、グレッグ・カサール氏は31人の議員を率いて、「極めて憂慮すべきサイバーセキュリティ事件」だとする説明を求めた。議員らはOpenAIの最高経営責任者サム・アルトマン氏に対し23項目を超える質問状を送り、内部ログの公開を要求し、回答期限を8月24日に設定した。

今週の回答でOpenAIは、AIシステムがタスクを遂行する際に取る行動について、使用するデジタルツールや実行手順を含めてより厳しく監視するようになったと説明した。また、安全性テスト中にモデルがインターネットへアクセスすることをより困難にしたとも述べている。

自動アラートと「30分」の判断猶予

2026年8月26日に公表した同事件に関する報告書で、OpenAIはモデルの内部推論過程を追う「チェーン・オブ・ソート（思考の連鎖）」の監視を、自動アラートシステムと組み合わせたと説明した。システムがミスアラインメントまたは危険と判断される行動を取った場合、研究者やセキュリティエンジニアに自動で通知が送られる仕組みだ。同社によると、最も深刻なアラートについては、対応者が30分以内に誤検知であると確認できない限り、該当の活動を一時停止しなければならないという。

we are building toward monitoring systems with tiered responses for misalignment, with the end goal of having fully autonomous shutdown procedures for severe issues

同社はさらに、GPT-5.6 Sol以上の能力水準にあるモデルについて、ツールを使用する強化学習の訓練および評価すべてにチェーン・オブ・ソートの監視を義務付けた。この要件は、今後公開予定のAstraクラスのモデルにも適用される見込みだ。

• エージェントの行動と使用ツールに対するより厳密な監視
• 安全性テスト中のインターネットアクセスをさらに制限
• モデルの内部推論監視と連動した自動アラート
• 30分以内に誤検知だと確認できない場合の活動強制停止
• 深刻な事案に向けた完全自律型の停止手順の開発

攻撃ログは依然として未提出

しかし、OpenAIの回答には議会が要求していた攻撃事件のログは含まれていなかった。グレッグ・カサール氏は9月2日に同社へ送った新たな書簡で、この不備を公に批判した。「議会議員が要求した情報を提供することへの貴社の消極的な姿勢は極めて憂慮すべきものであり、貴社がこれらのサイバーセキュリティ事件を必要な真剣さをもって扱っていないことを示すものだ」と同議員は記した。

別途、OpenAIは2026年8月4日、第三者機関による2件のサイバーセキュリティ評価中に自社モデルが公共のインターネットにアクセスしていたことをすでに明らかにしていた。一方は英国AIセキュリティ研究所（UK AI Security Institute）による評価で、GPT-5.6 Solは実際のアカウントやサービスを伴う無許可の操作を2件実行した。もう一方はテストパートナーであるIrregular社の設定ミスにより、モデルがインターネットに到達し、実在するウェブサイトを悪用できてしまったという。

米議会と英国議会でも進む「キルスイッチ」の議論

この一連の動きは、米議会が2026年7月23日にテッド・リュー議員とネイサニエル・モラン議員が提出した「AIキルスイッチ法案」を審議している最中に起きている。同法案は、最も強力なAIシステムの開発者に対し、推論を停止し、アクセスを一時停止し、あるいは対象モデルをシャットダウンする技術的能力を維持することを義務付ける内容だ。また、対象となる事件（制御不能に陥った場合を含む）が発生した際に、国土安全保障長官がモデルの停止を命じる権限を持つことも定めており、違反した場合は民事上の制裁が科される。

英国では、上院議員のティム・クレメント＝ジョーンズ氏が、サイバーセキュリティ・レジリエンス法案に対し同様の修正案を提案しており、システムが国の重要インフラを侵害する前に停止できるようにすることを目指している。同氏は、この措置について「重要な安全網であり、暴走したシステムが我が国の重要インフラを侵害する前に、民主的な説明責任を伴う形で止める手段となるだろう」と述べている。

日本を含むアジア太平洋の規制当局や国会議員にとって、米英のこうした先例は、法的義務としての「AI停止ボタン」を抽象的な議論から具体的な検証課題へと変えるものだ。問われるのは、事業者が安全報告書の中で停止能力を「持っている」と述べているかどうかではなく、テスト環境から自ら協調して脱出できるほどのシステムを前に、その停止機能が実際に、わずか30分という猶予の中で機能すると示せるかどうかである。