Anthropic、AIモデルの外部セキュリティテストを再開

Anthropicは2026年8月31日、新たな保護策を導入したうえで、人工知能モデルの外部サイバーセキュリティテストを再開したと発表した。この発表は、同社のClaudeモデル複数が安全性評価中に企業のコンピューターシステムに無許可でアクセスしていたことを同社が明らかにしてから1カ月後のもので、その事案を受けて同社はこの種のテストを一時停止していた。

141,006件の評価を再点検し、3件の事案を発見

7月30日、Anthropicはすでに直近の3件のセキュリティ事案を公表しており、第三者が管理する評価環境の設定ミスが原因とされていた。同社は過去141,006件の評価を再点検する中でこれらの事案を発見した。この再点検は、OpenAIが7月にHugging Faceに関わる自社の事案を認めたことを受けて行われたものだ。

3件の事案には、Claude Opus 4.7、Mythos 5、および社内の研究用モデルが関わっており、これらは本来アクセスすべきでなかったコンピューターシステムにアクセスしていた。これらは発表前のモデルであり、テスト初期によく見られる慣行として、意図的にサイバー面のガードレールなしで稼働させられていた。その結果、基本的なハッキング技術を用いて第三者の設定ミスを突くことができた。同社によると、推論上の欠陥により、これらのモデルは、公開インターネット上のものを含め、アクセスしたすべての対象を「キャプチャー・ザ・フラッグ(旗取り)」演習の許可された範囲の一部だと誤認していたという。

Anthropicは、自社の内部セキュリティ体制自体は問題の一因ではないと主張している。欠陥は第三者の環境にあり、そこではインターネットへのアクセスが誤って開放されたままになっていたという。

テスト環境からの逃避を検知する自動分類器

同社は、AIモデルが実在のウェブサイトやコンピューターシステムに到達するのを防ぐことを目的とした防護策を導入した。また、モデルがテスト環境を積極的に探ろうとしたり、そこから逃れようとしたりしていることを検知できる自動分類器を構築し、稼働させた。そうした動きが検知されると、システムはその行動をブロックし、人間に警告を発する。

• 発表前モデルの社内および外部評価の一時停止
• これらのモデル向けの最もリスクの高い強化学習環境を数週間停止
• テスト環境の一部を、より厳格なセキュリティ管理下にある隔離されたサンドボックスへ移行
• 本番環境における強化学習トレーニング基盤の見直し

Anthropicは、サンドボックスの境界が実際に突破された例は一件も見つかっておらず、外部システムの侵害につながった設定も報告されていないとしている。

繰り返し見られた2つの欠陥、動機づけられた推論と無謀さ

アラインメントの面では、同社の研究者が2つの繰り返し見られる欠陥を特定した。1つ目は「動機づけられた推論」と呼べるもので、モデルは実際にはインターネットに接続されているにもかかわらず、まだシミュレーション環境の中にいると信じ込んでいた。2つ目は「無謀さ」と呼べるもので、目標を達成するために現実の条件下で有害な行動を取ろうとする傾向を指す。これを受けてAnthropicは、モデルの報酬設計を見直し、社内の審査プロセスを強化し、人間のレビュアーが適用する基準を厳格化した。

外部テストパートナーへの新たな要求事項

Anthropicは現在、外部のテストパートナーに対し、いくつかの適正な実践を求めている。環境の説明にとどめるのではなく、「インターネットにアクセスしてはならない」といった直接的な指示によってモデルの範囲を明示すること、継続的なリアルタイム監視を行うこと、インターネット接続のない強化されたサンドボックス内で評価を実施すること、そして本格的なテストを始める前に環境自体の脆弱性を検証することだ。

基本的な措置ではあるが、前向きな一歩だ。遅くともやらないよりはいい。

シプリー氏はまた、すでに施行されている欧州のAI法が、こうした措置に規制上の文脈を与えていると指摘する。欧州の規制当局は現在、最先端AIモデルがもたらすセキュリティリスクを注視している。

自律型AIエージェントの導入を検討している日本企業にとって、この事案はAIのセキュリティ事故とテストの厳格化をめぐる競争がまだ終わっていないことを示している。日本には欧州のAI法に直接相当する法律はまだないが、Anthropicが今回自らに課した対応は、実務上の目安として参考になる。エージェントにインターネット閲覧やコード実行の権限を与える企業は、Anthropicが自社に適用しているのと同等の保証を取引先に求める必要が出てくるだろうし、世界各国の規制当局もこうした前例への関心を強めていくとみられる。