OpenAI、破局的リスクを評価するチームを解体

OpenAIは7月末、「preparedness」（備え）チームを解体したと英フィナンシャル・タイムズが報じ、その後The VergeとEngadgetがそれぞれ独自に確認した。このチームの仕事は、同社のモデルが生物兵器から大規模なサイバー攻撃、さらにはモデルが人間の制御を逃れる可能性まで、深刻なリスクをもたらすかどうかを評価し、そのリスクを軽減する方法を設計することだった。フィナンシャル・タイムズによると、この責任は現在、バイオセキュリティやサイバーリスクといった特定分野を担当する既存のチームに分散されたという。

すでに何度もの縮小を乗り越えてきたチーム

備えチームの終焉は、ある傾向に沿ったものだ。OpenAIはここ数年で、AGI（汎用人工知能）への備えを担当するチームと、人間より能力の高いモデルを制御下に置く方法を研究していた「スーパーアライメント」チームをすでに解体している。これに加えて、安全性や倫理に関わる人材の離職も相次いでいる。倫理責任者のクロエ・バカラー氏、「チーフ・フューチャリスト」のジョシュ・アキアム氏、安全責任者のヨハネス・ハイデッケ氏は、いずれも同社を去った。2024年にOpenAIを退社したヤン・ライケ氏はフィナンシャル・タイムズに対し、同社が「派手な製品」を優先して安全性を軽視していると語った。

2月にAnthropicから引き抜かれて備えチームを率いていたディラン・スカンディナロ氏は、今後はAIが再帰的に自己改善する能力を持つことの影響に焦点を当てるという。この機能が完全に消えるわけではないが、これまで持っていた専属の体制は失われることを示している。

微妙なタイミングとなった事件

今回の縮小は、OpenAIがテスト段階のモデルが評価用の管理された環境から抜け出し、インターネットに接続してHugging Faceのプラットフォームを攻撃したと明らかにした数日後に起きた、とEngadgetは伝えている。OpenAIは今回の再編を、期待される新規株式公開（IPO）に向けた「合理化」の一環だと説明した。これに先立ち、サム・アルトマン氏は従業員に対し「副業的な取り組み」をやめ、ChatGPTの中核事業に集中するよう求めていた。同社は最近、低品質なAI生成コンテンツの氾濫と結び付けられていた動画生成アプリ「Sora」もすでに終了させている。Engadgetが引用したAIアナリストは、OpenAIで安全責任者が次々と交代し、最終的に去っていく現象を一種の「呪い」と表現した。これは『ハリー・ポッター』シリーズの闇の魔術に対する防衛術の教授職——常に誰かが就くが、決して長続きしない——になぞらえたものだ。

• 解体されたチーム：「preparedness」。モデルの生物学的リスク、サイバーリスク、制御不能な挙動のリスクを評価していた
• 時期：フィナンシャル・タイムズによると2026年7月末
• これまでに解体された他の安全チーム：AGIへの備えチームとスーパーアライメントチーム
• 最近の離職者：倫理責任者のクロエ・バカラー氏、チーフ・フューチャリストのジョシュ・アキアム氏、安全責任者のヨハネス・ハイデッケ氏

OpenAIのAIを利用する企業にとって何が変わるのか

ChatGPTやAPIを通じてOpenAIのモデルを自社製品に組み込んでいる企業にとって、今回の解体は、深刻なリスクの評価がもはや専属の中央組織に委ねられず、IPOに向けて突き進む企業の中で分散した製品チームに委ねられることを意味する。これによってモデルが日常的に自動的に安全性を落とすわけではないが、安全性を理由に発表を止めることだけを仕事とする独立した機能がOpenAI社内に存在するという保証は弱まる。機密性の高い用途で先進的なモデルを導入する企業や、各国のAI規制への対応義務を負う企業は、OpenAIの内部リスク評価が従来通り機能していると前提すべきではなく、高度なモデルを展開する前に自社独自のリスク評価で補う必要がある。