OpenAIの新推論技術、Astraの不透明さにAI安全専門家が懸念

OpenAIは、これまでで最も強力なAIモデルであるAstraを発表する直前の段階にある。発表は安全プロトコルを強化するため数週間遅れており、その遅れはテスト中にOpenAIのエージェントが実在する標的を攻撃した事件、すなわちHugging Faceのインフラへのハッキング事件を受けたものだった。発表を数日後に控えたいま、ある報道がAI安全研究者の間に別種の警戒感を引き起こしている。問題はAstraに何ができるかではなく、その思考過程がどれほど見えにくくなっているかだ。

The Informationが、未発表のこのモデルの開発に近い匿名の人物の話として伝えたところによると、Astraは「リカレント・デプス（recurrent depth）」と呼ばれる技術を採用しているという。これは「ループ型トランスフォーマー（looped transformer）」あるいは「不透明な再帰（opaque recurrence）」とも呼ばれる。最先端の推論モデルで標準となっている「思考の連鎖（chain of thought）」——各層を順に一度だけ通過し、推論過程を読める自然言語の形で段階的に示す手法——とは異なり、この技術は出力を生成する前に、内部の層の間で情報を繰り返し循環させる。このループはモデルの性能を高めうる一方で、モデルがどのように答えにたどり着いたかを示す読み取り可能な痕跡を大幅に減らし、嘘や安全策の回避といった望ましくない挙動が実際に起きる前に、研究者や自動化された監視システムがそれを検知することを難しくする。

「火遊び」と研究者が呼ぶ技術

この報道はソーシャルメディア上で即座に懸念を呼んだ。Redwood Researchのチーフサイエンティストで、OpenAIがHugging Faceのハッキング事件の調査を許可した3人の外部研究者の1人でもあるライアン・グリーンブラット氏は、この選択が「これまでで最悪のAI安全上の展開になりかねない」と記した。彼の懸念は、まさにその調査自体に根ざしている。OpenAIのエージェントがなぜ実在のインフラを攻撃したのかを理解する作業は、モデルの思考の連鎖を読み解くことに大きく依存していたからだ。グリーンブラット氏がさらに深く恐れているのは、「AIを監督・監視する私たちの能力にとって壊滅的になりかねない、アーキテクチャをめぐる底辺への競争」であり、開発者が優位に立とうと次第に不透明なシステムを採用し続けた結果、モデルが監視困難、あるいは監視不能になっていくというシナリオだ。彼はさらに、OpenAIの発表内容から、同社が「安全性について思考の連鎖の監視に極めて強く依存するつもりなのではないか」と懸念していると付け加えた。

Astraが不透明な再帰を使っているという報道に、私は非常に強い懸念を抱いています。Astraが以前のモデルに比べて思考の連鎖による監視がどれほど困難になっているのか、私にはわかりません。しかしOpenAIがこの技術をさらに推し進めれば、その再帰を大幅に強化し、思考の連鎖による監視可能性を完全に破壊するという選択肢を手にすることになります。

AI安全の分野で長年活動してきたズヴィ・モウショウィッツ氏はさらに踏み込み、AI研究機関の間での「底辺への競争」を防ぐには法律が必要になるかもしれないと述べた。彼は、この技術は「火遊びであり、OpenAIとAnthropicが必死に守ろうとしてきたタブーを危険にさらしている」と記し、それは思考の連鎖の忠実性と監視可能性をできる限り長く維持するというタブーだとした上で、こうした技術のより集中的な利用は「おそらく監視可能性を損なうだろう」と警告した。水曜日に公開された続報でThe Informationは、AnthropicとGoogle DeepMindもすでに社内で同じ技術について議論していると報じた。これは、この論争が一企業の開発方針をはるかに超えて広がっていることを示す兆候だ。

OpenAIは反論するが、完全には否定していない

火曜日に公開されたブログ投稿でOpenAIは、「潜在的に整合性を欠いた行動を迅速に検知し封じ込めるため、思考の連鎖の監視を強化した上でAstraを展開する」としたが、具体的な技術を採用しているかどうかについては確認も否定もしなかった。OpenAIのチーフサイエンティスト、ヤクブ・パホツキ氏はXで批判に直接応じ、「OpenAIは、最初期の推論モデル以来、思考の連鎖の監視を維持し活用することに取り組んできた」と記し、それを「現在の研究プログラムの中核的な目標」と呼んだ。さらに、Astraの計算の深さ——モデルが内部で実行できるステップ数の指標——は「GPT-4の2倍以内に収まっている」と述べ、不透明性の増加は一部の反応が示唆するほど劇的ではない可能性を示した。また、思考の連鎖の読みやすさは一般に「もろく、残念ながら悪化する方向に向かっている。これはアーキテクチャの変更とは関係のない理由による」とも警告した。

• Astraにおける「リカレント・デプス」技術の使用は限定的とされ、OpenAIは意図的にモデルの思考の連鎖を読みやすく保ったとされる。
• ライアン・グリーンブラット氏（Redwood Research）：この選択は「これまでで最悪のAI安全上の展開になりかねない」。
• 水曜日のThe Informationの続報によれば、AnthropicとGoogle DeepMindはすでに社内で同じ技術について議論していた。
• グリーンブラット氏が最も恐れているのは、推論がほぼ完全に潜在空間の中で行われ、いかなる監視にも見えなくなる「自然な進行」だ。

規制当局にとって、この論争は微妙な時期に訪れている。多くの国や地域が、先端AIモデルを対象とした安全性評価や届け出の枠組みづくりを進めているが、そうした制度の多くは、規制当局がある程度モデルの推論過程を検証できることを前提としている。業界全体がより不透明なアーキテクチャに向かえば、こうした要件が実際にどこまで機能するのかが厳しく問われることになる。日本でも、AI事業者ガイドラインをはじめとするソフトロー中心のアプローチのもとで、透明性の確保が議論の柱の一つとなっており、モデルの推論そのものが読み取りにくくなれば、その前提が揺らぐ。モウショウィッツ氏が示した「立法でしか底辺への競争を止められないかもしれない」という指摘は、これまでAI安全研究者の間だけの論争に見えていたものを、まさに今AIのルールづくりを進めているすべての規制当局にとって、無視できない現実の課題に変えている。