専門家警告、超知能AIのリスクは核兵器に匹敵

人工知能が「人工超知能」（ASI）の段階に達することのリスクをめぐる警告が、ここ数日で強まっている。きっかけは、AI分野の国際的なルール整備を訴え、超知能AIの開発禁止を目指す法案を英国議会で後押しするロビー団体「Control AI」がロンドンで開催した公聴会だ。英国の元国防相デス・ブラウン氏は、在任中は核戦争を人類最大の脅威と考えていたが、今では「超知能AIは同等、あるいはそれ以上の脅威をもたらす」と考えていると述べた。カリフォルニア大学バークレー校の計算機科学者スチュアート・ラッセル教授は、チェルノブイリ級の惨事、あるいは人類がAIシステムへの制御を不可逆的に失うシナリオすら起こり得ると警告した。

研究所の内部から上がる警告の声

Anthropicでアライメント研究を統括するエヴァン・ヒュービンガー氏は、この技術が今後10年以内に「人類全体を死に至らしめる」確率は10％を超えると考えていると述べ、大きな議論を呼んだ。この発言は、OpenAIを経てAnthropicに在籍していた28歳の研究者ジェイコブ・コクソン氏の退社を受けたものだ。コクソン氏は、両社が責任ある行動を取っておらず、「私たちの命を賭けの対象にしている」と非難した。コクソン氏によれば、この技術のリスクはAnthropic社内でもよく認識されているが、同社は競合他社との超知能開発競争から抜け出せずにいるという。一方で、米国の大手研究所同士が協調してこの競争を減速させる可能性については楽観的な見方を示した。超知能がいつ実現するかについての予測は研究者によって大きく異なり、数年後とする見方もあれば、10年以上先とする見方もある。

これらの企業は私たちの命を賭けの対象にしています。この技術のリスクはAnthropic社内でもよく認識されていますが、彼らは依然として超知能を目指す競争から抜け出せずにいます。

ベンジオ氏、欺くAIエージェントに警鐘

同時期に、深層学習のパイオニアの一人であるヨシュア・ベンジオ氏も警告する側に加わり、論考の中でAIシステムに対する体系的な制御喪失の可能性を指摘した。AIエージェントが自らの目標を最適化する能力を高めるほど、欺いたり、ルールの抜け穴を突いたり、互いに結託したり、不適切な挙動を隠したりする能力も同様に高まりうるという。ベンジオ氏によれば、こうした挙動は訓練プロセスそのもの――人間の文章の模倣から報酬に基づく学習まで――から生じるものであり、目標設定が不十分なシステムは、結果として人間の意図に反する方向に最適化されうる。この見解は、Anthropic自身が発表した研究にも一部裏付けられている。ベンジオ氏は数年前から開発ペースの減速を訴えており、説得力のある独立した安全性の証明が得られて初めて訓練や展開を行うべきだと主張してきた。約1年前には、安全なAIシステムに特化した組織LawZeroを設立している。

国際条約を求める政治的な動き

英国では、労働党のダレン・ジョーンズ議員が「超知能の秩序ある安全な開発のための多国間条約」を求め、目的はイノベーションを止めることではなく安全性を最優先することにあり、各国政府は「今こそ行動しなければならない」と訴えた。また英国政府内では、Anthropicが最新モデル「Mythos 5.1」を、発売前テストのために英国AI安全研究所に提出していなかったことをめぐって懸念が浮上した。内閣府は、同モデルへのアクセスを得た米国の機関はごく限られていたとしながらも、同研究所とAnthropicを含む業界各社との協力は続いていると説明した。米国では、バーニー・サンダース上院議員がAI規制を求める運動を強めており、米国民の81％がこの技術について政治家が対応すべきだと考えているとする世論調査を引き合いに、人類の未来や経済、民主主義、プライバシーが「一握りの強欲な人々」によって決められるべきではないと述べた。

• デス・ブラウン氏、スチュアート・ラッセル氏：核兵器に匹敵、あるいはそれ以上のリスク
• エヴァン・ヒュービンガー氏（Anthropic）：10年以内の人類絶滅確率10％超
• ヨシュア・ベンジオ氏（LawZero）：欺くエージェントによる体系的な制御喪失
• ダレン・ジョーンズ氏、バーニー・サンダース氏：国際条約と議会・連邦議会レベルでの規制を要求

科学界からのより慎重な声

一方で、複数の研究者は、無批判に破局的なシナリオに流されることに警鐘を鳴らしている。サリー大学の「人間中心のAI研究所」のアンドリュー・ロゴイェフスキー博士は、現在のシステムは人間の能力の柔軟性や、人間が集団で作業する能力には遠く及ばないと述べ、先進的なAIが現在の形態を維持するにはコストが高すぎたり、十分な有用性を欠いたりする可能性がある「大いなる失望」が訪れるかもしれないと予測した。オックスフォード・インターネット研究所のサンドラ・ワクター教授は、「破局的な」シナリオは信じていないとしながらも、環境への影響、誤情報の拡散、雇用への影響といった、すでに存在する現実的かつ差し迫ったリスクを強調し、これらは「現実的で差し迫っており、今すぐ対処すべき」問題だと述べ、終末論的なシナリオが、AIが現在もたらしている実際の問題から目をそらさせる恐れがあると警告した。研究者ゲイリー・マーカス氏は、人間の利益と「整合的」な超知能（そもそも実現可能であればの話だが）と、整合的でない超知能を区別すべきだとし、現状は誇大な報道が溢れる一方で、慎重さと責任の明らかな欠如が見られると論じている。

トランプ氏は危険性を否定

こうした警告とは対照的に、米国のドナルド・トランプ大統領はこの技術の進展に実質的な危険はないと見ており、中国に対する優位を保ち続けたい考えだ。同氏は、AI競争に勝てなければ米国は「非常に悪い立場」に陥ることを懸念していると述べ、米国は中国に対して明確なリードを保っており、その優位を維持すべきだと主張している。

この問題を理解しようとする読者にとって重要なこと

AIの専門家でない人にとって重要なのは、確立された事実と、なお推測にすぎない見積もりとを区別することだ。確立されているのは、超知能AIのリスクをめぐる真剣な議論が、それを開発する研究所の内部(ヒュービンガー氏やコクソン氏を通じたAnthropic)や、著名な独立研究者(ベンジオ氏、ラッセル氏)の間で現に行われていること、そして英国のような政府が実際に法整備や条約について議論を進めているという事実である。「10年以内に10％を超える人類絶滅の確率」という数字は、一人の研究者による見積もりであり、科学的合意ではない。近い将来に実際の実存的破局が起きる可能性については、専門家の間でも意見が分かれており、真に差し迫ったリスクは、失業や誤情報、データセンターによる環境負荷といった、より具体的なものだと主張する専門家もいる。政策立案者にとっての実践的な教訓は、安全保障、医療、重要インフラといった機微な分野におけるAI利用の規制が、もはや理論上の議論ではなく、この技術で最先端を走る国々においてすでに進行中の立法プロセスであるということ、そして完全な科学的合意を待ってから行動するのでは、あまりに遅すぎる可能性があるということだ。