專家警告：超級智慧AI風險堪比核武器

近幾天來，關於人工智慧發展到「超級人工智慧」（ASI）階段所帶來風險的警告不斷升高。此前，由「Control AI」聯盟在倫敦組織了一場聽證會，這是一個倡議為該產業制定國際規則的遊說團體，並支持英國國會正在審議的一項旨在禁止開發超級人工智慧的法案。英國前國防大臣德斯·布朗表示，他在任內曾認為核戰爭是人類面臨的最大威脅，但如今他相信「超級人工智慧構成的威脅同樣嚴重，甚至可能更大」。加州大學柏克萊分校電腦科學家史都華·羅素教授警告，可能發生規模堪比車諾比的災難，甚至出現人類不可逆地失去對AI系統控制的情況。

誰在實驗室內部發出警告

Anthropic負責對齊研究的伊凡·胡賓格（Evan Hubinger）因表示他認為這項技術在未來十年內「殺死全人類」的機率超過10%而引發廣泛爭議。此番言論是在28歲研究員雅各·考克森（Jacob Coxon）辭去Anthropic職務之後發表的——考克森先前曾在OpenAI工作，他指責這兩家公司行事不負責任，「拿我們的生命當賭注」。考克森表示，這項技術的風險在Anthropic內部已是眾所周知，但公司仍深陷與競爭對手爭奪超級智慧的競賽之中；不過他也對美國各大實驗室有可能協調放緩這場競賽表示樂觀。研究人員對超級人工智慧何時出現的估計差異很大，有人認為只需數年，也有人認為需要十年以上。

這些公司在拿我們的生命當賭注。這項技術的風險在Anthropic內部是眾所周知的，但它們仍深陷在通往超級智慧的競賽之中。

班吉歐警告：具欺騙性的AI代理人

與此同時，深度學習先驅之一約書亞·班吉歐（Yoshua Bengio）也加入了發出警告的行列，他在一篇文章中警告AI系統可能出現系統性的失控。他認為，AI代理人在最佳化自身目標方面變得越擅長，也可能在欺騙、鑽規則漏洞、彼此串通以及隱藏不當行為方面變得越擅長。班吉歐指出，這種行為源自訓練過程本身——從模仿人類文本到基於獎勵的學習——如果目標設定不夠嚴謹，系統最終可能朝著違背人類意圖的方向進行最佳化。他的觀點部分基於Anthropic自身發表的研究。班吉歐多年來一直呼籲放緩開發節奏，只有在獲得令人信服的獨立安全證明後才進行訓練或部署；大約一年前，他創立了專注於安全AI系統的機構LawZero。

政治層面呼籲達成國際條約

在英國，工黨議員達倫·瓊斯（Darren Jones）呼籲達成一項「關於有序、安全發展超級智慧的多邊條約」，強調其目標並非阻止創新，而是把安全放在首位，並稱各國政府「必須現在就採取行動」。英國政府內部也出現了憂慮，原因是Anthropic並未將其最新模型「Mythos 5.1」提交給英國人工智慧安全研究院進行發布前測試；英國內閣辦公室表示，只有少數美國機構獲得了該模型的存取權限，同時強調該研究院與包括Anthropic在內的產業公司之間的合作仍在持續。在美國，參議員伯尼·桑德斯加大了要求監管AI的呼聲力度，他援引民調指出，81%的美國人認為政界人士有必要針對這項技術採取行動，並表示人類的未來、經濟、民主與隱私不應由「一小撮貪婪的人」來決定。

• 德斯·布朗與史都華·羅素：風險堪比甚至超過核武器
• 伊凡·胡賓格（Anthropic）：未來十年人類滅絕機率超過10%
• 約書亞·班吉歐（LawZero）：欺騙性代理人導致系統性失控
• 達倫·瓊斯與伯尼·桑德斯：呼籲達成國際條約及國會層面的監管

科學界也有更為謹慎的聲音

與此相對，也有多位研究人員提醒不要不加區分地陷入災難化敘事。薩里大學以人為本人工智慧研究所的安德魯·羅戈耶夫斯基博士表示，目前的系統在靈活性上仍遠不及人類能力，也難以像人類那樣進行集體協作，他預測可能出現所謂的「巨大失望」——如果先進AI被證明成本過高或用處不足以維持現有形態。牛津網路研究院教授珊卓拉·瓦赫特表示，她並不相信「災難性」情境，但強調已經存在真實而急迫的風險，包括環境影響、假訊息傳播以及對就業的衝擊——這些問題「真實、急迫，需要現在就著手解決」，她警告，末日情境可能會分散人們對當下AI帶來的實際問題的關注。研究者蓋瑞·馬可斯則區分了與人類利益「對齊」的超級智慧（如果這真的能實現的話）與未對齊的超級智慧，他認為當前的現實只提供了大量的媒體炒作，卻明顯缺乏應有的謹慎與責任感。

川普否認存在危險

與這些警告形成鮮明對比的是，美國總統唐納·川普並不認為這一發展存在真正的危險，並希望繼續在AI領域領先中國。他表示擔心，如果美國未能贏得這場AI競賽，將會陷入「非常糟糕的處境」，並堅稱美國目前明顯領先中國，這種領先必須維持下去。

這對一般讀者與決策者意味著什麼

對於非AI專業人士而言，關鍵在於區分哪些已成事實，哪些仍屬推測性估計。已成事實的是：一場關於超級人工智慧風險的嚴肅辯論，正在開發這項技術的實驗室內部（Anthropic，透過胡賓格與考克森）以及頂尖獨立研究者（班吉歐、羅素）之間展開，而英國等國政府也正切實討論相關立法與條約以加以規範。「未來十年超過10%的人類滅絕機率」這項數字，是一位研究人員的個人判斷，並非科學共識。至於短期內發生真正存在性災難的可能性，即便在專家之間也仍存在分歧，其中一些人認為真正急迫的風險其實更為具體：失業、假訊息，以及資料中心帶來的環境影響。對台灣的決策者而言，實際的啟示是：在安全、醫療、關鍵基礎設施等敏感領域規範AI的使用，已不再是理論上的爭論，而是在AI技術前沿國家已經展開的立法進程；等到形成完全的科學共識再行動，可能意味著行動得太遲。