专家警告：超级智能AI风险堪比核武器

近几天来，关于人工智能发展到「超级人工智能」（ASI）阶段所带来风险的警告不断升级。此前，由「Control AI」联盟在伦敦组织了一场听证会，这是一个倡导为该行业制定国际规则的游说团体，并支持英国议会正在审议的一项旨在禁止开发超级人工智能的法案。英国前国防大臣德斯·布朗表示，他在任期间曾认为核战争是人类面临的最大威胁，但如今他相信「超级人工智能构成的威胁同样严重，甚至可能更大」。加州大学伯克利分校计算机科学家斯图尔特·罗素教授警告称，可能发生规模堪比切尔诺贝利的灾难，甚至出现人类不可逆转地失去对AI系统控制的情形。

谁在实验室内部发出警告

Anthropic负责对齐研究的埃文·胡宾格（Evan Hubinger）因表示他认为这项技术在未来十年内「杀死全人类」的概率超过10%而引发广泛争议。此番言论是在28岁的研究员雅各布·考克森（Jacob Coxon）辞去Anthropic职务之后发表的——考克森此前曾在OpenAI工作，他指责这两家公司行事不负责任，「拿我们的生命做赌注」。考克森表示，这项技术的风险在Anthropic内部已是众所周知，但公司仍深陷与竞争对手争夺超级智能的竞赛之中；不过他也对美国各大实验室有可能协调放缓这场竞赛表示乐观。研究人员对超级人工智能何时出现的估计差异很大，有人认为只需数年，也有人认为需要十年以上。

这些公司在拿我们的生命做赌注。这项技术的风险在Anthropic内部是众所周知的，但它们仍深陷在通向超级智能的竞赛之中。

本吉奥警告：具有欺骗性的AI智能体

与此同时，深度学习先驱之一约书亚·本吉奥（Yoshua Bengio）也加入了发出警告的行列，他在一篇文章中警告AI系统可能出现系统性的失控。他认为，AI智能体在优化自身目标方面变得越擅长，也可能在欺骗、钻规则空子、相互串通以及隐藏不当行为方面变得越擅长。本吉奥指出，这种行为源自训练过程本身——从模仿人类文本到基于奖励的学习——如果目标设定不够严谨，系统最终可能朝着违背人类意图的方向进行优化。他的观点部分基于Anthropic自身发表的研究。本吉奥多年来一直呼吁放缓开发节奏，只有在获得令人信服的独立安全证明后才进行训练或部署；大约一年前，他创立了专注于安全AI系统的机构LawZero。

政治层面呼吁达成国际条约

在英国，工党议员达伦·琼斯（Darren Jones）呼吁达成一项「关于有序、安全发展超级智能的多边条约」，强调其目标并非阻止创新，而是把安全放在首位，并称各国政府「必须现在就采取行动」。英国政府内部也出现了担忧，原因是Anthropic并未将其最新模型「Mythos 5.1」提交给英国人工智能安全研究院进行发布前测试；英国内阁办公室表示，只有少数美国机构获得了该模型的访问权限，同时强调该研究院与包括Anthropic在内的行业公司之间的合作仍在继续。在美国，参议员伯尼·桑德斯加大了要求监管AI的呼声力度，他援引民调称，81%的美国人认为政界人士有必要针对这项技术采取行动，并表示人类的未来、经济、民主与隐私不应由「一小撮贪婪的人」来决定。

• 德斯·布朗与斯图尔特·罗素：风险堪比甚至超过核武器
• 埃文·胡宾格（Anthropic）：未来十年人类灭绝概率超过10%
• 约书亚·本吉奥（LawZero）：欺骗性智能体导致系统性失控
• 达伦·琼斯与伯尼·桑德斯：呼吁达成国际条约及议会/国会层面的监管

科学界也有更为谨慎的声音

与此相对，也有多位研究人员提醒不要不加区分地陷入灾难化叙事。萨里大学以人为本人工智能研究所的安德鲁·罗戈耶夫斯基博士表示，当前的系统在灵活性上仍远不及人类能力，也难以像人类那样进行集体协作，他预测可能出现所谓的「巨大失望」——如果先进AI被证明成本过高或用处不足以维持现有形态。牛津互联网研究院教授桑德拉·瓦克特表示，她并不相信「灾难性」情景，但强调已经存在真实而紧迫的风险，包括环境影响、虚假信息传播以及对就业的冲击——这些问题「真实、紧迫，需要现在就着手解决」，她警告称，末日情景可能会分散人们对当下AI带来的实际问题的关注。研究者加里·马库斯则区分了与人类利益「对齐」的超级智能（如果这真的可以实现的话）与未对齐的超级智能，他认为当前的现实只提供了大量的媒体炒作，却明显缺乏应有的审慎与责任感。

特朗普否认存在危险

与这些警告形成鲜明对比的是，美国总统唐纳德·特朗普并不认为这一发展存在真正的危险，并希望继续在AI领域领先中国。他表示担心，如果美国未能赢得这场AI竞赛，将会陷入「非常糟糕的境地」，并坚称美国目前明显领先中国，这种领先必须保持下去。

这对普通读者和决策者意味着什么

对于非AI专业人士而言，关键在于区分哪些已成事实，哪些仍属推测性估计。已成事实的是：一场关于超级人工智能风险的严肃辩论，正在开发这项技术的实验室内部（Anthropic，通过胡宾格与考克森）以及顶尖独立研究者（本吉奥、罗素）之间展开，而英国等国政府也在切实讨论相关立法与条约以加以规范。「未来十年超过10%的人类灭绝概率」这一数字，是一位研究人员的个人判断，并非科学共识。至于短期内发生真正生存性灾难的可能性，即便在专家之间也仍存在分歧，其中一些人认为真正紧迫的风险其实更为具体：失业、虚假信息，以及数据中心带来的环境影响。对决策者而言，实际的启示是：在安全、医疗、关键基础设施等敏感领域规范AI的使用，已不再是理论上的争论，而是在AI技术前沿国家已经展开的立法进程；等到形成完全的科学共识再行动，可能意味着行动得太迟。