李飞飞的World Labs发布世界模型Atlas

由斯坦福大学教授、人工智能先驱李飞飞创立的World Labs，于9月1日发布了新一代世界模型Atlas。公司将其描述为一个「全能模型」，从设计之初就要在同一个系统中原生处理文本、图像、视频和3D数据，并表示Atlas仅凭一张照片即可重建真实世界的3D场景，能生成长达一分钟、具备精确相机控制的高分辨率视频,还能生成机器人在模拟环境中训练所需的深度数据。李飞飞将这次发布称为World Labs的里程碑式成果,称Atlas为从视觉特效到机器人的众多应用场景打开了大门。

Atlas到底能做什么

• 相机控制生成:仅需一到六张参考图像,Atlas即可生成具有像素级相机控制的视频,最高输出一分钟、1440p分辨率的视频。
• 空间重建:输入一张到数十张,有时超过一百张图像,Atlas既能生成新视角下的图像帧,也能输出点云和3D高斯溅射等显式3D表示,效果超过当前专门针对3D重建训练的最先进模型。
• 时空模拟:仅凭几部普通手机拍摄的视频,Atlas便可冻结画面并从不可能的角度重新取景,并支撑「从真实到模拟」的工作流,让机器人在生成的环境中训练与测试。
• 图像生成:Atlas能根据文本生成图片和360度全景图,可以遵循复杂提示词、准确渲染文字,并生成大量不同的视觉风格。

在技术架构上,Atlas是World Labs所称的多模态自回归扩散Transformer,从零开始训练,而非在现有视频或语言模型基础上改造而来。文本、图像、相机位姿、3D深度图等每一种输入,都会被锚定在一个共享的空间上下文中的具体位置,Atlas据此生成新的输出,并以上下文中已有的一切内容为条件;比如,两张毫无关系的参考图片可以被放入同一空间上下文,分别指定各自在3D空间中的位置,Atlas就能把它们缝合成一个空间自然、连续的世界。这让Atlas区别于Sora一类依靠不精确文本提示来控制镜头运动的视频生成器:Atlas将相机轨迹和场景几何作为原生输入,实现了文本单独无法提供的逐帧控制。在相机控制生成和稀疏视角3D重建两项关键任务的定量评估中,World Labs表示Atlas既超过了领先的视频模型,也超过了表现最好的专业3D重建系统,且相机轨迹越复杂,Atlas的优势越明显;团队还表示,已经看到证据显示,随着训练算力的扩大,Atlas的能力会持续提升。

押注机器人,而不只是视觉特效

这次发布延续了World Labs今年以来的布局。今年6月,李飞飞提出一套框架,将世界模型划分为渲染器、模拟器和规划器三类,并明确指出模拟器最为关键,因为它承载着渲染与行动共同依赖的几何、物理和动力学基础。7月21日,World Labs收购了机器人仿真公司SceniX;一周后的7月28日,公司公开了「从真实到模拟、再到真实」系统,强调机器人领域最大的瓶颈在于缺乏廉价、可控、可规模化的训练经验。Atlas正是串联起这些布局的关键一环:它能把普通照片或视频转化为3D空间,再转化为机器人训练所需的传感器视图和可变化的模拟环境。英伟达机器人主管、李飞飞的学生Jim Fan评价称,这是机器人领域「从真实到模拟」工作的重要一步。

世界模型能够生成、重建并模拟任何可能存在的世界,让我们既能为创作者呈现想象中的世界,也能高保真地模拟真实世界,并帮助机器人规划行动。

World Labs表示Atlas正在分阶段开放,目前先向部分合作伙伴提供早期访问权限,其他用户可以在官网申请访问。公司将Atlas定位为未来版Marble以及World Labs其他产品的底层模型。对于中国的AI实验室、游戏与视效工作室以及机器人企业而言,现实的变化在于获取可用3D数据的成本大幅降低:过去需要昂贵的采集设备或数月的专业3D重建工作,如今几张普通照片或一段手机视频,就足以成为搭建模拟环境、游戏关卡或机器人训练场的起点——前提是,当更多从业者能够真正上手测试Atlas之后,这些早期结果依然能够站得住脚。