英伟达GR00T 2：机器人开始从人类视频中学习手部动作

英伟达在美国得克萨斯州奥斯汀举行的机器人学习大会CoRL上发布了GR00T 2，这是其机器人基础模型的第二代。该模型想缓解行业的一个核心难题：到目前为止，机器人学会新的手部动作，多半要靠人类远程操控它们数小时。据The Decoder报道，这种所谓的遥操作成本高、速度慢，而且产生的数据只适用于某一特定型号的机器人。GR00T 2则转而依靠人类的视频。

一个用视频预测未来的模型

据英伟达介绍，GR00T 2是所谓的世界动作模型。与上一代GR00T 1不同，它不是把摄像头画面和语言指令直接翻译成电机动作，而是同时计算下一步动作和一小段紧接着发生的未来视频。换句话说，它会预测当机械爪抓起某个物体时，摄像头画面应当如何变化。根据英伟达的研究报告，系统用一个扩散Transformer同时处理未来视频和动作片段，再由每台机器人专属的小型模块把计划转换成电机指令。

借助这种视频预测，模型有望在不同机器人形态之间迁移动作流程。英伟达称，它可以运行在平行夹爪、五指灵巧手和人形机器人上。据The Decoder报道，训练在一个拥有一千多颗GB300芯片的集群上完成。按英伟达的说法，训练数据由三类组成：

• 402,730小时的人类工作第一视角视频，由头戴摄像头拍摄
• 10,184小时的手持UMI夹爪示范，涵盖2,897项任务
• 23,500小时的机器人遥操作数据，包括平行夹爪机械臂、Sharpa和Wuji的灵巧手以及人形机器人Unitree G1

据英伟达称，其中10万小时的人类视频以Human-1M-100K之名在Hugging Face上公开提供。The Robot Report把GR00T 2描述为开放的前沿世界动作模型。至于模型权重的具体许可条款，我们在所读的资料中没有核实。

数字说明了什么，又没说明什么

所有结果都来自实验室测试和英伟达自己，目前尚未经过独立验证。据英伟达称，在目标机器人从未练习过的50项任务中，没有任何机器人示范的情况下有40%成功。每项任务给一次示范后，成功率升至71%；给五次示范（总共不到三分钟的机器人数据）后升至95%。英伟达表示，只需在一块RTX 5090显卡上做30分钟的微调即可。

仅从人类视频中学习尤其引人注目。据The Decoder报道，一台带有两只五指手的机器人能够点燃火柴、切香蕉、把包裹扔到传送带上，而这些任务事先都没有对它进行过遥操作。各项任务的成功率在10%到80%之间波动。英伟达称，只要有人戴着数据手套、专用手持夹爪或手指外骨骼演示动作就够了。系统还仅凭一段挥锤的视频，借助模拟环境学会了敲钉子。

在使用两只Sharpa手的精细操作任务中，英伟达给出的数字是：安装GB300内存模块成功率85%，组装玩具卡车成功率65%。在真实机器人上进行强化学习后，三项接触密集的插接任务提升到88%至96%。

语言模型既是指挥，也是刹车

对于较长的装配工作，英伟达把GR00T 2与一个上层AI语言模型结合，由后者通过接口调用该软件。据The Decoder报道，这可以是OpenAI的GPT-6 Astra等模型。语言模型把任务拆成步骤，在摄像头画面中标出抓取点，并在零件掉落时启动辅助程序。据英伟达称，机器人借此在连续100次中至少97次完成了三种玩具模型中每一种的组装。据The Decoder报道，如果没有这个负责纠错的语言模型和额外的后期训练，玩具汽车的组装只在100次中成功了23次。有了彩色抓取标记，机器人遵循指令的比例为92%，而仅给任务指令时为40%。

代价是速度：据The Decoder报道，在分拣垃圾时，机器人约三分之一的时间处于静止，因为平均要等待规划模型七秒以上。为此，英伟达为双足机器人开发了精简版GR00T 2 Turbo。据英伟达称，它每次预测需要124毫秒，直接运行在Unitree G1自带的Jetson Thor板载计算机上。机器人在全部48次尝试中都舀出了爆米花，在93%的尝试中清空了桌面。据The Decoder报道，用脚下的毛巾擦拭液体只在大约一半的尝试中成功。

走向实际应用仍有哪些障碍

• 模型目前还不处理直接的触觉传感器数据。
• 它有时会漏掉细微的错误，例如只拧了一半的螺丝。
• 成功率波动很大，许多任务远低于95%。
• 在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces等基准中位列前三，是英伟达自己的说法。

发布之际，英伟达列出了正在测试该模型的合作伙伴：据The Robot Report报道，富士康将其用于服务器制造的工厂自动化，西门子在评估其工业用例，Nexuni则在洗衣业务中测试。与此同时，英伟达还通过Isaac Lab 3.0发布了其开源机器人仿真训练框架的新版本。

这对中国企业意味着什么

对中国的制造和物流企业来说，GR00T 2还不是可以直接开机使用的产品，但它是一个信号：机器人的教学方式可能从昂贵的遥操作转向视频加少量示范。这是我们的判断，不是英伟达的说法。比较稳妥的做法，是在变化多、抓取失败代价低、成功率低于95%也能承受的任务上做一个小型试点。想把员工视频用作训练素材的企业，应尽早让个人信息保护负责人和员工代表参与。实验室数字只有在用自己的零件、在自己的车间里得到验证之后，才算可靠。