輝達GR00T 2：機器人開始從人類影片中學習手部動作

輝達（Nvidia）在美國德州奧斯汀舉行的機器人學習大會CoRL上發表了GR00T 2，這是其機器人基礎模型的第二代。該模型想緩解業界的一個核心難題：到目前為止，機器人學會新的手部動作，多半要靠人類遠端操控它們數小時。根據The Decoder報導，這種所謂的遙操作成本高、速度慢，而且產生的資料只適用於某一特定型號的機器人。GR00T 2則轉而依靠人類的影片。

一個用影片預測未來的模型

據輝達介紹，GR00T 2是所謂的世界動作模型。與上一代GR00T 1不同，它不是把攝影機畫面和語言指令直接轉譯成馬達動作，而是同時計算下一步動作和一小段緊接著發生的未來影片。換句話說，它會預測當機械爪抓起某個物體時，攝影機畫面應當如何變化。根據輝達的研究報告，系統用一個擴散Transformer同時處理未來影片和動作片段，再由每台機器人專屬的小型模組把計畫轉換成馬達指令。

藉由這種影片預測，模型有望在不同機器人型態之間遷移動作流程。輝達表示，它可以運行在平行夾爪、五指靈巧手和人形機器人上。根據The Decoder報導，訓練在一個擁有一千多顆GB300晶片的叢集上完成。依輝達的說法，訓練資料由三類組成：

• 402,730小時的人類工作第一人稱影片，由頭戴攝影機拍攝
• 10,184小時的手持UMI夾爪示範，涵蓋2,897項任務
• 23,500小時的機器人遙操作資料，包括平行夾爪機械手臂、Sharpa和Wuji的靈巧手以及人形機器人Unitree G1

據輝達表示，其中10萬小時的人類影片以Human-1M-100K之名在Hugging Face上公開提供。The Robot Report把GR00T 2描述為開放的前沿世界動作模型。至於模型權重的具體授權條款，我們在所讀的資料中沒有查證。

數字說明了什麼，又沒說明什麼

所有結果都來自實驗室測試和輝達自己，目前尚未經過獨立驗證。據輝達表示，在目標機器人從未練習過的50項任務中，沒有任何機器人示範的情況下有40%成功。每項任務給一次示範後，成功率升至71%；給五次示範（總共不到三分鐘的機器人資料）後升至95%。輝達表示，只需在一張RTX 5090顯示卡上做30分鐘的微調即可。

僅從人類影片中學習尤其引人注目。根據The Decoder報導，一台帶有兩隻五指手的機器人能夠點燃火柴、切香蕉、把包裹丟到輸送帶上，而這些任務事先都沒有對它進行過遙操作。各項任務的成功率在10%到80%之間波動。輝達表示，只要有人戴著資料手套、專用手持夾爪或手指外骨骼示範動作就夠了。系統還僅憑一段揮錘的影片，藉由模擬環境學會了敲釘子。

在使用兩隻Sharpa手的精細操作任務中，輝達給出的數字是：安裝GB300記憶體模組成功率85%，組裝玩具卡車成功率65%。在真實機器人上進行強化學習後，三項接觸密集的插接任務提升到88%至96%。

語言模型既是指揮，也是煞車

對於較長的組裝工作，輝達把GR00T 2與一個上層AI語言模型結合，由後者透過介面呼叫該軟體。根據The Decoder報導，這可以是OpenAI的GPT-6 Astra等模型。語言模型把任務拆成步驟，在攝影機畫面中標出抓取點，並在零件掉落時啟動輔助程式。據輝達表示，機器人藉此在連續100次中至少97次完成了三種玩具模型中每一種的組裝。根據The Decoder報導，如果沒有這個負責糾錯的語言模型和額外的後期訓練，玩具汽車的組裝只在100次中成功了23次。有了彩色抓取標記，機器人遵循指令的比例為92%，而僅給任務指令時為40%。

代價是速度：根據The Decoder報導，在分揀垃圾時，機器人約三分之一的時間處於靜止，因為平均要等待規劃模型七秒以上。為此，輝達為雙足機器人開發了精簡版GR00T 2 Turbo。據輝達表示，它每次預測需要124毫秒，直接運行在Unitree G1自帶的Jetson Thor板載電腦上。機器人在全部48次嘗試中都舀出了爆米花，在93%的嘗試中清空了桌面。根據The Decoder報導，用腳下的毛巾擦拭液體只在大約一半的嘗試中成功。

邁向實際應用仍有哪些障礙

• 模型目前還不處理直接的觸覺感測器資料。
• 它有時會漏掉細微的錯誤，例如只鎖了一半的螺絲。
• 成功率波動很大，許多任務遠低於95%。
• 在RoboCasa365、RoboLab、RoboDojo和MolmoSpaces等基準中名列前三，是輝達自己的說法。

發表之際，輝達列出了正在測試該模型的合作夥伴：根據The Robot Report報導，鴻海將其用於伺服器製造的工廠自動化，西門子在評估其工業用例，Nexuni則在洗衣業務中測試。同時，輝達還透過Isaac Lab 3.0發表了其開源機器人模擬訓練框架的新版本。

這對台灣企業意味著什麼

對台灣的製造與物流業者來說，GR00T 2還不是可以直接開機使用的產品，但它是一個訊號：機器人的教學方式可能從昂貴的遙操作轉向影片加少量示範。這是我們的判斷，不是輝達的說法。比較穩妥的做法，是在變化多、抓取失敗代價低、成功率低於95%也能承受的任務上做一個小型試點。想把員工影片用作訓練素材的企業，應及早讓個資保護負責人與員工代表參與。實驗室數字只有在用自己的零件、在自己的廠房裡得到驗證之後，才算可靠。