HomeBody 系統將 GPT‑6 Astra 直接至 Unitree G1 機器人，實現陌生廚房自動整理

在斯坦福大學與加州理工學院的合作下，研究人員推出了 HomeBody，一種將大型視覺語言模型 GPT‑6 Astra 直接附著於 Unitree G1 四足機器人的新架構。此整合省去傳統上需分別訓練的控制堆疊，改由語言模型發出高階指令，透過可擴充的技能庫轉譯為機器人動作。

HomeBody 的核心概念是，單一可替換的視覺語言模型即可成為實體代理的「大腦」。GPT‑6 Astra 從機器人的相機取得視覺輸入、解讀場景，並呼叫預先編程好的技能目錄——如抓取、導航、抽屜操作等——以執行指令的行為。

探索與數位孿生建立

在任何清理任務開始前，Unitree G1 會先對廚房進行探索性掃描。此階段會捕捉 RGB 影像、於 Nvidia 的 Isaac Sim 內構建三維模型，並將物件身份與空間座標記錄於專屬記憶結構。此數位孿生讓機器人能在物件被遮蔽後仍能找回，提供持續的世界模型。

記憶系統特意設計為可被 GPT‑6 Astra 查詢。當模型規劃一系列動作——例如「從檯面上拿起紅色杯子放進洗碗機」——它能參照已儲存的位置，即使機器人已移開且杯子不再可見，也能定位並執行。

語言驅動的規劃與自我校正

任務執行遵循閉環流程。語言模型收到「清理廚房」等高階指令後，將其分解為次目標，並向技能庫發出指令。若某個動作失敗——例如抽屜無法開啟——GPT‑6 Astra 會透過視覺回饋偵測錯誤、修正計畫，並嘗試補救動作。

研究人員明確將此自我校正能力歸因於模型能對自身輸出進行推理，並在每一步後重新評估視覺狀態。測試過程中不需外部監督或強化訊號。

零樣本導航基準的表現

為評估 GPT‑6 Astra 單獨的導航能力，團隊在 R2R‑CE 基準上進行測試，該基準僅提供單目 RGB 影像，屬於零樣本具身導航測試。模型取得 79% 的成功率，較先前最佳零樣本結果高出 13 個百分點，亦超過最佳監督式結果 6.9 個點。

此數據顯示語言模型能在未經任務特定微調的情況下，將原始視覺串流轉換為導航決策。成功率衡量機器人在遵循模型規劃後，於預設容差內抵達目標位置的能力。

• Astra 模型的延遲降低了指令發出速度。
• 機器人指尖伺服馬達過熱限制了長時間抓取。
• 高計算成本阻礙在一般硬體上即時部署。
• 在複雜布局中仍會出現路徑偏離與狹窄通道失敗。

儘管基準數字亮眼，評估仍揭露了持續的失敗模式。機器人有時會偏離最佳路徑、難以通過狹窄走廊，且在判斷是否已達目標時出錯。在基準的超推理設定下，共記錄 21 起失敗，許多情況下機器人距離目標仍有數公尺之差。

作者指出，此基準僅使用 100 例驗證集，未使用任何導航特定的微調、預建地圖或路徑點預測模組。因此，報告的成功率反映的是原始零樣本能力，而非經過最佳化的系統。

HomeBody 的實演在單一、未曾見過的廚房環境中完成。機器人收到「清理廚房」指令後，自主進行探索、製圖與物件操作。所有動作皆由 GPT‑6 Astra 的規劃與技能庫驅動，未有人為介入校正。

限制與未解之問

實驗揭示了關鍵技術限制。透過外部 API 查詢大型語言模型的延遲，導致感知與執行之間出現明顯停頓；此外，Unitree G1 的指尖伺服在重複抓取時會產生熱累積，系統必須暫停或降低抓力以免損壞。

計算需求亦構成障礙。同步運行 GPT‑6 Astra、Nvidia Isaac Sim 與技能執行引擎需要高階 GPU 與大量記憶體，限制了 HomeBody 在邊緣裝置或成本敏感環境中的可行性。

最後，評估範圍仍相當狹窄。100 例驗證集未涵蓋廚房布局多樣性、物件種類或指令複雜度的全貌。作者呼籲在更多任務、更長導航路徑與多種環境下進行廣泛測試，以評估模型的泛化能力。

對組織的實務意涵

對於考慮導入自主服務機器人的企業而言，HomeBody 展示了一條減少為每個新環境編寫低階控制器的工程成本路徑。藉由使用可替換的視覺語言模型，同一機器平台理論上只需更新模型或擴充技能庫，即可適應不同領域。

然而，目前的硬體與延遲限制意味著在繁忙環境下的即時運作仍具挑戰。企業必須評估運行 GPT‑6 Astra 所需的計算基礎設施是否符合預算與延遲容忍度。

文件中列出的失敗模式亦暗示，安全關鍵的應用必須加入額外的防護機制，例如備援導航規劃器或即時監控系統，以減少路徑偏離並確保目標驗證的可靠性。

總結而言，HomeBody 為大型視覺語言模型直接驅動未結構化居家空間的具身代理提供了有力的概念驗證。此方法降低了對任務特定控制訓練的依賴，但同時帶來計算、散熱管理與穩健性的新工程挑戰，組織在大規模採用前必須先克服這些障礙。