HomeBodyシステムがGPT‑6 AstraをUnitree G1ロボットに接続し、未知のキッチンで自律的に片付けを実行

スタンフォード大学とカリフォルニア工科大学（Caltech）の研究者は共同で、最新の大規模視覚言語モデルGPT‑6 AstraをUnitree G1四足ロボットに直接取り付ける新しいアーキテクチャ「HomeBody」を発表しました。この統合は従来の別々に訓練された制御スタックをバイパスし、言語モデルが高レベルの指示を出し、それが拡張可能なスキルライブラリを通じてロボットの具体的な動作に変換されます。

HomeBodyの根幹は、交換可能な単一の視覚言語モデルが物理エージェントの脳として機能できるという前提です。GPT‑6 Astraはロボットのカメラからの映像入力を受け取り、シーンを解釈した上で、把持、ナビゲーション、引き出し操作など事前にプログラムされたスキルカタログを呼び出し、指示された行動を実行します。

探索とデジタルツインの作成

清掃作業を開始する前に、Unitree G1ロボットはキッチン全体を探索的に走査します。この段階でRGB画像を取得し、NvidiaのIsaac Sim内に三次元表現を構築し、物体の識別子と空間座標を専用のメモリ構造に記録します。このデジタルツインにより、ロボットは視界から外れた物体でも位置情報を保持し、後で取り出すことが可能となります。

メモリシステムはGPT‑6 Astraからクエリ可能なように設計されています。たとえば「カウンターにある赤いマグカップを取り上げて食洗機に入れる」という指示を計画する際、モデルは保存された位置情報を参照して、ロボットが視界から離れた後でもマグカップの正確な座標を特定できます。

言語駆動型計画と自己修正

タスク実行は閉ループプロセスで進行します。言語モデルは「キッチンを片付ける」といった高レベル指示を受け取り、サブゴールに分解し、スキルライブラリへコマンドを発行します。もし引き出しが開かないなどの失敗が発生した場合、GPT‑6 Astraは視覚フィードバックを通じてエラーを検出し、計画を修正して補正動作を試みます。

研究者はこの自己修正機能を、モデルが自らの出力を推論し、各ステップの視覚状態を再評価できる能力に起因すると明言しています。テスト走行中に外部からの監督や強化学習信号は一切使用されませんでした。

ゼロショットナビゲーションベンチマークでの性能

GPT‑6 Astra単体のナビゲーション能力を評価するため、研究チームはR2R‑CEベンチマーク（単眼RGB画像のみを提供するゼロショット具現化ナビゲーションテスト）を使用しました。モデルは成功率79％を達成し、従来の最高ゼロショット結果を13ポイント上回り、トップの教師あり結果を6.9ポイント上回りました。

これらの数値は、タスク固有の微調整なしに、生の視覚ストリームをナビゲーション判断に変換できることを示しています。成功率は、モデルの計画に従った後、ロボットが許容誤差内で目標地点に到達できたかどうかを測定したものです。

• Astraモデルの遅延によりコマンド発行が遅くなる。
• ロボットの指サーボが過熱し、長時間の把持が制限される。
• 高い計算コストが、低スペックハードウェアでのリアルタイム展開を妨げる。
• 複雑なレイアウトでのルート逸脱や狭い通路通過失敗が依然として残る。

高いベンチマーク数値にも関わらず、評価では繰り返し見られる失敗モードが指摘されました。ロボットは最適ルートから逸脱したり、狭い通路を通過できなかったり、目標に到達したかどうかを誤認したりしました。ベンチマークの超高度推論設定では21件の失敗が記録され、その多くはロボットが目標から数メートル離れた位置で停止しました。

著者らは、このベンチマークが100エピソードの検証セットに限定されていたことを強調しています。ナビゲーション専用の微調整、事前構築マップ、ウェイポイント予測モジュールは使用されていません。そのため、報告された成功率は最適化されたシステムではなく、生のゼロショット能力を示すものです。

HomeBodyの実演は、単一の未知のキッチン環境で行われました。ロボットは「キッチンを片付ける」という指示を受け取り、探索、マッピング、物体操作を自律的に実行しました。すべての行動はGPT‑6 Astraの計画とスキルライブラリによって駆動され、人間による介入は一切ありませんでした。

制限事項と未解決の課題

実験から浮かび上がった主な技術的制約は、外部APIを介した大規模言語モデルへのクエリ遅延が知覚とアクチュエーション間に目立つ遅れを生むことです。加えて、Unitree G1の指サーボは繰り返しの把持動作で熱が蓄積し、システムは損傷防止のために一時停止または把持力の低減を余儀なくされました。

計算需要も大きな障壁です。GPT‑6 AstraとNvidia Isaac Sim、スキル実行エンジンを同時に走らせるにはハイエンドGPUと大量のメモリが必要で、エッジデバイスやコスト重視の環境での導入は現実的ではありません。

最後に、評価範囲が狭いことが指摘されています。100エピソードの検証セットはキッチンレイアウト、対象物の多様性、指示の複雑さといった実世界のバリエーションを網羅していません。著者は、タスクの多様化、長距離ナビゲーション、複数環境での広範なテストが一般化性能の評価に不可欠であると呼びかけています。

組織への実務的示唆

自律サービスロボットの導入を検討する組織にとって、HomeBodyは低レベルコントローラを個別にプログラミングする工数を削減できる道筋を示しています。視覚言語モデルを差し替えるだけで、単一ロボットプラットフォームが異なるドメインへ適応できる可能性があります。

しかし、現行のハードウェアと遅延制約により、混雑した現場でのリアルタイム運用は依然として難しいです。企業はGPT‑6 Astraを大規模に運用するために必要な計算インフラが予算や許容遅延と合致するか慎重に評価する必要があります。

報告された失敗モードは、安全性が重要な用途では追加のガードレールが必要であることを示唆しています。例えば、フォールバック用ナビゲーションプランナーやリアルタイム監視システムを組み合わせ、ルート逸脱や目標到達の誤認を補完することが求められます。

要約すると、HomeBodyは大規模視覚言語モデルが未構造化の家庭空間で具現エージェントを直接駆動できる有望な概念実証です。タスク固有の制御訓練への依存を減らす一方で、計算リソース、熱管理、ロバスト性に関する新たなエンジニアリング課題を提示しています。組織はこれらの課題に対処した上で、規模拡大の可否を判断する必要があります。