フェイフェイ・リーのWorld Labs、世界モデルAtlasを発表

スタンフォード大学教授でAI研究の先駆者として知られるフェイフェイ・リー氏が創業したAIスタートアップ、World Labsは9月1日、新たな世界モデル「Atlas」を発表した。同社はこれを、テキスト、画像、動画、3Dデータを単一のシステムでネイティブに処理するよう設計された「オムニモデル」と説明し、Atlasはたった1枚の写真から現実世界の3Dシーンを再構成し、精密なカメラ制御を伴う1分間の高解像度動画を生成し、ロボットがシミュレーション環境で訓練するために必要な深度データも生成できるとしている。フェイフェイ・リー氏は今回の発表をWorld Labsにとっての画期的な成果と位置づけ、Atlasは視覚効果からロボティクスに至るまで幅広い応用の扉を開くと述べた。

Atlasが実際にできること

• カメラ制御生成：1枚から6枚の参照画像から、Atlasはピクセル単位のカメラ制御を伴う動画を生成し、最長1分、解像度1440pの映像を出力できる。
• 空間再構成：1枚から数十枚、時には100枚を超える入力画像を与えると、Atlasは新しい視点からの映像フレームと、点群や3Dガウシアンスプラットといった明示的な3D出力の両方を生成し、専門特化した最先端の3D再構成モデルを上回る成果を示す。
• 時空シミュレーション：数台のスマートフォンで撮影した通常の動画から、Atlasはシーンを静止させ、不可能な角度から再構成でき、ロボットが生成された環境で訓練・テストを行う「リアルからシミュレーションへ」のワークフローを支える。
• 画像生成：Atlasはテキストから画像や360度パノラマを生成でき、複雑な指示に従い、読み取れる文字をレンダリングし、多様な視覚スタイルに対応する。

内部的には、Atlasは既存の動画モデルや言語モデルを改造したものではなく、World Labsが「マルチモーダル自己回帰拡散トランスフォーマー」と呼ぶアーキテクチャをゼロから訓練したものだ。テキスト、画像、カメラ姿勢、3D深度マップといった各入力は、共有された空間コンテキスト内の位置に紐づけられ、Atlasはそのコンテキストにすでに存在するすべての情報を条件として新たな出力を生成する。例えば、無関係な2枚の写真であっても、それぞれを3D空間内の位置に配置すれば、Atlasはそれらを一つの連続した自然な世界へと縫い合わせることができる。この点で、不正確なテキストプロンプトによってカメラの動きを制御するSora型の動画生成モデルとは一線を画す。Atlasはカメラの軌道とシーンの幾何情報をネイティブな入力として扱うため、テキストだけでは実現できないフレーム単位の精密な制御が可能になる。カメラ制御生成とスパースな視点からの3D再構成という2つの主要タスクの定量評価において、World LabsはAtlasが主要な動画モデルと、専門特化した最良の3D再構成システムの双方を上回ったと述べており、カメラの軌道が複雑になるほどAtlasの優位性は拡大し、訓練に用いる計算資源の規模拡大とともに性能も向上し続けているという。

視覚効果だけでなくロボットへの布石

今回の発表は、World Labsが今年掲げてきた方針の延長線上にある。6月、フェイフェイ・リー氏は世界モデルをレンダラー、シミュレーター、プランナーの3種類に分類する枠組みを提示し、シミュレーターがレンダリングと行動の双方が依拠する幾何・物理・力学を担う、最も重要な存在だと述べた。7月21日、World Labsはロボットシミュレーションのスタートアップ、SceniXを買収。その1週間後の7月28日には、ロボティクス分野最大のボトルネックが安価で制御可能かつ拡張性のある訓練経験の不足にあるという考えに基づいた「リアルからシミュレーション、そしてリアルへ」というシステムを公開した。Atlasはこれらの取り組みをつなぐピースであり、通常の写真や動画を3D空間に変換し、さらにロボットが訓練に必要とするセンサー視点や可変のシミュレーション環境へと変換できる。フェイフェイ・リー氏の教え子であり、NVIDIAでロボティクス研究を率いるジム・ファン氏は、今回の発表をロボティクス分野における「リアルからシミュレーションへ」の取り組みの大きな一歩だと評した。

世界モデルはあらゆる可能な世界を生成し、再構成し、シミュレートする。それによって創作者のために想像上の世界をレンダリングし、現実世界を高精細にシミュレートし、ロボットの行動計画を助けることができる。

World Labsによれば、Atlasは段階的に展開されており、まずは一部のパートナーに早期アクセスを提供し、それ以外のユーザーは同社ウェブサイトからアクセスを申請できるという。同社はAtlasを、既存製品Marbleの将来バージョンをはじめとする自社製品群の基盤モデルと位置づけている。日本のAI研究機関やゲーム・映像制作スタジオ、ロボティクス企業にとって、実務上の変化は使える3Dデータを得るコストが下がることだ。高額な撮影設備や数か月に及ぶ専門的な3D再構成作業の代わりに、数枚の普通の写真やスマートフォンの動画が、シミュレーション環境やゲームステージ、ロボットの訓練場を作る出発点になり得る。ただし、これはより多くの関係者が実際にAtlasを試せるようになった後も、今回示された初期の成果が裏付けられればの話だ。