World Labs, de Fei-Fei Li, lance Atlas, un modèle du monde

World Labs, la start-up d'intelligence artificielle fondée par la professeure de Stanford et pionnière de l'IA Fei-Fei Li, a dévoilé le 1er septembre un nouveau modèle du monde baptisé Atlas. L'entreprise le décrit comme un « omni-modèle », conçu pour traiter nativement du texte, des images, de la vidéo et des données 3D au sein d'un même système, et affirme qu'il peut reconstruire une scène 3D réelle à partir d'une seule photographie, générer une vidéo haute définition d'une minute avec un contrôle précis de la caméra, et produire les données de profondeur dont les robots ont besoin pour s'entraîner dans des environnements simulés. Fei-Fei Li a qualifié ce lancement d'étape marquante pour World Labs, estimant qu'Atlas ouvre la porte à des applications allant des effets visuels à la robotique.

Ce qu'Atlas sait vraiment faire

• Génération à caméra contrôlée : à partir d'une à six images de référence, Atlas génère une vidéo avec un contrôle de la caméra au pixel près, jusqu'à une minute de séquence en 1440p.
• Reconstruction spatiale : nourri d'une à plusieurs dizaines, parfois plus d'une centaine, d'images d'entrée, Atlas reconstitue des scènes réelles sous forme d'images inédites et de sorties 3D explicites, nuages de points et Gaussian splats, en dépassant les meilleurs modèles spécialisés en reconstruction 3D.
• Simulation spatio-temporelle : à partir d'une vidéo ordinaire tournée avec quelques téléphones, Atlas peut figer une scène et la recadrer sous des angles impossibles, et il alimente des flux de travail « du réel vers le simulé » qui permettent aux robots de s'entraîner dans des environnements générés.
• Génération d'images : Atlas produit des images et des panoramas à 360 degrés à partir de texte, en suivant des consignes complexes, en rendant du texte lisible et en couvrant une grande variété de styles visuels.

Sous le capot, Atlas est ce que World Labs appelle un transformeur de diffusion autorégressif multimodal, entraîné de zéro plutôt qu'adapté depuis un modèle vidéo ou de langage existant. Chaque entrée, texte, image, position de caméra ou carte de profondeur 3D, est ancrée à une position dans un contexte spatial partagé, et Atlas génère sa sortie en fonction de tout ce qui figure déjà dans ce contexte ; deux photos sans rapport peuvent ainsi être placées dans l'espace 3D et assemblées en un monde continu et cohérent. Cela distingue Atlas des générateurs vidéo façon Sora, qui pilotent le mouvement de caméra via des instructions textuelles imprécises : Atlas prend en entrée native les trajectoires de caméra et la géométrie de la scène, un contrôle image par image qu'un simple texte ne peut offrir. Sur des évaluations de génération à caméra contrôlée et de reconstruction à partir de vues éparses, World Labs affirme qu'Atlas dépasse à la fois les meilleurs modèles vidéo et les systèmes de reconstruction 3D spécialisés, avec un avantage qui grandit sur les trajectoires les plus complexes, et que ses performances continuent de s'améliorer avec l'augmentation de la puissance de calcul d'entraînement.

Un pari sur les robots, pas seulement sur les effets visuels

Ce lancement prolonge une trajectoire amorcée plus tôt cette année. En juin, Fei-Fei Li avait présenté une grille de lecture classant les modèles du monde en trois catégories, moteurs de rendu, simulateurs et planificateurs, en affirmant que le simulateur est le plus important car il porte la géométrie, la physique et la dynamique dont dépendent à la fois le rendu et l'action. Le 21 juillet, World Labs a racheté SceniX, une start-up de simulation robotique ; une semaine plus tard, le 28 juillet, elle a présenté un système « du réel au simulé, puis au réel » construit autour de l'idée que le principal frein de la robotique est le manque d'expérience d'entraînement bon marché, contrôlable et généralisable. Atlas relie ces différents efforts : il peut transformer des photos ou vidéos ordinaires en un espace 3D, puis en vues capteurs et en environnements simulés modulables dont un robot a besoin pour s'entraîner. Jim Fan, responsable de la recherche en robotique chez Nvidia et ancien élève de Fei-Fei Li, a qualifié ce lancement d'avancée majeure pour les travaux de « réel vers simulé » en robotique.

Les modèles du monde génèrent, reconstruisent et simulent n'importe quel monde possible, afin que nous puissions représenter des mondes imaginés pour les créateurs, simuler le monde réel en haute fidélité et aider les robots à planifier leurs actions.

World Labs indique déployer Atlas progressivement, en commençant par un accès anticipé réservé à certains partenaires ; les autres utilisateurs peuvent demander l'accès sur le site de l'entreprise. Elle présente Atlas comme le socle des futures versions de Marble, son précédent produit de mondes interactifs, ainsi que du reste de sa gamme. Pour les laboratoires d'IA, les studios de jeu vidéo et d'effets visuels, ou les entreprises de robotique, y compris en France, le changement concret tient à un accès moins coûteux à des données 3D exploitables : au lieu de dispositifs de capture onéreux ou de mois de travail de reconstruction 3D spécialisée, quelques photos ordinaires ou une vidéo de téléphone deviennent le point de départ d'un environnement simulé, d'un niveau de jeu ou d'un terrain d'entraînement pour robot, à condition que ces premiers résultats se confirment une fois qu'un plus grand nombre d'acteurs pourra tester Atlas.