FLUX 3 Action, de Black Forest Labs, prend la tête de RoboLab avec 7 milliards de paramètres

Black Forest Labs, le laboratoire à l'origine des modèles d'images FLUX, se lance dans la robotique. Il a publié FLUX 3 Action, un modèle à poids ouverts de 7 milliards de paramètres conçu pour piloter des robots, rapportent MarkTechPost, The Decoder et GIGAZINE. Les poids sont disponibles sur Hugging Face.

FLUX 3 Action est ce que l'entreprise appelle un modèle monde-action (World Action Model). Un tel modèle regarde les images des caméras, l'état du robot et une consigne écrite, puis prédit en même temps à quoi ressemblera la scène dans les instants suivants et quelles actions le robot doit effectuer. Il dérive de FLUX 3, le modèle multimodal du laboratoire entraîné surtout sur de la vidéo, selon The Decoder.

Ce que montrent les résultats

Sur le classement RoboLab-120, qui regroupe 120 tâches sur table simulées dans Isaac Sim, avec dix essais chacune sur un bras robotique Franka, FLUX 3 Action arrive premier avec un taux de réussite de 42,92 %, rapporte MarkTechPost. Il devance de 6,1 points Cosmos 3 Nano de NVIDIA, meilleur modèle ouvert jusqu'ici avec 36,8 %, avec 56 % de paramètres en moins. La moyenne mesurée par le laboratoire sur plusieurs passes pour sa version recommandée est de 42,24 %, à 0,36 point près.

Les résultats tiennent aussi sur du matériel réel, selon le même média. Positronic Robotics a mené une évaluation à l'aveugle sur un bras Franka, avec dix tâches et trois tentatives chacune : FLUX 3 Action a réussi 28 tentatives sur 30, Cosmos 3 Nano 27, DreamZero 20 et la politique rapide π0.5, 13.

• RoboLab-120 (simulation) : 42,92 % pour FLUX 3 Action, 36,8 % pour Cosmos 3 Nano, 28,0 % pour π0.5.
• Robot réel, test à l'aveugle de Positronic Robotics : 28 réussites sur 30 pour FLUX 3 Action, 27 pour Cosmos 3 Nano, 20 pour DreamZero, 13 pour π0.5.
• Vitesse : jusqu'à 3,95 fois plus rapide que Cosmos 3 Nano en FP8, selon Black Forest Labs.
• Chaque appel produit 32 actions à 15 Hz, soit 2,13 secondes de mouvement, contre 1 seconde par appel pour π0.5.

Le compromis qu'il cherche à résoudre

Les politiques robotiques ouvertes imposent en général un choix, explique MarkTechPost. Les modèles qui prédisent la vidéo, comme Cosmos 3 Nano, sont plus précis mais coûteux : sur une puce NVIDIA B200, Black Forest Labs a mesuré que Cosmos 3 Nano demande environ 4,7 fois plus de temps de calcul que π0.5 par seconde de mouvement du robot. Les modèles vision-langage-action comme π0.5 sont rapides mais réussissent moins. FLUX 3 Action conserve la prédiction conjointe de la vidéo et des actions, et comble l'écart de vitesse grâce à un réseau plus petit et à la distillation.

Le modèle est livré en trois versions, chacune en deux précisions numériques : une version de base, une version 1,8 à 2 fois plus rapide aux scores légèrement meilleurs, et une version en une seule étape 3,15 à 4 fois plus rapide, au prix de 3,5 à 4,3 points de réussite. Sur une carte graphique grand public RTX 5090, la version la plus rapide reste plus lente que π0.5, note MarkTechPost.

Comment il a été entraîné

La vidéo a représenté plus de 95 % des jetons utilisés pour pré-entraîner le réseau FLUX 3. L'entraînement aux actions a ensuite mêlé ces données à des vidéos alignées sur des actions, issues d'enregistrements de jeux, de vidéos à la première personne de mains humaines, de pinces tenues à la main et de robots téléopérés, sur 14 machines différentes, selon MarkTechPost. Le pré-entraînement compte : entraîné uniquement sur des données robotiques, le modèle restait sous 1 % sur RoboLab ; avec pré-entraînement, le même protocole atteignait 11,6 % avant l'entraînement complémentaire.

Black Forest Labs a aussi testé le modèle comme moitié rapide d'un système hybride, avec GPT-6 Astra d'OpenAI dans le rôle de planificateur capable d'accepter, de modifier ou de remplacer les actions prévues. Le duo a résolu 90 % des épisodes pour 8,77 dollars et environ 8 minutes par réussite, tandis qu'Astra seul à effort maximal les a tous résolus, mais pour 13,47 dollars et plus de 16 minutes par réussite, rapporte le média.

Conditions d'utilisation

Les équipes peuvent adapter le modèle à leurs propres robots. Le laboratoire a publié des recettes d'entraînement, dont une montrant qu'un geste de saisie et dépose pour le bras à bas coût SO-101 s'apprend avec environ 200 démonstrations, et a intégré le modèle avec NVIDIA à la plateforme LeRobot de Hugging Face, avec prise en charge des cartes NVIDIA Jetson, selon MarkTechPost et GIGAZINE. La politique principale demande environ 32 Go de mémoire graphique, ou tient sur des cartes de 24 Go avec une précision réduite.

Deux limites comptent. La licence FLUX Kommunity n'autorise qu'un usage non commercial. Et le modèle produit des consignes articulaires sans limites intégrées de vitesse, de force ou d'espace de travail : c'est à l'application de les imposer, insiste MarkTechPost. Black Forest Labs voit aussi des usages hors robotique, comme les jeux vidéo, la conduite de véhicules ou des agents qui manipulent un ordinateur, selon The Decoder et GIGAZINE.

Ce que cela change pour les entreprises françaises

Pour les jeunes pousses de la robotique, les intégrateurs et les laboratoires universitaires, FLUX 3 Action offre une nouvelle référence gratuite à comparer aux modèles de NVIDIA sur leurs propres tâches, avec des recettes publiées qui réduisent le coût d'un essai. Ce n'est pas un produit à déployer sur une ligne de production : la licence interdit l'usage commercial sans autre accord, et les limites de sécurité sur la force et la vitesse restent à la charge de l'intégrateur. Les équipes qui veulent l'utiliser doivent prévoir ce travail d'ingénierie et une discussion de licence commerciale avant tout déploiement chez un client.