FLUX 3 Action van Black Forest Labs voert RoboLab aan met open robotmodel van 7B

Black Forest Labs, het lab achter de FLUX-beeldmodellen, stapt in de robotica. Het heeft FLUX 3 Action uitgebracht, een model met open gewichten en 7 miljard parameters voor het besturen van robots, melden MarkTechPost, The Decoder en GIGAZINE. De gewichten staan op Hugging Face.

FLUX 3 Action is wat het bedrijf een World Action Model noemt. Zo'n model kijkt naar camerabeelden, de toestand van de robot en een tekstinstructie, en voorspelt tegelijk hoe de scène er de komende ogenblikken uitziet en welke handelingen de robot moet uitvoeren. Het is afgeleid van FLUX 3, het multimodale model van het lab dat vooral op video is getraind, aldus The Decoder.

Wat de benchmarkresultaten laten zien

Op het RoboLab-120-klassement, dat 120 in Isaac Sim gesimuleerde taken aan tafel omvat met elk tien pogingen op een Franka-robotarm, staat FLUX 3 Action bovenaan met een slagingspercentage van 42,92 procent, meldt MarkTechPost. Dat is 6,1 procentpunt meer dan Nvidia's Cosmos 3 Nano, tot nu toe het beste open model met 36,8 procent, met 56 procent minder parameters. Het gemiddelde dat het lab zelf over meerdere runs mat voor de aanbevolen versie is 42,24 procent, plus of min 0,36.

Ook op echte hardware houden de resultaten stand, volgens hetzelfde medium. Positronic Robotics voerde een blinde evaluatie uit op een Franka-arm met tien taken en drie pogingen per taak: FLUX 3 Action slaagde in 28 van de 30 pogingen, Cosmos 3 Nano in 27, DreamZero in 20 en de snelle π0.5-policy in 13.

• RoboLab-120 (simulatie): 42,92 procent voor FLUX 3 Action, 36,8 procent voor Cosmos 3 Nano, 28,0 procent voor π0.5.
• Echte robot, blinde test door Positronic Robotics: 28 van 30 pogingen voor FLUX 3 Action, 27 voor Cosmos 3 Nano, 20 voor DreamZero, 13 voor π0.5.
• Snelheid: volgens Black Forest Labs tot 3,95 keer sneller dan Cosmos 3 Nano in FP8.
• Elke aanroep levert 32 acties op 15 Hz, oftewel 2,13 seconden beweging, tegen 1 seconde per aanroep bij π0.5.

Het dilemma dat het wil oplossen

Open robot-policies dwingen meestal tot een keuze, legt MarkTechPost uit. Modellen die video voorspellen, zoals Cosmos 3 Nano, zijn nauwkeuriger maar duur: op een Nvidia B200-chip mat Black Forest Labs dat Cosmos 3 Nano per seconde robotbeweging ongeveer 4,7 keer meer rekentijd nodig heeft dan π0.5. Vision-language-action-modellen zoals π0.5 zijn snel maar slagen minder vaak. FLUX 3 Action behoudt de gezamenlijke voorspelling van video en acties en dicht het snelheidsverschil met een kleiner netwerk en distillatie.

Het model verschijnt in drie versies, elk in twee numerieke precisies: een basisversie, een versie die 1,8 tot 2 keer sneller is met iets betere scores, en een versie met één stap die 3,15 tot 4 keer sneller is ten koste van 3,5 tot 4,3 punten slagingskans. Op een RTX 5090-videokaart voor consumenten blijft de snelste versie trager dan π0.5, merkt MarkTechPost op.

Hoe het is getraind

Video was goed voor meer dan 95 procent van de tokens waarmee het FLUX 3-netwerk werd voorgetraind. De actietraining mengde die data vervolgens met video die aan acties is gekoppeld, afkomstig van game-opnames, video's van menselijke handen vanuit de eerste persoon, handgrijpers en op afstand bestuurde robots op 14 verschillende machines, aldus MarkTechPost. Voortraining doet ertoe: alleen getraind op robotdata bleef het model onder 1 procent op RoboLab; met voortraining haalde dezelfde aanpak vóór verdere training al 11,6 procent.

Black Forest Labs testte het model ook als de snelle helft van een hybride systeem, met OpenAI's GPT-6 Astra als planner die voorspelde acties kan accepteren, aanpassen of vervangen. De combinatie loste 90 procent van de episodes op voor 8,77 dollar en ongeveer 8 minuten per succes, terwijl Astra alleen bij maximale inspanning alles oploste maar 13,47 dollar en ruim 16 minuten per succes kostte, meldt het medium.

Gebruiksvoorwaarden

Teams kunnen het model aanpassen aan hun eigen robots. Het lab publiceerde trainingsrecepten, waaronder een die laat zien dat een pak-en-plaatsvaardigheid voor de goedkope SO-101-arm met ongeveer 200 demonstraties te leren is, en integreerde het model samen met Nvidia in het LeRobot-platform van Hugging Face, met ondersteuning voor Nvidia Jetson-borden, aldus MarkTechPost en GIGAZINE. De hoofdpolicy heeft ongeveer 32 GB grafisch geheugen nodig, of past met lagere precisie op kaarten van 24 GB.

Twee beperkingen zijn belangrijk. De FLUX Kommunity License staat alleen niet-commercieel gebruik toe. En het model geeft doelwaarden voor gewrichten zonder ingebouwde grenzen voor snelheid, kracht of werkruimte: de toepassing moet die afdwingen, benadrukt MarkTechPost. Black Forest Labs ziet ook toepassingen buiten de robotica, zoals games, voertuigbesturing en agents die computers bedienen, volgens The Decoder en GIGAZINE.

Wat dit betekent voor Nederlandse bedrijven

Voor robotica-start-ups, integratoren en universitaire labs is FLUX 3 Action een nieuwe gratis maatstaf om op hun eigen taken tegen Nvidia's modellen af te zetten, met gepubliceerde recepten die een proef goedkoper maken. Het is geen product voor een productielijn: de licentie verbiedt commercieel gebruik zonder aanvullende afspraak, en veiligheidsgrenzen voor kracht en snelheid blijven de verantwoordelijkheid van de integrator. Wie het wil inzetten, moet dat engineeringwerk en een gesprek over een commerciële licentie inplannen voordat er iets bij een klant draait.