FLUX 3 Action von Black Forest Labs führt RoboLab mit offenem 7B-Robotermodell an

Black Forest Labs, das Labor hinter den FLUX-Bildmodellen, steigt in die Robotik ein. Es hat FLUX 3 Action veröffentlicht, ein Modell mit offenen Gewichten und 7 Milliarden Parametern zur Robotersteuerung, berichten MarkTechPost, The Decoder und GIGAZINE. Die Gewichte stehen bei Hugging Face bereit.

FLUX 3 Action ist nach Angaben des Unternehmens ein World-Action-Modell. Ein solches Modell betrachtet Kamerabilder, den Zustand des Roboters und eine Textanweisung und sagt gleichzeitig vorher, wie die Szene in den nächsten Augenblicken aussehen wird und welche Aktionen der Roboter ausführen soll. Es basiert auf FLUX 3, dem multimodalen Modell des Labors, das vor allem mit Videos trainiert wurde, so The Decoder.

Was die Benchmark-Ergebnisse zeigen

Im Leaderboard RoboLab-120, das 120 in Isaac Sim simulierte Aufgaben am Tisch mit je zehn Durchläufen an einem Franka-Roboterarm umfasst, liegt FLUX 3 Action mit einer Erfolgsquote von 42,92 Prozent vorn, berichtet MarkTechPost. Das sind 6,1 Prozentpunkte mehr als Nvidias Cosmos 3 Nano, das bisher beste offene Modell mit 36,8 Prozent, bei 56 Prozent weniger Parametern. Der vom Labor über mehrere Läufe gemessene Mittelwert für die empfohlene Version beträgt 42,24 Prozent, plus minus 0,36.

Auch auf echter Hardware halten die Ergebnisse, so dasselbe Medium. Positronic Robotics führte einen Blindtest an einem Franka-Arm mit zehn Aufgaben und je drei Versuchen durch: FLUX 3 Action schaffte 28 von 30 Versuchen, Cosmos 3 Nano 27, DreamZero 20 und die schnelle Policy π0.5 13.

• RoboLab-120 (Simulation): 42,92 Prozent für FLUX 3 Action, 36,8 Prozent für Cosmos 3 Nano, 28,0 Prozent für π0.5.
• Echter Roboter, Blindtest von Positronic Robotics: 28 von 30 Versuchen für FLUX 3 Action, 27 für Cosmos 3 Nano, 20 für DreamZero, 13 für π0.5.
• Tempo: laut Black Forest Labs bis zu 3,95-mal schneller als Cosmos 3 Nano in FP8.
• Jeder Aufruf liefert 32 Aktionen bei 15 Hz, also 2,13 Sekunden Bewegung, gegenüber 1 Sekunde pro Aufruf bei π0.5.

Der Zielkonflikt, den es lösen soll

Offene Roboter-Policies erzwingen meist eine Wahl, erklärt MarkTechPost. Modelle, die Video vorhersagen, wie Cosmos 3 Nano, sind genauer, aber teuer: Auf einem Nvidia-B200-Chip maß Black Forest Labs, dass Cosmos 3 Nano pro Sekunde Roboterbewegung etwa 4,7-mal mehr Rechenzeit braucht als π0.5. Vision-Language-Action-Modelle wie π0.5 sind schnell, aber weniger erfolgreich. FLUX 3 Action behält die gemeinsame Vorhersage von Video und Aktionen bei und schließt die Geschwindigkeitslücke mit einem kleineren Netz und Destillation.

Das Modell erscheint in drei Varianten, jeweils in zwei Zahlenformaten: eine Basisversion, eine 1,8- bis 2-mal schnellere Version mit leicht besseren Werten und eine Einschritt-Version, die 3,15- bis 4-mal schneller ist, dafür aber 3,5 bis 4,3 Punkte Erfolgsquote kostet. Auf einer RTX 5090 für Endkunden bleibt die schnellste Version langsamer als π0.5, merkt MarkTechPost an.

Wie es trainiert wurde

Videos machten mehr als 95 Prozent der Tokens aus, mit denen das FLUX-3-Netz vortrainiert wurde. Das Aktionstraining mischte diese Daten dann mit aktionsbezogenen Videos aus Spielaufnahmen, Ich-Perspektive-Videos menschlicher Hände, Handgreifern und ferngesteuerten Robotern auf 14 verschiedenen Maschinen, so MarkTechPost. Das Vortraining zählt: Nur mit Roboterdaten trainiert, blieb das Modell auf RoboLab unter 1 Prozent; mit Vortraining erreichte dasselbe Verfahren vor dem weiteren Training 11,6 Prozent.

Black Forest Labs testete das Modell auch als schnellen Teil eines Hybridsystems, in dem OpenAIs GPT-6 Astra als Planer die vorhergesagten Aktionen übernehmen, ändern oder ersetzen kann. Die Kombination löste 90 Prozent der Episoden für 8,77 Dollar und rund 8 Minuten pro Erfolg, während Astra allein bei maximalem Aufwand alle Episoden löste, aber 13,47 Dollar und mehr als 16 Minuten pro Erfolg kostete, berichtet das Medium.

Nutzungsbedingungen

Teams können das Modell an eigene Roboter anpassen. Das Labor veröffentlichte Trainingsrezepte, darunter eines, das zeigt, dass sich eine Greif-und-Ablege-Fähigkeit für den günstigen Arm SO-101 mit etwa 200 Demonstrationen lernen lässt, und integrierte das Modell gemeinsam mit Nvidia in die Plattform LeRobot von Hugging Face, mit Unterstützung für Nvidia-Jetson-Boards, so MarkTechPost und GIGAZINE. Die Haupt-Policy braucht rund 32 GB Grafikspeicher oder passt mit reduzierter Genauigkeit auf 24-GB-Karten.

Zwei Einschränkungen sind wichtig. Die FLUX Kommunity License erlaubt nur nichtkommerzielle Nutzung. Und das Modell gibt Gelenkziele ohne eingebaute Grenzen für Geschwindigkeit, Kraft oder Arbeitsraum aus: Die Anwendung muss sie durchsetzen, betont MarkTechPost. Black Forest Labs sieht zudem Einsatzfelder jenseits der Robotik, etwa Videospiele, Fahrzeugsteuerung und Agenten, die Computer bedienen, so The Decoder und GIGAZINE.

Was das für Unternehmen in Deutschland bedeutet

Für Robotik-Start-ups, Integratoren und Hochschullabore ist FLUX 3 Action ein neuer kostenloser Vergleichsmaßstab zu Nvidias Modellen auf den eigenen Aufgaben, mit veröffentlichten Rezepten, die einen Versuch günstiger machen. Für eine Produktionslinie ist es jedoch kein fertiges Produkt: Die Lizenz untersagt kommerzielle Nutzung ohne weitere Vereinbarung, und Sicherheitsgrenzen für Kraft und Geschwindigkeit bleiben Aufgabe des Integrators. Wer es einsetzen will, sollte diese Ingenieursarbeit und ein Gespräch über eine kommerzielle Lizenz vor jedem Kundeneinsatz einplanen.