FLUX 3 Action, da Black Forest Labs, lidera o RoboLab com modelo robótico aberto de 7B

A Black Forest Labs, laboratório por trás dos modelos de imagem FLUX, entrou na robótica. Ela lançou o FLUX 3 Action, um modelo de pesos abertos com 7 bilhões de parâmetros feito para controlar robôs, segundo MarkTechPost, The Decoder e GIGAZINE. Os pesos estão disponíveis no Hugging Face.

O FLUX 3 Action é o que a empresa chama de modelo mundo-ação (World Action Model). Um modelo desse tipo observa as imagens das câmeras, o estado do robô e uma instrução em texto, e prevê ao mesmo tempo como a cena vai ficar nos próximos instantes e quais ações o robô deve executar. Ele deriva do FLUX 3, o modelo multimodal do laboratório treinado principalmente com vídeo, segundo o The Decoder.

O que mostram os resultados

No ranking RoboLab-120, que reúne 120 tarefas de mesa simuladas no Isaac Sim, com dez tentativas cada em um braço robótico Franka, o FLUX 3 Action ficou em primeiro, com taxa de sucesso de 42,92%, informa o MarkTechPost. São 6,1 pontos percentuais à frente do Cosmos 3 Nano da NVIDIA, o melhor modelo aberto até agora com 36,8%, usando 56% menos parâmetros. A média medida pelo laboratório em várias execuções para a versão recomendada é de 42,24%, com margem de 0,36 ponto.

Os resultados também se mantêm em hardware real, segundo o mesmo veículo. A Positronic Robotics fez uma avaliação às cegas em um braço Franka, com dez tarefas e três tentativas cada: o FLUX 3 Action completou 28 de 30 tentativas, o Cosmos 3 Nano 27, o DreamZero 20 e a política rápida π0.5, 13.

• RoboLab-120 (simulação): 42,92% para o FLUX 3 Action, 36,8% para o Cosmos 3 Nano, 28,0% para o π0.5.
• Robô real, teste às cegas da Positronic Robotics: 28 de 30 tentativas para o FLUX 3 Action, 27 para o Cosmos 3 Nano, 20 para o DreamZero, 13 para o π0.5.
• Velocidade: até 3,95 vezes mais rápido que o Cosmos 3 Nano em FP8, segundo a Black Forest Labs.
• Cada chamada gera 32 ações a 15 Hz, ou 2,13 segundos de movimento, contra 1 segundo por chamada no π0.5.

O dilema que ele tenta resolver

Políticas robóticas abertas costumam obrigar a uma escolha, explica o MarkTechPost. Modelos que preveem vídeo, como o Cosmos 3 Nano, são mais precisos, mas caros: em um chip NVIDIA B200, a Black Forest Labs mediu que o Cosmos 3 Nano precisa de cerca de 4,7 vezes mais tempo de processamento que o π0.5 por segundo de movimento do robô. Modelos de visão-linguagem-ação como o π0.5 são rápidos, mas acertam menos. O FLUX 3 Action mantém a previsão conjunta de vídeo e ações e reduz a diferença de velocidade com uma rede menor e destilação.

O modelo vem em três versões, cada uma em duas precisões numéricas: uma versão base, outra de 1,8 a 2 vezes mais rápida com notas um pouco melhores e uma versão de passo único de 3,15 a 4 vezes mais rápida, ao custo de 3,5 a 4,3 pontos de sucesso. Em uma placa de vídeo de consumo RTX 5090, a versão mais rápida continua mais lenta que o π0.5, observa o MarkTechPost.

Como ele foi treinado

Vídeo representou mais de 95% dos tokens usados no pré-treinamento da rede FLUX 3. O treinamento de ações misturou depois esses dados com vídeos alinhados a ações, vindos de gravações de games, vídeos em primeira pessoa de mãos humanas, garras manuais e robôs teleoperados em 14 máquinas diferentes, segundo o MarkTechPost. O pré-treinamento faz diferença: treinado só com dados de robôs, o modelo ficava abaixo de 1% no RoboLab; com pré-treinamento, o mesmo protocolo chegava a 11,6% antes do treino adicional.

A Black Forest Labs também testou o modelo como a metade rápida de um sistema híbrido, com o GPT-6 Astra da OpenAI no papel de planejador capaz de aceitar, editar ou substituir as ações previstas. A combinação resolveu 90% dos episódios a 8,77 dólares e cerca de 8 minutos por sucesso, enquanto o Astra sozinho, no esforço máximo, resolveu todos, mas a 13,47 dólares e mais de 16 minutos por sucesso, relata o veículo.

Condições de uso

As equipes podem adaptar o modelo aos próprios robôs. O laboratório publicou receitas de treinamento, incluindo uma que mostra que uma habilidade de pegar e soltar objetos para o braço de baixo custo SO-101 pode ser aprendida com cerca de 200 demonstrações, e integrou o modelo, junto com a NVIDIA, à plataforma LeRobot do Hugging Face, com suporte às placas NVIDIA Jetson, segundo MarkTechPost e GIGAZINE. A política principal exige cerca de 32 GB de memória de vídeo, ou cabe em placas de 24 GB com precisão reduzida.

Há dois limites importantes. A licença FLUX Kommunity só permite uso não comercial. E o modelo gera metas de articulação sem limites embutidos de velocidade, força ou área de trabalho: a aplicação precisa impô-los, reforça o MarkTechPost. A Black Forest Labs também vê usos fora da robótica, como games, controle de veículos e agentes que operam computadores, segundo The Decoder e GIGAZINE.

O que muda para as empresas brasileiras

Para startups de robótica, integradores e laboratórios universitários, o FLUX 3 Action é uma nova referência gratuita para comparar com os modelos da NVIDIA nas próprias tarefas, com receitas publicadas que barateiam os testes. Não é um produto para colocar numa linha de produção: a licença proíbe uso comercial sem outro acordo, e os limites de segurança de força e velocidade continuam sob responsabilidade do integrador. Quem pretende usá-lo deve prever esse trabalho de engenharia e uma negociação de licença comercial antes de qualquer implantação em cliente.