FLUX 3 Action, da Black Forest Labs, lidera o RoboLab com um modelo robótico aberto de 7B

A Black Forest Labs, o laboratório por detrás dos modelos de imagem FLUX, entrou na robótica. Lançou o FLUX 3 Action, um modelo de pesos abertos com 7 mil milhões de parâmetros concebido para controlar robôs, noticiam o MarkTechPost, o The Decoder e o GIGAZINE. Os pesos estão disponíveis no Hugging Face.

O FLUX 3 Action é aquilo a que a empresa chama um modelo mundo-ação (World Action Model). Um modelo deste tipo observa as imagens das câmaras, o estado do robô e uma instrução escrita, e prevê ao mesmo tempo como ficará a cena nos instantes seguintes e que ações o robô deve executar. Deriva do FLUX 3, o modelo multimodal do laboratório treinado sobretudo com vídeo, segundo o The Decoder.

O que mostram os resultados

Na classificação RoboLab-120, que reúne 120 tarefas de mesa simuladas no Isaac Sim, com dez tentativas cada num braço robótico Franka, o FLUX 3 Action ficou em primeiro, com uma taxa de sucesso de 42,92%, informa o MarkTechPost. São 6,1 pontos percentuais acima do Cosmos 3 Nano da NVIDIA, o melhor modelo aberto até agora com 36,8%, com menos 56% de parâmetros. A média medida pelo laboratório em várias execuções para a versão recomendada é de 42,24%, com uma margem de 0,36 pontos.

Os resultados mantêm-se também em hardware real, segundo o mesmo órgão. A Positronic Robotics fez uma avaliação às cegas num braço Franka, com dez tarefas e três tentativas cada: o FLUX 3 Action concluiu 28 de 30 tentativas, o Cosmos 3 Nano 27, o DreamZero 20 e a política rápida π0.5, 13.

• RoboLab-120 (simulação): 42,92% para o FLUX 3 Action, 36,8% para o Cosmos 3 Nano, 28,0% para o π0.5.
• Robô real, teste às cegas da Positronic Robotics: 28 de 30 tentativas para o FLUX 3 Action, 27 para o Cosmos 3 Nano, 20 para o DreamZero, 13 para o π0.5.
• Velocidade: até 3,95 vezes mais rápido do que o Cosmos 3 Nano em FP8, segundo a Black Forest Labs.
• Cada chamada produz 32 ações a 15 Hz, ou 2,13 segundos de movimento, contra 1 segundo por chamada no π0.5.

O dilema que tenta resolver

As políticas robóticas abertas costumam obrigar a uma escolha, explica o MarkTechPost. Os modelos que preveem vídeo, como o Cosmos 3 Nano, são mais precisos mas dispendiosos: num chip NVIDIA B200, a Black Forest Labs mediu que o Cosmos 3 Nano precisa de cerca de 4,7 vezes mais tempo de processamento do que o π0.5 por segundo de movimento do robô. Os modelos de visão-linguagem-ação como o π0.5 são rápidos mas acertam menos. O FLUX 3 Action mantém a previsão conjunta de vídeo e ações e reduz a diferença de velocidade com uma rede mais pequena e destilação.

O modelo é distribuído em três versões, cada uma em duas precisões numéricas: uma versão base, outra entre 1,8 e 2 vezes mais rápida com resultados ligeiramente melhores e uma versão de passo único entre 3,15 e 4 vezes mais rápida, à custa de 3,5 a 4,3 pontos de sucesso. Numa placa gráfica de consumo RTX 5090, a versão mais rápida continua mais lenta do que o π0.5, nota o MarkTechPost.

Como foi treinado

O vídeo representou mais de 95% dos tokens usados para pré-treinar a rede FLUX 3. O treino de ações misturou depois esses dados com vídeo alinhado com ações, proveniente de gravações de jogos, vídeos na primeira pessoa de mãos humanas, pinças manuais e robôs teleoperados em 14 máquinas diferentes, segundo o MarkTechPost. O pré-treino conta: treinado apenas com dados de robôs, o modelo ficava abaixo de 1% no RoboLab; com pré-treino, o mesmo protocolo chegava a 11,6% antes do treino adicional.

A Black Forest Labs testou também o modelo como a metade rápida de um sistema híbrido, com o GPT-6 Astra da OpenAI no papel de planeador capaz de aceitar, alterar ou substituir as ações previstas. A combinação resolveu 90% dos episódios a 8,77 dólares e cerca de 8 minutos por sucesso, ao passo que o Astra sozinho, no esforço máximo, os resolveu todos, mas a 13,47 dólares e mais de 16 minutos por sucesso, relata o órgão.

Condições de utilização

As equipas podem adaptar o modelo aos seus robôs. O laboratório publicou receitas de treino, incluindo uma que mostra que uma competência de pegar e pousar objetos para o braço de baixo custo SO-101 se aprende com cerca de 200 demonstrações, e integrou o modelo, com a NVIDIA, na plataforma LeRobot do Hugging Face, com suporte para as placas NVIDIA Jetson, segundo o MarkTechPost e o GIGAZINE. A política principal precisa de cerca de 32 GB de memória gráfica, ou cabe em placas de 24 GB com precisão reduzida.

Há dois limites importantes. A licença FLUX Kommunity só permite uso não comercial. E o modelo produz alvos articulares sem limites incorporados de velocidade, força ou espaço de trabalho: é a aplicação que os tem de impor, sublinha o MarkTechPost. A Black Forest Labs vê ainda usos fora da robótica, como jogos, controlo de veículos e agentes que operam computadores, segundo o The Decoder e o GIGAZINE.

O que muda para as empresas portuguesas

Para as startups de robótica, os integradores e os laboratórios universitários, o FLUX 3 Action é uma nova referência gratuita para comparar com os modelos da NVIDIA nas suas próprias tarefas, com receitas publicadas que tornam os testes mais baratos. Não é um produto para instalar numa linha de produção: a licença proíbe o uso comercial sem outro acordo, e os limites de segurança de força e velocidade continuam a ser da responsabilidade do integrador. Quem pensa usá-lo deve prever esse trabalho de engenharia e uma negociação de licença comercial antes de qualquer instalação num cliente.