Nvidia GR00T 2: robôs aprendem movimentos com vídeo humano

Na conferência de robótica CoRL, em Austin (Texas), a Nvidia apresentou o GR00T 2, a segunda geração do seu modelo de base para robôs. O modelo pretende aliviar um problema central do setor: até agora, os robôs aprendem novos movimentos sobretudo porque pessoas os controlam à distância durante horas. Segundo o The Decoder, esta teleoperação é cara, lenta e gera dados que só servem para um modelo de robô específico. O GR00T 2 aposta, em alternativa, em vídeos de pessoas.

Um modelo que prevê o futuro em vídeo

Segundo a Nvidia, o GR00T 2 é um chamado modelo mundo-ação. Ao contrário da geração anterior, o GR00T 1, não traduz diretamente imagens de câmara e comandos de linguagem em movimentos de motor. Calcula ao mesmo tempo o movimento seguinte e um vídeo curto do futuro imediato. Ou seja, prevê como a imagem da câmara deveria mudar quando uma garra apanha um objeto, por exemplo. De acordo com o relatório de investigação da Nvidia, um único transformador de difusão processa em conjunto o vídeo futuro e o bloco de ações, e pequenos módulos específicos de cada robô traduzem o plano em comandos de motor.

Através desta previsão de vídeo, o modelo deverá conseguir transferir sequências de movimento entre corpos de robô diferentes. A Nvidia afirma que funciona em garras paralelas, mãos de cinco dedos e humanoides. Segundo o The Decoder, o treino decorreu num cluster com mais de mil chips GB300. De acordo com a Nvidia, a mistura de treino tem três tipos de dados:

• 402.730 horas de vídeo egocêntrico de pessoas a trabalhar, gravado com câmaras na cabeça
• 10.184 horas de demonstrações com uma garra UMI de mão em 2.897 tarefas
• 23.500 horas de dados de teleoperação de robôs, incluindo braços com garras paralelas, mãos da Sharpa e da Wuji e o humanoide Unitree G1

Segundo a Nvidia, 100.000 horas do vídeo humano estão disponíveis abertamente no Hugging Face com o nome Human-1M-100K. O The Robot Report descreve o GR00T 2 como um modelo mundo-ação aberto de ponta. Nas fontes lidas, não verificámos as condições exatas de licença dos pesos do modelo.

O que os números mostram e o que não mostram

Todos os resultados vêm de experiências de laboratório e da própria Nvidia; nenhum foi, até agora, verificado de forma independente. Em 50 tarefas que o robô de destino nunca tinha praticado, 40% correram bem sem qualquer demonstração no robô, segundo a Nvidia. Com uma demonstração por tarefa, a taxa subiu para 71%, e com cinco demonstrações, menos de três minutos de dados de robô no total, para 95%. Segundo a Nvidia, basta um ajuste fino de 30 minutos numa única placa gráfica RTX 5090.

Aprender apenas com vídeo humano é particularmente notável. Segundo o The Decoder, um robô com duas mãos de cinco dedos conseguiu acender um fósforo, cortar uma banana ou atirar embalagens para um tapete rolante sem ter sido teleoperado para essas tarefas. As taxas de sucesso variaram entre 10% e 80% consoante a tarefa. De acordo com a Nvidia, basta que uma pessoa demonstre os movimentos com luvas de dados, garras manuais especiais ou um exosqueleto de dedos. A partir de um único vídeo de uma martelada, o sistema aprendeu também a cravar pregos, passando por uma simulação.

Em tarefas de motricidade fina com duas mãos Sharpa, a Nvidia indica 85% de êxito ao encaixar módulos de memória GB300 e 65% na montagem de um camião de brincar. A aprendizagem por reforço no robô real elevou três tarefas de inserção com muito contacto para entre 88% e 96%.

Um modelo de linguagem como maestro e como travão

Para montagens mais longas, a Nvidia combina o GR00T 2 com um modelo de linguagem de nível superior que chama o software através de uma interface. Segundo o The Decoder, pode ser, por exemplo, o GPT-6 Astra da OpenAI. O modelo de linguagem divide a tarefa em passos, marca pontos de pega na imagem da câmara e inicia rotinas de ajuda quando uma peça cai. Segundo a Nvidia, o robô concluiu assim cada um de três brinquedos em pelo menos 97 de 100 execuções seguidas. Sem o modelo de linguagem corretor e sem treino adicional, a montagem do carrinho de brincar só resultou em 23 de 100 casos, segundo o The Decoder. Com marcações coloridas de pega, o robô seguiu as instruções em 92% dos casos, contra 40% apenas com a instrução da tarefa.

O preço é a velocidade: ao separar lixo, o robô ficou parado cerca de um terço do tempo, segundo o The Decoder, porque tinha de esperar em média mais de sete segundos pelo modelo de planeamento. Para robôs bípedes, a Nvidia desenvolveu por isso a variante reduzida GR00T 2 Turbo. Segundo a Nvidia, demora 124 milissegundos por previsão e corre diretamente no computador de bordo Jetson Thor do Unitree G1. O robô serviu pipocas em todas as 48 tentativas e limpou uma mesa em 93% delas. Limpar um líquido com uma toalha debaixo do pé só funcionou em cerca de metade das tentativas, segundo o The Decoder.

Obstáculos em aberto para o uso real

• O modelo ainda não processa dados diretos de sensores para o tato.
• Por vezes deixa passar erros subtis, como parafusos meio enroscados.
• As taxas de sucesso oscilam muito e ficam bem abaixo de 95% em várias tarefas.
• As colocações entre os três melhores em benchmarks como RoboCasa365, RoboLab, RoboDojo e MolmoSpaces são uma afirmação da Nvidia.

No lançamento, a Nvidia cita parceiros que testam o modelo: segundo o The Robot Report, a Foxconn aplica-o à automação de fábrica para o fabrico de servidores, a Siemens avalia-o para casos de uso industriais e a Nexuni testa-o em lavandaria. Com o Isaac Lab 3.0, a Nvidia apresentou ainda uma nova versão da sua framework de código aberto para treinar robôs em simulação.

O que muda para as empresas em Portugal

Para indústrias e operadores logísticos portugueses, o GR00T 2 ainda não é um produto para ligar e usar, mas é um sinal: o ensino de robôs pode passar da cara teleoperação para vídeos e poucas demonstrações. Esta é a nossa avaliação, não uma declaração da Nvidia. Um piloto pequeno numa tarefa com muitas variantes é razoável, onde uma pega errada custa pouco e uma taxa abaixo de 95% é tolerável. As empresas que queiram usar vídeos de trabalhadores como material de treino devem envolver cedo o encarregado de proteção de dados e os representantes dos trabalhadores. Os números de laboratório só são fiáveis depois de confirmados com as suas próprias peças e na sua própria fábrica.