World Labs, de Fei-Fei Li, lança Atlas, um modelo de mundo

A World Labs, startup de inteligência artificial fundada pela professora de Stanford e pioneira em IA Fei-Fei Li, apresentou em 1º de setembro um novo modelo de mundo chamado Atlas. A empresa o descreve como um modelo onipresente, criado para processar nativamente texto, imagens, vídeo e dados 3D dentro de um único sistema, e afirma que ele pode reconstruir uma cena 3D real a partir de uma única fotografia, gerar um minuto de vídeo em alta resolução com controle preciso de câmera, e produzir os dados de profundidade que os robôs precisam para treinar em ambientes simulados. Fei-Fei Li chamou o lançamento de marco para a World Labs, dizendo que o Atlas abre portas para aplicações que vão de efeitos visuais à robótica.

O que o Atlas realmente faz

• Geração com controle de câmera: a partir de uma a seis imagens de referência, o Atlas gera vídeo com controle de câmera em nível de pixel, produzindo até um minuto de material em resolução 1440p.
• Reconstrução espacial: alimentado com uma a dezenas, às vezes mais de cem, imagens de entrada, o Atlas reconstrói cenas reais como quadros de novos ângulos e como saídas 3D explícitas, nuvens de pontos e Gaussian splats, superando os modelos especializados em reconstrução 3D mais avançados.
• Simulação de espaço-tempo: a partir de vídeo comum gravado com alguns celulares, o Atlas consegue congelar e reenquadrar uma cena a partir de ângulos impossíveis, e alimenta fluxos de real para simulado que permitem que robôs treinem e sejam testados em ambientes gerados.
• Geração de imagens: o Atlas produz imagens e panoramas de 360 graus a partir de texto, seguindo instruções complexas, renderizando texto legível e cobrindo grande variedade de estilos visuais.

Por trás da tecnologia, o Atlas é o que a World Labs chama de transformador de difusão autorregressivo multimodal, treinado do zero em vez de adaptado a partir de um modelo de vídeo ou linguagem já existente. Cada entrada, texto, imagens, posições de câmera e mapas de profundidade 3D, é ancorada a uma posição dentro de um contexto espacial compartilhado, e o Atlas gera cada nova saída condicionada por tudo o que já está nesse contexto; duas fotos sem relação entre si, por exemplo, podem ser posicionadas no espaço 3D e costuradas em um único mundo contínuo e coerente. Isso diferencia o Atlas dos geradores de vídeo no estilo Sora, que controlam o movimento de câmera por meio de instruções de texto imprecisas: o Atlas recebe nativamente trajetórias de câmera e a geometria da cena, um controle quadro a quadro que o texto sozinho não consegue oferecer. Em avaliações de geração com controle de câmera e de reconstrução a partir de vistas esparsas, a World Labs afirma que o Atlas superou tanto os principais modelos de vídeo quanto os melhores sistemas especializados em reconstrução 3D, com vantagem que cresce em trajetórias de câmera mais complexas, e que o desempenho continua melhorando à medida que aumenta o poder computacional de treinamento.

Uma aposta em robôs, não só em efeitos visuais

O lançamento dá continuidade a um movimento que a World Labs já vinha fazendo neste ano. Em junho, Fei-Fei Li apresentou um modelo conceitual que divide os modelos de mundo em renderizadores, simuladores e planejadores, argumentando que o simulador é o mais importante porque carrega a geometria, a física e a dinâmica das quais tanto a renderização quanto a ação dependem. Em 21 de julho, a World Labs adquiriu a SceniX, startup de simulação de robôs; uma semana depois, em 28 de julho, apresentou um sistema de real para simulado e de volta ao real, construído sobre a ideia de que o maior gargalo da robótica é a falta de experiência de treinamento barata, controlável e escalável. O Atlas é a peça que conecta esses esforços: consegue transformar fotos ou vídeos comuns em um espaço 3D e, em seguida, nas visões de sensores e nos ambientes simulados variáveis de que um robô precisa para treinar. Jim Fan, líder de pesquisa em robótica da Nvidia e ex-aluno de Fei-Fei Li, descreveu o lançamento como um passo importante para o trabalho de real para simulado na robótica.

Modelos de mundo geram, reconstroem e simulam qualquer mundo possível, para que possamos renderizar mundos imaginados para criadores, simular o mundo real com alta fidelidade e ajudar robôs a planejar suas ações.

A World Labs afirma estar liberando o Atlas de forma gradual, começando com acesso antecipado para parceiros selecionados; os demais usuários podem solicitar acesso no site da empresa. A empresa apresenta o Atlas como a base para futuras versões do Marble, seu produto anterior de mundos interativos, e para o restante de seu portfólio. Para laboratórios de IA, estúdios de jogos e efeitos visuais, e empresas de robótica no Brasil, a mudança prática é um caminho mais barato até dados 3D utilizáveis: em vez de equipamentos de captura caros ou meses de trabalho especializado de reconstrução 3D, algumas fotos comuns ou um vídeo de celular passam a ser o ponto de partida de um ambiente simulado, uma fase de jogo ou um campo de treinamento para robôs, desde que esses resultados iniciais se confirmem quando mais empresas do setor puderem testar o Atlas.