World Labs, de Fei-Fei Li, apresenta o Atlas, um modelo de mundo

A World Labs, a startup de inteligência artificial fundada pela professora de Stanford e pioneira da IA Fei-Fei Li, apresentou a 1 de setembro um novo modelo de mundo chamado Atlas. A empresa descreve-o como um modelo omni, concebido para processar nativamente texto, imagens, vídeo e dados 3D num único sistema, e afirma que consegue reconstruir uma cena 3D real a partir de uma única fotografia, gerar um minuto de vídeo em alta resolução com controlo preciso de câmara, e produzir os dados de profundidade de que os robôs necessitam para treinar em ambientes simulados. Fei-Fei Li classificou o lançamento como um marco para a World Labs, afirmando que o Atlas abre a porta a aplicações que vão dos efeitos visuais à robótica.

O que o Atlas consegue realmente fazer

• Geração com controlo de câmara: a partir de uma a seis imagens de referência, o Atlas gera vídeo com controlo de câmara ao nível do pixel, produzindo até um minuto de imagens em resolução 1440p.
• Reconstrução espacial: alimentado com uma a dezenas, por vezes mais de uma centena, de imagens de entrada, o Atlas reconstrói cenas reais sob a forma de novos ângulos de vídeo e de resultados 3D explícitos, nuvens de pontos e Gaussian splats, superando os modelos especializados em reconstrução 3D mais avançados.
• Simulação espácio-temporal: a partir de vídeo comum gravado com alguns telemóveis, o Atlas consegue congelar e reenquadrar uma cena a partir de ângulos impossíveis, alimentando fluxos de trabalho de real para simulado que permitem aos robôs treinar e ser testados em ambientes gerados.
• Geração de imagens: o Atlas produz imagens e panoramas de 360 graus a partir de texto, seguindo instruções complexas, gerando texto legível e cobrindo uma grande variedade de estilos visuais.

Por dentro, o Atlas é aquilo a que a World Labs chama um transformador de difusão autorregressivo multimodal, treinado de raiz em vez de adaptado a partir de um modelo de vídeo ou de linguagem já existente. Cada entrada, texto, imagens, posições de câmara e mapas de profundidade 3D, é ancorada a uma posição num contexto espacial partilhado, e o Atlas gera cada nova saída condicionada por tudo o que já se encontra nesse contexto; duas fotografias sem qualquer relação, por exemplo, podem ser posicionadas no espaço 3D e unidas num único mundo contínuo e coerente. Isto distingue o Atlas dos geradores de vídeo ao estilo Sora, que controlam o movimento de câmara através de instruções de texto imprecisas: o Atlas recebe nativamente trajetórias de câmara e a geometria da cena, um controlo fotograma a fotograma que o texto por si só não pode oferecer. Em avaliações de geração com controlo de câmara e de reconstrução a partir de vistas dispersas, a World Labs afirma que o Atlas superou tanto os principais modelos de vídeo como os melhores sistemas especializados em reconstrução 3D, com uma vantagem que aumenta em trajetórias de câmara mais complexas, e que o desempenho continua a melhorar à medida que aumenta a capacidade de cálculo de treino.

Uma aposta nos robôs, não apenas nos efeitos visuais

O lançamento dá continuidade a uma trajetória que a World Labs vinha a traçar desde o início do ano. Em junho, Fei-Fei Li apresentou um enquadramento que divide os modelos de mundo em renderizadores, simuladores e planeadores, argumentando que o simulador é o mais importante porque sustenta a geometria, a física e a dinâmica de que dependem tanto a renderização como a ação. A 21 de julho, a World Labs adquiriu a SceniX, uma startup de simulação robótica; uma semana depois, a 28 de julho, apresentou um sistema de real para simulado e de volta ao real, construído sobre a ideia de que o maior obstáculo da robótica é a falta de experiência de treino barata, controlável e escalável. O Atlas é a peça que liga estes esforços: consegue transformar fotografias ou vídeos comuns num espaço 3D e, depois, nas vistas de sensores e nos ambientes simulados variáveis de que um robô necessita para treinar. Jim Fan, responsável de investigação em robótica da Nvidia e antigo aluno de Fei-Fei Li, descreveu o lançamento como um passo importante para o trabalho de real para simulado na robótica.

Os modelos de mundo geram, reconstroem e simulam qualquer mundo possível, para que possamos representar mundos imaginados para criadores, simular o mundo real com alta fidelidade e ajudar os robôs a planear as suas ações.

A World Labs afirma estar a disponibilizar o Atlas de forma gradual, começando com acesso antecipado para parceiros selecionados; os restantes utilizadores podem solicitar acesso no sítio da empresa. A empresa apresenta o Atlas como a base para futuras versões do Marble, o seu anterior produto de mundos interativos, e para o resto da sua gama. Para laboratórios de IA, estúdios de jogos e efeitos visuais, e empresas de robótica em Portugal, a mudança prática é um caminho mais barato até dados 3D utilizáveis: em vez de equipamentos de captura dispendiosos ou meses de trabalho especializado de reconstrução 3D, algumas fotografias comuns ou um vídeo de telemóvel passam a ser o ponto de partida de um ambiente simulado, um nível de jogo ou um campo de treino para robôs, desde que estes primeiros resultados se confirmem quando mais intervenientes do setor puderem testar o Atlas.