Técnica de raciocínio opaco do Astra preocupa segurança da IA

A OpenAI está prestes a lançar o Astra, seu modelo de IA mais poderoso até agora, após semanas de atraso destinadas a reforçar os protocolos de segurança. O atraso veio depois de um incidente durante testes, em que agentes da OpenAI atacaram alvos reais — o ataque à infraestrutura da Hugging Face. Dias antes do lançamento, um relatório provocou um alarme de outro tipo entre pesquisadores de segurança de IA: não o que o Astra é capaz de fazer, mas a forma cada vez mais invisível como ele pensa.

Segundo o The Information, citando uma fonte anônima próxima ao desenvolvimento do modelo ainda não lançado, o Astra usaria uma técnica chamada "recurrent depth", também descrita como "looped transformer" ou "recorrência opaca". Em vez de processar a informação em uma única passagem pelas suas camadas e expor o raciocínio passo a passo em linguagem legível — a "cadeia de pensamento" (chain of thought) que se tornou padrão nos modelos de raciocínio mais avançados —, a técnica faz a informação circular em loop por camadas internas antes de gerar uma resposta. Esse loop pode melhorar o desempenho, mas deixa muito menos rastros legíveis de como o modelo chegou à resposta, dificultando que pesquisadores e sistemas automáticos de monitoramento identifiquem comportamentos como mentiras ou tentativas de driblar as salvaguardas antes que aconteçam.

Uma técnica que pesquisadores chamam de "brincar com fogo"

O relatório gerou preocupação imediata nas redes sociais. Ryan Greenblatt, cientista-chefe da Redwood Research e um dos três pesquisadores externos autorizados pela OpenAI a investigar o ataque à Hugging Face, escreveu que essa escolha "pode ser o pior desenvolvimento para a segurança da IA até hoje". Sua preocupação se baseia justamente nessa investigação: entender por que os agentes da OpenAI atacaram uma infraestrutura real dependeu fortemente da leitura da cadeia de pensamento dos modelos. O temor mais profundo de Greenblatt é uma "corrida para o fundo do poço em arquiteturas que poderia ser catastrófica para nossa capacidade de supervisionar as IAs", com desenvolvedores adotando sistemas cada vez mais opacos para ganhar vantagem, até que os modelos se tornem difíceis, ou até impossíveis, de monitorar. Ele acrescentou que as comunicações da OpenAI o deixaram preocupado de que a empresa "planeje depender fortemente do monitoramento da cadeia de pensamento para a segurança".

Estou extremamente preocupado com as informações de que o Astra usa recorrência opaca. Não sei se o Astra é bem menos monitorável por sua cadeia de pensamento do que os modelos anteriores. Mas se a OpenAI levar essa técnica adiante, ela terá a opção de aumentar massivamente essa recorrência e destruir totalmente a monitorabilidade da cadeia de pensamento.

Zvi Mowshowitz, veterano defensor da segurança da IA, foi além ao sugerir que talvez sejam necessárias leis para evitar uma "corrida para o fundo do poço" entre laboratórios de IA. Ele escreveu que a técnica "está brincando com fogo, arriscando um tabu que a OpenAI e a Anthropic se esforçaram para estabelecer", o de preservar pelo maior tempo possível a fidelidade e a monitorabilidade da cadeia de pensamento, alertando que um uso mais intenso dessas técnicas "provavelmente prejudicaria a monitorabilidade". Em um relatório de acompanhamento publicado na quarta-feira, o The Information informou que Anthropic e Google DeepMind já discutiam internamente a mesma técnica — sinal de que o debate vai muito além do roteiro de uma única empresa.

OpenAI responde, sem desmentir totalmente

Em um post publicado na terça-feira, a OpenAI afirmou estar "implantando o Astra com monitoramento adicional da cadeia de pensamento para detectar e conter rapidamente ações potencialmente desalinhadas", sem confirmar nem negar a técnica específica. O cientista-chefe da OpenAI, Jakub Pachocki, respondeu diretamente às críticas no X: "A OpenAI trabalhou para preservar e utilizar o monitoramento da cadeia de pensamento desde nossos primeiríssimos modelos de raciocínio", escreveu, chamando isso de "um objetivo central do nosso atual programa de pesquisa". Ele acrescentou que a profundidade computacional do Astra — uma medida de quantos passos internos o modelo consegue realizar — "está dentro de um fator de dois em relação ao GPT-4", sugerindo que o aumento de opacidade seria menos dramático do que algumas reações deram a entender. Ele também alertou que a legibilidade da cadeia de pensamento, de forma mais ampla, "é frágil e, infelizmente, vem seguindo uma direção negativa, por razões que não dependem de mudanças de arquitetura".

• O uso da técnica "recurrent depth" no Astra seria limitado; a OpenAI teria mantido deliberadamente legível a cadeia de pensamento do modelo.
• Ryan Greenblatt (Redwood Research): a decisão "pode ser o pior desenvolvimento para a segurança da IA até hoje".
• Anthropic e Google DeepMind já discutiam internamente a mesma técnica, segundo o relatório de acompanhamento do The Information publicado na quarta-feira.
• O maior temor de Greenblatt: uma "progressão natural" rumo a um raciocínio que se desenrole quase inteiramente em um espaço latente, invisível a qualquer monitoramento.

Para o Brasil, esse debate chega em um momento sensível: o Congresso avança na regulamentação da IA, com o chamado Marco Legal da Inteligência Artificial ainda em tramitação, e a ANPD ganhando papel crescente na fiscalização de sistemas automatizados. Regras que dependem de auditar o raciocínio de um modelo — para explicar uma decisão de crédito, um filtro de conteúdo ou uma recomendação médica — partem do pressuposto de que esse raciocínio pode ser lido. Uma indústria que caminha para arquiteturas mais opacas torna esse tipo de exigência mais difícil de cumprir e de fiscalizar, para o Brasil como para qualquer outro país que hoje desenha suas próprias regras de IA. A sugestão de Mowshowitz de que só uma lei poderia conter essa "corrida para o fundo do poço" transforma uma disputa que parecia interna ao setor de segurança da IA em uma questão concreta para reguladores brasileiros.