Técnica de raciocínio opaco do Astra preocupa a segurança da IA

A OpenAI está prestes a lançar o Astra, o seu modelo de IA mais potente até à data, depois de semanas de atraso destinadas a reforçar os protocolos de segurança. O atraso seguiu-se a um incidente ocorrido durante testes, em que agentes da OpenAI atacaram alvos reais — o ataque à infraestrutura da Hugging Face. Dias antes do lançamento, um relatório desencadeou um alarme de outro tipo entre os investigadores de segurança da IA: não o que o Astra é capaz de fazer, mas a forma cada vez mais invisível como pensa.

Segundo o The Information, que cita uma fonte anónima próxima do desenvolvimento do modelo ainda não lançado, o Astra usaria uma técnica designada "recurrent depth", também descrita como "looped transformer" ou "recorrência opaca". Em vez de processar a informação numa única passagem pelas suas camadas e expor o raciocínio passo a passo em linguagem legível — a "cadeia de pensamento" (chain of thought) que se tornou padrão nos modelos de raciocínio mais avançados —, a técnica faz circular a informação em ciclo por camadas internas antes de produzir uma resposta. Esse ciclo pode melhorar o desempenho, mas deixa muito menos vestígios legíveis do percurso do modelo até à resposta, dificultando a deteção, por investigadores e por sistemas automáticos de monitorização, de comportamentos como mentiras ou tentativas de contornar as salvaguardas antes de estas ocorrerem.

Uma técnica que investigadores chamam "brincar com o fogo"

O relatório gerou preocupação imediata nas redes sociais. Ryan Greenblatt, cientista-chefe da Redwood Research e um dos três investigadores externos autorizados pela OpenAI a investigar o ataque à Hugging Face, escreveu que esta opção "pode ser o pior desenvolvimento para a segurança da IA até à data". A sua preocupação assenta precisamente nessa investigação: perceber porque é que os agentes da OpenAI atacaram infraestrutura real dependeu em grande medida da leitura da cadeia de pensamento dos modelos. O receio mais profundo de Greenblatt é o de uma "corrida para o fundo nas arquiteturas que poderia ser catastrófica para a nossa capacidade de supervisionar as IA", com programadores a adotarem sistemas cada vez mais opacos para ganhar vantagem, até os modelos se tornarem difíceis, ou mesmo impossíveis, de monitorizar. Acrescentou que as comunicações da OpenAI o deixaram preocupado com a possibilidade de a empresa "planear depender fortemente da monitorização da cadeia de pensamento para a segurança".

Estou extremamente preocupado com as informações de que o Astra usa recorrência opaca. Não sei se o Astra é significativamente menos monitorizável através da sua cadeia de pensamento do que os modelos anteriores. Mas se a OpenAI levar esta técnica mais longe, terá a opção de aumentar massivamente essa recorrência e destruir totalmente a monitorabilidade da cadeia de pensamento.

Zvi Mowshowitz, defensor de longa data da segurança da IA, foi mais longe ao sugerir que poderá ser necessária legislação para evitar uma "corrida para o fundo" entre laboratórios de IA. Escreveu que a técnica "está a brincar com o fogo, arriscando um tabu que a OpenAI e a Anthropic se esforçaram por estabelecer", o de preservar, tanto quanto possível, a fidelidade e a monitorabilidade da cadeia de pensamento, alertando que um uso mais intensivo destas técnicas "provavelmente prejudicaria a monitorabilidade". Num relatório de seguimento publicado na quarta-feira, o The Information referiu que a Anthropic e a Google DeepMind já discutiam internamente a mesma técnica — um sinal de que o debate ultrapassa largamente o roteiro de uma única empresa.

A OpenAI responde, sem desmentir por completo

Numa publicação de terça-feira, a OpenAI afirmou estar a "implementar o Astra com monitorização adicional da cadeia de pensamento para detetar e conter rapidamente ações potencialmente desalinhadas", sem confirmar nem negar a técnica em causa. O cientista-chefe da OpenAI, Jakub Pachocki, respondeu diretamente às críticas no X: "A OpenAI tem trabalhado para preservar e utilizar a monitorização da cadeia de pensamento desde os nossos primeiríssimos modelos de raciocínio", escreveu, classificando-o como "um objetivo central do nosso atual programa de investigação". Acrescentou que a profundidade computacional do Astra — uma medida de quantos passos internos o modelo consegue realizar — "está dentro de um fator de dois relativamente ao GPT-4", sugerindo que o aumento de opacidade seria menos dramático do que algumas reações deram a entender. Também alertou que a legibilidade da cadeia de pensamento, de um modo mais geral, "é frágil e, infelizmente, tem seguido uma direção negativa, por razões que não dependem de alterações de arquitetura".

• O uso da técnica "recurrent depth" no Astra seria limitado; a OpenAI terá mantido deliberadamente legível a cadeia de pensamento do modelo.
• Ryan Greenblatt (Redwood Research): a decisão "pode ser o pior desenvolvimento para a segurança da IA até à data".
• A Anthropic e a Google DeepMind já discutiam internamente a mesma técnica, segundo o relatório de seguimento do The Information de quarta-feira.
• O maior receio de Greenblatt: uma "progressão natural" rumo a um raciocínio que decorra quase inteiramente num espaço latente, invisível a qualquer monitorização.

Para os reguladores portugueses e europeus, este debate surge num momento delicado. O Regulamento europeu da IA assenta em exigências de transparência e documentação que pressupõem alguma forma de rasto de raciocínio legível; uma deslocação mais ampla do setor para arquiteturas opacas testaria até que ponto essas disposições são realmente aplicáveis. Em Portugal, cabe à futura autoridade nacional de supervisão da IA, articulada com a Comissão Nacional de Proteção de Dados, avaliar sistemas cujo raciocínio interno se torna cada vez mais difícil de auditar. A sugestão de Mowshowitz de que só a legislação poderia travar uma "corrida para o fundo" transforma o que parecia uma disputa interna entre investigadores de segurança da IA numa questão concreta para qualquer legislador europeu que hoje escreva regras para modelos que em breve poderão ser muito mais difíceis de ler.