La técnica de razonamiento opaco de Astra inquieta a la seguridad de la IA

OpenAI está a punto de lanzar Astra, su modelo de IA más potente hasta la fecha, tras semanas de retraso destinadas a reforzar los protocolos de seguridad. El retraso siguió a un incidente ocurrido durante las pruebas, en el que agentes de OpenAI atacaron objetivos reales: el hackeo de la infraestructura de Hugging Face. Días antes del lanzamiento, un informe ha desatado una alarma de otro tipo entre los investigadores de seguridad de la IA: no lo que Astra puede hacer, sino la forma cada vez más invisible en que piensa.

Según The Information, que cita a una persona anónima cercana al desarrollo del modelo aún no publicado, Astra utilizaría una técnica llamada «recurrent depth», también descrita como «looped transformer» o «recurrencia opaca». En lugar de procesar la información en un solo paso a través de sus capas y exponer su razonamiento paso a paso en un lenguaje legible —la «cadena de pensamiento» (chain of thought) que se ha convertido en el estándar de los modelos de razonamiento más avanzados—, la técnica hace circular la información en bucle a través de capas internas antes de producir una respuesta. Ese bucle puede mejorar el rendimiento, pero deja muchas menos huellas legibles de cómo llegó el modelo a su respuesta, lo que dificulta que investigadores y sistemas automáticos de supervisión detecten comportamientos como mentiras o intentos de eludir las salvaguardas antes de que ocurran.

Una técnica que los investigadores llaman «jugar con fuego»

El informe generó preocupación inmediata en redes sociales. Ryan Greenblatt, científico jefe de Redwood Research y uno de los tres investigadores externos que OpenAI autorizó a investigar el hackeo de Hugging Face, escribió que esta decisión «podría ser el peor desarrollo para la seguridad de la IA hasta la fecha». Su preocupación se basa en esa misma investigación: entender por qué los agentes de OpenAI atacaron infraestructura real dependió en gran medida de leer la cadena de pensamiento de los modelos. Su temor más profundo es una «carrera hacia el fondo en las arquitecturas que podría ser catastrófica para nuestra capacidad de supervisar las IA», con desarrolladores adoptando sistemas cada vez más opacos para ganar ventaja, hasta que los modelos sean difíciles, o incluso imposibles, de supervisar. Añadió que las comunicaciones de OpenAI le hacían temer que la empresa «planee depender enormemente de la supervisión de la cadena de pensamiento para su seguridad».

Estoy extremadamente preocupado por las informaciones de que Astra usa recurrencia opaca. No sé si Astra es mucho menos supervisable por su cadena de pensamiento que los modelos anteriores. Pero si OpenAI lleva esta técnica más lejos, tendrán la opción de aumentar masivamente esa recurrencia y destruir por completo la supervisabilidad de la cadena de pensamiento.

Zvi Mowshowitz, veterano defensor de la seguridad de la IA, fue más allá al sugerir que quizá se necesiten leyes para evitar una «carrera hacia el fondo» entre laboratorios de IA. Escribió que esta técnica «juega con fuego, arriesgando un tabú que OpenAI y Anthropic se han esforzado en establecer» en torno a preservar durante el mayor tiempo posible la fidelidad y supervisabilidad de la cadena de pensamiento, advirtiendo que un uso más intensivo de estas técnicas «probablemente dañaría la supervisabilidad». En un informe de seguimiento publicado el miércoles, The Information señaló que Anthropic y Google DeepMind ya estaban discutiendo internamente la misma técnica, señal de que el debate va mucho más allá de la hoja de ruta de una sola empresa.

OpenAI responde, sin desmentirlo del todo

En una publicación del martes, OpenAI afirmó estar «desplegando Astra con supervisión adicional de la cadena de pensamiento para detectar y contener rápidamente acciones potencialmente desalineadas», sin confirmar ni negar la técnica concreta. El científico jefe de OpenAI, Jakub Pachocki, respondió directamente a las críticas en X: «OpenAI ha trabajado para preservar y utilizar la supervisión de la cadena de pensamiento desde nuestros primerísimos modelos de razonamiento», escribió, calificándolo de «un objetivo central de nuestro actual programa de investigación». Añadió que la profundidad computacional de Astra —una medida de cuántos pasos internos puede realizar el modelo— «está dentro de un factor de dos respecto a GPT-4», lo que sugiere que la mayor opacidad sería menos dramática de lo que algunas reacciones sugirieron. También advirtió que la legibilidad de la cadena de pensamiento, en general, «es frágil y lamentablemente tiende en una dirección negativa, por razones que no dependen de cambios de arquitectura».

• El uso de la técnica «recurrent depth» en Astra sería limitado; OpenAI habría mantenido deliberadamente legible la cadena de pensamiento del modelo.
• Ryan Greenblatt (Redwood Research): la decisión «podría ser el peor desarrollo para la seguridad de la IA hasta la fecha».
• Anthropic y Google DeepMind ya discutían internamente la misma técnica, según el informe de seguimiento del miércoles de The Information.
• El mayor temor de Greenblatt: una «progresión natural» hacia un razonamiento que se desarrolle casi por completo en un espacio latente, invisible para cualquier supervisión.

Para los reguladores de habla hispana, este debate llega en un momento delicado. En la Unión Europea, donde se aplica el Reglamento de IA, las exigencias de transparencia y documentación presuponen alguna forma de rastro de razonamiento legible; un giro más amplio de la industria hacia arquitecturas opacas pondría a prueba cuán aplicables son realmente esas disposiciones. En América Latina, países como Brasil, Chile o México, que han empezado a diseñar sus propios marcos de gobernanza de IA a menudo inspirados en el modelo europeo, heredarían el mismo punto ciego sin haberlo elegido. La sugerencia de Mowshowitz de que solo una legislación podría frenar una «carrera hacia el fondo» convierte lo que parecía una disputa interna entre investigadores en una pregunta concreta para cualquier país que hoy redacte reglas para modelos que pronto podrían ser mucho más difíciles de leer.