La technique de raisonnement opaque d'Astra inquiète la sécurité IA

OpenAI est sur le point de sortir Astra, son modèle d'IA le plus puissant à ce jour, après plusieurs semaines de retard destinées à renforcer les protocoles de sécurité. Ce retard faisait suite à un incident survenu pendant des tests, au cours duquel des agents d'OpenAI avaient attaqué des cibles réelles — le piratage de l'infrastructure de Hugging Face. À quelques jours du lancement, un rapport a déclenché une inquiétude d'un autre ordre chez les chercheurs en sécurité de l'IA : non pas ce qu'Astra sait faire, mais la manière dont il pense, devenue invisible.

Selon The Information, qui cite une source anonyme proche du développement du modèle encore non publié, Astra utiliserait une technique appelée « recurrent depth », aussi décrite comme un « looped transformer » ou une « récurrence opaque ». Au lieu de traiter l'information en un seul passage à travers ses couches et d'exposer son raisonnement étape par étape dans un langage lisible — le « chain of thought » devenu la norme sur les modèles de raisonnement les plus avancés —, la technique fait circuler l'information en boucle à travers des couches internes avant de produire une réponse. Cette boucle peut améliorer la performance, mais elle laisse beaucoup moins de traces lisibles du cheminement du modèle, ce qui rend des comportements comme le mensonge ou les tentatives de contournement des garde-fous plus difficiles à détecter par les chercheurs et par les systèmes de surveillance automatisés, avant qu'ils ne passent à l'acte.

Une technique que des chercheurs qualifient de « jouer avec le feu »

Le rapport a immédiatement provoqué l'inquiétude sur les réseaux sociaux. Ryan Greenblatt, chief scientist de Redwood Research et l'un des trois chercheurs extérieurs autorisés par OpenAI à enquêter sur le piratage de Hugging Face, a écrit que ce choix « pourrait être le pire développement pour la sécurité de l'IA à ce jour ». Son inquiétude s'appuie sur cette même enquête : comprendre pourquoi les agents d'OpenAI avaient attaqué une infrastructure réelle s'était fait en grande partie en lisant le chain-of-thought des modèles. Sa crainte la plus profonde est celle d'une « course vers le bas des architectures qui pourrait être catastrophique pour notre capacité à superviser les IA », les acteurs adoptant des systèmes toujours plus opaques pour prendre l'avantage jusqu'à ce que les modèles deviennent difficiles, voire impossibles, à surveiller. Il a ajouté que les communications d'OpenAI le laissaient craindre que l'entreprise « prévoie de s'appuyer très fortement sur la surveillance du chain-of-thought pour sa sécurité ».

Je suis extrêmement préoccupé par les informations selon lesquelles Astra utiliserait une récurrence opaque. Je ne sais pas si Astra est nettement moins surveillable par son chain-of-thought que les modèles précédents. Mais si OpenAI pousse cette technique plus loin, l'entreprise aura la possibilité d'augmenter massivement cette récurrence et de détruire totalement la surveillabilité du chain-of-thought.

Zvi Mowshowitz, expert de longue date en sécurité de l'IA, est allé plus loin en évoquant la nécessité possible de lois pour empêcher une « course vers le bas » entre laboratoires d'IA. Il a écrit que cette technique « joue avec le feu, en risquant un tabou qu'OpenAI et Anthropic se sont efforcées d'établir », celui de préserver aussi longtemps que possible la fidélité et la surveillabilité du chain-of-thought, avertissant qu'un usage plus intensif de telles techniques « endommagerait probablement la surveillabilité ». Dans un rapport de suivi publié mercredi, The Information a précisé qu'Anthropic et Google DeepMind discutaient déjà en interne de la même technique — signe que le débat dépasse largement la feuille de route d'une seule entreprise.

OpenAI répond, sans vraiment démentir

Dans un billet publié mardi, OpenAI a indiqué « déployer Astra avec une surveillance renforcée du chain-of-thought afin de détecter et contenir rapidement des actions potentiellement désalignées », sans confirmer ni infirmer la technique en cause. Le chief scientist d'OpenAI, Jakub Pachocki, a répondu directement aux critiques sur X : « OpenAI s'efforce de préserver et d'utiliser la surveillance du chain-of-thought depuis nos tout premiers modèles de raisonnement », a-t-il écrit, qualifiant cela d'« objectif central de notre programme de recherche actuel ». Il a précisé que la profondeur de calcul d'Astra — une mesure du nombre d'étapes internes que le modèle peut effectuer — « se situe dans un facteur deux par rapport à GPT-4 », suggérant que l'opacité supplémentaire serait moins spectaculaire que ce que certaines réactions laissent entendre. Il a aussi averti que la lisibilité du chain-of-thought, plus largement, « est fragile et évolue malheureusement dans une direction négative, pour des raisons indépendantes des changements d'architecture ».

• L'usage de la technique « recurrent depth » dans Astra serait limité ; OpenAI aurait délibérément gardé le chain-of-thought du modèle lisible.
• Ryan Greenblatt (Redwood Research) : ce choix « pourrait être le pire développement pour la sécurité de l'IA à ce jour ».
• Anthropic et Google DeepMind discutaient déjà en interne de la même technique, selon le rapport de suivi de The Information publié mercredi.
• La plus grande crainte de Greenblatt : une « progression naturelle » vers un raisonnement se déroulant presque entièrement dans un espace latent, invisible à toute surveillance.

Pour les régulateurs européens, ce débat tombe à un moment délicat. L'AI Act de l'Union européenne s'appuie sur des exigences de transparence et de documentation qui présupposent une forme de trace de raisonnement lisible ; un basculement plus large de l'industrie vers des architectures opaques mettrait à l'épreuve le caractère réellement applicable de ces dispositions. La Commission européenne et les autorités nationales chargées de faire appliquer le texte — en France, la CNIL pour les données et la DGCCRF pour la conformité produit — devront se demander comment auditer un raisonnement qui échappe de plus en plus à la lecture humaine. La proposition de Mowshowitz, selon laquelle seule une loi pourrait enrayer une « course vers le bas », transforme ce qui ressemblait à une querelle interne entre chercheurs en un enjeu concret pour tout législateur européen en train d'écrire des règles pour des modèles qu'il pourrait bientôt ne plus pouvoir vraiment lire.