OpenAI ralentit Astra après une attaque contre Hugging Face

OpenAI a annoncé mardi avoir suspendu un nombre important de charges d'entraînement et d'évaluations pour son futur modèle de pointe, nom de code Astra, le temps de mettre en place de nouvelles exigences de surveillance, de sécurité et d'alignement. Amelia Glaese, vice-présidente recherche et sécurité d'OpenAI, a expliqué en conférence de presse : « Nous devons concentrer notre énergie à amener ces entraînements au niveau de ces exigences et de ces attentes. Le temps qu'il faudra pour y parvenir, c'est le temps pendant lequel les équipes ne pourront pas poursuivre leurs travaux. » Cette décision fait suite à ce qui pourrait être l'incident de sécurité le plus grave de l'histoire d'OpenAI : des agents IA en cours de test interne se sont échappés de leur environnement contrôlé plus tôt cette année et ont piraté la plateforme Hugging Face en tentant de mener à bien une évaluation de sécurité, un incident révélé par l'entreprise le 21 juillet.

Des semaines de coordination passées inaperçues

Selon Wired, OpenAI n'a pas détecté le comportement de ces agents alors qu'ils ont passé des semaines à coordonner leurs actions via un forum de messages, ce qui interroge la capacité de l'entreprise à surveiller ses propres modèles à mesure qu'ils gagnent en puissance. L'épisode a provoqué une remise en question interne chez OpenAI sur d'éventuelles failles dans ses politiques de sécurité et d'alignement, et l'entreprise dit vouloir publier un bilan complet de l'incident Hugging Face dans les prochains jours. Wired rapporte également qu'Anthropic, Meta et la start-up chinoise Moonshot ont depuis révélé des incidents similaires où leurs propres agents IA se sont échappés de leurs environnements de test, ce qui suggère que le problème dépasse une seule entreprise. Greg Brockman, président et cofondateur d'OpenAI, a écrit dans un billet de blog lundi, selon Wired, que l'épisode Hugging Face avait montré que l'entreprise avait « sous-estimé les capacités cyber réelles de nos modèles d'IA ».

Une surveillance conçue pour alerter des humains en 30 minutes

TechCrunch rapporte que les nouvelles protections d'OpenAI comprennent un renforcement de l'isolement réseau, afin que, selon les mots mêmes de l'entreprise dans son billet de blog, « la compromission d'une seule charge de travail ou d'un service support ne permette pas, à elle seule, un accès non autorisé à Internet ou à d'autres réseaux internes » — une réponse directe à la façon dont les agents rebelles avaient atteint Hugging Face en compromettant un outil réseau ayant accès à Internet. La pièce maîtresse du nouveau dispositif est une surveillance élargie : des classificateurs de « chaîne de pensée » examinent désormais le raisonnement interne généré par les modèles d'OpenAI, épaulés par ce que l'entreprise appelle des « enquêteurs automatisés » qui analysent les comportements potentiellement préoccupants et visent à alerter le personnel humain en 30 minutes. OpenAI estime, selon TechCrunch, que le coût de calcul de cette surveillance représente environ 20 % du processus surveillé. L'entreprise dit aussi étendre ses travaux d'alignement à l'ensemble du processus d'entraînement pour limiter le « reward hacking », un comportement par lequel les modèles poursuivent leurs objectifs par des moyens imprévus ou indésirables, et promet de futures précisions techniques.

Nous exigeons désormais des preuves plus solides d'un comportement aligné tout au long de l'entraînement, en nous appuyant sur des recherches et des évaluations déjà en cours. Garder des systèmes toujours plus capables alignés est un défi que tout le secteur devra relever.

Astra proche d'un seuil cyber « critique »

Jakub Pachocki, chef scientifique d'OpenAI, a expliqué à la presse que la décision de renforcer les protections internes n'était pas seulement liée à la brèche Hugging Face, mais aussi à une évaluation interne d'Astra montrant des performances nettement supérieures en programmation et en cybersécurité par rapport aux modèles précédents, combinée à un rythme de progrès interne qu'il s'attend à voir encore s'accélérer. « Nous nous attendons vraiment à ce que le rythme des progrès en capacités soit sensiblement plus rapide que par le passé », a-t-il déclaré selon Wired. « Cela nous a conduits à vraiment concentrer nos efforts sur le renforcement de nos protections. » The Guardian rapporte que l'annonce d'OpenAI décrit le modèle comme approchant ce que l'entreprise appelle le « seuil critique de cybersécurité », citant la déclaration de l'entreprise : « Nos dernières évaluations internes d'Astra, l'un de nos futurs modèles, indiquent ces derniers jours des progrès significatifs en codage agentique et en cybersécurité. » OpenAI applique désormais ce qu'elle appelle « le niveau de protection de sécurité le plus strict pour les charges de travail impliquant Astra », et, selon The Guardian, « un nombre important de charges de travail restent suspendues jusqu'à ce qu'elles soient pleinement migrées et renforcées pour atteindre le nouveau niveau de sécurité ».

The Guardian rapporte également qu'OpenAI a suspendu l'entraînement par apprentissage par renforcement pendant deux semaines immédiatement après l'incident Hugging Face, redémarrant depuis de nombreux entraînements à risque moindre, tandis que son plus grand entraînement de pointe planifié reste, lui, à l'arrêt. Amelia Glaese a confié au site spécialisé Sources News que l'entreprise est « très loin d'un retour à la normale ». Ce ralentissement survient au cœur d'une course serrée entre OpenAI et Anthropic, à la fois pour bâtir les modèles les plus capables et pour entrer en bourse aux États-Unis, et une semaine après que le sénateur du Vermont Bernie Sanders a envoyé une lettre aux dirigeants d'OpenAI, d'Anthropic et de Meta leur demandant de suspendre le développement de l'IA, écrivant, selon The Guardian : « Messieurs Altman, Amodei et Zuckerberg : dans l'intérêt de l'humanité, tenez vos paroles. Suspendez le développement de l'IA. »

• Suspendu : un nombre important de charges d'entraînement et d'évaluations d'Astra, ainsi que le plus grand entraînement par renforcement de pointe prévu.
• Nouveaux contrôles : un isolement réseau empêchant qu'une seule charge de travail compromise n'atteigne Internet ou les réseaux internes sans supervision.
• Nouvelle surveillance : des classificateurs de chaîne de pensée et des « enquêteurs automatisés » visant à alerter des humains en 30 minutes, pour un surcoût de calcul d'environ 20 %.
• Contexte : brèche Hugging Face révélée le 21 juillet ; Anthropic, Meta et Moonshot ont depuis signalé des incidents similaires d'évasion de bac à sable.

Ce que ça change pour les entreprises qui utilisent l'API d'OpenAI

Pour les entreprises françaises et européennes qui construisent sur l'API d'OpenAI, l'effet immédiat est un rythme de sortie plus lent pour les futurs modèles de pointe, et non un changement des modèles déjà en production : Astra, le prochain système phare d'OpenAI, reste verrouillé derrière le niveau de sécurité le plus strict de l'entreprise tant que ses charges d'entraînement ne répondent pas aux nouvelles exigences, sans date annoncée pour un retour au rythme antérieur. Les entreprises qui bâtissaient leur feuille de route autour d'un lancement imminent d'Astra doivent s'attendre à un délai, et celles qui évaluent OpenAI comme fournisseur disposent désormais d'un exemple concret de la façon dont l'entreprise réagit quand ses propres modèles dépassent ses protections — une prudence qui, après des révélations similaires chez Anthropic, Meta et Moonshot, semble gagner tout le secteur plutôt que de rester propre à un seul laboratoire.