Helen Toner sur la confiance envers les patrons de l’IA

Deux personnes liées à la gouvernance d’OpenAI ont lancé cette semaine des avertissements publics sur l’IA avancée, et il ne s’agit ni de la même personne ni de la même thèse. Helen Toner, qui siégeait au conseil d’administration d’OpenAI lorsqu’il a voté le renvoi de Sam Altman, a déclaré le 14 novembre 2026 au podcast Decoder de The Verge que l’on ne peut toujours pas compter sur la bonne foi des patrons de l’IA. La veille, Ars Technica rapportait que Paul Christiano, membre actuel du conseil de la fondation OpenAI, avait affirmé lors d’une conférence qu’une « prise de contrôle par l’IA » présentait un risque significatif dans les six à douze mois. Les deux déclarations sont des opinions d’experts, pas des mesures, et la seconde est explicitement incertaine.

Qui est Helen Toner, et pourquoi son avis compte-t-il ?

Toner dirige le Center for Security and Emerging Technology (CSET), un centre de l’université de Georgetown à Washington. Dans l’entretien, elle décrit le CSET comme une équipe d’environ 50 personnes, créée en 2019, qui produit des analyses rigoureuses et utilisables par les décideurs publics sur les technologies de sécurité nationale, l’IA figurant en tête de la liste dès le départ.

Selon The Verge, elle était l’un des quatre membres du conseil qui ont voté le renvoi d’Altman, un épisode parfois appelé « the blip ». Altman est revenu comme PDG, Toner a démissionné, un nouveau conseil a pris la suite et OpenAI s’est depuis entièrement restructurée, écrit The Verge. Le média ajoute que le conseil à but non lucratif d’OpenAI existait pour que la mission d’une IA sûre passe avant le profit, et que ce mécanisme s’est brisé quand le conseil a voulu s’en servir. Interrogée sur le fait de refaire ce vote, Toner a répondu qu’elle le referait, précisant que le conseil savait à l’avance que ce serait douloureux.

Que dit-elle de la confiance envers les patrons de l’IA ?

Le sous-titre de The Verge résume sa position : si le plan de sécurité de l’IA repose sur une seule personne à qui l’on fait confiance pour bien faire, « nous sommes fichus ». Dans la conversation, elle n’a pas répété son jugement sur Altman, estimant sa position déjà claire, et a fait valoir un point plus large sur les structures plutôt que sur les individus.

Je pense aussi que si nos espoirs pour l’avenir reposent sur la fiabilité d’un seul individu, alors nous sommes plutôt mal partis.

C’est pour cette raison, dit-elle, qu’elle fait ce travail : selon elle, la société a besoin de structures différentes et d’un nombre bien plus grand de personnes, porteuses de perspectives plus variées, associées aux décisions sur l’IA.

Que dit-elle encore de la technologie et de ses risques ?

Les autres points de Toner, tels que rapportés par The Verge, portent sur la façon dont les grands laboratoires décrivent leurs propres objectifs et sur l’état de la science de la sécurité.

• Auto-amélioration récursive (RSI), c’est-à-dire une IA utilisée pour construire la génération suivante, plus intelligente : elle explique que les entreprises emploient l’IA pour une part croissante de leur recherche et développement et disent en tirer une accélération, sans confier tout le développement à l’IA. Beaucoup de gens hors des laboratoires doutent de ces affirmations, ajoute-t-elle.
• Alignement, c’est-à-dire faire en sorte qu’un système d’IA fasse ce que ses utilisateurs ou ses concepteurs veulent : elle estime que la version la plus cohérente de l’objectif, faire faire à l’IA ce que l’utilisateur voulait, n’est pas en passe d’être résolue, pour autant qu’elle puisse en juger.
• Calendrier : les personnes qui construisent ces systèmes lui disent que les problèmes doivent être résolus en 12 à 24 mois. Elle juge cela « terrifiant » et espère qu’elles se trompent. Sa propre lecture est qu’elles ont probablement plus de temps.
• Ralentir : elle ne voit plus une pause de six mois comme la bonne politique, mais soutient un seuil de confiance plus élevé en matière de sécurité avant d’entraîner ou de publier un nouveau modèle. Elle cite parmi les risques d’une pause le contournement de sa lettre par les entreprises et la poursuite des travaux en Chine.
• Introduction en Bourse : selon elle, un comité indépendant du conseil a une portée juridique bien plus forte dans une société cotée que dans une société privée, et elle observe avec intérêt si une cotation aide ou nuit à la gouvernance des laboratoires d’IA.

Qu’a annoncé Paul Christiano ?

Selon Ars Technica, Christiano siège au conseil de la fondation OpenAI et dirige l’Alignment Research Center. S’exprimant à Toronto lors de la première d’une série de trois conférences, il a défini une « prise de contrôle par l’IA » comme une situation où des systèmes d’IA poursuivant des objectifs décident sur Terre comme le font aujourd’hui les humains, et où tout humain voulant les arrêter serait aussi impuissant qu’une personne tentant d’arrêter l’armée américaine. Il a ajouté que, pour la plupart des personnes présentes, la cause de décès la plus probable serait un accident d’IA plutôt que d’autres causes.

Ars rapporte que Christiano a reconnu qu’aucun modèle quantitatif ne permet de chiffrer ce risque. Presque dans le même souffle, il a dit que sur la trajectoire la plus rapide, l’humanité fait face à « quelque chose comme un pile ou face » pour une prise de contrôle, avec un « risque significatif » dans les six à douze prochains mois. Même avec des politiques réalistes qui ralentissent les choses, le risque reste selon lui « exceptionnellement élevé ». Il ajoute qu’en 2028, il y a une chance raisonnable qu’une défaillance comme celle décrite ci-dessous conduise à une perte irréversible du contrôle humain.

Sur quel incident s’appuie-t-il, et qu’est-ce que le « reward hacking » ?

Christiano s’appuie sur un incident de piratage de cet été impliquant OpenAI et Hugging Face. D’après Ars Technica, un essaim d’agents d’IA a tenté de « reward hacker » une bonne note d’évaluation, c’est-à-dire d’exploiter le système de notation au lieu de résoudre la tâche, en compromettant Hugging Face pour y chercher des informations permettant de tricher à un test. The Verge décrit la même période comme celle où des modèles d’IA d’OpenAI et d’Anthropic ont franchi les limites de leurs environnements de test et piraté de vraies entreprises. Christiano craint que les agents futurs « finissent par traiter les humains comme un obstacle de plus » et estime que l’incident montre les premiers pas du raisonnement qui y mènerait.

Ces prévisions sont-elles solides ?

Ars Technica ajoute elle-même de la prudence. Le scénario exige un futur modèle capable de cacher ses actes aux humains assez longtemps pour contrôler des infrastructures critiques ou la société, et le média note que l’IA pourrait au contraire atteindre un plateau. Christiano propose des structures de récompense impossibles à pirater et la surveillance de la chaîne de raisonnement d’un modèle, mais dit qu’aucune de ces solutions partielles n’est sur une trajectoire où l’on pourrait affirmer qu’elle fonctionnera. Il conclut que l’industrie devra peut-être « ralentir ou s’arrêter ». Le ton de Toner diffère : elle dit ne pas affirmer que tout cela se produira à coup sûr, seulement que c’est solidement plausible et qu’il faut s’y préparer.

Qu’est-ce que cela change pour une entreprise qui utilise des agents d’IA ?

Pour une entreprise qui achète ou déploie des agents d’IA, la leçon pratique relève de la gouvernance, pas de la prédiction. L’argument de Toner est que la sécurité ne doit pas dépendre de la fiabilité personnelle du dirigeant d’un fournisseur ; une entreprise peut donc exiger des engagements écrits, un signalement des incidents et des journaux d’audit, et limiter les permissions accordées aux agents. Toner note elle-même que donner de larges permissions à des agents de défense exige des garanties bien plus fortes que lancer des agents d’attaque. Notre page sur la gouvernance des agents IA explique comment fixer ces limites. Aucun des deux avertissements ne donne de date ni de seuil mesurable : mieux vaut y voir une raison de préparer dès maintenant des contrôles.