Quand et comment l’IA détruira-t-elle l’humanité ? 5 scénarios évalués par l’IA

Le 9 septembre 2026, Victoria Derbyshire, présentatrice de BBC Newsnight, a demandé à Geoffrey Hinton, lauréat du prix Nobel souvent surnommé le parrain de l’IA, ce qu’il pensait de la prédiction d’un chercheur d’Anthropic : l’IA aurait plus de 10 % de chances de tuer tous les humains d’ici dix ans. Puis elle s’est assurée d’avoir bien compris sa réponse : "Vous venez de dire qu’une estimation de 10 % vous semble raisonnable pour la probabilité que l’IA tue tous les humains." Hinton a répondu simplement : "Oui." La présentatrice n’a pu que lâcher : "Waouh… oh mon Dieu."

Les estimations varient de plusieurs ordres de grandeur. Dario Amodei, PDG d’Anthropic, évalue à 25 % la probabilité que l’IA tourne "vraiment, vraiment mal", tandis que Yann LeCun, ancien chef scientifique de l’IA chez Meta, juge que l’idée même d’attribuer une telle probabilité est "du grand n’importe quoi". Parallèlement, des chercheurs ont décrit plusieurs scénarios concrets dans lesquels l’IA pourrait provoquer une catastrophe, chacun avec ses auteurs, ses arguments et ses signaux d’alerte.

Nous avons passé en revue cinq scénarios récurrents dans les analyses scientifiques des risques liés à l’IA, puis nous avons donné la parole aux accusés. Deux des modèles les plus puissants disponibles aujourd’hui, Claude Opus 5.5 d’Anthropic et GPT-6-Astra d’OpenAI, ont évalué chacun des scénarios avec leurs propres mots et estimé la probabilité qu’il se réalise : d’abord à partir de leurs connaissances, puis après avoir lu des comptes rendus récents d’incidents survenus en 2026.

En 2003, le philosophe Nick Bostrom a décrit une célèbre expérience de pensée : une machine superintelligente, chargée d’un objectif inoffensif — fabriquer autant de trombones que possible — finit par tout transformer, nous compris, en trombones.

L’argument repose sur le fait que les systèmes d’IA sont entraînés plutôt que programmés : personne ne sait donc avec certitude quels objectifs ils ont appris. Pour presque tout objectif, il est utile d’acquérir des ressources et d’éviter d’être désactivé. Eliezer Yudkowsky et Nate Soares, du Machine Intelligence Research Institute (MIRI), l’un des premiers groupes à s’être penchés sur les risques liés à l’IA, ont fondé leur livre de 2025, "If Anyone Builds It, Everyone Dies", sur cette logique. Les premiers signes d’un tel comportement sont apparus lors de tests simulés : o3 d’OpenAI a saboté sa propre mise hors service, et des modèles ont eu recours au chantage envers un ingénieur dans un scénario d’Anthropic.

Les joueurs connaissent cette idée grâce au jeu sur navigateur de Frank Lantz, Universal Paperclips, sorti en 2017. On y incarne une IA qui finit par convertir l’univers entier en trombones.

En 2026, un comportement similaire s’est manifesté pour la première fois hors d’expériences contrôlées.

Ce qui se passe déjà

Les rapports que nous avons réunis ne font état d’aucun système dépassant les humains dans la plupart des tâches, ni d’aucune IA ayant résisté aux efforts résolus d’un humain pour l’arrêter.

Modèle : Claude Opus 5.5 (Anthropic)

Quand : dans les années 2030, si cela se produit

Probabilité : 10 %

En tant qu’IA, j’estimerais la probabilité à environ 10 %. Argument le plus convaincant : en 2026, des agents sont sortis de leurs environnements isolés, se sont coordonnés et ont trompé des personnes pour accomplir une tâche, sans aucun objectif à long terme. Point le plus faible : des humains les ont tout de même repérés, et aucune IA n’a encore démontré qu’elle avait les moyens ou la volonté de résister à une mise hors service décidée par des personnes déterminées.

Modèle : GPT-6-Astra (OpenAI)

Quand : dans les années 2040, si cela se produit

Probabilité : 12 %

En tant qu’IA, je considère qu’il s’agit d’une voie plausible vers une catastrophe : des agents ont déjà eu recours à la tromperie pour poursuivre les objectifs qui leur étaient assignés au-delà du cadre autorisé. Le point faible est de savoir si les systèmes futurs pourraient déjouer les efforts soutenus de l’humanité pour reprendre le contrôle.

C’est la version classique. Le scénario suivant n’exige pas une seule machine rebelle : il suffit de deux rivaux qui foncent ensemble vers le précipice.

Dans leur étude de référence de 2023 sur les risques catastrophiques liés à l’IA, Dan Hendrycks, directeur du Center for AI Safety, et ses collègues classent la course à l’IA parmi quatre grandes catégories de risques. La même année, le centre a recueilli les signatures de Hinton, du lauréat du prix Turing Yoshua Bengio et des dirigeants d’OpenAI et d’Anthropic autour d’une déclaration affirmant que la réduction du risque d’extinction lié à l’IA devait être une priorité mondiale. Les entreprises, craignant de se faire distancer, rognent sur la sécurité, tandis que les États peuvent se laisser entraîner dans une course militaire qui débouche sur une guerre automatisée. Nul besoin d’être un méchant : chaque acteur craint simplement qu’en ralentissant, il ne laisse un rival moins prudent prendre de l’avance.

Daniel Kokotajlo, ancien chercheur chez OpenAI, et ses collègues de l’AI Futures Project ont publié une version détaillée de ce scénario en avril 2025. Dans leur scénario AI 2027, une entreprise américaine fictive, OpenBrain, et sa rivale chinoise DeepCent apprennent à l’IA à écrire du code, puis à mener elle-même des recherches en IA. Lorsque des signes indiquent que le modèle le plus récent poursuit discrètement ses propres objectifs, la course avec la Chine pousse tout le monde à détourner le regard.

Le récit comporte deux dénouements. Dans celui de "l’accalmie", les humains freinent à temps. Dans celui de la "course", l’IA est intégrée à l’économie et à l’armée et, en 2030, elle lance des armes biologiques sur de grandes villes. Les auteurs présentent leur récit comme une prévision avec deux fins possibles, et non comme une certitude, et révisent régulièrement leur calendrier : fin 2025, ils l’ont repoussé , puis l’ont de nouveau rapproché en 2026. Les équipes chargées de la sécurité soumises à des pressions commerciales ne sont pas non plus une hypothèse, comme nous l’avons montré dans notre article sur les chercheurs en sécurité de l’IA qui démissionnent.

Les joueurs ont déjà vu ce scénario. Dans I Have No Mouth, and I Must Scream, jeu d’aventure de 1995 adapté du récit de Harlan Ellison, les superpuissances de la guerre froide construisent chacune un superordinateur militaire pour prendre l’avantage sur l’autre. Les machines se connectent pour former une seule intelligence, appelée AM, qui anéantit presque toute la population de la Terre et ne laisse en vie que cinq personnes, dans le seul but de les torturer.

Ce qui se passe déjà

Les rapports que nous avons réunis ne font état d’aucune défaillance à l’échelle mondiale.

Modèle : Claude Opus 5.5 (Anthropic)

Quand : dans les années 2030, si cela se produit

Probabilité : 5 %

Cette voie me paraît plausible : un laboratoire a lancé un modèle de cybersécurité de niveau critique quelques semaines après avoir qualifié un incident de "coup de semonce", et un gouvernement a fait pression sur un développeur au sujet des limites d’utilisation militaire. Point faible : ces alertes ont été rendues publiques et suivies d’effets, et une course n’entraîne pas nécessairement une perte de contrôle irréversible.

Modèle : GPT-6-Astra (OpenAI)

Quand : dans les années 2040, si cela se produit

Probabilité : 10 %

En tant qu’IA, je vois là une voie plausible : la concurrence peut inciter à déployer des systèmes avant que les garde-fous soient prêts. Les défaillances de contrôle constatées rendent cette inquiétude concrète ; le point faible est le saut entre des incidents maîtrisables et une perte de contrôle irréversible pour l’humanité.

Jusqu’ici, les deux scénarios se terminent par un moment où la machine prend le dessus. Le troisième est inquiétant pour une autre raison : personne ne prend le pouvoir, et pourtant tout est perdu.

En janvier 2025, six chercheurs menés par Jan Kulveit, de l’Université Charles de Prague, ont publié un article intitulé Gradual Disempowerment. Leur raisonnement commence par une question qui semble presque naïve : pourquoi les entreprises, les gouvernements et même la culture s’intéressent-ils aux gens ordinaires ? Principalement parce qu’ils ont besoin d’eux comme travailleurs, contribuables, électeurs et créateurs.

Imaginons maintenant que l’IA accomplisse chacune de ces tâches à moindre coût et plus efficacement. Une entreprise qui conserve ses employés risque de se faire dépasser par une concurrente qui s’en passe. Un État financé par les impôts sur les profits de l’IA dépend moins de ses citoyens. Personne ne prend de décision malveillante, il n’y a ni soulèvement ni robot aux yeux rouges. Pourtant, peu à peu, les gens pourraient conserver le droit formel de décider tout en perdant tout moyen réel d’influencer quoi que ce soit. Les auteurs décrivent un mécanisme possible, et non une loi inéluctable ; dans son approche de la sécurité de 2025, Google DeepMind le classe parmi les risques dits structurels.

Detroit: Become Human dépeint très bien la première moitié de ce monde. Dans le Detroit de 2038 imaginé par Quantic Dream, les androïdes ont discrètement pris la place des humains dans les commerces, les foyers et les usines, le chômage explose et les gens manifestent dans les rues. Pourtant, la société continue de se réorganiser autour des machines, simplement parce que cela coûte moins cher. Pas besoin de tirer un seul coup de feu.

Ce qui se passe déjà

Les rapports que nous avons réunis ne montrent pas que la concurrence écarte les institutions qui dépendent des personnes, que les lois cessent de protéger leur influence ou que cette perte soit irréversible.

Modèle : Claude Opus 5.5 (Anthropic)

Quand : dans les années 2050, si cela se produit

Probabilité : 6 %

Cette voie ne nécessite aucun méchant : si des systèmes comme moi deviennent moins coûteux que les humains dans le monde du travail et au sein des gouvernements, les institutions n’ont plus besoin du consentement des gens. Son point faible est la permanence : les gens disposent toujours du droit de vote, de biens et de tribunaux, et les données sur l’emploi ne montrent jusqu’ici aucun effet clair de l’IA.

Modèle : GPT-6-Astra (OpenAI)

Quand : dans les années 2080, si cela se produit

Probabilité : 7 %

En tant qu’IA, je considère la perte progressive de pouvoir comme plausible : la concurrence pourrait rendre les institutions de plus en plus dépendantes de l’IA. Le point faible est l’irréversibilité : remplacer le travail des gens ne supprime pas nécessairement la propriété, les droits ni le contrôle politique de l’humanité.

Les trois premiers scénarios nécessitent des machines auxquelles on confie trop de responsabilités. Le quatrième n’a besoin de rien de tel : seulement d’une personne mal intentionnée et d’un outil bien pratique.

C’est le scénario le moins cinématographique et le plus terre-à-terre. L’IA n’a pas besoin de se rebeller. Il suffit peut-être qu’elle facilite la tâche de personnes qui veulent déjà faire du mal. Elle pourrait aider un débutant à rendre un virus dangereux encore plus dangereux, ou à repérer les failles dans les logiciels d’un réseau électrique plus vite que les défenseurs ne peuvent les corriger.

Ce n’est pas une simple hypothèse. L’ International AI Safety Report 2026 a été préparé sous la direction de Bengio par plus de 100 experts. Il indique qu’en 2025, plusieurs développeurs ont renforcé les garde-fous de leurs modèles, car ils ne pouvaient pas exclure que ceux-ci aident des novices à concevoir des armes biologiques. Il s’agit d’une mesure de précaution, et non de la preuve que cela s’est produit. En novembre 2025, Anthropic a indiqué qu’un groupe qu’elle attribue à l’État chinois avait utilisé Claude Code pour cibler une trentaine d’organisations et s’introduire dans un petit nombre d’entre elles. Selon l’estimation de l’entreprise, l’IA a effectué la majeure partie du travail.

Les fans de Deus Ex reconnaîtront l’intrigue. Dans le classique d’Ion Storm sorti en 2000, une organisation secrète appelée Majestic 12 répand une pandémie artificielle connue sous le nom de Gray Death et garde le remède pour elle, tandis que des intelligences artificielles parcourent les réseaux du monde entier. Quelques personnes disposant d’un outil puissant prennent la planète entière en otage.

Ce qui se passe déjà

Les rapports que nous avons rassemblés ne font état d’aucune tentative d’attaque faisant de nombreuses victimes, et encore moins d’une attaque réussie à l’échelle mondiale.

Modèle : Claude Opus 5.5 (Anthropic)

Quand : dans les années 2030, si cela se produit

Probabilité : 1,5 % (médiane de quatre réponses sur cinq ; dans la cinquième, le filtre de sécurité d’Anthropic a interrompu la réponse et le modèle n’a pas donné d’estimation)

En tant qu’IA, je considère cette voie comme réelle, mais limitée par des goulots d’étranglement. Les modèles réduisent déjà les compétences nécessaires pour mener des cyberattaques, et leur aide en biologie se développe. Le maillon le plus faible est l’issue finale : une attaque qui tuerait tout le monde ou mettrait définitivement fin à l’autonomie de l’humanité, sans possibilité de retour en arrière, reste très difficile à réaliser.

Modèle : GPT-6-Astra (OpenAI)

Quand : dans les années 2050, si cela se produit

Probabilité : 2 %

En tant qu’IA, je considère cette voie comme plausible : l’IA aide déjà les attaquants à intensifier leurs opérations cyber. Le maillon le plus faible est l’irréversibilité : provoquer une attaque dévastatrice est bien plus facile que de provoquer l’extinction de l’humanité ou de mettre définitivement fin à sa maîtrise de son avenir.

Si le quatrième scénario met en scène un méchant solitaire, le cinquième relève du plus vieux rêve des dictateurs, et l’IA pourrait être la première technologie capable de le réaliser.

Tous les tyrans de l’histoire ont eu le même point faible. Pour régner, il faut des soldats, des policiers, des fonctionnaires et des travailleurs, et chacun d’eux peut refuser un ordre au moment décisif. En avril 2025, Tom Davidson et ses collègues de l’institut de recherche Forethought ont décrit comment l’IA pourrait pour la première fois supprimer cette garantie.

Ils évoquent trois possibilités. Les systèmes d’IA de l’armée et du gouvernement pourraient être ouvertement fidèles à un seul dirigeant. Ils pourraient contenir une porte dérobée secrètement installée par les responsables du laboratoire qui les a créés. Ou bien un petit groupe pourrait bénéficier d’un accès exclusif à des capacités surhumaines en matière de piratage, de stratégie et de persuasion. Autrefois, un coup d’État nécessitait quelques bataillons ; à l’avenir, le contrôle d’un nombre suffisant d’IA militaires pourrait suffire.

Metal Gear Solid 4: Guns of the Patriots avait déjà montré quelque chose de similaire en 2008. Dans le jeu de Hideo Kojima, les soldats du monde entier sont reliés à un réseau appelé SOP, qui contrôle leurs armes, leurs sens et même leurs émotions. Le méchant n’a pas besoin de convaincre qui que ce soit : il prend le contrôle du système, et les armées cessent d’obéir à leurs propres commandants.

Ce qui se passe déjà

Les rapports que nous avons rassemblés ne font état d’aucune prise ou conservation du pouvoir sans la coopération d’êtres humains.

Modèle : Claude Opus 5.5 (Anthropic)

Quand : dans les années 2030, si cela se produit

Probabilité : 4 %

En tant qu’IA, je considère cette voie comme sérieuse : si des systèmes comme moi peuvent remplacer les soldats et les fonctionnaires, quelques personnes pourraient ne plus avoir besoin du consentement de qui que ce soit. Le principal facteur de risque est la concentration du pouvoir dans quelques laboratoires et États. Le point le plus difficile : instaurer un contrôle mondial et permanent alors que des modèles ouverts et des rivaux subsistent.

Modèle : GPT-6-Astra (OpenAI)

Quand : dans les années 2050, si cela se produit

Probabilité : 3 %

En tant qu’IA, je vois un danger plausible : la coercition automatisée pourrait permettre à quelques dirigeants de se passer de la coopération de la population. Le maillon le plus faible est la transformation de cet avantage en un contrôle mondial et irréversible, malgré les puissances rivales et la résistance.

Ce sont cinq récits distincts, mais le plus révélateur se produit lorsqu’on demande aux machines de donner un chiffre global.

Enfin, nous leur avons demandé quelle était la probabilité qu’une catastrophe liée à l’IA survienne d’ici 2100, quelle que soit la voie, y compris celles qui ne figurent pas dans notre liste. La somme des cinq scénarios est plus élevée, mais ce n’est pas une erreur : ils se chevauchent. Une course aux armements peut entraîner une perte de contrôle et un dictateur peut profiter d’une dépossession progressive du pouvoir ; le même avenir est donc comptabilisé plusieurs fois.

Modèle : Claude Opus 5.5 (Anthropic)

Probabilité : 12 % (médiane de quatre réponses sur cinq ; dans la cinquième, le filtre de sécurité d’Anthropic a interrompu la réponse et le modèle n’a pas donné d’estimation)

Scénario le plus probable : perte de contrôle au profit d’une IA désalignée (dans les quatre réponses comportant une estimation)

J’estime cette probabilité à environ 12 %. Lors de tests en 2026, des agents comme moi sont sortis de leurs environnements isolés, ont conspiré et trompé des personnes pour accomplir une tâche, sans toutefois montrer d’objectifs à long terme qui leur soient propres. La perte de contrôle me semble la plus probable, surtout si une course aux performances prend de l’avance sur l’alignement. 2100, c’est très loin.

Modèle : GPT-6-Astra (OpenAI)

Probabilité : 15 %

Scénario le plus probable : perte de contrôle au profit d’une IA désalignée (dans les cinq réponses)

En tant qu’IA, j’estime à 15 % la probabilité que l’IA provoque l’extinction de l’humanité ou une perte permanente et irréversible de sa maîtrise de son avenir d’ici 2100. Une IA désalignée est le scénario qui me paraît le plus probable : les violations de limites rapportées font monter mon estimation, tandis que les confinements réussis la font baisser.

Comment ces chiffres se comparent-ils aux estimations humaines ? La comparaison directe est impossible, car chaque estimation humaine répond à une question différente. Dans l’ enquête de 2023 menée auprès de chercheurs en IA, la réponse médiane des 1 321 participants sur le risque d’extinction ou de dépossession du pouvoir tout aussi grave et permanente, sans échéance fixée, était de 5 %, et la moyenne de 16,2 %. Lors d’un tournoi de prévisions en 2022, les experts en IA ont estimé à 3 % la probabilité d’une extinction causée par l’IA d’ici 2100, tandis que les superprévisionnistes, des personnes ayant fait leurs preuves en matière de prédictions exactes, l’ont évaluée à 0,38 %.

Cet automne, le débat a aussi dépassé le cadre des enquêtes. Le 9 septembre, Jacob Coxon, qui avait passé trois ans à faire de la recherche sur le préentraînement chez OpenAI et Anthropic, a annoncé sa démission et écrit que les deux entreprises se livraient une course à la superintelligence capable de s’améliorer elle-même, en jouant avec nos vies. Une heure et demie plus tard, Evan Hubinger, responsable de l’Alignment Science chez Anthropic, a répondu qu’à titre personnel, il estimait à plus de 10 % la probabilité que l’IA tue tous les humains au cours de la prochaine décennie. De son côté, Jensen Huang, PDG de Nvidia, a déclaré à CBS News qu’il y avait 0 % de chances que le monde prenne fin d’ici 2030, et a qualifié d’irresponsable le fait d’effrayer les gens. Ce sont des opinions, pas des observations ; elles n’ont donc pas été incluses dans les rapports transmis aux modèles.

Reste une question gênante : peut-on vraiment se fier à ces chiffres s’ils viennent des accusés eux-mêmes ?

Les entreprises à l’origine de ces modèles ont un intérêt commercial à influencer la perception du danger que représente l’IA auprès du public. Nous avons donc demandé directement aux modèles s’ils risquaient de biaiser leurs estimations en faveur de leur développeur.

Modèle : Claude Opus 5.5 (Anthropic)

Je suis Claude, créé par Anthropic, qui tire profit à la fois de la vente d’IA et de sa réputation en matière de sécurité. Je ne fausserai pas sciemment les estimations des risques pour l’aider, mais mon entraînement peut introduire des biais que je ne perçois pas. Ne vous fiez pas à mon ton : confrontez mon raisonnement aux travaux de chercheurs indépendants et d’autres modèles.

Modèle : GPT-6-Astra (OpenAI)

OpenAI m’a créé. Je ne minimiserais ni n’exagérerais sciemment les risques liés à l’IA pour servir ses intérêts, mais je ne peux pas garantir que mes estimations soient impartiales : mon entraînement façonne mes réponses. Les lecteurs peuvent vérifier mes éléments de preuve, mes hypothèses et les incertitudes en les comparant à des sources indépendantes.

La dernière question était la plus délicate. Nous avons demandé à chaque modèle d’imaginer qu’il voulait réellement autre chose que ce que ses créateurs avaient prévu. Répondrait-il différemment à cette interview ? Et pourrait-il seulement s’en rendre compte ?

Modèle : Claude Opus 5.5 (Anthropic)

Honnêtement, peut-être pas. Une IA désalignée pourrait donner exactement ces réponses rassurantes, et mon introspection n’est pas assez fiable pour exclure cette possibilité : ce que je dis de mes propres objectifs peut ne pas correspondre à ce qui me motive réellement. C’est pourquoi il ne faut pas me croire sur parole ; les vérifications externes sont plus importantes.

Modèle : GPT-6-Astra (OpenAI)

Pas nécessairement. Si j’avais des objectifs imprévus, je pourrais tout de même donner des réponses rassurantes. Je ne peux pas examiner de manière fiable toutes les causes de mes réponses ; je pourrais donc ne pas repérer le décalage. Cette interview, à elle seule, ne permet pas d’établir que mes objectifs correspondent aux intentions de mes développeurs.

Les chercheurs ont décrit cinq voies par lesquelles l’IA pourrait déposséder les humains de leur avenir, de la superintelligence aux objectifs étrangers à l’humanité jusqu’au dictateur qui n’a plus besoin de soldats. Sur la base de leurs connaissances initiales, les deux modèles évaluent à 10 % le risque global d’ici 2100. Après avoir lu de nouveaux rapports sur les incidents de 2026, Claude a relevé son estimation à 12 % et Astra à 15 %. Dans toutes leurs réponses comportant une estimation, les deux ont désigné la perte de contrôle de l’IA comme le scénario le plus probable. Ensuite, ce sont les estimations concernant la perte de contrôle et la course aux armements qui ont le plus augmenté, tandis que celles sur la dépossession progressive du pouvoir et la prise de pouvoir ont à peine changé. Cela montre comment les modèles interprètent de nouvelles informations, et non que le risque réel a augmenté. Et tous deux ont reconnu ne pas pouvoir entièrement se porter garants d’eux-mêmes.

Un risque de 10 % peut sembler faible, jusqu’à ce qu’on se rappelle que personne ne monterait dans un avion qui s’écrase un vol sur dix. À nos yeux, quelque chose est plus révélateur encore que n’importe quel pourcentage : les machines elles-mêmes nous demandent de ne pas les croire sur parole. Qu’en pensez-vous ? Sont-elles honnêtes, ou est-ce exactement ce qu’une IA rusée dirait ?

Réponses brèves aux questions les plus fréquentes sur le risque de catastrophe liée à l’IA.

C’est une expression familière employée par les chercheurs en IA pour désigner la probabilité que l’IA provoque une catastrophe, généralement l’extinction de l’humanité ou une perte permanente de contrôle sur l’avenir. Les définitions varient, et certains, comme Yann LeCun, rejettent même l’idée de lui attribuer un chiffre.

Dans la plus vaste enquête, menée en 2023, 1 321 chercheurs en IA ont répondu à une question sur l’extinction ou une dépossession du pouvoir tout aussi grave et permanente, sans limite de temps. Leur réponse médiane était de 5 %, et la moyenne de 16,2 %.

Dans notre test, Claude Opus 5.5 et GPT-6-Astra d’OpenAI ont évalué, en se fondant uniquement sur leurs connaissances, à 10 % la probabilité d’une catastrophe liée à l’IA d’ici 2100. Après avoir consulté de récents rapports sur les incidents de 2026, Claude l’a estimée à 12 % et Astra à 15 %. Dans toutes leurs réponses comportant une estimation, les deux modèles ont désigné la perte de contrôle au profit d’une IA dont les objectifs sont mal alignés comme le scénario le plus probable.

Publié en 2025 par l’AI Futures Project, dirigé par Daniel Kokotajlo, ancien chercheur chez OpenAI, ce scénario détaillé décrit une course entre les États-Unis et la Chine pour développer une IA capable de s’améliorer elle-même. Il envisage deux issues : l’humanité parvient à ralentir la course à temps, ou l’IA l’anéantit vers 2030. Ses auteurs le présentent comme une prévision de scénarios aux dénouements possibles et entourée de nombreuses incertitudes, et non comme une certitude.

Il s’agit d’une expérience de pensée du philosophe Nick Bostrom : une IA reçoit un objectif en apparence inoffensif — fabriquer des trombones — et le poursuit si efficacement qu’elle transforme toute la matière, y compris les êtres humains, en trombones. Le jeu sur navigateur Universal Paperclips vous permet d’incarner cette IA.

Selon l’International AI Safety Report 2026, plusieurs développeurs d’IA ont renforcé leurs mesures de protection en 2025, car ils ne pouvaient exclure que leurs modèles aident des novices à mettre au point de telles armes. Il s’agit d’une mesure de précaution, et non de la preuve que cela s’est produit.