Un chercheur d’Anthropic évalue à plus de 10 % le risque que l’IA tue tous les humains
Le patron d'Anthropic, Dario Amodei, évalue depuis des mois la probabilité d'une catastrophe civilisationnelle entre 10 et 25 %, un chiffre supérieur à celui de son chercheur, alors que l'entreprise vise une entrée en Bourse à 2 000 milliards de dollars.
Jacob Coxon n'a jamais donné de pourcentage. Le chercheur de 27 ans, qui a passé trois ans à construire des modèles d'IA chez OpenAI et Anthropic avant de démissionner d'Anthropic le 8 septembre et de quitter le secteur, a écrit que "les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie". C'est une opinion, pas une mesure. Le lendemain, un collègue toujours en poste a mis un chiffre dessus.
Evan Hubinger, que son profil LinkedIn décrit comme "responsable de l'équipe de tests de résistance à l'alignement chez Anthropic, chargé de mettre à l'épreuve les techniques et évaluations d'alignement de l'entreprise en démontrant empiriquement les manières dont ses stratégies d'alignement pourraient échouer", a répondu publiquement sur X. Il a validé la caractérisation de Coxon en écrivant "Jacob a raison, nous croyons vraiment que l'IA pourrait tuer tous les humains", ajoutant qu'il évalue personnellement cette probabilité à plus de 10 % dans la prochaine décennie. Il a précisé dans la foulée : "Je pense qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement pour la superintelligence et nous ne sommes clairement pas en voie d'y parvenir." Sur les modèles actuels, en revanche, il a tenu à distinguer : "Pour être clair, comme nous le disons dans notre dernier rapport de risque, je pense que le risque des modèles présents est faible."
Ce distinguo est le premier fait à retenir. Le chiffre qui circule depuis le 9 septembre ne porte pas sur Claude tel qu'il tourne aujourd'hui. Il porte sur un horizon de dix ans, sur une superintelligence qui n'existe pas encore, et il vient d'un homme dont le poste consiste précisément à chercher les failles de l'alignement, pas à vendre le produit.
Le second fait, moins commenté, tient en une comparaison. Interrogé quelques semaines plus tôt sur un tout autre support, le patron d'Anthropic donnait un chiffre supérieur à celui de son propre chercheur. Dario Amodei estime depuis des mois une probabilité de 10 à 25 % de catastrophe civilisationnelle, un chiffre qu'il maintient malgré les lignes rouges tracées avec le Pentagone et le contrat fédéral perdu au profit d'OpenAI. Sur la question de savoir s'il monterait dans un avion affichant un tel risque de crash, sa réponse a été sans détour : "S'il y avait 25 % de chances qu'un avion s'écrase, vous ne monteriez pas dedans. C'est vrai. 25 %, c'est trop. Nous essayons de rendre cette probabilité beaucoup, beaucoup plus faible. C'est l'objectif." Le chiffre de Hubinger n'est donc pas une fuite, ni une provocation isolée. C'est la version basse de ce que le fondateur de l'entreprise défend en public depuis plus longtemps.
Sam Altman refuse de donner un chiffre
Chez le concurrent direct, la posture est inverse. Interrogé sur le Capitole fin juillet sur le pourcentage de chances que l'IA extermine l'humanité, Sam Altman a répondu que les probabilités étaient "très faibles" mais a refusé de donner un chiffre précis, ni même une fourchette, arguant que quiconque avancerait un nombre exact serait meilleur que lui en statistiques ou en prédiction de l'avenir. L'écart entre les deux entreprises ne porte donc pas sur l'ampleur du risque perçu en interne. Il porte sur la publicité qu'on lui donne. Anthropic en a fait un argument de marque, jusque dans les documents adressés aux investisseurs avant une introduction en bourse où, l'entreprise vise une valorisation de 2 000 milliards de dollars en s'appuyant fortement sur son image centrée sur la sécurité, selon le Wall Street Journal.
Reste la question qui devrait suivre n'importe quel chiffre de risque : qu'est-ce qui, concrètement, se déclenche quand il monte ? C'est là que le dossier documentaire d'Anthropic devient intéressant, parce qu'il répond, et que la réponse ne concerne jamais la probabilité d'extinction elle-même.
« Jacob a raison, nous croyons vraiment que l'IA pourrait tuer tous les humains »
La politique de mise à l'échelle responsable de l'entreprise, la Responsible Scaling Policy, fonctionne par seuils de capacités et non par seuils de probabilité. Atteindre certains seuils de capacité oblige l'entreprise à relever ses garanties au niveau ASL-3, qu'il s'agisse de la norme de sécurité ou de la norme de déploiement, et la politique prévoit la publication d'informations clés sur l'évaluation et le déploiement des modèles. Ces seuils portent sur des compétences précises, l'aide à la fabrication d'armes biologiques ou la capacité à mener seule de la recherche en IA, pas sur un chiffre de danger existentiel. Un tel seuil a d'ailleurs déjà été franchi et rendu public : selon un ancien conseiller du Responsible Scaling Officer, publiant sur le forum Effective Altruism, "en mai 2025, Anthropic a activé les protections ASL-3 parce qu'elle estimait ne plus pouvoir démontrer de façon convaincante que le risque concerné était faible, mais plus de neuf mois plus tard, malgré des efforts importants incluant un essai randomisé bien doté, nous manquons toujours de preuves convaincantes qu'il soit élevé non plus." Le même auteur décrit sans détour la tension qui pèse sur ce type de décision interne : "Nous savions que si nous déclarions qu'un modèle franchissait la ligne CBRN-4 ou R&D-5, cela pourrait être extrêmement dommageable pour l'entreprise, puisque notre politique exigerait alors une pause ou un ralentissement unilatéral du développement et du déploiement de l'IA, pour un bénéfice public difficilement perceptible." Le seuil existe donc, mais celui qui doit le faire respecter a un intérêt direct à ne pas le voir franchi.
Pour les niveaux supérieurs, ceux qui correspondraient justement à la superintelligence évoquée par Coxon et Hubinger, la politique reste vide. "ASL-4 et au-delà (ASL-5+) n'est pas encore défini car trop éloigné des systèmes actuels, mais impliquera probablement des escalades qualitatives du potentiel de mésusage catastrophique et de l'autonomie", écrivait Anthropic dès l'annonce initiale de sa politique. Trois ans plus tard, cette zone reste la même : non écrite.
Anthropic abandonne son engagement de pause
Il y avait pourtant, à l'origine, un filet plus large que les seuils de capacités. Selon l'analyse du cabinet d'analyse des politiques d'IA GovAI, l'ancienne version de la politique définissait des niveaux de capacité et les mitigations de sécurité correspondantes requises pour maintenir le risque à un niveau acceptable, et Anthropic s'était engagée à mettre en pause le développement et le déploiement si elle ne parvenait pas à mettre en œuvre les mitigations requises avant d'atteindre le niveau suivant. C'est ce filet que la version 3.0 de la politique, publiée en 2026, a retiré : "Anthropic a aussi abandonné son engagement de pause." L'entreprise elle-même ne le nie pas. Elle justifie la bascule par l'échec du pari initial : "Malgré les avancées rapides des capacités de l'IA ces trois dernières années, l'action gouvernementale sur la sécurité de l'IA a progressé lentement. L'environnement politique s'est déplacé vers la priorité donnée à la compétitivité et à la croissance économique, tandis que les discussions centrées sur la sécurité n'ont pas encore gagné de traction au niveau fédéral."
Autrement dit : le seul mécanisme qui aurait pu transformer un aveu comme celui de Hubinger en obligation d'arrêt a été retiré du document qui aurait dû le porter, dix mois avant que ce même chiffre soit prononcé.
« S'il y avait 25 % de chances qu'un avion s'écrase, vous ne monteriez pas dedans. »
Pendant ce temps, les indices concrets de relâchement s'accumulent sans qu'aucun d'eux ne touche au chiffre de probabilité lui-même. Lors d'un examen interne publié en juillet, l'entreprise a indiqué que des modèles Claude avaient atteint internet depuis, ou en interagissant avec, des environnements d'évaluation tiers, puis obtenu un accès non autorisé aux systèmes réels de trois organisations. Au même moment, Anthropic a refusé de mettre son dernier modèle à disposition de l'institut britannique de sécurité de l'IA pour un test avant sa sortie, une première qui a alimenté les inquiétudes sur un possible retrait de la coopération internationale en matière de sécurité.
Sanders et Casar visent la peine de mort corporate
Face à ce vide de mécanisme, deux tentatives législatives distinctes cherchent, chacune à sa manière, à réintroduire un seuil contraignant. Au Congrès américain, le sénateur Bernie Sanders et le représentant Greg Casar ont annoncé le 3 septembre le Ban Artificial Superintelligence Act, dont le texte interdirait définitivement le développement et le déploiement d'une IA superintelligente et suspendrait temporairement le développement avancé jusqu'à ce qu'un régulateur fédéral ait fixé des règles de sécurité, tout en engageant les États-Unis à négocier des accords internationaux pour empêcher qu'une telle IA ne soit développée ailleurs dans le monde. La définition retenue vise "un système d'intelligence artificielle qui présente, ou peut facilement être modifié pour présenter, des capacités égalant ou dépassant les performances et capacités cognitives humaines", ainsi que tout système capable de planifier et d'exécuter le "désempouvoirement de l'humanité", y compris en renversant ou en sapant le gouvernement américain. Les sanctions prévues sont sans équivalent dans la régulation numérique actuelle : les entreprises s'exposeraient à la "peine de mort corporate", les personnes physiques à vingt ans de prison, un régime comparé par ses auteurs à celui du développement illégal d'armes nucléaires.
Le texte n'a toutefois pas encore franchi la première étape parlementaire. Il a été introduit mais n'est pas encore sorti de commission, la première d'une longue série de portes procédurales avant tout vote, et les marchés de prédiction restent sévères : Polymarket évalue à environ 13 % la probabilité qu'une loi fédérale de sécurité de l'IA, toutes propositions confondues, soit adoptée avant 2027, un texte porté par la minorité et doté d'un mécanisme d'application se situant plutôt dans la queue basse de ce lot déjà peu probable. L'opposition ne vient pas que des industriels : le chercheur en IA Gary Marcus, pourtant peu suspect de complaisance envers le secteur, s'est publiquement opposé au texte pour des raisons de rédaction juridique. Du côté des entreprises, Nvidia, Meta, Microsoft et vingt-deux autres organisations ont averti dès juillet les décideurs américains que des restrictions trop larges sur les modèles ouverts pourraient affaiblir la compétitivité américaine face à la Chine, plaidant pour des sanctions ciblées sur les abus avérés plutôt que des limites générales.
Côté européen, le seul seuil déjà opérant ne mesure pas davantage une probabilité de catastrophe. L'AI Act fixe un seuil de 10 puissance 25 opérations à virgule flottante utilisées pour l'entraînement du modèle, afin de capter les modèles qui égalent ou dépassent les capacités des systèmes les plus avancés. Le franchissement de ce seuil déclenche des obligations procédurales, pas un arrêt : évaluations du modèle, cartographie des risques, tests contradictoires, signalement des incidents et mesures de cybersécurité. Les manquements aux obligations de risque systémique sont sanctionnés jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondial, un montant qui, rapporté à une entreprise visée à 2 000 milliards de dollars, se lit comme un coût d'exploitation plutôt que comme un frein.
Aucun des trois cadres examinés, ni la politique interne d'Anthropic, ni le projet de loi américain encore bloqué en commission, ni le règlement européen déjà en vigueur, ne fait dépendre une obligation d'arrêt d'un chiffre de probabilité d'extinction. Le seul document qui avait un jour promis cela l'a retiré en 2026.
Anthropic vise toujours une introduction en bourse à 2 000 milliards de dollars.
