L'Anthropic Institute, le cercle de réflexion d'Anthropic, l'entreprise derrière l'IA Claude, plaide dans un billet pour "ralentir ou mettre temporairement en pause" le développement de l'intelligence artificielle. L'entreprise affirme que l'IA est proche de l'étape où elle peut générer seule ses successeurs et alerte sur une "perte de contrôle" humaine. Mais cet appel risque de rester lettre morte.
"Il serait bon pour le monde d'avoir la possibilité de ralentir ou de mettre temporairement en pause le développement de l'IA." Cette phrase n'a pas été écrite par une personne résolument anti-intelligence artificielle, c'est même tout l'inverse. Dans un long texte, l'Anthropic Institute, le cercle de réflexion d'Anthropic, l'entreprise derrière l'IA Claude (l'une des plus populaires au monde), appelle à mettre le holà sur le développement de l'intelligence artificielle.
La société, valorisée à 1.000 milliards de dollars, souhaite également la création d'un moratoire mondial pour qu'aucun champion de l'IA n'en profite pour prendre de l'avance sur ses rivaux. Explications.
Le danger de "l'auto-amélioration récursive complète"
Tout part de ce billet de blog publié ce jeudi. Intitulé "When IA builds itself" (Quand l'IA s'auto-construit), le texte dresse un constat simple : le développement de l'intelligence artificielle est tel que nous sommes proches de l'étape où une IA pourra entraîner un successeur sans intervention humaine, ou presque. Ce qu'Anthropic appelle l'"auto-amélioration récursive".
Une avancée majeure, qui pourrait certes être très bénéfique dans certains secteurs, mais qui n'est pas exempt de danger. Ainsi, l'entreprise met en garde : "Cette auto-amélioration récursive complète pourrait également accroître le risque de perte de contrôle des systèmes d'IA par l'humain."
Si cette étape est atteinte, "les moyens mis en œuvre pour les sécuriser, les surveiller et orienter leur comportement deviendront d'autant plus cruciaux", écrit encore le cercle de réflexion.
C'est donc pour toutes ces raisons qu'Anthropic plaide pour une pause dans le développement des modèles IA qui doit "permettre aux structures sociétales et à la recherche sur l'alignement de suivre le rythme des progrès de la technologie".
Un coup d'épée dans l'eau ?
Une volonté loin d'être utopique selon l'entreprise qui rappelle que cela a déjà été fait dans d'autres domaines, et cite en exemple le traité sur les forces nucléaires à portée intermédiaire (FNI). Un accord signé en décembre 1987 entre le secrétaire du Parti communiste Mikhaïl Gorbatchev et le président américain Ronald Reagan, visant à démanteler un certain type de missiles.
Un texte qui a mis "des décennies à s'établir" rappelle Anthropic, qui presse encore : "Nous n'avons pas ce temps."
C'est pour cela que l'entreprise annonce organiser dans les prochains mois "des conversations où les décideurs politiques, les chercheurs, la société civile et d'autres entreprises d'IA pourront aider à répondre à certaines des questions soulevées par ce billet de blog, notamment autour de la pleine auto-amélioration récursive et de la création de meilleures options de coordination et de délibération." Et de préciser que les conclusions seront rendues publiques.
Mais quid de la réception de ce billet dans le secteur ? S'il peut sembler logique de penser que ce texte fasse l'effet d'une bombe dans le monde de l'IA, il n'en sera probablement rien.
De nombreux freins à un moratoire
En effet, Anthropic n'est pas le premier acteur majeur à tirer la sonnette d'alarme. Dès mars 2023, Elon Musk cosignait une lettre ouverte "Pause Giant IA Experiments", qui appelait à suspendre immédiatement et pendant au moins 6 mois le développement des modèles plus puissants que GPT-4 [GPT-5 est disponible depuis août 2025, ndlr].
De son côté, Sam Altman, le PDG d'OpenAI, l'entreprise derrière l'iconique ChatGPT, a lui aussi pris position en faveur d'une régulation de l'IA, et a même demandé dès 2023 au Congrès américain de réguler le secteur. Sans oublier les appels à la prudence d'un certain Bill Gates, cofondateur de Microsoft...
Par ailleurs, l'idée d'appuyer sur la pédale de frein de l'IA fait peur à un certain nombre de dirigeants, puisque cela pourrait donner l'opportunité à Pékin de prendre le meilleur sur la Silicon Valley, alors que l'heure est à la concurrence acharnée.
Un "marketing de la peur ?"
Par ailleurs, Anthropic est elle-même un frein à ce moratoire. L'entreprise est en effet accusée d'opter pour une stratégie de "marketing de la peur" alors qu'elle mène en parallèle une guerre acharnée avec OpenAI pour être la première des deux à être introduite en Bourse, et donc rafler théoriquement plus de capitaux.
Malgré une situation complexe, Anthropic fait contre mauvaise fortune bon cœur et conclut : "La fenêtre pour examiner ces questions ensemble est ouverte, et les personnes extérieures aux entreprises d'IA devraient être impliquées dans cette délibération."
