Anthropic appelle à un gel mondial de l'IA tout en réparant ses liens avec la Maison-Blanche avant son introduction en Bourse
Anthropic, le géant de l'IA basé à San Francisco et valorisé à environ 1 000 milliards de dollars, a appelé jeudi à une pause coordonnée à l'échelle mondiale dans le développement de l'IA de pointe, avertissant que des modèles capables de s'améliorer seuls pourraient échapper au contrôle humain. Cette proposition intervient alors que l'entreprise apaise un conflit de plusieurs mois avec l'administration Trump et se prépare à une introduction en Bourse très attendue.
L'appel d'Anthropic à une pause mondiale
Anthropic, l'entreprise d'IA basée à San Francisco valorisée à environ 1 000 milliards de dollars, a proposé jeudi un ralentissement ou une pause temporaire coordonnée à l'échelle mondiale du développement de l'IA de pointe. Dans un article de blog et un rapport de son Anthropic Institute, l'entreprise a soutenu qu'une telle pause « permettrait aux structures sociétales et à la recherche sur l'alignement de suivre le rythme des progrès de la technologie ». Cet appel fait écho à une lettre ouverte de 2023 signée par Elon Musk, mais Anthropic insiste sur le fait que toute pause doit être multilatérale, vérifiable et assortie de déclencheurs clairs — sinon elle ne ferait que céder le leadership à ceux qui continuent.
Nous pensons qu'il serait bénéfique pour le monde d'avoir la possibilité de ralentir ou de suspendre temporairement le développement de l'IA de pointe.
Le risque d'auto-amélioration récursive
Le déclencheur spécifique identifié par Anthropic est l'auto-amélioration récursive — des systèmes d'IA capables de concevoir et de construire de manière autonome leurs propres successeurs. L'entreprise prévient que cette étape « pourrait arriver plus tôt que la plupart des institutions ne sont préparées » et que « l'auto-amélioration récursive complète pourrait accroître les risques de perte de contrôle humain sur les systèmes d'IA ». Comme indicateur de la proximité de cette boucle, Anthropic a révélé qu'en mai, plus de 80 % du code fusionné dans sa propre base de code avait été écrit par son modèle Claude. « Si un modèle écrit déjà la grande majorité du code qui construit le modèle suivant, la boucle entre un système et sa propre amélioration n'est plus théorique, seulement partielle », a déclaré l'entreprise.
Un problème de coordination
Un problème clé est l'application. Sans un mécanisme mondial incluant des règles, une vérification et un organe de surveillance, toute pause serait inefficace. Anthropic reconnaît qu'aucune de ces infrastructures n'existe et que ses concurrents directs — dont beaucoup investissent des centaines de milliards dans des centres de données d'IA — n'ont montré aucun appétit pour ralentir. L'entreprise soutient que seul un accord entre plusieurs grands laboratoires de plusieurs pays, « notamment les États-Unis et la Chine », pourrait fonctionner.
L'Anthropic Institute indique qu'il travaillera désormais avec des collaborateurs pour concevoir les systèmes de vérification qu'une pause crédible nécessiterait.Sans mécanisme de coordination mondial, les entreprises et les gouvernements devront prendre des décisions difficiles en matière de sécurité sous des pressions concurrentielles et géopolitiques.
Dégel avec la Maison-Blanche
La proposition de pause intervient alors qu'Anthropic s'efforce de réparer une relation conflictuelle avec l'administration Trump avant son introduction en Bourse prévue. En mars, le ministère de la Défense a qualifié l'entreprise de « risque pour la chaîne d'approvisionnement » après qu'elle a refusé d'autoriser l'utilisation de son IA pour la surveillance intérieure et les armes entièrement autonomes. Mais les tensions se sont apaisées depuis que le PDG Dario Amodei a visité la Maison-Blanche à la mi-avril. L'administration a même invité Amodei à la signature d'un décret sur l'IA le 21 mai, bien que Trump ait annulé l'événement ; il a signé le décret mardi, et Anthropic a déclaré se réjouir de « collaborer » à sa mise en œuvre. L'entreprise a également discuté avec le directeur national de la cybersécurité Sean Cairncross des moyens par lesquels son puissant modèle Mythos pourrait protéger les infrastructures critiques. Néanmoins, la désignation de risque pour la chaîne d'approvisionnement reste en vigueur, et le Pentagone se défend « vigoureusement » contre le procès d'Anthropic.
Chaque fois que le gouvernement signale qu'il se lave les mains d'une entreprise, c'est un problème majeur pour cette entreprise.
- Le ministère de la Défense qualifie Anthropic de « risque pour la chaîne d'approvisionnement », interdisant aux entrepreneurs militaires d'utiliser son IA.
- Le PDG Dario Amodei visite la Maison-Blanche pour discuter de collaboration, première réunion depuis le début du conflit.
- Signature prévue du décret sur l'IA à la Maison-Blanche, avec Amodei invité, mais annulée en raison des objections de Trump.
- Trump signe un décret révisé sur l'IA ; Anthropic se dit impatient de collaborer.
- Anthropic propose une pause mondiale et vérifiable dans le développement de l'IA de pointe.
Critiques et scepticisme
La proposition a déjà suscité des critiques de la part de concurrents du secteur et de certains responsables de la Maison-Blanche, qui estiment que l'utilisation de la sécurité pour ralentir est un moyen de freiner la concurrence sous couvert de protection du public. Les critiques soulignent également la publication sélective de Mythos par Anthropic — actuellement limitée à un petit nombre d'organisations approuvées en raison de ses capacités en cybersécurité — comme une tactique marketing pour promouvoir ses produits. Anthropic maintient cependant que ses avertissements sont fondés sur des recherches du nouvel Anthropic Institute, dont la mission est de « dire au monde » ce qu'il apprend sur les risques à mesure que l'IA progresse. La question de savoir si une pause peut être convenue avant que la boucle d'auto-amélioration ne se resserre davantage reste entièrement ouverte.
