Anthropic appelle à une pause mondiale dans le développement avancé de l'IA, citant les risques d'auto-amélioration récursive

La proposition

Anthropic, le créateur basé à San Francisco du chatbot Claude, a publié un texte via son groupe de réflexion Anthropic Institute jeudi 4 juin, plaidant pour un ralentissement ou une suspension temporaire à l'échelle mondiale du développement avancé de l'IA. L'entreprise a soutenu qu'une telle pause permettrait aux structures sociétales et à la recherche sur l'alignement de rattraper le rythme des progrès technologiques.

Nous pensons qu'il serait bénéfique pour le monde de pouvoir ralentir ou suspendre temporairement le développement de l'IA de pointe, afin de permettre aux structures sociétales et à la recherche sur l'alignement de suivre le rythme des progrès de la technologie.

L'entreprise a souligné que toute pause doit être coordonnée au niveau mondial. Si une seule entreprise cessait ses activités unilatéralement, ses concurrents la dépasseraient simplement. Anthropic a cité OpenAI, Google et DeepSeek (Chine) parmi ses rivaux les plus féroces.

Le risque d'auto-amélioration récursive

Anthropic a justifié sa proposition en dévoilant des données internes illustrant la possibilité d'atteindre un jour l'« auto-amélioration récursive » — le point où les systèmes d'IA deviennent capables d'entraîner leurs propres successeurs, réduisant l'intervention humaine. Le danger, selon l'entreprise, pourrait provenir du fait que cette auto-génération devienne incontrôlable ou s'écarte des intérêts de l'humanité.

« Si les tendances actuelles se poursuivent », a écrit l'entreprise, un tel scénario devient « plausible », bien qu'elle ait ajouté qu'il n'y a aucune garantie qu'il soit imminent.

Un précédent avec le traité nucléaire

Pour étayer son argumentation, Anthropic a cité le précédent du traité sur les forces nucléaires à portée intermédiaire (FNI). Elle a noté que ce cadre a mis des décennies à être établi, mais que le temps presse davantage pour l'IA, qu'elle a décrite comme « bien plus facile à dissimuler que des silos de missiles ».

En l'absence d'un mécanisme de coordination mondiale, les entreprises et les gouvernements devront prendre des décisions difficiles en matière de sécurité, sous la pression de la concurrence et des enjeux géopolitiques.

Résistances politiques et juridiques

La proposition devrait se heurter à une forte opposition aux États-Unis, où de nombreux responsables et dirigeants technologiques rejettent tout ralentissement qui pourrait donner à la Chine un avantage décisif. Donald Trump a toutefois déclaré avoir discuté de la possibilité d'une coopération avec la Chine sur la sécurité de l'IA lors d'une récente visite à Pékin.

Anthropic est actuellement impliquée dans un litige avec le département américain de la Défense concernant l'utilisation militaire sans restriction de sa technologie, ce que l'entreprise a refusé. Le Pentagone a ensuite classé Anthropic comme un « risque pour la sécurité de la chaîne d'approvisionnement », une désignation que l'entreprise conteste devant les tribunaux. La société a également restreint la sortie de Mythos, son modèle le plus avancé, pour appliquer des correctifs de cybersécurité. Lundi, Anthropic a déposé son introduction en bourse.

Scepticisme de l'industrie

Fondée par des dissidents d'OpenAI, Anthropic a cultivé une image de laboratoire centré sur l'éthique et la sécurité. Elle fait face à des critiques de la part de figures de l'industrie et de responsables de la Maison-Blanche qui l'accusent d'exagérer les risques, certains qualifiant son approche de stratégie de « marketing de la peur » dans le cadre d'une course avec OpenAI pour entrer en bourse.