Anthropic appelle à une pause mondiale dans le développement avancé de l'IA, citant les risques d'auto-amélioration récursive

La proposition

Anthropic, le créateur basé à San Francisco du chatbot Claude, a publié un texte via son groupe de réflexion Anthropic Institute jeudi 4 juin, plaidant pour un ralentissement ou une suspension temporaire à l'échelle mondiale du développement avancé de l'IA. L'entreprise a soutenu qu'une telle pause permettrait aux structures sociétales et à la recherche sur l'alignement de rattraper le rythme des progrès technologiques.

« Nous pensons qu'il serait bénéfique pour le monde de pouvoir ralentir ou suspendre temporairement le développement de l'IA de pointe, afin de permettre aux structures sociétales et à la recherche sur l'alignement de suivre le rythme des progrès de la technologie. »

L'entreprise a souligné que toute pause doit être coordonnée au niveau mondial. Si une seule entreprise cessait ses activités unilatéralement, ses concurrents la dépasseraient simplement. Anthropic a cité OpenAI, Google et DeepSeek (Chine) parmi ses rivaux les plus féroces.

Le risque d'auto-amélioration récursive

Anthropic a justifié sa proposition en dévoilant des données internes illustrant la possibilité d'atteindre un jour l'« auto-amélioration récursive » — le point où les systèmes d'IA deviennent capables d'entraîner leurs propres successeurs, réduisant l'intervention humaine. Le danger, selon l'entreprise, pourrait provenir du fait que cette auto-génération devienne incontrôlable ou s'écarte des intérêts de l'humanité.

« Si les tendances actuelles se poursuivent », a écrit l'entreprise, un tel scénario devient « plausible », bien qu'elle ait ajouté qu'il n'y a aucune garantie qu'il soit imminent.

Un précédent avec le traité nucléaire

Pour étayer son argumentation, Anthropic a cité le précédent du traité sur les forces nucléaires à portée intermédiaire (FNI). Elle a noté que ce cadre a mis des décennies à être établi, mais que le temps presse davantage pour l'IA, qu'elle a décrite comme « bien plus facile à dissimuler que des silos de missiles ».

« En l'absence d'un mécanisme de coordination mondiale, les entreprises et les gouvernements devront prendre des décisions difficiles en matière de sécurité, sous la pression de la concurrence et des enjeux géopolitiques. »

Résistances politiques et juridiques

La proposition devrait se heurter à une forte opposition aux États-Unis, où de nombreux responsables et dirigeants technologiques rejettent tout ralentissement qui pourrait donner à la Chine un avantage décisif. Donald Trump a toutefois déclaré avoir discuté de la possibilité d'une coopération avec la Chine sur la sécurité de l'IA lors d'une récente visite à Pékin.

Anthropic est actuellement impliquée dans un litige avec le département américain de la Défense concernant l'utilisation militaire sans restriction de sa technologie, ce que l'entreprise a refusé. Le Pentagone a ensuite classé Anthropic comme un « risque pour la sécurité de la chaîne d'approvisionnement », une désignation que l'entreprise conteste devant les tribunaux. La société a également restreint la sortie de Mythos, son modèle le plus avancé, pour appliquer des correctifs de cybersécurité. Lundi, Anthropic a déposé son introduction en bourse.

Scepticisme de l'industrie

Fondée par des dissidents d'OpenAI, Anthropic a cultivé une image de laboratoire centré sur l'éthique et la sécurité. Elle fait face à des critiques de la part de figures de l'industrie et de responsables de la Maison-Blanche qui l'accusent d'exagérer les risques, certains qualifiant son approche de stratégie de « marketing de la peur » dans le cadre d'une course avec OpenAI pour entrer en bourse.