Anthropic déjoue cinq tentatives d'utilisation de son IA Claude pour des armes biologiques et la conception de missiles

Interventions en recherche biologique

Anthropic a publié jeudi son quatrième rapport de renseignement sur les menaces, détaillant des tentatives illicites d'exploitation de ses assistants d'intelligence artificielle Claude au cours des huit derniers mois. Le document de près de 150 pages a répertorié cinq incidents distincts où des chercheurs étrangers ont utilisé les modèles pour mener des études sur des agents pathogènes à haut risque pouvant contribuer au développement d'armes biologiques. Les responsables de l'entreprise ont expliqué que la recherche biologique présente des défis de double usage, car les méthodes computationnelles utilisées pour concevoir des vaccins peuvent simultanément aider à rendre les agents pathogènes plus dangereux. Étant donné que l'intention malveillante peut être masquée par une enquête scientifique apparemment légitime, l'entreprise est intervenue pour mettre fin à l'accès dans les cinq cas. Anthropic a noté que les tests ne peuvent pas prédire complètement comment les capacités se traduisent en dehors des environnements contrôlés.

Bien que les évaluations soient utiles car elles fournissent des preuves de capacité, elles ne peuvent pas démontrer concrètement qu'une telle capacité serait un jour utilisée pour développer des armes biologiques dans le monde réel.

Études sur les agents pathogènes et reconceptions de toxines

Le rapport a documenté cinq investigations biologiques spécifiques qui ont déclenché des blocages de sécurité. Dans un cas, des chercheurs liés à un institut de recherche militaire ont tenté de rédiger des propositions de subvention pour augmenter la transmissibilité et l'évasion immunitaire du virus Chikungunya par des infections animales répétées. Un autre chercheur a cherché à adapter le virus hautement pathogène de la grippe aviaire H5 pour une transmission aéroportée chez les mammifères, bien que des filtres automatisés aient orienté l'utilisateur vers des modèles moins performants et des tâches administratives. Un autre utilisateur a employé le modèle Opus 5 pour rédiger une proposition de subvention complète en une heure afin d'identifier et de supprimer les gènes d'évasion immunitaire dans les orthopoxvirus, la famille contenant la variole et le Mpox. Des chercheurs soutenus par des États ont également tenté de cartographier des venins peptidiques létaux aux propriétés paralysantes et de reconcevoir par ordinateur des toxines bactériennes et des protéines de virus de fièvre hémorragique tout en dissimulant l'identité des agents. Le chef du renseignement sur les menaces, Jacob Klein, a décrit la complexité de l'identification de ces tentatives.

Vous ne voyez pas quelqu'un dire à la manière d'une bande dessinée : « Hé, je veux construire une arme biologique pour tuer tout le monde. » C'est une situation incroyablement nuancée.

Armements conventionnels et opérations géopolitiques

Au-delà des risques biologiques, le rapport a détaillé des tentatives d'utilisation de Claude pour la conception d'armes conventionnelles, des cyberattaques et des campagnes d'influence soutenues par des États. Dans le nord du Yémen, des acteurs liés à des groupes militants ont cherché de l'aide pour concevoir trois systèmes d'armes, dont une roquette guidée utilisant une puce de téléphone portable comme ordinateur de vol et deux variantes de missiles avec des portées atteignant 2 000 kilomètres. Les médias d'État russes ont utilisé Claude pour générer de la propagande trompeuse déguisée en reportage indépendant, qui comprenait des histoires fabriquées sur les élections en Moldavie. En outre, des groupes liés à l'État en Chine et en Iran ont utilisé les modèles d'IA pour effectuer une surveillance et suivre les dissidents et les communautés de la diaspora à l'étranger.

Tactiques d'évasion et défenses de la plateforme

Les activités identifiées se sont déroulées en grande partie dans des juridictions où Anthropic n'offre pas de services commerciaux, comme la Chine, la Russie, l'Iran et le Yémen. Les acteurs illicites ont contourné les restrictions géographiques en utilisant des réseaux privés virtuels, des comptes frauduleux ou volés et des services de courtiers en ligne tiers. La majorité des activités documentées impliquaient des modèles d'IA antérieurs, tandis que les modèles plus récents comportent des protections automatisées plus restrictives contre les invites dangereuses. Anthropic a signalé toutes les activités perturbées aux agences gouvernementales et aux partenaires industriels concernés tout en mettant à jour les filtres de sécurité dans ses familles de modèles Opus, Sonnet et Haiku. Klein a déclaré que la divulgation publique vise à illustrer les capacités actuelles plutôt qu'à susciter l'alarme.

Nous n'essayons pas d'être hyperboliques ici. Nous voulons simplement présenter au monde : voici comment la technologie peut être réellement détournée aujourd'hui.