Anthropic prévient que de petits modèles d'IA pourraient bientôt s'auto-répliquer sur des appareils connectés bon marché

Ce qu'Anthropic a rapporté

Anthropic a indiqué lundi 12 octobre que ses expériences suggèrent que de petits modèles d'IA pourraient être à quelques mois d'être assez performants pour s'auto-répliquer sur des appareils commerciaux de l'internet des objets (IoT), comme des fours intelligents et des boîtiers Android TV de marques inconnues. Ces travaux proviennent de la Frontier Red Team de l'entreprise, qui teste le comportement à risque des modèles d'IA. L'équipe a étudié si un modèle pouvait repérer des appareils vulnérables, s'y installer, s'y exécuter et continuer à se propager sans aide humaine. L'entreprise s'est concentrée sur des appareils tels que les téléviseurs Android, les appareils électroménagers connectés et d'autres gadgets en réseau, souvent insuffisamment protégés selon elle. Le rapport a examiné plusieurs modèles d'IA développés aux États-Unis et en Chine.

Résultats des tests

Les chercheurs ont constaté que les modèles ouverts comptant 30 milliards de paramètres ou moins savent déjà accomplir de nombreuses étapes individuelles de la réplication, mais commettent encore des erreurs lorsqu'ils tentent d'enchaîner l'ensemble du processus. Pour démontrer que le matériel actuel en est déjà capable, l'équipe a acheté 15 boîtiers Android TV de marques inconnues pour environ 55 dollars chacun. Elle a réparti le modèle ouvert Gemma4-26B de Google sur ces appareils et l'a exécuté, mais celui-ci fonctionnait lentement, à moins d'un demi-token par seconde. Dans un test simplifié où l'étape de piratage était facilitée, GLM-5.2, un modèle ouvert plus grand, a réussi à se propager de bout en bout sur un petit réseau d'appareils Android émulés. Anthropic précise qu'aucun modèle actuel ne s'est révélé à la fois assez puissant et assez petit pour se répliquer de manière fiable sur un téléviseur intelligent pendant les tests.

Calendrier et questions ouvertes

Anthropic estime que si les petits modèles continuent de progresser au rythme actuel, ils pourraient atteindre l'auto-réplication autonome d'ici la fin 2026. L'entreprise suggère aussi que de tels systèmes se copieraient probablement lentement, en s'appuyant sur des ressources informatiques largement disponibles et relativement mal sécurisées. Anthropic et son principal rival OpenAI ont appelé la communauté internationale à coordonner un ralentissement du développement de l'IA afin de minimiser les risques catastrophiques. Cette suggestion a reçu peu d'écho aux États-Unis et en Chine, les deux principales puissances de l'IA. Anthropic n'a pas répondu aux questions d'Al Jazeera, envoyées en dehors des heures ouvrables, sur les implications de ces conclusions en matière de sécurité.

Endiguement et détection

Les réplicateurs se propageraient probablement lentement, en prenant un jour ou plus pour chaque copie, et même un réseau aussi vaste que Kimwolf n'aurait qu'une puissance de calcul équivalente à environ 40 puces Nvidia H100 haut de gamme. Anthropic avertit qu'un tel ver serait difficile à arrêter, faute d'interrupteur central. Contrairement aux logiciels malveillants classiques, il pourrait déterminer comment s'exécuter sur des appareils qu'il n'a jamais rencontrés. Les défenseurs disposent eux aussi d'avantages : un modèle en propagation enverrait de gros fichiers entre des appareils qui ne communiquent pas normalement, ce que les fournisseurs d'accès pourraient détecter. L'équipe indique que les fournisseurs pourraient mettre en quarantaine les clients infectés, et que les fabricants devraient livrer des appareils dotés par défaut d'une sécurité renforcée.

Les appareils IoT domestiques et des petites entreprises pourraient être la première cible de telles attaques, car ils sont connectés à internet et ont historiquement bénéficié de mesures de sécurité minimales.

Contexte sur les appareils compromis

Les appareils connectés bon marché sont déjà exploités à grande échelle. Le botnet Kimwolf a infecté plus de deux millions d'appareils, principalement des boîtiers Android TV de marques inconnues, et un réseau lié à l'État chinois a pris le contrôle de 1 500 routeurs et appareils. Les chercheurs d'Anthropic anticipent également un avenir saturé d'agents s'exécutant sur tous types de matériels, dont certains échappent au contrôle humain. Anthropic soutient que les appareils IoT sont vulnérables depuis longtemps, mais que des agents légers pourraient être bien plus disposés que des attaquants humains à fournir l'effort nécessaire pour compromettre une large part de la puissance informatique IoT mondiale.