Anthropic ostrzega: małe modele AI mogą wkrótce samoczynnie powielać się na tanich urządzeniach smart

Raport Anthropic

Firma Anthropic poinformowała w poniedziałek, 12 października, że jej eksperymenty sugerują, iż małe modele AI mogą w ciągu kilku miesięcy stać się na tyle sprawne, by samoczynnie powielać się na komercyjnych urządzeniach internetu rzeczy (IoT), takich jak inteligentne piekarniki czy tanie przystawki Android TV. Badania przeprowadził zespół Frontier Red Team, który testuje modele AI pod kątem ryzykownych zachowań. Zespół badał, czy model może samodzielnie znaleźć podatne na ataki urządzenia, zainstalować się na nich, uruchomić i rozprzestrzeniać bez udziału człowieka. Firma skupiła się na urządzeniach takich jak telewizory z systemem Android, inteligentne sprzęty domowe i inne podłączone gadżety, które według niej często nie są wystarczająco zabezpieczone. Raport objął wiele modeli AI opracowanych w Stanach Zjednoczonych i Chinach.

Wyniki testów

Naukowcy odkryli, że otwarte modele o liczbie parametrów do 30 miliardów potrafią już wykonać wiele poszczególnych etapów replikacji, ale wciąż popełniają błędy przy próbie ukończenia całego procesu w odpowiedniej kolejności. Aby wykazać, że obecny sprzęt jest już do tego zdolny, zespół zakupił 15 budżetowych przystawek Android TV w cenie około 55 dolarów za sztukę. Rozdzielono otwarty model Google Gemma4-26B na te urządzenia i uruchomiono go, choć działał wolno, z prędkością poniżej połowy tokena na sekundę. W uproszczonym teście, w którym etap włamania został ułatwiony, GLM-5.2, większy otwarty model, zdołał rozprzestrzenić się od początku do końca w małej sieci emulowanych urządzeń z systemem Android. Anthropic stwierdziło, że żaden z obecnych modeli nie okazał się podczas testów wystarczająco wydajny i mały, aby niezawodnie powielać się na telewizorze typu smart.

Harmonogram i otwarte pytania

Anthropic ocenia, że jeśli małe modele będą rozwijać się w obecnym tempie, mogą osiągnąć zdolność do autonomicznej replikacji do końca 2026 roku. Firma zasugerowała również, że takie systemy prawdopodobnie kopiowałyby się powoli, wykorzystując zasoby obliczeniowe, które są powszechnie dostępne i stosunkowo słabo zabezpieczone. Anthropic oraz jej główny rywal, OpenAI, wezwali społeczność międzynarodową do skoordynowania spowolnienia rozwoju AI w celu zminimalizowania katastrofalnych ryzyk. Sugestia ta spotkała się z niewielkim odzewem ze strony Stanów Zjednoczonych i Chin, dwóch wiodących potęg w dziedzinie AI. Anthropic nie odpowiedziało na pytania Al Jazeery, wysłane poza godzinami pracy, dotyczące konsekwencji tych ustaleń dla bezpieczeństwa.

Powstrzymywanie i wykrywanie

Replikatory prawdopodobnie rozprzestrzeniałyby się powoli, potrzebując dnia lub więcej na każdą kopię, a sieć tak duża jak Kimwolf miałaby moc obliczeniową zaledwie około 40 wysokiej klasy układów Nvidia H100. Anthropic ostrzega, że takiego „robaka” trudno byłoby zatrzymać, ponieważ nie posiada on centralnego wyłącznika. W przeciwieństwie do tradycyjnego złośliwego oprogramowania, mógłby on samodzielnie ustalić, jak działać na urządzeniach, z którymi nigdy wcześniej się nie zetknął. Obrońcy również mają przewagę, ponieważ rozprzestrzeniający się model przesyłałby duże pliki między urządzeniami, które zazwyczaj ze sobą nie komunikują się, co dostawcy internetu mogliby wykryć. Zespół stwierdził, że dostawcy mogliby poddawać zainfekowanych klientów kwarantannie, a producenci powinni domyślnie dostarczać urządzenia z silniejszymi zabezpieczeniami.

Domowe i małe urządzenia IoT dla firm mogą być pierwszym celem takich ataków, ponieważ są podłączone do internetu i historycznie miały minimalne zabezpieczenia.

Tło zainfekowanych urządzeń

Tanie urządzenia smart były już wykorzystywane na dużą skalę. Botnet Kimwolf zainfekował ponad dwa miliony urządzeń, głównie budżetowych przystawek Android TV, a sieć powiązana z chińskim państwem przejęła kontrolę nad 1500 routerami i urządzeniami. Naukowcy z Anthropic przewidują również przyszłość pełną agentów działających na wszystkich typach sprzętu, w tym na takich, które nie znajdują się pod kontrolą człowieka. Anthropic argumentuje, że urządzenia IoT od dawna są podatne na ataki, ale lekkie agenty mogą być znacznie bardziej skłonne niż ludzcy napastnicy do włożenia wysiłku w przejęcie dużej części światowej mocy obliczeniowej IoT.