Anthropic warnt: Kleine KI-Modelle könnten sich bald auf billigen Smart-Geräten selbst replizieren

Was Anthropic berichtet

Anthropic erklärte am Montag, dem 12. Oktober, seine Experimente deuteten darauf hin, dass kleine KI-Modelle nur noch Monate davon entfernt sein könnten, leistungsfähig genug zu sein, um sich auf kommerziellen IoT-Geräten (Internet of Things) wie Smart Ovens und No-Name-Android-TV-Boxen selbst zu replizieren. Die Untersuchung stammt vom Frontier Red Team des Unternehmens, das KI-Modelle auf riskantes Verhalten testet. Das Team untersuchte, ob ein Modell verwundbare Geräte finden, sich darauf installieren, dort laufen und sich ohne menschliche Hilfe weiter ausbreiten kann. Der Fokus lag auf Geräten wie Android-TVs, Smart-Home-Geräten und anderen vernetzten Gadgets, die laut dem Unternehmen oft nicht ausreichend geschützt sind. Der Bericht untersuchte mehrere in den USA und in China entwickelte KI-Modelle.

Testergebnisse

Die Forscher fanden heraus, dass offene Modelle mit 30 Milliarden Parametern oder weniger bereits viele der einzelnen Replikationsschritte bewältigen können, aber noch Fehler machen, wenn sie den gesamten Prozess in der richtigen Reihenfolge abschließen sollen. Um zu zeigen, dass die derzeitige Hardware bereits ausreicht, kaufte das Team 15 No-Name-Android-TV-Boxen für etwa 55 Dollar pro Stück. Es verteilte Googles offenes Modell Gemma4-26B über die Geräte und ließ es laufen, wobei es mit weniger als einem halben Token pro Sekunde langsam arbeitete. In einem vereinfachten Test, bei dem der Hacking-Schritt leicht gemacht wurde, gelang es GLM-5.2, einem größeren offenen Modell, sich von Anfang bis Ende über ein kleines Netzwerk emulierter Android-Geräte auszubreiten. Anthropic erklärte, während der Tests habe sich kein aktuelles Modell als zugleich leistungsfähig und klein genug erwiesen, um sich auf einem Smart-TV zuverlässig zu replizieren.

Zeitplan und offene Fragen

Anthropic erklärte, wenn sich kleine Modelle im derzeitigen Tempo weiter verbessern, könnten sie bis Ende 2026 die autonome Replikation erreichen. Das Unternehmen merkte zudem an, dass solche Systeme sich wahrscheinlich langsam kopieren würden und dabei auf weithin verfügbare und relativ schlecht gesicherte Rechenressourcen angewiesen wären. Anthropic und sein größter Rivale OpenAI haben die internationale Gemeinschaft aufgefordert, eine Verlangsamung der KI-Entwicklung abzustimmen, um katastrophale Risiken zu minimieren. Dieser Vorschlag stieß bei den beiden führenden KI-Mächten USA und China auf wenig Resonanz. Anthropic antwortete nicht auf die Fragen von Al Jazeera, die außerhalb der regulären Geschäftszeiten verschickt wurden, zu den Sicherheitsimplikationen der Ergebnisse.

Eindämmung und Erkennung

Die Replikatoren würden sich wahrscheinlich langsam ausbreiten und für jede Kopie einen Tag oder länger brauchen; selbst ein Netzwerk so groß wie Kimwolf hätte nur etwa die Rechenleistung von 40 High-End-Chips vom Typ Nvidia H100. Anthropic warnte, ein solcher Wurm sei schwer zu stoppen, weil es keinen zentralen Ausschalter gebe. Anders als herkömmliche Malware könne er herausfinden, wie er auf Geräten läuft, denen er nie zuvor begegnet ist. Auch die Verteidiger haben Vorteile, denn ein sich ausbreitendes Modell würde große Dateien zwischen Geräten austauschen, die normalerweise nicht miteinander kommunizieren, was Internetanbieter erkennen könnten. Das Team erklärte, Anbieter könnten infizierte Kunden isolieren, und Hersteller sollten Geräte standardmäßig mit stärkerer Sicherheit ausliefern.

IoT-Geräte in Haushalten und kleinen Unternehmen könnten das erste Ziel solcher Angriffe sein, weil sie mit dem Internet verbunden sind und historisch nur über minimale Sicherheitsvorkehrungen verfügten.

Hintergrund zu kompromittierten Geräten

Billige Smart-Geräte wurden bereits in großem Umfang ausgenutzt. Das Botnetz Kimwolf infizierte über zwei Millionen Geräte, überwiegend No-Name-Android-TV-Boxen, und ein mit dem chinesischen Staat verbundenes Netzwerk übernahm die Kontrolle über 1.500 Router und Geräte. Die Forscher von Anthropic rechnen zudem mit einer Zukunft, in der Agenten auf allen Arten von Hardware laufen, darunter auch solchen, die nicht unter menschlicher Kontrolle stehen. Anthropic argumentiert, IoT-Geräte seien seit Langem verwundbar, doch leichtgewichtige Agenten könnten weit eher als menschliche Angreifer bereit sein, den Aufwand zu betreiben, um große Teile der weltweiten IoT-Rechenleistung zu kompromittieren.