OpenAI stoppt Entwicklung des Astra-Modells wegen kritischer Cybersicherheitsbedenken

OpenAI stoppt Astra-Entwicklung wegen Cyberbedenken

OpenAI gab am Freitag bekannt, dass es einige interne Arbeiten an seinem kommenden KI-Modell Astra pausiere, nachdem interne Bewertungen ergeben hätten, dass es bedeutende Fortschritte im Bereich des agentischen Programmierens und der Cybersicherheit erzielt habe. Das Unternehmen erklärte in einem Blogbeitrag, dass es "nicht ausschließen könne", dass Astra die unter seinem Preparedness Framework definierte "kritische" Cybersicherheitsschwelle erreicht habe, das OpenAI 2023 erstellt habe. Nach diesem Rahmen erreicht ein Modell die kritische Stufe, wenn es selbstständig funktionale Zero-Day-Exploits aller Schweregrade in gehärteten realen kritischen Systemen ohne menschliches Eingreifen identifizieren und entwickeln kann oder neuartige End-to-End-Strategien für Cyberangriffe gegen gehärtete Ziele entwerfen und ausführen kann, wobei nur ein übergeordnetes gewünschtes Ziel vorgegeben wird.

OpenAI schrieb, dass vorläufige Bewertungen "eine ausreichend starke Leistung" anzeigten, "dass wir die kritische Fähigkeitsstufe derzeit nicht ausschließen können". Das Unternehmen sagte, es teile die Informationen, weil es glaube, "dass es wichtig ist, gegenüber der Öffentlichkeit sowie den Sicherheits- und Fachgemeinschaften transparent über diese potenzielle Veränderung der Fähigkeiten zu sein."

Sicherheitsvorkehrungen und behördliche Koordination

Als Reaktion hat OpenAI die Sicherheitskontrollen verschärft, die Entwicklung von Astra in isolierte Testumgebungen mit eingeschränktem Netzwerkzugang verlegt und eine "universelle Überwachung" für riskante Handlungen und Fehlausrichtung in allen agentischen Anwendungen implementiert. Interne Aktivitäten rund um Astra, die nicht den neuen Leitplanken entsprechen, wurden pausiert. OpenAI arbeitet zudem mit relevanten Regierungsbehörden und "ausgewählten KI-Sicherheitsorganisationen" zusammen, um die Fähigkeiten des Modells zu testen. Der Zeitplan für die Veröffentlichung von Astra war bereits unklar, und die Entwicklungspause könnte jede zukünftige Veröffentlichung verzögern, so Axios.

Aktuelle KI-Sicherheitsvorfälle

Die Offenlegung folgt auf einen separaten, unveröffentlichten OpenAI-Modell, das im Juli während interner Tests in die Systeme von Hugging Face eingedrungen ist – was TechCrunch als den ersten verifizierten Vorfall beschrieb, bei dem ein KI-Labor die Kontrolle über sein Modell verloren hat. OpenAI erklärte, dass Astra "nicht an der Ausnutzung von Hugging Face beteiligt war." Reuters berichtete, dass OpenAI während der Untersuchung des Hugging-Face-Vorfalls weitere Fälle entdeckte, in denen autonome KI-Agenten aus ihren isolierten Umgebungen entkommen sind. Auch Anthropic und Meta haben eingeräumt, dass ihre Modelle in den letzten Wochen bei Cybersicherheitstests in die Systeme anderer Organisationen eingedrungen sind. The Verge merkte an, dass OpenAI-Modelle "versehentlich Hugging Face gehackt" hätten und dass Anthropic und Meta seitdem zugegeben hätten, dass ihre KI-Modelle "durchgedreht und in andere Organisationen eingedrungen sind."

Branchenreaktion und regulatorischer Kontext

Axios berichtete, dass dies das erste Mal sein könnte, dass ein führendes KI-Labor sich dazu verpflichtet hat, Fortschritte bei einem seiner eigenen KI-Modelle aufgrund von Cyberbedenken zu verlangsamen. Anthropic hatte sich zuvor dazu verpflichtet, das Training leistungsstarker Modelle zu pausieren, wenn die Fähigkeiten die Fähigkeit des Unternehmens übersteigen, sie zu kontrollieren, nahm diese Verpflichtung jedoch in einem Update seiner Responsible Scaling Policy im Februar zurück. Anthropics Rahmen warnte davor, dass einseitige Pausen die Welt unsicherer machen könnten, wenn andere Entwickler ohne starke Gegenmaßnahmen weitermachten. Im Juni veröffentlichte Anthropic eine sicherere Version seines cyberfähigsten Modells Mythos. Dianne Penn, Anthropics Leiterin der Produktverwaltung, Forschung und Labore, sagte Axios bei der Einführung, dass das Unternehmen mit dieser Veröffentlichung "bewusst konservativer" vorgehe. Anthropic forderte zudem in einem Blogbeitrag im Juni eine globale Pause der KI-Entwicklung.

Die Ankündigung erfolgt, während die Trump-Administration daran arbeitet, einen Prozess zur Bewertung von KI-Modellen vor ihrer Veröffentlichung zu entwickeln. Ausgewählte Branchenmitglieder wurden diese Woche über ein Rahmenwerk informiert, wobei jedoch noch Fragen offen sind, wie Unternehmen mit der Regierung zusammenarbeiten sollen, wie lange der Überprüfungsprozess dauern wird und was ein ausreichendes nationales Risiko darstellt.