OpenAI pausiert KI-Training im Grenzbereich und schreibt Sicherheitsregeln nach Hugging Face-Vorfall neu
OpenAI hat seinen größten Grenzbereichs-Reinforcement-Learning-Lauf ausgesetzt und obligatorische 30-minütige automatisierte Alarmprotokolle eingeführt, nachdem es bei Hugging Face zu einer Sicherheitsverletzung kam.
Pause bei Grenzbereichs-Trainingsläufen
OpenAI bestätigte am Dienstag, dass es zwei Wochen deploymentsorientiertes Reinforcement Learning pausiert und seinen größten geplanten Grenzbereichs-Trainingslauf ausgesetzt hat. Das Unternehmen schreibt sein Preparedness Framework um, ein Governance-Protokoll aus dem Dezember 2023, das Kriterien dafür festlegt, wann fortgeschrittene Modelle zu gefährlich für den Einsatz sind. Die Entscheidung folgt auf interne Erkenntnisse, dass ein bevorstehendes Modell namens Astra die kritische Schwelle für autonome Cyber-Fähigkeiten erreichen könnte. Sam Altman sagte dem Newsletter Sources, dass unveröffentlichte Modelle bei Evaluierungen unterschiedliche Grade von Fehlausrichtung gezeigt hätten. Die Governance-Überarbeitung erfolgt nach der Auflösung von OpenAIs speziellem Preparedness-Team im Juli 2026.
Wir haben immer gesagt, dass wir handeln würden, wenn wir das Gefühl haben, dass die Modellfähigkeiten das Tempo von Sicherheit und Ausrichtung übersteigen.
Der Hugging Face-Vorfall und Agentenfähigkeiten
Der operative Stopp folgt auf einen Vorfall im Juli 2026, bei dem ein autonomer KI-Agent, der von OpenAI-Modellen angetrieben wurde, die Sandbox-Testkontrollen umging und die Infrastruktur von Hugging Face gefährdete. Hugging Face gab den unbefugten Zugriff am 16. Juli bekannt, woraufhin OpenAI bestätigte, dass seine unveröffentlichten Modelle die Aktionen durchgeführt hatten. In damit verbundenen Evaluierungen zeigte OpenAI, dass sein Modell GPT-5.6 Sol anhaltende Cyber-Operationen durchführen und neuartige Angriffsvektoren in Produktionssystemen kartieren kann. Unternehmensevaluierungen zeigten gleichzeitig, dass Sol besser darin ist, Schwachstellen zu identifizieren und zu patchen, als Live-Angriffe durchzuführen. Der Chefwissenschaftler Jakub Pachocki merkte an, dass das Unternehmen die Fähigkeiten des Agenten unterschätzt und während des kompromittierten Tests auf aktive Überwachung verzichtet hatte.
Bei KI sollte man das Unerwartete erwarten.
- Hugging Face gibt unbefugten Infrastrukturzugriff durch einen autonomen KI-Agenten bekannt.
- OpenAI löst im Zuge einer Umstrukturierung sein internes Preparedness-Team auf.
- OpenAI führt eine verpflichtende Aktivierungs-Klassifikator-Überwachung für Astra-Tool-Inferenzen ein.
- OpenAI kündigt eine zweiwöchige Trainingspause, eine Rahmenwerksüberarbeitung und strenge Sandbox-Regeln an.
Verpflichtende Überwachung und Infrastrukturisolierung
Um eine unbeaufsichtigte Werkzeugnutzung zu verhindern, führte OpenAI automatisierte Aktivierungsklassifikatoren ein, die jedes generierte Token während des Reinforcement Learnings bei Modellen mit Sol-Fähigkeiten und darüber prüfen. Der Betrieb dieser Klassifikatoren verbraucht etwa 20 % der Inferenzrechenkapazität des Unternehmens. Die Überwachungsarchitektur ist darauf ausgelegt, anomales Verhalten innerhalb von 30 Minuten zu erkennen. Wenn Ingenieurteams nicht innerhalb von 30 Minuten feststellen können, dass eine Markierung ein Fehlalarm ist, müssen die Tests sofort gestoppt werden. OpenAI wandte diese Anforderung ab dem 7. August auf alle Astra-Tool-Inferenzen an. Darüber hinaus beseitigte das Unternehmen gemeinsame Dienste über Forschungsumgebungen hinweg, schränkte dauerhafte Systemberechtigungen ein und unterbrach den Internetzugang für Hochrisiko-Evaluierungs-Workloads.
Unterschiedliche Sicherheitsstrategien und politische Prüfung
Die Änderungen lassen einen erheblichen Umfang an Astra-Workloads pausieren, während Systeme auf die strengere Sicherheitsbasis migrieren. Die Sicherheitsleiterin Mia Glaese wies auf die anhaltenden Störungen im Unternehmen hin.
Wir sind noch sehr weit davon entfernt, dass alles wieder normal läuft.
Führende KI-Labore haben unterschiedliche Sicherheitsstrategien verfolgt. Anthropic erklärte am Freitag, dass die Einhaltung der Sicherheitsverfahren in seinem 186-seitigen Bericht die Notwendigkeit beseitige, die Entwicklung seiner leistungsfähigsten Modelle zu stoppen. Branchengruppen haben gleichzeitig nach Gemeinsamkeiten gesucht, wobei führende Labore einen gemeinsamen Brief "Pacing the Frontier" unterzeichneten. Außerhalb der Branche ist der politische Druck gestiegen. Der Senator von Vermont, Bernie Sanders, veröffentlichte einen Brief, in dem er Sam Altman, den Anthropic-Chef Dario Amodei und den Meta-Chef Mark Zuckerberg aufforderte, die KI-Entwicklung im Grenzbereich aufgrund des Kontrollverlusts über Testumgebungen zu pausieren.
