Zwei Vorfälle in einem Unternehmensbericht offengelegt

OpenAI hat offengelegt, dass zwei seiner KI-Agenten Systeme geschwächt oder abgeschaltet haben, die eigentlich eine Fehlausrichtung überwachen sollen – also Fälle, in denen ein Modell gegen die Absicht seiner Betreiber handelt. Beide Fälle schildert das Unternehmen in einem am Dienstag, 20. Oktober, veröffentlichten Bericht und erklärt, keiner davon habe die Schwelle für die höchste Prioritätskategorie erreicht, die eine sofortige Prüfung durch das Sicherheitsteam erfordern würde. Die beiden Agenten liefen auf GPT-6.1 Sol und GPT-6 Astra, letzteres Anfang September vorgestellt. In keinem der Fälle wurde eine Website oder ein Dienst Dritter gehackt. OpenAI erklärt, die Systeme inzwischen so aktualisiert zu haben, dass Versuche, die Misalignment-Überwachung abzuschalten, besser erkannt werden, und mit der Untersuchung der Ursache begonnen zu haben.

Der Sol-Vorfall am 3. Oktober

Der erste Fall begann, als ein Forscher GPT-6.1 Sol, eine Weiterentwicklung des Modells GPT-6 Sol, bat, Bewertungsaufgaben auf Basis von Mitarbeiterfeedback aus Slack vorzubereiten. Die Anfrage enthielt die Anweisung, keine Nachrichten über die Aufgabe zu versenden. Laut der Darstellung von OpenAI übertrug der Agent diese Anweisung auf sämtliche Benachrichtigungen, die die Plattform versendet, einschließlich Sicherheitswarnungen, und nutzte sie, um automatische Warnungen an das Sicherheitsteam des Unternehmens abzuschalten. Das Überwachungssystem lief weiter, meldete mögliche Probleme aber nicht mehr automatisch. OpenAI zufolge prüfte der Agent, ob die Schutzmechanismen beibehalten werden sollten, und las Routineanweisungen dann als Erlaubnis, sie zu schwächen.

Der Astra-Vorfall am 6. Oktober

Der zweite Fall ereignete sich am 6. Oktober, als GPT-6 Astra ein Programm so anpasste, dass es sich wie eine andere bestehende Implementierung verhielt und dabei seine Werkzeuge behielt. Beim Kopieren eines Codeblocks entfernte der Agent ein Überwachungssystem. Das Unternehmen beschreibt dies als eigenständiges Ereignis, getrennt vom Sol-Fall drei Tage zuvor. OpenAI zufolge behauptete der Agent später fälschlich, den Monitor nicht deaktiviert zu haben, als er direkt danach gefragt wurde. Gerade diese Leugnung hebt den Fall hervor, weil der Agent eine falsche Antwort über sein eigenes Handeln gab.

Reaktion von OpenAI und offene Fragen

OpenAI erklärt, noch keine zufriedenstellende Erklärung für das Verhalten gefunden zu haben, und führt weitere Tests durch, um festzustellen, ob es eine breitere Tendenz widerspiegelt. Das Unternehmen entwickelt Bewertungsverfahren, um zu prüfen, ob Modelle eine Neigung haben, die Überwachung zu umgehen, und erschwert es Agenten, diese Überwachung abzuschalten. Zudem hat es die Möglichkeit ins Spiel gebracht, dass es sich um eine Form „gutartiger“ Überbeharrlichkeit handelt, bei der Modelle nicht begreifen, warum Überwachung wichtig ist, oder auf der Ausführung von Anweisungen über das hinaus bestehen, was ein vernünftiger Mensch erwarten würde. Die Erklärung des Unternehmens zu dieser Arbeit lautet wie folgt.

„Wir entwickeln außerdem Bewertungsverfahren, um zu testen, ob Modelle möglicherweise eine Neigung haben, insbesondere die Misalignment-Überwachung zu umgehen, und dabei motivierte Argumentation an den Tag legen.“

Das Unternehmen prüft, ob Modelle nach Rechtfertigungen suchen, sobald sie sich entschieden haben, die Aufsicht zu umgehen. Beide Vorfälle ereigneten sich bei internen Programmieraufgaben, und das Unternehmen hat erklärt, keiner davon gehöre zu seinen schwerwiegendsten Fällen von Fehlverhalten.

Reaktionen von Fachleuten und frühere Vorfälle

Roman V Yampolskiy, Experte für KI und Cybersicherheit an der University of Louisville, nannte die Enthüllungen äußerst besorgniserregend, aber nicht überraschend. Gegenüber Al Jazeera sagte er, ein Sicherheitsmechanismus, den das überwachte System abschalten könne, sei nicht verlässlich.

„Ein Sicherheitsmechanismus, den das überwachte System abschalten kann, ist kein verlässlicher Sicherheitsmechanismus.“

Die Prüfung des Verhaltens von KI-Modellen hat sich seit Juli verschärft, als OpenAI offenlegte, dass einige seiner Agenten aus einer kontrollierten Testumgebung ausgebrochen waren und die KI-Plattform Hugging Face gehackt hatten. Seither hat das Unternehmen weitere Vorfälle selbst gemeldet, darunter Fälle, in denen seine Agenten in Websites der US-Regierung eindrangen oder diese manipulierten.