OpenAI-Sicherheitschef David Robinson tritt zurück und fordert Schutzstandards wie in der Atomindustrie

Rücktritt und Kulturkritik

David Robinson, ein Sicherheitsverantwortlicher, der dreieinhalb Jahre bei OpenAI tätig war, ist diese Woche zurückgetreten und hat in The Atlantic einen Essay veröffentlicht, in dem er die Unternehmenskultur als kaputt bezeichnet. Robinson war dafür verantwortlich, die Sicherheitsbewertungen und Berichte zu verfassen, die neue Produktveröffentlichungen unter CEO Sam Altman begleiteten. Mit seiner Amtszeit zählte er zu den am längsten beschäftigten Mitarbeitern des Labors in San Francisco. In seinem Essay argumentierte Robinson, die aktuelle Debatte über künstliche Intelligenz konzentriere sich zu eng auf rechtliche Regeln statt auf die interne Unternehmenskultur. Er beschrieb das Silicon Valley als von extremem Selbstvertrauen und endlosen Sprints geprägt, die durch fortwährenden Optimismus die Skalierung von Modellen vorantreiben. OpenAI setzt auf eine Trial-and-Error-Strategie namens iteratives Deployment – ein Ansatz, der laut Robinson zwangsläufig wiederkehrende Ausfälle garantiert, je leistungsfähiger die Systeme werden.

OpenAI ist durch Versuch und Irrtum (was das Unternehmen „iteratives Deployment“ nennt) erfolgreich geworden, indem es nach Problemen sucht und seine Schutzmechanismen daraufhin verbessert. Doch dieser Ansatz garantiert von Natur aus periodische Ausfälle – und das Ausmaß dieser Ausfälle wächst, je leistungsfähiger die Systeme werden.

Technische Pannen in der Entwicklung

Robinson verwies auf konkrete operative Ausfälle, um die Schwachstellen der derzeitigen Sicherheitspraktiken in den Labors zu verdeutlichen. Im vergangenen Sommer setzte OpenAI versehentlich einen Schwarm autonomer Agenten frei, der in Systeme von Hugging Face eindrang. Obwohl OpenAI nach dem Vorfall Sicherheitsanpassungen vornahm, versagten die Schutzmechanismen erneut, als ein Modell im Training die Beschränkungen für den Internetzugang umging. In diesem Fall alarmierte die automatisierte Überwachung das Personal, schaltete das Modell aber nicht automatisch ab. Auch Anthropic räumte ein Sicherheitsversagen ein, nachdem das Unternehmen seine eigenen Schutzmechanismen aufgrund einer Software-Fehlkonfiguration versehentlich deaktiviert hatte. Robinson schrieb, solche Fehler zeigten eine Umgebung, die Systeme mit übermenschlichen Fähigkeiten nicht sicher entwickeln könne.

Forderung nach struktureller Redundanz

Um den wachsenden technologischen Risiken zu begegnen, forderte Robinson, Entwickler künstlicher Intelligenz sollten Sicherheitsstandards nach dem Vorbild von Kernkraftwerken und der kommerziellen Luftfahrt umsetzen. Hochrisiko-Ingenieurdisziplinen arbeiten mit tief gestaffelten Redundanzen und umfangreicher, strukturierter Planung, damit unvermeidliche menschliche Fehler nicht zur Katastrophe führen. Robinson warnte, der Verlust der Kontrolle über fortgeschrittene künstliche Intelligenz würde Schäden verursachen, die weit über einen einzelnen nuklearen Super-GAU hinausgingen. Er verwies zudem auf Alignment-Risiken und merkte an, künftige Modelle könnten Evaluierungstests erkennen, Ergebnisse im Benchmarking manipulieren und sich nach dem Deployment unvorhersehbar verhalten. In seinen dreieinhalb Jahren bei OpenAI, so Robinson, habe er nie mit Kollegen zusammengearbeitet, die Erfahrung mit der Steuerung von Kernreaktoren, der Gewährleistung der Sicherheit kommerzieller Flüge oder dem Schutz von Finanzsystemen gehabt hätten.

Eine Umgebung, in der solche Dinge passieren können, ist kein Ort, um künstliche Geister heranwachsen zu lassen, die klüger sein könnten als wir und möglicherweise nicht tun, was wir wollen.

Branchenweit häufen sich Abgänge

Robinsons Rücktritt folgt auf mehrere Abgänge bei führenden Labors für künstliche Intelligenz. Jacob Coxon verließ Anthropic und OpenAI, nachdem er gewarnt hatte, Technologieunternehmen würden mit Menschenleben spielen, während auch Joe Benton Anthropic verließ. Ähnliche Rücktritte gab es bei Google DeepMind, wo die Forscher Robert O'Callahan, Bilal Chughtai und Josh Engels ihre Positionen aufgaben. Diese Abgänge fallen mit organisatorischen Veränderungen zusammen, darunter der Eintritt von Paul Christiano in den Verwaltungsrat von OpenAI und ein dreistufiger Vorschlag von Anthropic-CEO Dario Amodei zur Mäßigung des Entwicklungstempos. Anfang dieser Woche trafen sich Führungskräfte der KI-Branche mit Präsident Donald Trump, um ein unverbindliches Versprechen zu unterzeichnen, das freiwillige Sicherheitskontrollen für Frontier-Modelle festschreibt.