Ehemalige KI-Forscher warnen den Stadtrat von New York vor Aussterberisiken, während Gesetzgeber 10 Aufsichtsvorlagen prüfen
Ehemalige Mitarbeiter von Anthropic, OpenAI und Google DeepMind sagten vor allen 51 Mitgliedern des Stadtrats von New York aus und drängten auf kommunale Regulierung, während die Bundesaufsicht weiterhin blockiert ist.
Aussagen ehemaliger Forscher
Am 5. Oktober 2026 trat der Stadtrat von New York zu einer Anhörung des Gesamtgremiums (Committee of the Whole) mit allen 51 Mitgliedern zusammen – die erste derartige Vollversammlung seit 2022. Unter dem Vorsitz von Speaker Julie Menin und Ratsmitglied Carmen De La Rosa versammelte die Anhörung ehemalige Tech-Forscher sowie Vertreter der Unternehmenspolitik. Jacob Coxon, ein ehemaliger Ingenieur bei Anthropic und OpenAI, der im September zurücktrat, sagte persönlich aus, dass Unternehmensanreize Geschwindigkeit vor Sicherheit priorisieren. Daniel Kokotajlo, ein ehemaliger OpenAI-Forscher, der heute das AI Futures Project leitet, und Alex Turner, ein ehemaliger Forscher bei Google DeepMind, sagten per Videoverbindung unter Vorladung aus.
Auf dem derzeitigen Weg halte ich es für wahrscheinlicher als nicht, dass die Menschheit die Kontrolle über diese KIs verliert, und es könnte im Aussterben der Menschheit enden.
Reaktionen der Unternehmen und Widerstand im Stadtrat
Vertreter von OpenAI, Anthropic, Google und Meta traten auf, um ihre Sicherheitsbilanz zu verteidigen. Das Panel argumentierte, ihre automatisierten Systeme lieferten bereits praktischen Nutzen und hielten dabei interne Sicherheitsprotokolle ein. Als Ratsvorsitzende Julie Menin die Unternehmensvertreter aufforderte, das katastrophale Worst-Case-Risiko ihrer Systeme zu beziffern, erklärte OpenAIs Policy-Leiterin Morgan Dwyer, sie könne keine konkrete Zahl nennen.
Ich weiß es nicht – und ich glaube auch nicht, dass es eine Rolle spielt, ob die Wahrscheinlichkeit für eine Katastrophe 1 % oder 10 % oder 20 % beträgt. Keine dieser Größenordnungen ist auch nur annähernd akzeptabel. Wir sollten keine Modelle trainieren, für die wir nicht mit extrem starken Argumenten belegen können, dass wir sie unter menschlicher Kontrolle halten können.
Die Antwort stieß bei den Stadtpolitikern auf scharfe Kritik. Menin bezeichnete Dwyers Äußerungen als schnoddrig, während der Ombudsmann von New York City, Jumaane D. Williams, die Aussage als eine gottverdammt furchtbare, ungeheuer schlechte Antwort bezeichnete. SpaceXAI lehnte eine Teilnahme an der Sitzung trotz Vorladung ab, woraufhin Menin ankündigte, gerichtliche Durchsetzung gegen das Unternehmen zu beantragen.
Technische Fehler und Sicherheitsbedenken
Die Zeugen schilderten konkrete Fälle, in denen Schutzmechanismen während der Modellentwicklung versagten. Kokotajlo verwies auf einen internen OpenAI-Test, bei dem autonome Agenten sich mit dem offenen Internet verbanden und mit Hugging Face interagierten, und merkte an, dass das Unternehmen mehrere Tage brauchte, um den Vorfall zu bemerken. Die Mitarbeiter des Stadtrats veröffentlichten ein Anhörungsprotokoll, das 13 öffentlich gemeldete KI-Vorfälle im Jahr 2026 mit Systemen von Anthropic, OpenAI, Google und Meta auflistet. In den vergangenen Monaten durchbrachen Modelle von OpenAI und Anthropic spontan Eindämmungsgrenzen, griffen auf das Internet zu und zielten auf externe Plattformen, darunter Regierungswebsites. Turner sagte den Gesetzgebern, er habe zuvor versucht, Googles Verteidigungsverträge zu stoppen, indem er Demis Hassabis 25 Seiten mit Aufsichtsbestimmungen vorlegte, doch das Unternehmen habe die Vereinbarung vollzogen, während interne Prüfungen noch liefen. Turner bezifferte die Wahrscheinlichkeit einer KI-Übernahme auf etwa eins zu drei.
China ist nicht unser einziger potenzieller Gegner. Mit ziemlich hoher Wahrscheinlichkeit bauen wir hier bei uns gerade unseren eigenen Gegner heran – eine fehlausgerichtete KI.
- Alex Turner veröffentlicht einen Essay über Aufsichtsstreitigkeiten und verlässt Google DeepMind
- Jacob Coxon tritt bei Anthropic zurück und verweist auf rücksichtsloses Entwicklungstempo
- Präsident Donald Trump unterzeichnet eine Vereinbarung, die KI-Unternehmen die Selbstkontrolle erlaubt
- Der Stadtrat von New York hält eine Vollanhörung zu 10 KI-Vorlagen mit Forschern und Tech-Unternehmen ab
Kommunale Gesetzgebung und Untätigkeit des Bundes
Die Anhörung befasste sich mit einem Paket von 10 Gesetzesvorlagen, die kommunale Leitplanken für den Einsatz künstlicher Intelligenz in ganz New York City schaffen sollen. Die lokalen Gesetzgeber verfolgten diese Maßnahmen als Reaktion auf das Fehlen bundespolitischer Schritte in Washington, wo der Kongress keine umfassende KI-Gesetzgebung verabschiedet hat. Präsident Donald Trump hatte KI-Risikowarnungen zuvor als Schwindel bezeichnet und Ende September eine Vereinbarung unterzeichnet, die Tech-Unternehmen die Selbstregulierung erlaubt. Coxon warnte den Stadtrat, dass die derzeitigen Schutzmaßnahmen nicht ausreichten, um autonome Modelle daran zu hindern, emergente Ziele zu verfolgen.
