Anthropic fordert globale KI-Pause und bessert Beziehungen zum Weißen Haus vor Börsengang aus
Anthropic, der in San Francisco ansässige KI-Riese mit einem Wert von rund einer Billion Dollar, hat am Donnerstag eine global koordinierte Pause bei der Entwicklung von Frontier-KI gefordert und davor gewarnt, dass sich selbst verbessernde Modelle der menschlichen Kontrolle entgleiten könnten. Der Vorstoß kommt zu einem Zeitpunkt, an dem das Unternehmen einen monatelangen Streit mit der Trump-Administration beilegt und sich auf einen spektakulären Börsengang vorbereitet.
Anthropics Aufruf zur globalen Pause
Anthropic, das in San Francisco ansässige KI-Unternehmen mit einem Wert von rund einer Billion Dollar, hat am Donnerstag eine global koordinierte Verlangsamung oder vorübergehende Pause bei der Entwicklung von Frontier-KI vorgeschlagen. Das Unternehmen argumentierte in einem Blogbeitrag und einem Bericht seines Anthropic Institute, dass eine solche Pause es „gesellschaftlichen Strukturen und der Alignment-Forschung ermöglichen würde, mit dem Fortschritt der Technologie Schritt zu halten.“ Der Aufruf erinnert an einen offenen Brief aus dem Jahr 2023, der von Elon Musk unterzeichnet wurde, aber Anthropic besteht darauf, dass jede Pause multilateral, überprüfbar und mit klaren Auslösern versehen sein muss – andernfalls würde sie die Führung einfach an diejenigen abgeben, die weitermachen.
Wir glauben, dass es gut für die Welt wäre, die Möglichkeit zu haben, die Entwicklung von Frontier-KI zu verlangsamen oder vorübergehend zu pausieren.
Das Risiko der Selbstverbesserung
Der spezifische Auslöser, den Anthropic identifiziert, ist die rekursive Selbstverbesserung – KI-Systeme, die autonom ihre eigenen Nachfolger entwerfen und bauen können. Das Unternehmen warnt, dass dieser Meilenstein „früher kommen könnte, als die meisten Institutionen darauf vorbereitet sind“ und dass „vollständige rekursive Selbstverbesserung das Risiko erhöhen könnte, dass Menschen die Kontrolle über KI-Systeme verlieren.“ Als Zeichen dafür, wie nah die Schleife bereits ist, gab Anthropic bekannt, dass ab Mai über 80 % des in die eigene Codebasis eingefügten Codes von seinem Modell Claude geschrieben wurde. „Wenn ein Modell bereits die überwältigende Mehrheit des Codes schreibt, der das nächste Modell baut, ist die Schleife zwischen einem System und seiner eigenen Verbesserung nicht länger theoretisch, sondern lediglich partiell“, so das Unternehmen.
Ein Koordinationsproblem
Ein zentrales Problem ist die Durchsetzung. Ohne einen globalen Mechanismus, der Regeln, Überprüfung und eine Aufsichtsbehörde umfasst, wäre jede Pause wirkungslos. Anthropic räumt ein, dass diese Infrastruktur nicht existiert und dass seine direkten Konkurrenten – von denen viele Hunderte von Milliarden Dollar in KI-Rechenzentren investieren – keine Neigung gezeigt haben, langsamer zu machen. Das Unternehmen argumentiert, dass nur eine Vereinbarung zwischen mehreren führenden Laboren in mehreren Ländern, „insbesondere den Vereinigten Staaten und China“, funktionieren könnte.
Das Anthropic Institute erklärte, es werde nun mit Partnern zusammenarbeiten, um die Verifikationssysteme zu entwickeln, die eine glaubwürdige Pause erfordern würde.Ohne einen globalen Koordinationsmechanismus werden Unternehmen und Regierungen schwierige Entscheidungen über Sicherheit treffen müssen, während sie unter Wettbewerbs- und geopolitischen Druck stehen.
Tauwetter mit dem Weißen Haus
Der Pausenvorschlag kommt zu einem Zeitpunkt, an dem Anthropic daran arbeitet, das zerrüttete Verhältnis zur Trump-Administration vor seinem erwarteten Börsengang zu reparieren. Im März hatte das Verteidigungsministerium das Unternehmen als „Lieferkettenrisiko“ eingestuft, nachdem es sich geweigert hatte, seine KI für inländische Überwachung und vollautonome Waffen einzusetzen. Die Spannungen haben sich jedoch entspannt, seit CEO Dario Amodei Mitte April das Weiße Haus besuchte. Die Administration lud Amodei sogar zu einer Unterzeichnung einer KI-Exekutivanordnung am 21. Mai ein, obwohl Trump die Veranstaltung absagte; er unterzeichnete die Anordnung am Dienstag, und Anthropic erklärte, es freue sich auf die „Zusammenarbeit“ bei deren Umsetzung. Das Unternehmen hat auch mit dem nationalen Cyber-Direktor Sean Cairncross darüber gesprochen, wie sein leistungsstarkes Modell Mythos kritische Infrastrukturen schützen könnte. Dennoch bleibt die Einstufung als Lieferkettenrisiko bestehen, und das Pentagon verteidigt sich „energisch“ gegen die Klage von Anthropic.
Immer wenn die Regierung signalisiert, dass sie die Hände von einem Unternehmen wäscht, ist das ein großes Problem für dieses Unternehmen.
- Das Verteidigungsministerium stuft Anthropic als 'Lieferkettenrisiko' ein und verbietet Militärauftragnehmern die Nutzung seiner KI.
- CEO Dario Amodei besucht das Weiße Haus, um über Zusammenarbeit zu sprechen, erstes Treffen seit Ausbruch des Streits.
- Geplante Unterzeichnung einer KI-Exekutivanordnung im Weißen Haus, mit Einladung an Amodei, aber aufgrund von Trumps Einwänden abgesagt.
- Trump unterzeichnet überarbeitete KI-Exekutivanordnung; Anthropic erklärt, es freue sich auf die Zusammenarbeit.
- Anthropic schlägt eine globale, überprüfbare Pause bei der Entwicklung von Frontier-KI vor.
Gegenwind und Skepsis
Der Vorschlag hat bereits Kritik von Branchenkonkurrenten und einigen Beamten des Weißen Hauses auf sich gezogen, die argumentieren, dass die Nutzung von Sicherheit zur Verlangsamung ein Deckmantel sei, um den Wettbewerb unter dem Deckmantel des Schutzes der Öffentlichkeit zu behindern. Kritiker verweisen auch auf die selektive Veröffentlichung von Mythos – das aufgrund seiner Cybersicherheitsfähigkeiten derzeit auf eine kleine Anzahl geprüfter Organisationen beschränkt ist – als Marketingtaktik, um die eigenen Produkte anzupreisen. Anthropic hingegen betont, dass seine Warnungen auf Forschungen des neu geschaffenen Anthropic Institute beruhen, dessen Mission es ist, „der Welt zu sagen“, was es über Risiken im Zuge des KI-Fortschritts lernt. Ob eine Pause vereinbart werden kann, bevor sich die Rückkopplungsschleife der Selbstverbesserung weiter verstärkt, bleibt völlig offen.
