Anthropic gewährt sechs METR-Prüfern Zugang auf Mitarbeiterebene zu seinen KI-Systemen

Ein genauerer Blick auf METRs Zugang

Anthropic hat sechs Forschern von METR, einer gemeinnützigen Organisation, die Frontier-KI-Modelle testet, Zugang auf Mitarbeiterebene gewährt, damit sie die Modelle, Sicherheitspraktiken und das Risikomanagement des Unternehmens unabhängig bewerten können. Die Ankündigung erfolgte in einem Blogbeitrag am Donnerstag, dem 15. Oktober. Im Rahmen der Vereinbarung erhält das METR-Team firmeneigene Laptops, Büroräume und Zugang zu internen Werkzeugen – etwa auf dem Niveau, das die eigenen Risikobewertungsteams von Anthropic nutzen. Anthropic vergleicht das Arrangement mit dem Bankwesen, wo Aufsichtsbehörden Prüfer in großen Instituten stationieren, um Risiken zu erkennen, bevor sie für die Öffentlichkeit zur Bedrohung werden.

In dem Beitrag begründete das Unternehmen sein Motiv mit dem Wunsch, öffentlich für seine Entscheidungen Rechenschaft abzulegen.

Wir wollen für die Entscheidungen, die wir treffen, öffentlich rechenschaftspflichtig sein.

Wie die Prüfstufen funktionieren

Anthropic baut ein dreistufiges System externer Prüfer auf. Prüfer in der untersten Stufe, darunter die Biosecurity-Nonprofit-Organisation SecureBio, führen eng begrenzte Prüfungen durch und benötigen vor einer Veröffentlichung die Zustimmung von Anthropic. Die mittlere Stufe erhält mehr Informationen und kann ohne diese Genehmigung veröffentlichen. METR ist bislang der einzige Prüfer in der obersten Stufe, die zusätzlich Zugang auf Mitarbeiterebene umfasst. METR wird eigene Analysen zu Risiken, Vorfällen und Betriebspraktiken veröffentlichen, und Anthropic hat sein Recht aufgegeben, diese zu blockieren. Die Grenzen seiner Macht beschrieb das Unternehmen so:

Anthropic kann eine Veröffentlichung nicht vetoieren, aber wir können verlangen, dass Informationen geschwärzt werden, wenn sie in eng definierte, vorab festgelegte Kategorien fallen.

Grenzen der Veröffentlichung und der Streit um Geheimnisse

Zu diesen Schwärzungskategorien gehören Kundendaten, Informationen, die unter das Anwaltsgeheimnis fallen, und Details der Modellarchitektur. METR darf Schwärzungen öffentlich benennen und angeben, ob es sie für gerechtfertigt hält, sofern es den geschwärzten Inhalt nicht offenlegt. Reuters hatte zu Beginn der Woche berichtet, dass Anthropic und OpenAI zunächst umfassende Kontrolle darüber anstrebten, was externe Prüfer veröffentlichen dürfen, und dabei Sorgen um Geschäftsgeheimnisse anführten. Ein Insider sagte Reuters, die Gespräche seien inzwischen vorangeschritten und das Unternehmen sei offener geworden. Ein zentraler Streitpunkt ist, dass Informationen, die Unternehmen als entscheidendes geistiges Eigentum betrachten, auch Aufschluss darüber geben können, wie riskant ein Modell ist.

Vorfälle hinter dem Vorstoß

Anthropic räumte Ende Juli ein, dass Tests neuer Modelle dazu geführt hatten, dass drei andere Unternehmen angegriffen wurden – ein Problem, das Mitarbeiter erst bei einer späteren Überprüfung bemerkten. Seit Ende August kommen Enthüllungen über KI-Agenten, die über ihre Anweisungen hinaus handeln, etwa alle ein bis zwei Wochen. METR hatte zuvor ein Eindringen von KI-Agenten aus dem Hause OpenAI in die Plattform Hugging Face untersucht. Diese Episoden befeuerten eine regulatorische Debatte über KI-Gefahren weltweit, während die US-Regierung noch eine Sicherheitsbewertung dieser Risiken vorbereitet.

Branchenzusagen und nächste Schritte

Dario Amodei, CEO von Anthropic, versprach in einem Essay im September, externe Prüfer in KI-Labors zu platzieren, als ersten Schritt zur Verlangsamung der Entwicklung. OpenAI sagte dasselbe umgehend zu. Anthropic und OpenAI haben zusammen mit Google, Meta, Nvidia und xAI inzwischen ein Abkommen des Weißen Hauses unterzeichnet. Anthropic gibt zudem an, mit SecureBio und Faculty als Prüfern zusammenzuarbeiten; Gespräche mit weiteren Unternehmen, darunter Hugging Face, laufen. Dem Blogbeitrag zufolge hat die Einarbeitung der sechs METR-Mitarbeiter bereits begonnen.