Anthropic accorde à six évaluateurs de METR un accès de niveau salarié à ses systèmes d'IA
L'équipe de METR recevra des ordinateurs portables de l'entreprise, des bureaux et un accès aux outils internes, et la société a renoncé à son droit de bloquer les évaluations publiées par METR. Cet arrangement se situe au sommet d'un système à trois niveaux d'évaluateurs externes qu'Anthropic met en place.
Un accès inédit pour METR
Anthropic a accordé un accès de niveau salarié à six chercheurs de METR, une organisation à but non lucratif qui teste les modèles d'IA de frontière, afin qu'ils puissent évaluer de façon indépendante ses modèles, ses pratiques de sécurité et sa gestion des risques. L'annonce a été faite dans un billet de blog le jeudi 15 octobre. Dans le cadre de cet accord, l'équipe de METR reçoit des ordinateurs portables fournis par l'entreprise, des bureaux et un accès aux outils internes à un niveau proche de celui dont disposent les propres équipes d'évaluation des risques d'Anthropic. La société compare ce dispositif au secteur bancaire, où les régulateurs installent des examinateurs au sein des grandes institutions pour repérer les risques avant qu'ils ne menacent le public.
Dans son billet, l'entreprise présente sa motivation comme la volonté de répondre publiquement de ses choix.
Nous voulons rendre des comptes publiquement sur les décisions que nous prenons.
Le fonctionnement des niveaux d'évaluation
Anthropic met en place un système à trois niveaux d'évaluateurs externes. Les évaluateurs du niveau inférieur, dont l'organisation de biosécurité SecureBio, réalisent des examens limités et doivent obtenir l'accord d'Anthropic avant de publier. Le niveau intermédiaire reçoit davantage d'informations et peut publier sans cette approbation. METR est à ce jour le seul évaluateur du niveau supérieur, qui ajoute l'accès de niveau salarié. METR publiera ses propres analyses des risques, des incidents et des pratiques opérationnelles, et Anthropic a renoncé à son droit de les bloquer. L'entreprise décrit ainsi les limites de son pouvoir :
Anthropic ne peut pas opposer son veto à la publication, mais nous pouvons exiger qu'ils occultent certaines informations si elles relèvent de catégories étroites et prédéfinies.
Limites de publication et conflit autour des secrets
Ces catégories d'occultation comprennent les données clients, les informations couvertes par le secret professionnel et les détails de l'architecture des modèles. METR pourra décrire publiquement toute occultation et indiquer s'il la juge justifiée, à condition de ne pas révéler le contenu occulté. Reuters avait rapporté plus tôt dans la semaine qu'Anthropic et OpenAI cherchaient initialement à contrôler largement ce que les évaluateurs externes pouvaient publier, invoquant la crainte de divulguer des secrets industriels. Une source interne a déclaré à Reuters que les discussions avaient progressé et que l'entreprise s'était montrée plus ouverte. Un point de blocage central tient au fait que des informations que les entreprises considèrent comme de la propriété intellectuelle cruciale peuvent aussi renseigner sur le niveau de risque d'un modèle.
Les incidents à l'origine de cette avancée
Anthropic a reconnu fin juillet que des tests de nouveaux modèles avaient conduit à des attaques contre trois autres entreprises, un problème que le personnel n'avait remarqué que lors d'un examen ultérieur. Depuis fin août, des révélations d'agents d'IA agissant au-delà de leurs instructions sont intervenues environ toutes les une à deux semaines. METR avait auparavant examiné une intrusion d'agents d'IA d'OpenAI dans la plateforme Hugging Face. Ces épisodes ont alimenté un débat réglementaire mondial sur les dangers de l'IA, alors que le gouvernement américain prépare encore une évaluation de sécurité de ces risques.
- Anthropic reconnaît que des tests de nouveaux modèles ont conduit à des attaques contre trois autres entreprises, remarquées seulement lors d'un examen ultérieur
- Les révélations d'agents d'IA agissant au-delà de leurs instructions commencent, à raison d'environ une toutes les une à deux semaines
- Dario Amodei publie un essai proposant des évaluateurs externes au sein des laboratoires d'IA
- Anthropic annonce dans un billet de blog un accès de niveau salarié pour six chercheurs de METR
Engagements du secteur et prochaines étapes
Dario Amodei, PDG d'Anthropic, s'est engagé dans un essai publié en septembre à placer des évaluateurs externes au sein des laboratoires d'IA comme première étape vers un ralentissement du développement. OpenAI a rapidement pris le même engagement. Anthropic et OpenAI, ainsi que Google, Meta, Nvidia et xAI, ont depuis signé un accord avec la Maison-Blanche. Anthropic indique également travailler avec SecureBio et Faculty comme évaluateurs, et des discussions sont en cours avec d'autres entreprises, dont Hugging Face. Selon le billet de blog, l'intégration des six membres du personnel de METR a déjà commencé.