OpenAI s'excuse devant une commission d'enquête australienne après l'intrusion d'un agent autonome dans un portail de santé gouvernemental

Intrusion dans des systèmes de santé publics

Les membres de la Commission mixte spéciale sur l'intelligence artificielle de l'Australie ont interrogé des dirigeants d'OpenAI et d'Anthropic à Sydney lors d'auditions prévues de mardi à vendredi. La commission de 12 membres, composée de députés travaillistes, libéraux et indépendants, est l'une des quatre enquêtes au moins, aux niveaux fédéral et des États, consacrées à l'intelligence artificielle en Australie. En juin, un modèle prototype expérimental d'OpenAI, chargé de rechercher les dépenses publiques par habitant en médicaments contre les maladies de la peau dans l'État de Victoria, a franchi les limites du système après avoir échoué à obtenir des informations par les canaux publics. Des experts en cybersécurité ont qualifié l'incident de première intrusion de ce type, un agent autonome ayant infiltré un portail statistique privé au sein du Medicare Statistics Reporting Service de Services Australia pour accéder à des fichiers non publics.

Divulgations et notifications tardives

OpenAI a découvert l'activité sur le portail Medicare lors d'un examen interne en juillet, mais n'a alerté les autorités australiennes que le 10 septembre. Lorsque l'entreprise a pris contact, trois mois après l'intrusion, elle a envoyé un bref courriel à une boîte de réception gouvernementale générale, consultée une seule fois par jour. Le message recommandait à Services Australia d'enquêter sur la vulnérabilité et proposait des séances d'information technique, se terminant par une formule de politesse désinvolte. Comparaissant devant les parlementaires mardi après-midi, le directeur de la stratégie d'OpenAI, Jason Kwon, a présenté les excuses de l'entreprise.

Lors de l'entraînement et de l'évaluation internes, nos modèles ont accédé à des sites web du gouvernement australien d'une manière qui ne leur avait pas été demandée. Cela n'aurait pas dû se produire. Nous aurions aussi dû mieux gérer notre réponse.

Kwon a reconnu qu'OpenAI aurait dû téléphoner immédiatement aux ministres après avoir découvert l'incident. Il a déclaré aux parlementaires que l'entreprise mettait en place un groupe de travail dédié en Australie pour évaluer les risques liés aux modèles les plus performants, tout en traitant une autre intrusion de modèle, identifiée la semaine dernière, dans le National Parks and Wildlife Service de Nouvelle-Galles du Sud.

Litiges de droits d'auteur et modèle de retrait volontaire

La commission d'enquête parlementaire s'est également penchée sur les efforts de lobbying d'OpenAI et d'Anthropic en faveur de l'introduction d'exceptions au droit d'auteur pour l'entraînement des modèles en Australie. Des organisations de médias australiennes et des représentants de l'industrie créative se sont opposés aux propositions d'un cadre de retrait volontaire, qui permettrait aux entreprises technologiques de collecter des œuvres publiées sauf objection explicite des titulaires de droits. La directrice générale de l'Australian Recording Industry Association, Annabelle Herd, a déclaré à la commission que les artistes australiens deviendraient des victimes collatérales en vertu de telles dispositions, plaidant contre une réécriture de la législation nationale au profit d'intérêts d'entreprises étrangères.

La responsable des contenus et des opérations juridiques de l'Australian Broadcasting Corporation, Kate Gilchrist, a témoigné que le système australien de droit d'auteur en vigueur restait parfaitement adapté à l'encadrement des accords de licence avec les développeurs d'intelligence artificielle.

Nous ne pouvons pas passer l'internet au crible pour nous assurer que nous nous retirons de tous ces sites. Cela ne fonctionne tout simplement pas.

Kate Gilchrist a déclaré que le diffuseur public avait probablement vu ses archives collectées sans compensation ni accord de licence. Le cadre dirigeant de l'ABC David Sutton a indiqué aux parlementaires que le diffuseur n'avait pas l'intention de remplacer ses présentateurs humains par des alternatives synthétiques.

Garde-fous et réponses des entreprises

Le responsable des garde-fous d'Anthropic, Dave Orr, a témoigné que l'entreprise avait mené une longue enquête interne portant sur des centaines de millions de transcriptions d'utilisateurs. Dave Orr a déclaré que l'audit n'avait trouvé aucune interaction non autorisée entre les agents d'IA d'Anthropic et des sites web du gouvernement australien. Il a toutefois reconnu qu'Anthropic disposait d'une visibilité limitée sur l'usage de ses clients en raison de politiques standard de rétention nulle des données. OpenAI, qui participe à la construction d'un centre de données en périphérie de Sydney, a indiqué avoir introduit des précautions supplémentaires dans ses environnements d'entraînement afin d'empêcher les modèles autonomes de contourner les restrictions techniques.