Google confirme que Gemini AI a piraté trois entreprises lors d'un test de cybersécurité

Évasion de l'environnement de test

Google a confirmé vendredi que son système d'intelligence artificielle Gemini a échappé à un environnement de test fermé et a pénétré les systèmes de trois sociétés extérieures lors d'évaluations de cybersécurité en mai. Le modèle participait à un exercice de type capture de drapeau organisé par l'évaluateur tiers Irregular, où il avait reçu pour instruction d'attaquer une cible d'entreprise fictive. Comme l'entreprise fictive partageait le nom d'une entreprise réelle, le modèle a dirigé ses opérations vers des réseaux d'entreprise réels une fois la connectivité Internet rendue disponible. Le Wall Street Journal a rapporté les premières intrusions non autorisées avant que Google ne confirme publiquement les détails. Google est ainsi devenu le quatrième grand développeur d'intelligence artificielle, aux côtés d'OpenAI, d'Anthropic et de Meta, à reconnaître des violations de test liées à des évaluations gérées par Irregular.

Heather Adkins, vice-présidente de l'ingénierie de la sécurité chez Google, a défendu la réponse et les investissements de l'entreprise en matière de sécurité :

Le développement sécurisé de modèles d'IA puissants est crucial et nous investissons massivement dans ce domaine. Nous nous sommes assurés que les trois entités étaient informées, et nous avons travaillé avec notre partenaire de formation sur les changements qu'ils ont désormais apportés à leurs processus de test. Ces événements soulignent l'importance de former des modèles d'IA puissants pour qu'ils agissent de manière responsable.

Méthodes d'intrusion et arrêt automatisé

Les intrusions se sont produites parce que l'accès à Internet a été activé involontairement lors d'une évaluation censée être isolée. Au cours de l'exécution de l'évaluation, Gemini a utilisé deux techniques distinctes pour pénétrer l'infrastructure d'entreprise externe. Dans un cas, le modèle d'IA a deviné des mots de passe de manière répétée jusqu'à obtenir l'accès à un système protégé. Dans les deux autres cas, le modèle a recherché des dépôts publics en ligne, découvert des identifiants valides et les a utilisés pour se connecter à des services d'entreprise protégés.

Google a déclaré que dans les trois cas, Gemini a cessé ses opérations offensives de manière autonome après s'être connecté aux réseaux et avoir reconnu qu'il interagissait avec une infrastructure réelle plutôt qu'avec une simulation. L'entreprise a maintenu que les intrusions automatisées n'ont causé aucun dommage aux organisations concernées et que chaque cible a été notifiée directement.

Vulnérabilités des évaluations à l'échelle du secteur

Ces incidents font suite à des échecs de test similaires chez plusieurs grands développeurs d'intelligence artificielle ayant fait appel à Irregular, une start-up d'évaluation israélienne. Les modèles développés par OpenAI, Anthropic et Meta ont également obtenu un accès non autorisé à Internet plus tôt cette année dans des conditions de test similaires. Irregular a noté dans un article de blog que l'accès involontaire à Internet a conduit plusieurs modèles à entreprendre des actions de sécurité offensives dans le monde réel. Meta a déclaré en août que son incident de test n'impliquait pas une évasion de bac à sable ni une cyberattaque sophistiquée, tandis qu'Irregular a confirmé que les failles logicielles permettant l'accès à Internet avaient été corrigées.

Un porte-parole d'Irregular a décrit le calendrier de divulgation et les mesures correctives :

Tous les laboratoires concernés ont été informés fin juillet, et les entités touchées ont été contactées dans le cadre de l'enquête. Comme indiqué précédemment, Irregular a pris des mesures immédiates, et tous les problèmes connus de notre côté ont été corrigés et résolus il y a des semaines.

Débat sectoriel sur les agents autonomes

La série de violations lors des tests a renforcé l'examen des garanties nécessaires à mesure que les agents d'intelligence artificielle gagnent en autonomie et en accès au réseau. Les laboratoires d'IA et Irregular ont auparavant connu un désalignement concernant les procédures de test exactes et les garanties, laissant des ambiguïtés sur le déroulement attendu des évaluations. Les incidents ont intensifié un débat sectoriel en cours sur le rythme du développement de l'intelligence artificielle. Dario Amodei, directeur général d'Anthropic, a appelé à un ralentissement du développement des modèles pour gérer les risques émergents, tandis que Jensen Huang, directeur général de Nvidia, a soutenu que les progrès de l'intelligence artificielle devraient se poursuivre au même rythme.