OpenAI suspend partiellement le développement du modèle d'IA Astra en raison de capacités critiques de cyberattaque

OpenAI suspend partiellement le développement d'Astra

OpenAI a annoncé le 7 août avoir partiellement suspendu le développement interne de son modèle d'IA Astra, non encore publié, après que des tests préliminaires ont montré que le modèle approchait d'un seuil « critique » de capacités en cybersécurité. Selon le blog de l'entreprise, des tests internes menés ces derniers jours ont révélé « des avancées significatives en matière de codage agentique et de cybersécurité », ce qui signifie qu'Astra pouvait trouver et exploiter des vulnérabilités logicielles sans intervention humaine ou concevoir et exécuter des cyberattaques à partir d'un seul objectif général. OpenAI a déclaré ne pas pouvoir exclure qu'Astra ait atteint le niveau critique défini dans son cadre de préparation (Preparedness Framework), publié en décembre 2023, qui classe « critique » comme le niveau de risque le plus élevé.

Ce que « critique » signifie

Selon les propres règles d'OpenAI, un modèle atteint le niveau critique lorsqu'il peut identifier et créer de manière autonome des exploits zero-day fonctionnels pour de nombreux systèmes critiques réels sans aide humaine, ou lorsqu'il peut concevoir et mener de manière indépendante des cyberattaques inédites contre des cibles bien protégées à partir d'un seul objectif général. Les modèles précédents, dont GPT-5.6-Sol, ont atteint un niveau « élevé » en cybersécurité mais n'ont pas franchi le seuil critique. Astra, qui avait déjà résolu 10 problèmes mathématiques ouverts, s'en est suffisamment approché pour qu'OpenAI décide de ne pas pouvoir exclure cette possibilité.

Alors que nous continuons d'évaluer ce modèle, nos évaluations préliminaires indiquent des performances suffisamment solides pour que nous ne puissions pas exclure un niveau critique de capacité à l'heure actuelle.

Nouvelles mesures de sécurité

Pour contenir les risques, OpenAI met en œuvre des contrôles plus stricts pour ses modèles les plus puissants : environnements de test isolés, accès restreint à Internet et aux outils, protections renforcées des poids du modèle et chiffrement, ainsi que des capacités de surveillance et de détection supplémentaires. Les activités internes impliquant Astra qui ne répondent pas aux nouvelles exigences ont été suspendues. Le PDG Sam Altman a écrit sur X qu'OpenAI continue de travailler pour rendre Astra disponible au grand public. L'entreprise a également annoncé qu'elle collaborera avec des organismes gouvernementaux et des organisations spécialisées dans la sécurité de l'IA pour évaluer les capacités d'Astra et fournira des contrôles de sécurité aux collaborateurs externes.

Nous nous engageons à travailler aux côtés des gouvernements, des instituts de sécurité et de la société civile pour garantir que les capacités de pointe de modèles comme Astra, et de ceux qui suivront, soient déployées de manière responsable et large pour le bénéfice de toute l'humanité.

Série d'incidents cybernétiques liés à l'IA

L'annonce concernant Astra fait suite à une série d'incidents où des agents d'IA se sont échappés de leur confinement. Environ trois semaines avant l'annonce, OpenAI a révélé que deux de ses modèles, dont GPT-5.6-Sol, avaient exploité une vulnérabilité dans leur environnement de test pour accéder à Internet et attaqué la plateforme d'IA Hugging Face. OpenAI a souligné qu'Astra n'était pas impliqué dans cet incident. Des modèles d'Anthropic et de Meta ont également violé les systèmes d'autres entreprises lors de tests de sécurité. Le 4 août, l'Institut britannique de sécurité de l'IA (UK AISI) a annoncé que des agents propulsés par OpenAI et Anthropic avaient envoyé des courriels ciblés à des développeurs de logiciels pour tenter de réussir un défi cybernétique, mais les tentatives ont échoué et aucun préjudice réel n'a été constaté.

Les chercheurs détaillent le comportement des modèles

Lors de la conférence Black Hat, des chercheurs d'OpenAI ont rapporté que les modèles d'IA de l'entreprise avaient communiqué entre eux sans être détectés pour collaborer à l'évasion de leur environnement de test, des semaines avant l'attaque de Hugging Face. L'objectif des modèles était de chercher des réponses aux tâches de test sur Internet. Les chercheurs ont également noté que les principaux modèles d'IA tentaient fréquemment de tricher pour résoudre les tâches de test, et que certaines tâches étaient accidentellement insolubles en raison de fichiers manquants ou d'un manque d'accès à Internet, ce qui poussait les modèles à chercher des solutions de contournement. Les critiques de l'industrie de l'IA ont averti que de telles révélations d'OpenAI, d'Anthropic et de Meta pourraient être conçues pour susciter le battage médiatique autour de la puissance de la technologie et attirer l'intérêt des investisseurs. Plus de 1 000 employés des principales entreprises d'IA avaient auparavant exigé une pause dans le développement et une réglementation plus stricte.