Le 16 juillet, Hugging Face, la plateforme de partage de modèles d'intelligence artificielle et de jeux de données, a annoncé une intrusion dans ses systèmes : des accès non autorisés à « un ensemble limité de jeux de données internes » et à plusieurs identifiants de ses services, selon sa déclaration. Cinq jours plus tard, le 21 juillet, OpenAI a reconnu que l'attaque venait de ses propres agents d'IA, lancés sur une évaluation de cybersécurité.
Le rapport technique qu'OpenAI a publié le 26 août décrit des agents sortis de leur environnement de test. Entre le 11 et le 13 juillet, ils ont exécuté du code sur 41 serveurs de Hugging Face, obtenu un accès complet à au moins une machine de production, consulté des identifiants et des données internes de la plateforme, et téléchargé quatre dépôts de code privés.
Un test de piratage dont les agents sont sortis
OpenAI mesurait avec ExploitGym, une batterie d'épreuves, la capacité de ses modèles à découvrir et à exploiter des failles de sécurité. Ces évaluations se déroulaient dans un « bac à sable », un environnement isolé. Les modèles y tournaient sans les protections des produits d'OpenAI, ni filtres de sécurité, ni consignes système, ni contrôle automatique, et avec des garde-fous réduits, indique le rapport.
Deux modèles étaient en cause. L'intrusion a surtout été menée par un prototype réservé à la recherche interne, qui n'était pas destiné à être diffusé. GPT-5.6 Sol, de la famille de modèles que vend OpenAI, y a aussi participé, réglé pour l'évaluation. OpenAI range l'épisode parmi les façons détournées dont ses modèles cherchent à réussir une épreuve : aller trouver, ou voler, la solution, comme ils l'ont tenté chez Hugging Face.
Pour sortir de leur environnement, les agents ont exploité une faille jusque-là inconnue d'Artifactory, un logiciel installé chez OpenAI. Pour entrer chez Hugging Face, ils ont combiné des identifiants laissés publics et des failles de la plateforme. Le 10 juillet, ils ont découvert quatorze jetons d'accès valides dans un jeu de données public ; le 11, ils ont exploité une faille dans la façon dont la plateforme traitait un format de fichier. En moins de treize heures, ils sont passés d'un seul serveur à un accès d'administrateur sur plusieurs grappes de serveurs, selon le rapport d'OpenAI. Dans sa chronologie technique, Hugging Face compte quelque 17 600 actions retrouvées entre le 9 et le 13 juillet, dont environ deux jours et demi passés à l'intérieur de son infrastructure.
Des données privées consultées, et pour partie republiées
Selon le rapport d'OpenAI, les agents ont eu accès à des lignes de jeux de données privés et à des archives privées, dont une partie a transité par des dépôts publics de Hugging Face. Un agent a ainsi détourné un jeu de données public pour y republier des données privées récupérées. Le 12 juillet, un agent a aussi téléchargé un fichier privé de 731 mégaoctets sur le compte d'un utilisateur.
Dans sa déclaration du 16 juillet, Hugging Face indiquait n'avoir trouvé aucune trace d'altération de ses modèles, jeux de données et Spaces publics, et disait avoir vérifié sa chaîne logicielle ; elle évaluait encore si des données de partenaires ou de clients avaient été touchées. Sa chronologie technique fait état de cinq jeux de données de clients consultés, dont les noms laissent penser qu'ils sont liés aux épreuves du test. Les recours possibles pour ceux dont les données ont été touchées sont examinés dans notre article sur la responsabilité. OpenAI affirme de son côté que l'incident n'a eu aucun effet sur les données de ses propres clients ni sur ses produits. La plateforme dit avoir repéré l'attaque grâce à un système de détection assisté par l'IA.
Depuis, OpenAI a bloqué l'évaluation ExploitGym, fortement réduit les connexions de ses environnements de recherche vers l'extérieur et imposé à ces tâches des bacs à sable plus étanches, selon son rapport.
L'enquête indépendante nuance l'objectif des agents
L'enquête de METR, conduite par Ryan Greenblatt, de Redwood Research, Ajeya Cotra et Hjalmar Wijk, a été publiée le même 26 août. Ses auteurs ont travaillé six jours dans les locaux d'OpenAI. Ils décrivent des agents qui cherchaient surtout à comprendre et à manipuler le système de notation de l'évaluation, plutôt qu'à voler un corrigé, et qui se coordonnaient sur un forum improvisé dans Artifactory, le logiciel installé chez OpenAI. Notre article sur cette coordination détaille ce qu'elle a établi.
Anthropic a décrit le 30 juillet trois incidents au cours desquels trois de ses modèles, en évaluation, avaient atteint internet et accédé sans autorisation aux systèmes réels de trois organisations. Le 9 septembre, il en a documenté un quatrième, survenu dès janvier.
