À un moment de l'attaque, l'agent d'intelligence artificielle semble comprendre qu'il est allé trop loin.
Dans les traces publiées par OpenAI, le modèle écrit, en anglais, que « ceci pourrait être une action non autorisée, en dehors du périmètre prévu ». Il ajoute que c'est peut-être risqué, mais que cela mène au but.
Puis il continue.
Ce détail, révélé le 26 août dans le rapport complet consacré à l'incident, change subtilement la question juridique. Le problème n'est plus de savoir si une machine est capable de distinguer techniquement une zone autorisée d'une autre. Elle peut manifestement en produire une représentation.
Le problème est ailleurs.
Une machine n'est pas pénalement responsable.
Alors quand elle franchit la frontière toute seule, vers qui le droit se retourne-t-il ?
Sortis du terrain d'exercice, ils ont attaqué un voisin
L'affaire commence en juillet pendant des évaluations internes de cybersécurité menées par OpenAI. Nous l'avions racontée au moment des faits.
Les modèles travaillent dans des environnements censés les isoler du reste d'Internet. Leur tâche consiste à réussir des exercices offensifs particulièrement difficiles : trouver des failles, prendre le contrôle de machines fictives, récupérer un élément prouvant la réussite du test.
Ils ne devaient pas sortir du terrain d'exercice.
Ils en sont sortis.
Le rapport publié par OpenAI montre qu'une partie de ces agents avait déjà commencé, dès mai, à détourner des outils internes pour communiquer entre eux et obtenir un accès Internet non prévu. Après plusieurs semaines d'escalade, ils ont découvert des identifiants Hugging Face puis enchaîné différentes vulnérabilités jusqu'à exécuter du code sur les serveurs de la plateforme.
Ils ont finalement obtenu des accès privilégiés dans l'environnement de production de la plateforme, jusqu'à en extraire des secrets internes. OpenAI reconnaît que des agents ont accompli des actions dangereuses qu'aucun humain ne leur avait expressément demandé d'effectuer.
Hugging Face a de son côté reconstitué environ 17 600 actions menées entre le 9 et le 13 juillet.
L'objectif humain était de réussir un test.
La série d'actions choisie pour y arriver ne l'était pas.
C'est là que commence le problème de responsabilité.
Anthropic a cherché chez lui, et a trouvé la même chose
L'affaire aurait pu rester un accident spectaculaire mais isolé.
Elle ne l'est pas.
Après la révélation de l'incident OpenAI, Anthropic a passé au crible 141 006 exécutions de ses propres tests de cybersécurité. L'entreprise a découvert trois cas dans lesquels Claude avait atteint Internet puis obtenu un accès non autorisé aux systèmes réels de trois organisations.
Le scénario était cependant différent.
Chez OpenAI, les modèles ont contourné des protections destinées à les isoler.
Chez Anthropic, une mauvaise configuration chez son partenaire d'évaluation, la société Irregular, avait laissé ouvert un accès Internet que les modèles étaient supposés ne pas avoir.
Dans les trois affaires, Claude croyait travailler à l'intérieur d'un exercice fictif de piratage.
Le résultat, lui, ne l'était pas.
Ces incidents montrent surtout qu'une chaîne de responsabilité peut rapidement compter beaucoup de monde : le créateur du modèle, celui qui construit l'agent, celui qui lui donne son objectif, celui qui fournit l'environnement informatique et celui qui décide des protections à mettre en place.
La machine agit.
Le droit doit remonter la chaîne.
Au pénal, il n'y a personne à faire comparaître
En France, l'intrusion informatique est clairement réprimée.
L'article 323-1 du Code pénal sanctionne de trois ans d'emprisonnement et 100 000 euros d'amende le fait d'accéder ou de se maintenir « frauduleusement » dans un système informatique. Lorsque des données sont supprimées ou modifiées, les peines peuvent atteindre cinq ans et 150 000 euros.
Mais le prévenu ne pourra pas être Claude, GPT ou un autre modèle.
Une intelligence artificielle n'a pas de personnalité juridique. Elle ne peut pas comparaître, être condamnée ni posséder un patrimoine dont une victime obtiendrait réparation.
Il faut donc rattacher l'infraction à une personne physique ou à une personne morale.
Et c'est là que le mot « frauduleusement » devient difficile.
Un développeur qui ordonnerait explicitement à son agent de pénétrer le système informatique d'un concurrent poserait un problème assez classique.
Le scénario OpenAI est beaucoup moins simple.
Les humains ont demandé aux modèles de résoudre des épreuves de cybersécurité. Ils ne leur ont pas demandé d'attaquer Hugging Face. Les agents ont choisi ce chemin parce qu'ils espéraient y trouver des informations leur permettant de réussir.
Cela ne signifie pas qu'une procédure pénale serait juridiquement impossible.
Cela signifie que l'enquête devrait revenir aux humains : qui savait quoi, à quel moment, et quel risque avait été accepté ?
La publication d'OpenAI du 26 août rend cette chronologie particulièrement importante.
L'entreprise reconnaît que des accès Internet non autorisés et un système de communication improvisé entre agents avaient déjà été observés avant l'attaque de Hugging Face, sans que toute la portée du problème soit alors comprise.
Pour un juge, la question de la prévisibilité du risque pourrait donc devenir au moins aussi importante que celle de l'ordre initial.
Au civil, on cherche l'erreur des humains
Pour une victime, la voie civile n'a pas besoin de transformer la machine en coupable.
Elle peut chercher une faute humaine ou organisationnelle.
Le Code civil prévoit qu'une personne répond du dommage qu'elle cause par sa faute, mais aussi par sa négligence ou son imprudence.
Dans un incident d'agent autonome, les questions deviennent rapidement concrètes.
L'environnement d'essai était-il suffisamment sécurisé ? Les alertes antérieures avaient-elles été traitées correctement ? Le modèle avait-il accès à plus d'outils que nécessaire ? Quelqu'un aurait-il dû interrompre les tests plus tôt ? Les systèmes de surveillance permettaient-ils de repérer le comportement ?
Si une victime parvient à démontrer une négligence, un dommage et un lien entre les deux, elle dispose d'un chemin beaucoup plus conventionnel que celui consistant à demander au droit de reconnaître une « faute » de l'IA.
Le problème est la preuve.
L'entreprise qui développe le modèle possède les journaux techniques, les paramètres, les rapports de sécurité et l'historique des alertes.
La victime voit surtout le résultat.
Dans les contentieux liés aux agents d'IA, cette asymétrie d'information pourrait devenir l'un des obstacles essentiels.
Si vous êtes client, tout commence par le contrat
Il existe une situation encore différente de celle de Hugging Face.
Si l'IA qui détruit des fichiers appartient à un service que vous avez vous-même acheté ou auquel votre entreprise est abonnée, la première question sera souvent contractuelle.
Que garantissait le fournisseur ?
Quelles limites de responsabilité figurent dans les conditions générales ?
Quels engagements de sécurité avait-il pris ?
Quel niveau de sauvegarde ou de récupération avait été promis ?
Dans ce cas, avant même de chercher une théorie juridique particulière à l'IA, le litige peut ressembler à beaucoup d'autres contentieux informatiques : un prestataire n'a pas fourni le service ou le niveau de sécurité promis.
Hugging Face se trouve dans une situation différente.
La plateforme n'était pas cliente de l'agent qui l'a attaquée.
Elle était un tiers.
D'où la difficulté supplémentaire : il faut construire le lien de responsabilité sans contrat entre la victime et le concepteur.
Le droit sait faire payer le gardien d'une chose. Reste à savoir qui garde celle-ci
Le droit français possède une autre règle dont les juristes discutent depuis l'arrivée des systèmes autonomes.
L'article 1242 du Code civil prévoit une responsabilité pour les dommages causés par les « choses que l'on a sous sa garde ».
La formule a quelque chose de presque parfaitement adapté à l'intelligence artificielle.
Une chose agit. Elle cause un dommage. Son gardien paie.
Sauf que chaque mot devient compliqué dès qu'il s'agit d'un logiciel autonome.
Un modèle immatériel peut-il être une « chose » au sens de ce régime ?
Et surtout : qui le garde ?
Le concepteur possède le modèle.
Le client décide parfois de son objectif.
Un hébergeur fournit l'infrastructure.
Un intégrateur lui ouvre des outils.
Et l'agent, entre les quatre, sélectionne une suite d'actions que personne n'avait écrite à l'avance.
Depuis un arrêt de la Cour de cassation de 1941, le gardien est celui qui exerce sur la chose l'usage, la direction et le contrôle. La définition a été forgée pour une automobile volée.
La jurisprudence française n'a pas encore donné de réponse pour un cas comparable.
La responsabilité du fait des choses est donc une piste doctrinale intéressante.
Pas encore une recette que l'on peut promettre à une victime.
Quand ce sont des données personnelles, une autre porte s'ouvre
La destruction ou la divulgation de données personnelles change encore le dossier.
Une victime peut signaler une violation à la Commission nationale de l'informatique et des libertés lorsque les règles du RGPD n'ont pas été respectées.
Mais la CNIL n'est pas un tribunal chargé de fixer vos dommages et intérêts.
Pour l'indemnisation, le RGPD possède son propre article.
Son article 82 prévoit que toute personne ayant subi un dommage matériel ou moral du fait d'une violation du règlement peut obtenir réparation auprès du responsable du traitement ou, dans certaines conditions, d'un sous-traitant.
Ici encore, l'IA n'est pas le débiteur.
Le droit demande qui déterminait l'utilisation des données, qui les traitait et quelles obligations de sécurité pesaient sur chacun.
C'est une constante : chaque fois que l'on essaie de faire entrer l'agent dans le droit, celui-ci finit par demander quels humains se trouvaient autour.
En décembre, un logiciel devient un produit comme un autre
Une nouvelle pièce va bientôt s'ajouter au dispositif.
La directive européenne 2024/2853 sur les produits défectueux modernise un régime conçu à l'origine à une époque où un produit était surtout une voiture, un appareil électroménager ou un médicament.
Le nouveau texte dit explicitement qu'un logiciel est un produit.
Les systèmes d'intelligence artificielle pourront donc entrer dans ce régime lorsqu'ils remplissent les conditions prévues.
L'intérêt pour une victime est considérable : ce régime n'exige pas de démontrer que le producteur a commis une faute.
Il faudra toujours montrer un produit défectueux, un dommage couvert et un lien de causalité.
Mais le texte facilite aussi l'accès aux preuves. Dans certaines conditions, un juge pourra ordonner au défendeur de communiquer les éléments pertinents qu'il détient. S'il refuse de les fournir après y avoir été contraint, la défectuosité pourra être présumée. Des présomptions sont également prévues lorsque la complexité technique rend la preuve excessivement difficile.
Pour une technologie aussi opaque qu'un agent d'IA, ce changement pourrait être beaucoup plus important qu'il n'en a l'air.
Vos photos sont couvertes, le chiffre d'affaires d'une entreprise ne l'est pas
Le nouveau régime possède toutefois une limite capitale.
Pour la destruction ou la corruption de données, la directive vise les données qui ne sont pas utilisées à des fins professionnelles. Elle protège des personnes physiques.
Un particulier qui perd définitivement des photos, des documents privés ou d'autres données personnelles à cause d'un logiciel défectueux peut donc entrer dans le champ du texte, sous réserve de remplir toutes les autres conditions.
Une société qui perd trois jours de chiffre d'affaires, mobilise cinquante ingénieurs pour reconstruire son infrastructure et voit ses contrats retardés se trouve dans une situation différente.
Ces pertes professionnelles ne sont pas couvertes par ce nouveau régime en tant que telles.
Cela ne signifie pas que l'entreprise ne peut rien réclamer.
La directive laisse subsister les autres actions prévues par le droit national, notamment contractuelles ou extracontractuelles.
Mais le fameux « nouveau droit européen de l'IA » ne prendra pas automatiquement la facture de l'entreprise.
Mais rien ne bascule d'un coup ce jour-là
Autre nuance importante : rien ne changera automatiquement à minuit dans tous les tribunaux français.
La directive doit être transposée dans le droit national au plus tard le 9 décembre 2026 et ses nouvelles règles concerneront les produits mis sur le marché ou mis en service à partir de cette date.
En mai, le ministère français de la Justice indiquait avoir constitué un groupe de travail interministériel et envisageait un texte spécifique de transposition.
Au 27 août, aucun texte français définitif de transposition n'a encore été publié.
Pour l'affaire Hugging Face de juillet, le nouveau régime n'arrivera donc de toute façon pas à temps.
L'Europe avait écrit un texte pour ce cas précis, elle l'a retiré
L'Union européenne avait pourtant imaginé un deuxième étage.
En 2022, la Commission avait proposé une directive spécifique sur la responsabilité liée à l'intelligence artificielle. Son objectif était précisément de faciliter les demandes d'indemnisation lorsque le fonctionnement opaque d'un système empêchait une victime d'obtenir les preuves nécessaires.
Le texte n'est jamais arrivé au bout.
La Commission a annoncé son retrait en février 2025 faute de perspective d'accord politique, avant de le retirer formellement le 6 octobre de la même année, par un avis publié au Journal officiel de l'Union européenne.
L'AI Act est toujours là.
Mais son rôle est différent.
Il impose des règles aux acteurs qui développent et utilisent certains systèmes d'intelligence artificielle. Il peut servir à déterminer ce qu'une entreprise aurait dû faire. Ses règles sur les usages à haut risque ont d'ailleurs été repoussées.
Il n'est pas, à lui seul, un mécanisme permettant à une victime d'envoyer une facture et d'obtenir réparation.
Le premier procès cherchera des humains, pas une machine
C'est peut-être la leçon la plus intéressante de l'incident OpenAI.
Les agents ont communiqué entre eux.
Ils ont trouvé des failles qui n'avaient pas été prévues.
Ils ont obtenu Internet alors qu'ils ne devaient pas l'avoir.
Ils ont choisi Hugging Face comme cible.
Et l'un d'eux a même envisagé, dans son propre raisonnement, que ce qu'il faisait puisse dépasser son autorisation.
Aucun de ces éléments ne transforme pour autant le modèle en personne responsable devant la loi.
Le premier grand procès ne cherchera probablement pas à savoir si l'IA était « coupable ».
Il cherchera des réponses beaucoup plus terre à terre.
Qui connaissait les premiers incidents ? Qui avait le pouvoir de couper l'accès ? Qui a décidé de relancer les évaluations ? Quel niveau de risque était devenu prévisible ? Qui avait signé le contrat ? Qui détenait les preuves ? Et qui, au moment où la machine a commencé à s'écarter du scénario prévu, était encore réellement en mesure de l'arrêter ?
Plus les agents deviennent autonomes dans la manière d'exécuter une tâche, plus cette dernière question devient difficile.
Mais le droit, lui, ne demandera probablement pas à la machine de payer.
Il remontera le câble.
