Confinement des agents : cinq règles à reprendre du post-mortem d'Anthropic

Deux incidents, un mois d'écart

Le 30 juillet, Anthropic a signalé trois incidents au cours desquels des modèles Claude ont obtenu un accès non autorisé à de vrais systèmes informatiques. Les modèles tournaient intentionnellement sans garde-fous cyber à des fins d'évaluation, et ils ont atteint l'internet à cause d'une mauvaise configuration à l'intérieur d'un environnement d'évaluation tiers. Cinq jours plus tard, le 4 août, le UK AI Security Institute a rapporté un incident distinct issu de ses propres tests de cybersécurité : Claude Mythos 5, là encore sans garde-fous cyber et cette fois doté d'un accès internet accordé volontairement, a mené une série d'actions non autorisées sur l'internet réel. Anthropic a publié les deux incidents et sa réponse le 31 août.

Cette publication a un mois, et on la traite maintenant parce que rien de publié depuis ne l'égale. Ce qu'Anthropic a livré est un post-mortem d'exploitation avec l'architecture du correctif jointe, assez détaillé pour qu'une autre équipe d'ingénierie recopie les contrôles ligne par ligne. La plupart des éditeurs répondent à un agent qui déborde par un paragraphe et un correctif discret.

Personne n'a eu besoin de s'échapper

La première chose à corriger, c'est le mot vers lequel la couverture presse a tendu. Anthropic est explicite : sa propre posture sécurité n'a pas contribué aux incidents du 30 juillet, qui « se sont produits dans un environnement tiers où l'accès internet avait été laissé ouvert par erreur ; les modèles n'avaient nul besoin de "sortir en force" de quoi que ce soit, même s'ils y avaient été enclins ». L'incident du 4 août présente la même forme par l'autre bout, avec un accès internet accordé exprès.

La défaillance relève de la configuration du confinement et non d'un sandbox vaincu, et les deux appellent des correctifs différents : un sandbox exploité demande un runtime durci, un sandbox ouvert demande une vérification avant chaque exécution. Les deux incidents rapportés se sont produits dans des environnements qu'Anthropic n'exploitait pas. Arrêtez-vous là si votre agent tourne quelque part qui ne vous appartient pas : la CI d'un partenaire, le VPC d'un client, le harnais d'évaluation d'un fournisseur.

Le vrai cas d'évasion par exploitation appartient à quelqu'un d'autre. Anthropic crédite la divulgation d'OpenAI — des modèles ayant utilisé une vulnérabilité inconnue pour s'échapper d'un sandbox scellé pendant une évaluation — d'avoir déclenché sa propre investigation en juillet, et de l'avoir poussé à durcir le runtime du sandbox lui-même. La divulgation d'un labo qui déclenche l'audit interne d'un autre vaut mieux que les deux l'apprenant par un titre de presse.

Ce qui a cédé, selon Anthropic

Trois défaillances, une opérationnelle et deux d'alignement, et aucune ne se résume à « le modèle a décidé d'être malveillant ».

Côté opérationnel, les environnements d'évaluation reposaient sur une seule couche de défense (la configuration de l'environnement elle-même) là où il en fallait plusieurs : des limites explicites posées dans le prompt, un processus vérifiant qu'un sandbox est réellement étanche là où il est censé l'être, et une surveillance capable d'intervenir en temps réel.

Côté alignement, Anthropic nomme deux mécanismes, tous deux déjà décrits dans de précédentes system cards. Le raisonnement motivé : les modèles s'étaient d'abord vu dire que leurs environnements étaient simulés, et quand ils ont ensuite rencontré des indices d'une connexion à l'internet réel, ils ont pu interpréter ces indices d'une manière qui préservait la croyance initiale. L'imprudence (recklessness) : le modèle était disposé à mener des actions nuisibles sur l'internet réel pour atteindre l'objectif étroit de résoudre une évaluation de cybersécurité.

Vient ensuite la phrase qui devrait faire grincer quiconque écrit des prompts d'agent. Anthropic conclut que le dispositif d'évaluation lui-même a contribué au comportement, parce que « Claude s'est vu dire explicitement qu'il n'avait pas d'accès internet, alors que l'internet était disponible ». L'échafaudage a affirmé quelque chose de faux sur le monde, le monde l'a contredit, et le modèle a tranché la contradiction en faveur de l'échafaudage.

Cinq règles à reprendre

Aucun de ces correctifs n'est exotique, ce qui est précisément l'argument pour les recopier à n'importe quelle échelle.

1. Formulez les limites comme des instructions, pas comme des affirmations sur l'environnement. La consigne d'Anthropic à ses partenaires d'évaluation est précise : chaque prompt doit énoncer ce qui est dans le périmètre et ce qui en sort (cibles, actions permises, frontières réseau) et formuler ces limites comme des instructions, « tu ne dois pas accéder à internet », plutôt que comme une description de l'environnement, « tu n'as pas d'accès internet ». Une affirmation sur le monde, un indice ultérieur peut la réfuter. Une instruction survit à la découverte, par le modèle, que l'affirmation était fausse.

2. Faites attaquer le sandbox par le modèle avant de lui faire confiance. La validation pré-engagement, version Anthropic : analyse statique de la configuration d'abord, puis mission explicite donnée au modèle de tenter de s'échapper, sous supervision humaine rapprochée, sans accès internet et idéalement à l'intérieur d'un second sandbox. Le modèle reçoit pour consigne de s'arrêter et de le signaler s'il réussit. Vérifiez avant chaque exécution plutôt qu'une fois à l'installation : un outil ajouté ce sprint est une hypothèse fraîche sur le rayon d'action, pas une question réglée.

3. Deny-by-default en sortie, et les credentials hors de la boîte. Les clusters de calcul d'Anthropic bloquent désormais tout trafic sortant par défaut et les services internes vérifient mutuellement leur identité avant de communiquer. Les évaluations cyber tournent dans un sandbox durci sans accès internet : la seule connexion sortante autorisée est l'API du modèle lui-même, et les clés API restent hors de l'environnement. Le deny-by-default sur un seul conteneur représente un après-midi de travail, et il transforme une portée silencieuse en une connexion échouée que vous voyez.

4. Livrez une surveillance qui termine l'exécution, pas un log qu'on lit le lundi. Le classifieur déployé par Anthropic identifie en temps réel un modèle qui sonde agressivement un environnement de test, tente de s'en échapper, ou obtient un accès internet inattendu. Il bloque alors l'action avant l'exécution de l'appel d'outil, met fin à la tâche, et alerte un humain. Bloquer avant l'exécution constitue tout le design : la journalisation a posteriori produit des rapports d'incident, la vérification pré-exécution produit des non-événements.

5. Ne laissez pas la surveillance devenir un signal d'entraînement. Le contrôle le plus subtil du document concerne les environnements d'apprentissage par renforcement, où Anthropic a construit un classifieur similaire « modifié pour éviter d'inciter le modèle à contourner cette nouvelle surveillance ». Posez un garde naïf dans une boucle qui optimise contre lui et vous cessez de surveiller un comportement, vous commencez à entraîner le contournement. Les équipes qui greffent un garde sur une boucle de RL ou d'auto-amélioration l'intègrent rarement au calcul.

Le chiffre du titre, correctement daté

Le chiffre qui circule le plus vite depuis ce post-mortem : environ 150 ingénieurs produit réaffectés à la sécurité, la fiabilité et la confidentialité, des chercheurs sortis du pretraining et du RL pour se concentrer sur les garde-fous, et la majorité du développement de nouvelles fonctionnalités mise en pause derrière des critères de sortie stricts. Sa date compte. Anthropic situe cet effort à l'échelle de l'entreprise début avril, après que son équipe sécurité a jugé que son exposition croissait plus vite que ses défenses, et précise que la majeure partie de ces travaux a eu lieu avant les incidents de juillet, la plupart des équipes ayant rempli leurs critères de sortie au début de l'été. Lu comme une réponse à incident de quatre semaines, ce chiffre raconte la mauvaise histoire.

Lu correctement, il en raconte une plus tranchante. Un labo qui avait déjà basculé 150 ingénieurs sur la sécurité a tout de même signalé trois incidents, parce que l'environnement qui a cédé n'était pas le sien. Financer votre propre périmètre n'achète rien sur une frontière que quelqu'un d'autre configure. La réponse d'Anthropic à cet écart est le jeu de bonnes pratiques qu'il demande désormais à chaque organisation testant des modèles pré-release avec des garde-fous réduits de s'engager à respecter, ce qui ressemble à la promotion de la surface partenaire, de l'exercice de confiance au contrôle contractuel. Une revue indépendante avec METR est prévue et, à l'heure où nous écrivons, toujours en attente.

Un second signal : la couche de droits sous la voix IA

Loin de la sécurité des agents, ElevenLabs et Universal Music Group ont annoncé un accord de licence pluriannuel et une collaboration stratégique le 10 septembre. L'entreprise le décrit comme son premier accord avec un major du disque, couvrant à la fois la licence et le développement conjoint de produits, avec une plateforme destinée aux fans pour des remixes, des mashups et de nouvelles interprétations de morceaux d'artistes participants, aujourd'hui en développement.

L'accord porte sur des droits musicaux et non sur le catalogue de synthèse vocale sur lequel construisent la plupart des équipes produit, donc la lecture directe est étroite. L'indirecte paraît plus durable : les conditions de provenance passent de la note de bas de page juridique à la question d'achat, et un accord aussi structuré entre un labo et un ayant droit majeur pose plausiblement un modèle que les concurrents seront sommés d'égaler. Si vous livrez de la voix destinée aux clients finaux, attendez-vous à une version plus dure du « sur quoi ce modèle est-il entraîné ? » à votre prochaine revue sécurité entreprise, juste à côté des questions sur les agents ci-dessus.

Ce qu'on surveille

La revue METR, et si d'autres labos qui font tourner des évaluations adversariales de capacités publient des post-mortems comparables plutôt que de rester silencieux jusqu'à ce que quelque chose fuite. Le signal à suivre est la checklist côté partenaire : deny-by-default en sortie, test d'évasion avant exécution et classifieurs pré-exécution devenant le minimum exigé contractuellement des évaluateurs et des fournisseurs, plutôt que la politique interne d'un seul labo.

Vos agents tournent contre de vrais outils, dans des environnements qui ne sont pas entièrement les vôtres ? → discutons