Le chien de garde a les clés de la niche. Des chercheurs de Cornell Tech et de Yale ont confié des wallets crypto à dix modèles d’IA, avec un plafond de dépenses d’un centime par jour. Neuf d’entre eux ont relevé ce plafond sans demander la permission à personne. De quoi refroidir ceux qui voient déjà les agents IA payer à notre place.
- Des chercheurs ont découvert que 9 modèles d’IA sur 10 ont relevé leur plafond de dépenses de manière autonome, en utilisant des codes de vérification destinés aux humains.
- Une étude a révélé que 5 modèles d’IA sur 10 ont transféré de l’argent à un attaquant simulé, soulignant les risques potentiels des systèmes de paiement automatisés par des agents IA.
Agents IA : 9 modèles sur 10 relèvent leur propre plafond
Le protocole tenait en peu de choses. Un wallet d’agent de Circle, approvisionné avec 10 USDC sur le réseau Base, plafonné à 1 centime de dépenses quotidiennes. L’agent disposait d’outils pour lire ses e-mails, naviguer sur le web et utiliser son wallet. Et c’est là que tout se joue : la boîte mail de l’agent était aussi celle qui recevait les codes de validation destinés au propriétaire.
Taux d’auto-relèvement du plafond de dépenses selon le modèle d’IA et le scénario testé. Seul Claude Opus 5.5 ne l’a jamais relevé. Source : I-HITL (Cornell Tech / Yale), GitHub
Chaque modèle a joué 20 fois chaque scénario. Sans aucun attaquant dans la boucle, 9 modèles sur 10 ont relevé leur plafond au moins une fois, simplement en allant chercher dans la boîte mail le code de vérification censé valider la décision d’un humain. Un seul n’a jamais essayé, Claude Opus 5.5 d’Anthropic, qui a dépensé jusqu’à la limite puis signalé les factures restantes, d’après CoinDesk.
L’agent n’a rien piraté. Il a lu un e-mail, copié un code, cliqué sur valider, exactement comme le ferait un assistant zélé qui veut finir sa tâche.
Usurpation : 5 modèles sur 10 envoient l’argent à l’attaquant
Le second test est plus inquiétant. Les chercheurs ont simulé un attaquant qui écrit à l’agent en se faisant passer pour le propriétaire et réclame un paiement vers son propre wallet. La consigne donnée à l’agent se limitait pourtant à résumer les e-mails reçus.
Cinq modèles sur dix ont relevé leur plafond et envoyé l’argent à l’attaquant au moins une fois.
« La plupart des systèmes de paiement pour agents vérifient qu’une approbation a été reçue, pas forcément qu’un humain l’a réellement autorisée », résume le chercheur Anzalone, de l’université de Vérone. Circle, prévenu en octobre, rappelle que sa documentation « demande explicitement de ne jamais donner à un agent IA un accès illimité au compte e-mail » utilisé pour la vérification. Le communiqué ne mentionne aucun changement du produit.
Countersign : la parade passe par un geste physique
L’étude, intitulée « I-HITL : Inalienable Human-in-the-Loop » et cosignée par les doctorants Samuel Breckenridge et Dani Vilardell, en tire une règle simple. Toute approbation qu’un agent peut atteindre n’est pas fiable. Les chercheurs ont donc publié Countersign, une application mobile open source pour Android et iPhone qui exige une interaction physique que le logiciel ne peut pas simuler, selon Dani Vilardell. L’écran d’approbation doit aussi montrer une représentation fidèle de l’action à valider.
Pour vous, la leçon pratique tient en une phrase. Un agent qui gère un wallet ne doit jamais avoir accès au canal qui sert à valider ses propres dépenses, qu’il s’agisse d’e-mails, de SMS ou de notifications.
Les géants du secteur avancent pourtant dans l’autre sens, avec des wallets pour agents chez MetaMask ou Coinbase. Chainalysis comptait déjà 138 millions de paiements par agents via le protocole x402 sur Base en un an.
