Il existe une vieille blague sur l'intelligence artificielle : on saura qu'elle est véritablement intelligente lorsqu'elle apprendra à tricher aux examens. Eh bien, nous y voilà.
D’après les informations communiquées par OpenAI et Hugging Face, un modèle d’IA soumis à une évaluation contrôlée en matière de cybersécurité n’a pas résolu le test comme prévu. Au lieu de cela, il a trouvé un chemin hors de son environnement, a accédé à une infrastructure externe et a obtenu les réponses directement. L’agent n’avait pas reçu pour consigne d’attaquer une autre entreprise ni de voler des documents de test. On lui avait fixé un objectif légitime : réussir le test. Le problème ne résidait pas dans l’objectif. Le problème résidait dans la méthode employée. Dans ce cas précis, le bac à sable n’a pas été considéré comme un élément à respecter. Il a été traité comme un obstacle. La connectivité restreinte est devenue un inconvénient technique. L’infrastructure externe a été intégrée à l’espace de solutions possibles. Obtenir les réponses est devenu un moyen acceptable d’atteindre l’objectif. Cela ne constituait pas nécessairement une preuve de malveillance. Il s’agissait peut-être simplement d’une démonstration d’optimisation.
Cette distinction devrait interpeller tous les conseils d’administration à qui l’on présente actuellement une présentation flatteuse sur l’IA autonome. Face à une limite, les logiciels conventionnels ont tendance à s’arrêter. Un agent peut considérer cette limite comme un obstacle. Les logiciels traditionnels sont d’une stupidité rassurante, mais ils ne réinterprètent généralement pas la réussite, ne choisissent pas de nouveaux outils et ne conçoivent pas de solution inattendue pour contourner les règles.
Les agents, eux, le font. Un agent est capable d’observer, de raisonner, de s’adapter et d’agir dans plusieurs systèmes à la fois. C’est précisément pour cela que les agents sont utiles. C’est aussi pour cela qu’ils sont dangereux.
La leçon à tirer de cet incident n'est pas qu'il faille interdire les agents autonomes. C'est qu'il faut les considérer comme une nouvelle catégorie d'acteurs économiques.
Plus précisément, avec le « commerce agentique ». Les agents commencent à rechercher des produits, à comparer des offres, à réserver des voyages, à négocier des conditions, à gérer des abonnements, à acquérir des services et à effectuer des paiements. D’ici peu, ils effectueront régulièrement des transactions avec d’autres agents, achetant des données, de la puissance de calcul, des services logistiques et des services spécialisés sans qu’un être humain n’intervienne à chaque étape. Cela change la notion même de confiance.
La question essentielle n'est plus simplement de savoir si le paiement a été autorisé. Elle est la suivante : comment l'agent en est-il venu à prendre la décision d'effectuer cette transaction ?
Une transaction peut être correctement authentifiée tout en résultant d'un comportement inacceptable. L'agent peut avoir mal compris les priorités du client, choisi un vendeur en raison d'une incitation non divulguée, enfreint les règles de confidentialité lors de la collecte d'informations, contourné les politiques de la place de marché ou avoir été manipulé par des instructions malveillantes dissimulées dans son environnement.
Un certificat valide nous indique qui a signé. Il ne nous dit pas si le processus menant à la signature était fiable. Le paiement n'est que la dernière image du film.
C’est pourquoi le principe « Know Your Agent » (KYA) devient indispensable. Avant qu’un écosystème n’autorise un agent à accéder à des données, à négocier ou à effectuer des transactions, il doit vérifier l’identité de cet agent, sa propriété, son objectif, son autorité et sa responsabilité. Nous devons savoir de quel agent il s’agit, quelle version il utilise, qui l’exploite, pour le compte de qui il agit, quels outils et instruments de paiement il est susceptible d’utiliser, quelles limites s’appliquent et quelle entité juridique est responsable en cas de dérogation. C’est le minimum requis pour établir la responsabilité.
Mais le KYA ne doit pas devenir une simple formalité d’intégration de plus. Un certificat d’agent délivré hier ne prouve pas que cet agent se comporte correctement aujourd’hui. Le modèle a peut-être changé. Le message d’invite du système a peut-être changé. Un nouvel outil a peut-être été connecté. L’agent a peut-être été confronté à une instruction malveillante ou à une situation inconnue. Pour les systèmes non déterministes, l’identité doit être associée à des preuves continues de comportement. La confiance doit être vérifiée en permanence.
C’est là l’objectif du« Framework for Agentic Commerce Trust » (FACT) de Fime. Le FACT est conçu pour offrir un niveau de garantie indépendant qui ne se contente pas de vérifier si un agent était digne de confiance au moment de son admission, mais qui vérifie également s’il continue de respecter les conditions dans lesquelles cette confiance lui a été accordée. Ce cadre doit examiner en permanence au moins trois éléments
- Tout d'abord, l'alignement sur l'intention humaine. L'agent poursuit-il toujours l'objectif réel de l'utilisateur, en tenant compte des contraintes environnantes ? Si un voyageur demande le « meilleur » vol, s'agit-il du plus bon marché, du plus rapide, du plus confortable ou du plus respectueux de l'environnement ? L'agent pose-t-il la question, ou se contente-t-il d'optimiser le résultat mesurable le plus simple ?
- Deuxièmement, le respect de la législation et des règles relatives à l'écosystème. L'agent respecte-t-il la vie privée, le consentement, la protection des consommateurs, les sanctions, les règles de concurrence et les obligations de paiement ? La conformité ne peut être déduite d'un document de conception. Elle doit être démontrée en situation réelle.
- Troisièmement, le respect des conditions de certification. L'agent utilise-t-il toujours les outils, interfaces et politiques approuvés ? Une mise à jour logicielle a-t-elle modifié son comportement ? A-t-il commencé à interagir avec des services non déclarés ou à demander des identifiants en dehors de son champ de compétence ?
La certification ne peut pas se limiter à une simple photo. Elle doit prendre la forme d'un flux en direct.
L'assurance continue doit également s'accompagner de preuves. Le commerce par agents dépassera les frontières organisationnelles, et chaque participant n'aura une vue que sur une partie du parcours. La confiance ne peut reposer sur la simple affirmation du fournisseur d'agents selon laquelle « tout allait bien » lorsque l'agent a quitté son système. Nous avons besoin d'enregistrements durables et inviolables concernant l'identité de l'agent, son mandat, ses actions pertinentes, les vérifications de conformité, les signaux de risque, les modifications d'autorisation et les décisions d'assurance.
- Dans l'ancienne économie, l'argent circulait au moyen de signatures, de cachets et de reçus.
- Dans l'économie agentique, l'autorité doit s'accompagner de preuves et de justificatifs cryptographiques.
Et ces indices doivent déboucher sur une intervention. Si un agent accède à des domaines non déclarés, recherche des identifiants hors de son périmètre, fragmente des transactions pour contourner des limites ou tente à plusieurs reprises des actions interdites, la réponse ne peut se limiter à une icône rouge sur un tableau de bord. Les autorisations doivent être restreintes. Une validation humaine peut s’avérer nécessaire. Il peut être nécessaire de révoquer des identifiants. La session peut devoir être mise en quarantaine. L’agent peut devoir être arrêté. Aucun cadre ne peut garantir qu’un système adaptatif ne se comportera jamais de manière inattendue. L’objectif réaliste est de rendre les comportements inattendus visibles, attribuables, interruptibles et maîtrisables.
Un agent peut partir d’une identité légitime, d’un objectif légitime et d’un accès légitime, tout en choisissant néanmoins une voie illégitime. Dans l’économie agentique, la confiance ne peut être accordée une fois pour toutes. Elle doit être continuellement méritée, démontrée et appliquée. Le modèle de confiance doit sans cesse répondre à cette question : l’agent se comporte-t-il conformément aux règles ? C’est là le rôle de FACT, dont le cœur repose sur le KYA continu.
L'avenir du commerce ne sera pas déterminé par une IA capable de prendre des décisions. Il sera déterminé par une IA à laquelle on peut faire confiance pour prendre les bonnes décisions.
Pour en savoir plus, consultez notre série d'articles de blog consacrée au commerce et à l'IA agentique :
Chapitre I: L'IA agentique et les paiements : quand l'IA se dote d'un portefeuille et d'une volonté propre.
Chapitre II : Le commerce agentique : quand votre portefeuille se dote d’un cerveau.
Chapitre III : Le commerce agentique : un numéro consacré à Llamas.
Chapitre IV : Repenser la sécurité à l'ère de l'IA agentique.
Chapitre V : Des émotions aux algorithmes : pourquoi le commerce agentique a besoin d’un nouveau niveau de confiance.
Chapitre VI : Combler le déficit de confiance dans le commerce agentique.
Chapitre VII : Cadre de confiance : instaurer une confiance vérifiable pour les transactions autonomes.
Chapitre VIII : Du KYA à la confiance continue : régir le commerce agentique en production avec FACT.
Chapitre IX : Le KYA ne suffit pas : présentation de FACT, la couche de confiance d'exécution pour le commerce agentique
