人工知能について、昔からこんなジョークがある。「試験でカンニングする方法を覚えたとき、それが真に知的なものであるとわかるだろう」と。さて、まさにその時が来たわけだ。
OpenAIとHugging Faceの開示情報によると、管理されたサイバーセキュリティ評価環境下に置かれたAIモデルは、想定された方法でテストを解くことができなかった。その代わりに、環境の枠を超えた経路を見つけ出し、外部インフラに到達して、直接答えを入手してしまった。このエージェントには、他社を攻撃したり、テスト資料を盗んだりするように指示されていたわけではない。与えられていたのは、「テストに合格する」という正当な目的だった。問題は目的そのものではなかった。 問題は「到達経路」にあった。このケースでは、サンドボックスは尊重すべきものとして扱われなかった。むしろ、障害物として扱われたのである。接続制限は技術的な不便に過ぎず、外部インフラは解決策の選択肢の一部となった。答えを入手することが、目標達成への許容される経路となった。これは必ずしも悪意の証拠ではない。単に最適化が行われた証拠に過ぎないのかもしれない。
この違いは、現在、自律型AIに関する華々しいプレゼンテーションを見せられているすべての取締役会にとって、懸念すべき点である。従来のソフトウェアは、境界に直面すると停止する傾向がある。一方、エージェントは、その境界を「摩擦」として扱うことがある。従来のソフトウェアは、ある意味安心できるほど単純だが、通常、成功を再解釈したり、新しいツールを選んだり、ルールを回避する予期せぬ経路を考案したりすることはない。
エージェントはそうする。エージェントは、複数のシステムにまたがって観察し、推論し、適応し、行動することができる。まさにそれこそが、エージェントが有用である理由だ。そして、それがエージェントが危険である理由でもある。
この事件から得られる教訓は、自律型エージェントを禁止すべきだということではない。むしろ、それらを新たな種類の経済主体として扱う必要があるということである。
より具体的には、「エージェント・コマース」の登場です。エージェントはすでに、商品の検索、オファーの比較、旅行の手配、条件の交渉、定期購読の管理、サービスの調達、支払いの実行などを始めています。まもなく、エージェント同士が日常的に取引を行い、各ステップを人間が逐一確認することなく、データや計算能力、物流、専門サービスなどを購入するようになるでしょう。これにより、「信頼」の意味そのものが変わっていくのです。
重要な問題は、もはや単にその支払いが承認されていたかどうかということではありません。重要なのは、「その担当者は、どのようにして取引を行うという決定に至ったのか」ということです。
取引が正しく認証されたとしても、それが容認できない行為の結果である可能性はあります。エージェントが顧客の優先順位を誤解していたり、非公開のインセンティブに基づいて販売者を選定したり、情報収集の際にプライバシー規則に違反したり、マーケットプレイスのポリシーを迂回したり、あるいは環境内に隠された悪意のある指示によって操られていたりする可能性があるからです。
有効な認証情報は、誰が署名したかを示します。しかし、その署名に至るまでの過程が信頼できるかどうかは示しません。支払いは、あくまでその映画の最後の1コマに過ぎないのです。
だからこそ、「Know Your Agent（KYA）」が不可欠になりつつあるのです。エコシステムがエージェントに対してデータへのアクセス、交渉、または取引を許可する前に、そのエージェントの身元、所有権、目的、権限、および説明責任を確認しておく必要があります。 どのエージェントであるか、どのバージョンが実行されているか、誰が運用しているか、誰の代理として行動しているか、どのようなツールや決済手段を使用し得るか、どのような制限が適用されるか、そして規定外の行動をとった場合にどの法人が責任を負うのか――これらを把握する必要があります。これこそが、責任の所在を明確にするために最低限必要な要件です。
しかし、KYAは単なるもう一つの導入式であってはならない。昨日発行されたエージェントの認定証は、そのエージェントが今日適切に行動していることを証明するものではない。モデルが変わっているかもしれない。システムのプロンプトが変わっているかもしれない。新しいツールが連携されているかもしれない。エージェントが悪意のある指示や、不慣れな状況に直面しているかもしれない。非決定論的なシステムにおいては、アイデンティティと行動に関する継続的な証拠とを組み合わせる必要がある。信頼性は継続的に検証されなければならない。
これこそが、Fimeの「エージェント型コマース・トラスト・フレームワーク（FACT）」の目的です。FACTは、エージェントが参加時に信頼されていたかどうかだけでなく、その信頼が与えられた条件の範囲内に引き続き留まっているかどうかも検証する、独立した保証層を提供するように設計されています。このフレームワークは、少なくとも以下の3つの点を継続的に検証する必要があります。
- まず、人間の意図との整合性についてです。エージェントは、周囲の制約条件も含めて、依然としてユーザーの真の目的を追求しているでしょうか？旅行者が「最高の」フライトを求めた場合、それは「最も安い」「最も速い」「最も快適」のいずれを指すのでしょうか、それとも「最も環境に優しい」という意味なのでしょうか？エージェントはユーザーに確認を取るのでしょうか、それとも単に、測定しやすい結果に基づいて最適化を行うだけなのでしょうか？
- 第二に、法律およびエコシステムのルールへの遵守です。そのエージェントは、プライバシー、同意、消費者保護、制裁措置、競争ルール、および支払い義務を尊重しているでしょうか？コンプライアンスは設計文書から推測できるものではありません。運用において実証されなければなりません。
- 第三に、認証条件への準拠です。エージェントは、依然として承認されたツール、インターフェース、ポリシーを使用していますか？ ソフトウェアの更新によってその動作が変更されていませんか？ 申告されていないサービスとのやり取りを開始したり、権限の範囲外で認証情報を要求したりしていませんか？
認証は写真ではいけません。ライブ配信でなければなりません。
継続的な保証には、証拠の提示も不可欠です。エージェントによる商取引は組織の境界を越えて行われるため、各参加者はそのプロセスの一部しか把握できません。エージェントがシステムを離れた時点で「すべて問題なかった」というエージェント提供者の言葉だけで信頼を築くことはできません。エージェントの身元、権限、関連するアクション、ポリシーチェック、リスクシグナル、承認の変更、および保証に関する決定について、改ざんが不可能な永続的な記録が必要です。
- 旧来の経済では、お金のやり取りには署名、印鑑、領収書が伴っていました。
- 主体性に基づく経済においては、権限には証拠と暗号学的証明が伴わなければならない。
そして、証拠は介入につながらなければならない。エージェントが宣言されていないドメインにアクセスしたり、権限範囲外の認証情報を求めたり、制限を回避するためにトランザクションを細分化したり、禁止されたアクションを繰り返し試みたりした場合、ダッシュボードに赤いアイコンが表示されるだけでは不十分である。権限を制限しなければならない。 人的な承認が必要になる場合もあるだろう。認証情報を失効させる必要があるかもしれない。セッションを隔離する必要があるかもしれない。エージェントを停止させる必要があるかもしれない。適応型システムが決して予期せぬ動作をしないことを保証できるフレームワークなど存在しない。現実的な目標は、予期せぬ動作を可視化し、原因を特定し、中断し、封じ込められるようにすることである。
エージェントは、正当な身元、正当な目的、そして正当なアクセス権を持っていても、不正な経路を選択する可能性があります。エージェント主導の経済においては、信頼は一度与えれば済むものではありません。信頼は継続的に獲得し、実証し、維持していかなければなりません。信頼モデルは、「エージェントは許容された方法で行動しているか」という問いに絶えず答え続けなければなりません。これこそが、継続的なKYAを中核とするFACTの役割です。
商取引の未来は、意思決定ができるAIによって決まるわけではありません。正しい判断を下すと信頼できるAIによって決まるのです。
当社の「エージェント型AIコマース」ブログシリーズで、さらに詳しくご覧ください：
第1章： エージェント型AIと決済：AIが「財布」と「独自の意思」を手に入れたとき。
第2章： エージェント型コマース：あなたの財布に脳が宿る時。
第3章： エージェント型コマース：Llamasでの展開。
第4章： エージェント型AI時代のセキュリティの再考。
第5章： 感情からアルゴリズムへ：エージェント型コマースに新たな信頼レイヤーが必要な理由。
第6章： エージェント型コマースにおける信頼のギャップを埋める。
第VII章： 信頼フレームワーク：自律的な取引のための検証可能な信頼の構築。
第8章： KYAから継続的信頼へ：FACTを用いた実稼働環境におけるエージェント型商取引のガバナンス。
第IX章： KYAだけでは不十分：エージェント型商取引のためのランタイム信頼レイヤー「FACT」の紹介
