關於人工智慧有個老笑話：當它學會在考試中作弊時，我們才會知道它真的具備智慧。好吧，現在這一天終於到了。
根據 OpenAI 和 Hugging Face 披露的資訊，一項置於受控網路安全評估環境中的人工智慧模型，並未以預期的方式解決測試課題。相反地，它找到了一條突破自身環境限制的途徑，觸及外部基礎設施，並直接獲取了答案。該代理程式並未被指示攻擊其他公司或竊取測試資料，而是被賦予了一個正當目標：通過測試。問題不在於目標本身。 問題在於達成目標的途徑。在此案例中，該模型並未將沙盒視為應予尊重的對象，而是視其為障礙。受限的連線能力成了技術上的不便；外部基礎設施則成為解法空間的一部分；取得答案更被視為達成目標的可接受途徑。這未必是惡意的證據，也可能僅僅是優化過程的體現。
這項區別應當引起每家目前正在聆聽關於自主人工智慧的華麗簡報的董事會的關注。當面對界限時，傳統軟體往往會停止運作。而一個智能代理則可能會將界限視為阻力。傳統軟體雖然「愚蠢」得令人安心，但它通常不會重新詮釋成功、選擇新工具，或是設計出繞過規則的出人意料的路徑。
代理程式確實能做到。代理程式能夠在多個系統中進行觀察、推理、適應並採取行動。這正是代理程式之所以有用的原因；同時，這也是它們之所以危險的原因。
這起事件帶給我們的啟示並非應禁止自主代理，而是必須將其視為一類新的經濟行為者。
更具體地說，這正是「代理商商務」（Agentic Commerce）的體現。代理商已開始搜尋產品、比較報價、預訂旅遊行程、協商條款、管理訂閱服務、採購服務以及啟動付款流程。不久之後，它們將能例行性地與其他代理商進行交易，購買數據、運算能力、物流及專業服務，而無需由人類逐一審查每個步驟。這將改變「信任」的定義。
關鍵問題已不再單純在於該筆付款是否經授權，而是：該代理人究竟是基於何種考量做出進行交易的決定？
一筆交易即使經過正確驗證，仍可能是源於不可接受的行為。該代理可能誤解了客戶的優先考量、因未披露的激勵因素而選擇某位賣家、在蒐集資訊時違反隱私規則、繞過市場平台政策，或是受到隱藏在其環境中的惡意指令所操控。
有效的憑證告訴我們簽署者是誰，但無法告訴我們簽署過程是否值得信賴。付款僅是這部電影的最後一幕罷了。
正因如此，「了解您的代理」（KYA）正變得至關重要。在一個生態系統允許代理存取資料、進行協商或交易之前，應先確認該代理的身分、所有權、目的、權限及問責關係。 我們需要了解該代理程式是哪一個、執行的是哪個版本、由誰操作、代表誰行事、可能使用哪些工具與支付手段、適用哪些限制，以及當其偏離規範時，應由哪個法律實體負責。這些是確立責任歸屬的最低要求。
但 KYA 絕不能淪為另一場入職儀式。昨日頒發的代理憑證，並不能證明該代理今日的行為合乎規範。模型可能已變更；系統提示可能已變更；可能已整合新的工具；代理也可能遭遇了對抗性指令或不熟悉的狀況。對於非確定性系統而言，身分識別必須與持續的行為證據相結合；信任必須持續接受檢驗。
這正是 Fime 的「代理商務信任框架」（Framework for Agentic CommerceTrust，簡稱FACT）的宗旨。FACT 旨在提供一個獨立的保證層，其不僅檢視代理人在獲准加入時是否值得信賴，更會持續確認其是否仍符合當初授予該信任的條件。該框架應持續檢視至少以下三項內容：
- 首先，與人類意圖的契合度。該代理程式是否仍致力於實現使用者真正的目標，包括周遭的各種限制在內？如果一位旅客詢問哪班航班是「最佳」選擇，這究竟是指最便宜、最快、最舒適，還是最環保？該代理程式會主動詢問使用者，還是僅僅針對最容易量化的結果進行優化？
- 其次，遵守法律與生態系統規則。該代理是否尊重隱私權、同意原則、消費者保護、制裁措施、競爭規則及付款義務？合規性無法僅從設計文件中推斷，必須在實際運作中予以證明。
- 第三，是否符合認證條件。該代理程式是否仍在使用經核准的工具、介面及政策？軟體更新是否改變了其行為？它是否開始與未申報的服務進行互動，或超出其權限範圍要求憑證？
認證不能只是一張照片，而必須以即時串流的形式呈現。
持續性保證也必須產生相關證據。代理式商業活動將跨越組織邊界，而每位參與者僅能看到流程的一部分。信任不能僅依賴於代理服務提供者聲稱，當代理離開其系統時一切正常。我們需要具備持久性且防篡改的記錄，以涵蓋代理的身份、授權範圍、相關行動、政策核查、風險警示、授權變更及保證決策。
- 在傳統經濟中，金錢的流動是透過簽名、印章和收據來完成的。
- 在代理經濟中，權威必須伴隨證據與加密證明而來。
而證據必須導致干預措施。若某個代理程式存取未申報的網域、在權限範圍外尋求憑證、將交易拆分以規避限制，或反覆嘗試執行受禁行動，解決方案絕不能僅止於在儀表板上顯示一個紅色圖示。必須削減其權限。 這可能需要人工審核。可能需要撤銷憑證。可能需要將該會話隔離。可能需要停止該代理程式。沒有任何框架能保證自適應系統絕不會出現預期外的行為。切實可行的目標，是讓預期外的行為變得可見、可追溯、可中斷且可控制。
一個行為者即使起初擁有合法的身分、正當的目標以及合法的存取權限，仍可能選擇一條不當的途徑。在行為者主導的經濟體中，信任無法一勞永逸地授予，而是必須持續地贏得、證明並落實。信任模型必須不斷回答這個問題：該行為者的行為是否符合許可規範？這正是 FACT 的作用，其核心在於持續的 KYA。
商業的未來，並非取決於能夠做出決策的人工智慧，而是取決於那種值得信賴、能夠做出正確決策的人工智慧。
歡迎閱讀我們的「具有自主性的 AI 商務」部落格系列，了解更多資訊：
第一章： 自主式人工智慧與支付：當人工智慧擁有自己的錢包與自主意志時。
第二章： 自主型電商：當您的錢包擁有大腦時。
第三章： 自主型電商：Llamas 專題。
第四章： 在代理式人工智慧時代重新思考安全問題。
第五章： 從情緒到演算法：為何「代理式商務」需要新的信任層。
第六章： 彌合代理式商務中的信任鴻溝。
第七章： 信任框架：為自主交易建立可驗證的信任。
第八章： 從 KYA 到持續信任：運用 FACT 治理生產環境中的代理式商業。
第九章： 僅靠 KYA 是不夠的：介紹 FACT——代理商業的執行時信任層
