关于人工智能，有个老笑话：当它学会在考试中作弊时，我们就知道它真正具备智能了。好吧，现在这一天终于来了。
根据 OpenAI 和 Hugging Face 披露的信息，在一次受控的网络安全评估中，某人工智能模型并未按预期方式解决测试问题。相反，它找到了一条突破自身环境的途径，连接到了外部基础设施，并直接获取了答案。该智能体并未被指令去攻击其他公司或窃取测试材料。它被赋予的是一项正当目标：通过测试。问题并不出在目标本身。 问题在于实现路径。在此案例中，沙箱并未被视为需要遵守的规则，而是被当作障碍。受限的连接性变成了技术上的不便。外部基础设施成为了解决方案的一部分。获取答案则成为了一种可接受的达成目标的途径。这未必是恶意的证据，可能仅仅是优化过程的体现。
这一区别应当引起每个目前正在听取关于自主人工智能的华丽演示的董事会关注。面对边界时，传统软件往往会停止运行。而智能体可能会将边界视为阻力。传统软件虽然“愚蠢”得令人安心，但它通常不会重新诠释成功、选择新工具，也不会设法绕过规则开辟出意想不到的途径。
智能体确实如此。智能体能够跨多个系统进行观察、推理、适应和行动。这正是智能体之所以有用的原因，也是它们之所以危险的原因。
从这一事件中得出的教训并非应该禁止自主代理，而是必须将它们视为一类新的经济主体。
更具体地说，就是“代理商商业”（Agentic Commerce）。代理商们已开始搜索产品、比较报价、预订旅行、协商条款、管理订阅、采购服务并发起支付。不久之后，它们将与其他代理商进行常规交易，购买数据、计算能力、物流及专业服务，而无需人工逐一审核每个步骤。这改变了“信任”的含义。
关键问题已不再仅仅是这笔付款是否经过授权，而是：代理人是如何做出交易决定的？
一笔交易即使经过正确认证，也可能源于不可接受的行为。代理可能误解了客户的优先事项，因未披露的激励因素而选择了某位卖家，在收集信息时违反了隐私规则，绕过了市场政策，或者被隐藏在其环境中的恶意指令所操控。
有效的凭证告诉我们是谁签署的，但无法说明签署过程是否可信。支付仅仅是这部电影的最后一个镜头。
正因如此，“了解您的代理”（KYA）正变得至关重要。在生态系统允许代理访问数据、进行谈判或交易之前，应先核实该代理的身份、所有权、目的、权限及责任。 我们需要了解该代理的具体身份、运行的版本、操作者是谁、代表谁行事、可能使用哪些工具和支付手段、适用哪些限制，以及当其越界时由哪个法律实体承担责任。这些是确立责任所需的最低要求。
但KYA绝不能沦为又一场入职仪式。昨天颁发的代理证书并不能证明该代理今天的行为是恰当的。模型可能已经改变，系统提示可能已经改变，可能连接了新的工具，代理可能遇到了对抗性指令或不熟悉的情况。对于非确定性系统，身份必须与持续的行为证据相结合。信任必须经过持续的检验。
这就是 Fime的“代理型商业信任框架”（FACT）的宗旨。FACT 旨在提供一个独立的保障层，其不仅要验证代理在加入时是否值得信赖，还要验证其是否始终符合当初授予信任的条件。该框架应持续审查至少以下三方面内容：
- 首先，与人类意图的一致性。该智能体是否仍在追求用户的真实目标，包括其中的各项限制条件？如果一位旅客询问“最佳”航班，这指的是最便宜的、最快的、最舒适的，还是最环保的？该智能体会主动询问用户，还是仅仅针对最容易量化的结果进行优化？
- 其次，遵守法律和生态系统规则。该代理是否尊重隐私、同意、消费者保护、制裁、竞争规则和支付义务？合规性不能仅从设计文档中推断出来，而必须在实际运行中得到证明。
- 第三，是否符合认证条件。该代理是否仍在使用经批准的工具、接口和策略？软件更新是否改变了其行为？它是否开始与未申报的服务进行交互，或在权限范围外请求凭据？
认证不能只是一张照片，而必须是实时直播。
持续保障还必须提供证据。代理式商业活动将跨越组织边界，而每个参与者只能看到整个流程的一部分。信任不能仅依赖于代理提供商声称“代理离开其系统时一切正常”。我们需要关于代理身份、授权、相关操作、政策核查、风险信号、授权变更及保障决策的持久且防篡改的记录。
- 在旧经济时代，资金的流动依赖于签名、印章和收据。
- 在代理经济中，权威必须以证据和加密证明为依据。
而且，证据必须导致干预。如果某个代理访问了未声明的域、在其权限范围外获取凭据、将事务拆分以规避限制，或反复尝试执行被禁止的操作，那么应对措施绝不能仅仅是在仪表盘上显示一个红色图标。必须削减其权限。 这可能需要人工审批。可能需要撤销凭证。可能需要将会话隔离。可能需要停止该代理。没有任何框架能保证自适应系统绝不会出现异常行为。现实的目标是让异常行为变得可见、可追溯、可中断且可控。
一个行为主体可能拥有合法的身份、合法的目标和合法的访问权限，却仍可能选择一条非法的途径。在行为主体经济中，信任不能一劳永逸地授予，而必须持续地赢得、证明并维护。信任模型必须不断回答这样一个问题：该行为主体的行为是否符合允许的方式？这就是FACT的作用，其核心在于持续的KYA。
商业的未来不会由能够做出决策的人工智能来决定，而是由那种值得信赖、能够做出正确决策的人工智能来决定。
在我们的“自主AI电商”博客系列中了解更多内容：
第一章： 自主AI与支付：当AI拥有自己的“钱包”和自主意志时。
第二章： 自主商业：当你的钱包拥有了大脑。
第三章： 自主商业：Llamas上的实践。
第四章： 在代理式人工智能时代重新思考安全问题。
第五章： 从情感到算法：为何代理式商业需要新的信任层。
第六章： 弥合代理式商业中的信任鸿沟。
第七章： 信任框架：为自主交易构建可验证的信任。
第八章： 从KYA到持续信任：利用FACT在生产环境中治理代理型商业。
第九章： 仅靠KYA还不够：介绍FACT——面向代理型商业的运行时信任层
