在本系列之前的文章中 ，我们探讨了代理型人工智能的兴起及其对数字商务和身份识别的影响。我们概述了自主代理如何开始代表用户和组织行事，并以越来越高的自主性执行决策和交易。
这一演变引发了一个根本性问题：在一个行动不再直接由人类发起的世界里，信任应当如何建立、管理和落实？
传统上，安全体系的构建始终基于一个明确的假设，即交互环节中存在人类参与。代理式人工智能则对这一假设提出了挑战。如今，人们正在设计这样的系统：软件代理会自行决定购买什么、向谁付款以及何时采取行动，通常无需人类实时干预。
因此，现有的安全模型必须进行演进。重点不再仅仅是保护系统免受恶意行为者的侵害，而是要在明确界定且可执行的边界内实现可信的自主运行。
传统的安全模型：验证用户身份
传统的数字安全框架是基于一个相对简单的模型设计的。用户进行身份验证、发起交易，然后系统根据凭证、设备信号和行为模式来评估风险。
从历史上看，自动化一直被视为一种威胁。机器人常与欺诈行为联系在一起，而高频操作则被视为可疑行为。这导致了诸如验证码（CAPTCHA）、设备指纹识别和增强型身份验证等控制措施的广泛采用。
这些方法之所以有效，是因为它们符合系统的使用方式。人类是决策者，而系统的作用则是验证身份并检测异常情况。
转变：赋能可信赖的代理
代理式人工智能开创了一种全新的范式。系统现在必须认识到，非人类行为体也可以是合法的参与者。
问题已不再是交互是否由自动化完成，而是代理是否经过授权、是否在既定约束范围内运行，以及是否代表经过验证的主体行事。
这要求将工作重点从身份验证转向授权管理。组织必须能够确定是谁授权了某个代理、该代理被允许执行哪些操作、在什么条件下执行以及授权有效期有多长。同样重要的是，在必要时能够立即撤销该授权。
“了解你的代理”（KYA）这一概念正逐渐成为“了解你的客户”（KYC）的自然延伸，这反映出人们不仅需要对个人建立信任，还需要对代表其行事的系统建立信任。
身份变得具有情境性，并被委托给他人
数字身份绝非像许多系统所假设的那样单一或静态。它本质上具有情境性，且往往涉及个人、组织和设备之间的权限委托。
代理式人工智能明确了这一点。代理需要一种身份形式，使其能够被唯一识别、与委托人关联，并通过定义好的权限进行管理。其行为必须可观察且可审计。
当代理开始执行金融交易、签订协议或触发运营流程时，它们实际上就成为了受监管环境中的参与者。如果没有明确的身份和问责机制，其行为将与恶意活动难以区分。
一个新的攻击面：决策完整性
传统的网络安全主要侧重于保护系统免受未经授权的访问和恶意代码的侵害。而代理系统则引入了另一类风险：对决策过程的操纵。
诸如即时注入、代理冒充和数据污染等威胁，可能会导致从系统角度来看在逻辑上自洽，但在实际应用中却是不理想或有害的结果。在这些情况下，系统虽未在传统意义上遭到入侵，但结果仍然是不安全的。
这凸显了将安全措施融入决策过程本身的重要性，而不是仅依赖边界控制。
管理过度自主
在智能体系统中，最重大的风险之一是过度自主。当智能体被赋予宽泛的目标，却缺乏足够精确的约束时，就会出现这种情况。
在这些情况下，智能体可能会采取一些从技术上讲虽实现了其目标，但超出了用户意图的行动。这并非恶意行为，而是由于在缺乏充分治理的情况下对结果进行优化所导致的后果。
捕捉用户意图并将其转化为可执行的约束条件，已成为一项关键要求。安全性不仅要侧重于防止未经授权的操作，还要确保授权操作始终符合预期。
令牌化演变为策略执行
代币化仍然是一种重要的控制机制，特别是在支付领域。然而，在代理驱动的环境中，代币所承载的信息不能仅限于对底层资产或凭证的引用。
它们需要编码授权范围、政策约束、时间限制和来源信息。如果没有这些背景信息，令牌化只是加快了交易速度，却未能改善控制效果。
这促使人们需要更复杂的令牌框架，将策略和授权直接集成到交易层中。
可审计性与问责制
由于代理是代表用户行事的，因此能够解释和重构决策的能力变得至关重要。如果无法理解这些行动是如何以及为何采取的，仅仅将行动归因于系统已不再足够。
组织必须能够追溯决策的原始意图、所考虑的数据输入、所施加的约束条件以及所遵循的逻辑。这种可审计性对于满足监管要求和赢得用户信任而言必不可少。
如果没有它，责任归属就不明确，这会给服务提供商和最终用户都带来风险。
多智能体系统的复杂性
在多个智能体相互交互的环境中，这些挑战变得更加突出。智能体之间的协调会带来新的风险，包括未经授权的参与、目标不一致以及连锁错误。
这些系统的安全性需要从单纯关注单个终端，转向管理交互和自发行为。这要求采用结合了系统设计、治理和持续监控要素的新方法。
从安全到治理
最重大的转变在于，安全已从一种防御性职能转变为一种赋能型治理能力。
组织必须明确谁可以创建代理、代理如何获得认证、必须遵守哪些规则，以及如何对其进行长期监控和管控。这提升了身份提供商、支付网络和监管机构在建立共享信任框架方面的作用。
如果没有有针对性的治理，生态系统就面临着支离破碎和不一致的风险，不同平台会各自推行自己的规则和标准。
结论：实现大规模信任
挑战不在于阻止代理采取行动，而在于使它们能够在明确界定的范围内，以安全、透明的方式采取行动。
主动型人工智能标志着决策制定与执行方式的根本性转变。安全措施必须随之演进，超越仅侧重身份验证和欺诈检测的传统模式。
数字信任的未来将取决于我们能否将身份、政策和可审计性融合成一个有机整体，从而构建出既支持自主性又保障可控性的框架。
在此背景下，可编程信任成为一项基础能力。它使组织能够定义、执行和验证代理运行的条件，从而构建一个既能实现自主性扩展，又不损害问责制的系统。
在我们的“自主AI电商”博客系列中了解更多内容：
第一章： 自主AI与支付：当AI拥有自己的“钱包”和“意志”时。
第二章： 自主商业：当你的钱包拥有大脑时。
第三章： 自主商业：在Llamas上的实践。
第五章： 从情感到算法：为何代理式商业需要新的信任层。
第六章： 弥合代理式商业中的信任鸿沟。
第七章： 信任框架：为自主交易构建可验证的信任。
第八章： 从KYA到持续信任：利用FACT在生产环境中治理代理型商业。
第九章： 仅靠KYA还不够：介绍FACT——面向代理商业的运行时信任层。
第十章： 那个在考试中作弊的智能体
