《AI进入工作之后》· 第三季“当AI开始代表组织”· 第七篇
最初，公司的AI只能读取邮件并起草回复。后来为了提高效率，它又接入日历，可以安排会议；接入客户系统，可以更新联系人；接入文件库，可以分享材料；接入采购平台，可以创建订单；最后接入支付服务，可以处理低额退款。
每一次增加权限看起来都很小，也都有合理业务理由。但当这些权限集中到同一个代理，系统获得的就不再是五项独立便利，而是一条完整行动链：它可以从邮件中读到请求，找到客户资料，创建文件，向外发送，修改交易，并使资金移动。
这时问“它连接了几个系统”仍然不够。真正的风险取决于这些系统组合后允许AI完成什么，以及一次错误能够跨过多少道原本彼此独立的边界。
权限会相乘，而不只是相加
只读邮件的AI可能泄露信息，但不能修改客户账户；只写客户系统的自动化可能填错字段，却不能自己决定写什么。两者相连后，外部邮件中的恶意内容可能影响模型，再由模型修改内部记录。若再接入发送工具，错误记录可以被当作事实通知客户；再接支付工具，错误就可能变成资金行动。
可以把这种风险写成一条权限链：
读取不可信输入
× 访问内部知识
× 修改正式记录
× 以机构身份发送
× 调用不可逆工具
= 复合代理风险乘号很重要。组织不能分别审查每个连接“风险不高”，然后忽略组合。一个系统是否拥有过大代理权，取决于它是否能够独自完成从观察、判断到执行和掩盖结果的闭环。
不要计算连接数，要计算“可完成的最坏动作”
两个连接可能比十个更危险。读取合同与签署合同的组合，可能比读取十个公开数据库更高风险。组织应为每个工具记录四项属性：
| 属性 | 要问的问题 |
|---|---|
| 数据范围 | AI能看到哪些客户、员工、财务或机密资料？ |
| 动作类型 | 它只能读取、可以建议、能够修改，还是能够执行？ |
| 可逆性 | 错误能否立即撤回，还是已经产生外部后果？ |
| 扩散范围 | 一次调用影响一条记录、一个客户，还是整个列表？ |
随后评估工具组合。例如，“读取所有客户＋群发邮件”可能导致大规模错误通信；“读取供应商发票＋创建付款”可能导致欺诈；“读取内部政策＋公开发布”可能把草稿当成正式立场。
最有用的上限不是“最多五个工具”，而是“任何单一代理不得在没有独立批准的情况下完成某类高后果闭环”。
给AI一份权限预算
权限预算不是一个统一分数，而是一组不能同时超支的资源。
数据预算限制可见范围。处理一个客户请求时，只开放该客户和该任务所需资料，而不是整个数据库。
行动预算限制可调用次数、金额、收件人数和修改对象。低额退款可以有每日累计上限；发送可以先限于一个收件人；批量更新需要新批准。
时间预算让权限自动到期。完成任务、会话结束或异常发生后，令牌和临时访问应失效。
不可逆预算限制无法轻易撤回的动作。公开发布、删除记录、签署、付款和权限授予不应与普通查询共享同一确认级别。
信任预算限制外部输入能够影响内部动作的距离。来自邮件、网页、附件或第三方系统的内容，不应直接转化为高权限调用。
这种预算让组织根据具体用途分配能力，而不是给AI复制某个高权限员工的完整账户。
每个工具调用都要重新授权
很多代理系统在任务开始时获得一个广泛令牌，随后可以连续调用工具。这样很方便，却把最初的模糊同意扩展成许多后来无法预见的动作。
更安全的架构把三件事分开：模型提出行动，策略层检查权限，工具执行经过验证的参数。策略层不能只问“这个AI是否允许使用退款工具”，还要检查当前客户、金额、原因、累计额度、资料完整性和是否需要人工批准。
OWASP的大语言模型应用风险清单把过度代理权、提示注入、敏感信息泄露和不安全输出处理列为主要风险。OWASP：《Top 10 for Large Language Model Applications》 这些风险共同说明：自然语言建议不能直接当作工具参数，外部内容也不能自行扩大系统权限。
英国国家网络安全中心的安全开发指南建议跟踪、验证和版本控制AI资产，采用安全默认值并考虑最小权限。英国国家网络安全中心：《Secure development》 对代理系统而言，最小权限必须落实到每次动作，而不是只在采购工具时写入原则。
把高后果链条拆开
传统内部控制常通过职责分离降低风险：创建供应商的人不能独自批准付款，提出退款的人不能同时修改审计记录。AI不应因为能够跨系统工作，就把这些分离重新合并。
可采用三种拆分：
- 代理与执行分离：AI准备动作，但独立服务执行并验证；
- 角色分离：一个代理读取和分析，另一个受限组件执行，二者没有共享全部上下文；
- 人类批准分离：高后果动作由不负责生成建议的人确认。
拆分不是把任务机械地交给更多AI。如果多个代理共享同一凭证、同一记忆和同一策略漏洞，它们只是一个高权限系统的不同界面。真正的分离需要独立权限、独立日志和能够拒绝上游请求的控制点。
对批量动作设置更高门槛
AI可以把一个合理动作快速复制成大规模事故。单封邮件、单条更新或单笔退款的风险，与对一万名客户执行相同动作并不相称。
系统应在动作数量增加时逐级提高控制：先预览样本，再运行小批量，观察异常，最后扩大。任何从单项变为列表、从内部变为公开、从可逆变为不可逆的变化，都应触发新的授权。
速率限制也应按业务后果设计。每分钟调用次数不能代替每日总金额、唯一客户数、失败比例和异常目的地。一个代理即使没有超过技术限速，也可能在几个小时内稳定地产生巨大损失。
日志必须显示权限是怎样被使用的
“AI调用了CRM”没有足够信息。有效记录应包括：任务来源、调用者身份、工具和动作、对象范围、关键参数、策略检查、批准、执行结果以及后续撤回。
记录需要把自然语言请求与实际API动作连接起来，但不必保存所谓完整“思维过程”。组织要审计的是可观察的决定链：输入了什么、提出了什么、为什么符合规则、执行了什么。
NIST AI风险管理框架要求治理结构、角色责任、监测和事件响应进入AI生命周期。NIST AI Resource Center：《AI RMF Core》 对多工具代理，监测还应识别异常组合：深夜批量导出后立即群发、更新银行资料后创建付款、权限提升后删除日志等。
停止按钮必须比代理更独立
如果关闭代理需要同一个代理执行，紧急停止就不可靠。组织需要代理之外的控制面，可以撤销令牌、阻止特定工具、暂停外部发送，并在不丢失证据的情况下终止任务。
停止也不能只有“全部关闭”。分级控制更有用：先切断支付和公开发布，保留只读诊断；暂停一个客户或一个工作流，不必关闭整个服务；当供应商模型异常时，切换到人工或已知安全版本。
英国国家网络安全中心关于安全运行和维护的指南强调监控系统行为、管理更新、收集日志并规划事件响应。英国国家网络安全中心：《Secure operation and maintenance》 代理越能跨系统行动，停止、恢复和取证越需要在上线前设计。
权限增加必须是一项新的部署决定
团队很容易在日常改进中增加一个连接：“既然AI已经会写邮件，让它顺便安排会议。”但每增加一个工具，系统的安全边界、隐私范围和外部后果都会改变。
新增权限应触发新的风险分析、测试、责任确认和回滚方案。组织要重新检查旧测试是否仍有意义：原来可以接受的错误建议，在接入自动执行后可能不再可接受；原来只影响内部草稿的提示注入，在接入客户系统后可能成为数据事件。
还要审查权限是否仍需要。试点结束、流程改变或供应商更换后，应主动移除不用的连接和令牌。权限只增不减，是代理系统逐渐失控的常见路径。
结论：一个AI可以连接很多系统，但不应独自完成所有关键步骤
没有一个适用于所有组织的安全连接数量。关键不是“五个太多，三个安全”，而是组合后能否形成未经独立控制的高后果闭环。
最终原则是：
AI可以拥有完成任务所需的多个工具，但每项权限都应按数据范围、动作、可逆性和扩散规模受限；读取不可信输入、修改正式记录和执行不可逆行动不应在没有独立策略检查或人工批准的情况下集中于同一代理。
好的代理不是拥有最多钥匙的代理，而是能够完成明确任务、在边界处请求新的钥匙，并在任务结束后归还它们的代理。组织需要的不是一个全能数字员工，而是一套不会因为效率而重新合并所有内部控制的行动架构。
主要资料
- OWASP：Top 10 for Large Language Model Applications
- 英国国家网络安全中心：Secure development
- NIST AI Resource Center：AI RMF Core
- 英国国家网络安全中心：Secure operation and maintenance
继续阅读：浏览《AI进入工作之后》系列文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。