一个AI代理可以连续行动多少步，才不至于失去控制？

Geoffrey Chen

《AI进入工作之后》· 第一季“从回答问题到参与工作”· 第八篇

设想两个AI代理。

第一个代理要阅读五十份公开报告，提取日期和指标，生成比较表。它可能连续进行几百次搜索、打开页面、读取文件和写入临时表格。即使中间有一次提取错误，结果仍可以在提交前统一检查，临时文件也可以删除。

第二个代理只行动三步：打开公司付款系统，选择供应商，提交转账。它的步骤很少，但第三步已经产生真实资金后果。

如果只问“多少步以后必须由人检查”，第一个代理看起来更危险，实际却可能相反。行动数量不是控制风险的充分尺度。决定监督强度的，是代理能够接触什么、改变什么，错误是否可逆，人多久以后才能发现，以及每一步是否会放大下一步的后果。

因此，一个AI代理可以连续行动多少步，没有适用于所有任务的固定答案。真正需要设定的不是一个神奇步数，而是一段受控行动范围。

代理与普通自动化的区别

传统自动化通常沿预先写好的路径执行。输入满足条件A，就执行步骤B；失败则进入规定的异常流程。开发者可以相对清楚地列出所有主要路径。

AI代理的特点是，它可以根据中间结果选择下一步。Anthropic把代理描述为能够为完成目标而指导自身过程和工具使用的模型。它可能先制定计划，搜索资料，发现信息不足后改用另一个工具，再根据结果调整路线。Anthropic：《Trustworthy agents in practice》

这种灵活性正是代理有用的原因。复杂任务无法预先把每一步写死，模型可以处理例外、选择工具并在较长时间内保持目标。

但灵活性也改变了控制方式。系统不能只验证某一条固定脚本，还要控制代理的目标解释、工具权限、行动预算和中间状态。一次没有预料的工具选择，可能把任务带到设计者从未测试的路径。

“让AI多想几步”主要影响答案；“让AI多行动几步”则可能改变外部世界。后者需要完全不同的安全结构。

风险取决于四个维度，而不是一个步数

第一是权限范围。代理只能读取公开网页，还是能够读取客户资料、修改代码、发送邮件、支付资金？权限越接近真实资产和对外承诺，检查点越应提前。

第二是可逆性。创建一个临时草稿容易撤回；删除生产数据、公开发布内容或提交交易可能难以恢复。不可逆动作即使只有一步，也应单独批准。

第三是可检测性。格式错误容易被程序发现，错误对象、错误法律解释或具有说服力的虚假事实可能很久以后才暴露。越难发现的错误，越不能依赖事后抽查。

第四是传播性。一个错误是否只停留在当前文件，还是会成为下一步的输入、触发更多代理、进入知识库或影响客户？错误会沿链条扩散时，中间检查比最终检查更重要。

可以把这四项理解为一个控制问题：代理可以连续行动的范围，应随着权限、不可逆性、检测延迟和传播能力的增加而缩小。

步骤越多，错误不一定线性增加

多步任务常具有依赖关系。第一步识别客户，第二步读取合同，第三步计算金额，第四步生成通知。如果第一步认错对象，后面三步可能各自执行得非常准确，却共同产生错误结果。

因此，错误并不总是每一步增加一点，而可能在关键分叉处改变整条路线。最终检查如果只看结果格式，很难发现早期身份或前提错误。

可靠代理需要识别“承重步骤”：

  • 确认任务对象；
  • 选择权威资料；
  • 决定不可逆方案；
  • 从分析转入执行；
  • 扩大权限或改变目标；
  • 向外部人员作出承诺。

这些位置应当设置检查点，即使它们只发生在任务开始后的第二步。相反，大量重复、低风险、容易复算的步骤可以在隔离环境中连续执行。

METR关于AI任务时间跨度的研究尝试测量模型能够独立完成多长的人类任务。随着代理能力提高，能够维持的任务长度不断增加。METR：《Time Horizon 1.1》

但能力时间跨度不是安全授权时间跨度。模型能够持续工作更久，只说明它可能完成更复杂任务；是否应当允许它在真实系统中不经检查地持续行动，还要看具体权限和后果。

“每一步都询问”也不是有效控制

一种直觉方案是要求代理在每次工具调用前都让人批准。这样看似最安全，实际很容易产生批准疲劳。

当用户连续看到“是否允许读取文件”“是否允许搜索”“是否允许写入临时目录”，他会形成机械点击习惯。真正危险的操作夹在几十次低风险确认中，反而更容易被忽略。

有效监督不在于确认框数量，而在于确认是否发生在理解得了、来得及阻止的关键位置。系统应把重复低风险动作组成清楚的授权范围，例如：“允许代理在这个只读资料库内搜索，并在隔离目录生成分析；不得发送消息、修改原文件或访问其他系统。”

用户批准的是一段可理解的行动边界，而不是每次都猜一个技术调用意味着什么。

欧盟《人工智能法》第14条对高风险AI系统的人类监督提出的要求，包括监督者能够理解能力与限制、监测异常、忽略或推翻输出，并通过停止机制安全中断系统。EU AI Act：Article 14—Human oversight

这项法律并不为普通代理规定通用步数，但它说明监督必须具有实质能力。不能停止、不能理解、不能推翻的“人在回路中”，只是界面上的人。

一段受控行动范围应包含什么

第一是清楚目标。任务不能只是“把这件事处理好”，而应说明对象、成功条件和不得越过的边界。

第二是最小权限。只读任务不应获得写权限，草稿任务不应自动获得发送权限，测试环境的权限不应延伸到生产环境。

第三是隔离环境。代码、文件和数据修改应尽可能先发生在沙盒、临时目录、草稿区或可审查分支中。

第四是预算与停止条件。限制运行时间、调用次数、费用、文件数量和失败重试。代理反复绕圈时应停止，而不是无限消耗资源。

第五是关键检查点。在扩大权限、采用新资料、向外部发送、付款、删除、发布和部署前暂停。

第六是可读记录。保存代理使用了哪些输入、调用了哪些工具、改变了什么以及为什么选择下一步。记录需要让后来的人能够重建过程，而不只是保存难以阅读的内部日志。

第七是撤回与恢复。优先使用草稿、版本控制、事务、备份和延迟发送，使错误在正式生效前仍可取消。

美国国家标准与技术研究院的AI风险管理框架强调，组织应根据使用情境配置治理、测量与管理措施，并明确人机配置中的角色和责任。NIST：《AI RMF 1.0》

这些原则共同说明，代理控制是一种系统设计，不是一句“请谨慎行事”的提示词。

人工监督也应随代理能力改变

当代理只能给出建议，人在行动前可以逐项评估。代理能够连续执行后，人可能从直接操作者变成监督者：先设定任务，再观察过程，最后处理例外。

这个变化提高了监督者所需的能力。他需要理解系统权限、读懂中间产物、识别异常并知道何时停止。如果组织因为AI自动化而减少人员，却仍要求剩下的人快速批准大量行动，监督可能比原来更弱。

Anthropic关于现实代理自主性的研究认为，有效监督需要新的部署后监测基础设施和人机交互方式，使人和AI共同管理自主程度与风险。Anthropic：《Measuring AI agent autonomy in practice》

这也意味着，检查点不是永久固定的。系统经过持续评估、失败模式更加清楚、自动检测更加可靠后，某些低风险步骤可以放宽。环境、模型、工具或任务改变时，原有授权范围又需要重新评估。

结论：不要问固定步数，要问下一步是否越过控制边界

一个只读研究代理可以在隔离环境中连续完成几百步，一个具有付款或发布权限的代理可能在第一步行动前就需要批准。步骤数量只能描述任务长度，不能独自描述风险。

因此，更准确的规则是：

AI代理可以连续行动到下一步将显著扩大权限、产生难以撤回的后果、依赖未经验证的关键前提，或把错误传播到其他系统为止。

在此之前，系统仍应保留预算、日志、自动检查和停止条件；到达边界时，必须由真正理解情境并有权拒绝的人决定是否继续。

代理能力的进步不应以“多久不用看它”作为唯一指标。更成熟的目标是：即使它工作很久，人仍然知道它在做什么；即使它走错，人仍能及时停止；即使错误发生，系统仍能恢复并说明原因。

控制不是不断打断代理，而是把自主性放在清楚、可测量、可撤回的范围内。

主要资料

继续阅读：浏览《AI进入工作之后》系列文章

了解 Geoffrey Chen 的更多信息

订阅后即可通过电子邮件收到最新文章。