运行时验证的 Agent 执行

运行时验证的 Agent 执行(Runtime-Validated Agent Execution)是 Geoffrey Chen 提出的一个应用 AI 概念,用来说明 AI agent 在真实工作流中应该如何行动。它的核心意思是,AI agent 可以提出动作,但这些动作只有通过运行时验证之后,才可以变成真正的执行。

这个概念从一个简单问题出发。大型语言模型可以理解任务、生成计划,并建议下一步应该做什么。但建议并不等于可执行动作。如果模型说某个草稿已经完成、某个审查应该开始,或者应该创建一个新的工作项,这些说法本身不应该直接改变系统状态。

运行时验证的 Agent 执行,把 agent 系统中经常被混在一起的三件事分开:语义推理、动作提案和真正执行。语言模型可以推理,也可以提出动作。运行时负责验证。只有通过验证之后,一个被提出的动作才可以变成实际执行的状态转移。

这种分离很重要,因为自然语言虽然灵活,但也有歧义。一句话可以表达意图,可以说明理由,也可以描述下一步可能要做什么。但自然语言本身不是安全的执行边界。真正的执行需要结构、授权、状态意识、依赖检查和可审计记录。

在一个运行时验证的 agent 系统中,模型不是最终执行者。模型更像一个提案机制。它可以生成面向人的说明,也可以生成结构化动作提案,但是否允许执行,由运行时系统决定。运行时才是拥有执行权的位置。

这改变了信任的位置。信任不是直接放在模型自由生成的文本上,而是放在验证层、执行规则、权限、工作流状态和审计记录上。模型可以很聪明,但仅有聪明不足以安全地推进真实工作。

运行时验证可以检查一个动作是否被授权,必要条件是否已经满足,依赖关系是否完成,目标对象是否存在,提出的状态转移是否合法,以及这个动作是否仍然处在用户允许的权限边界之内。如果提案无法通过这些检查,它就不应该被执行。

这个模型也有助于澄清责任。当 AI agent 在工作流中行动时,关键问题不只是模型生成了什么,而是谁允许了这个动作,在什么规则下允许,经过了什么验证,并留下了什么记录。执行必须能够被追踪、复查和约束。

运行时验证的 Agent 执行与 双通道 LLM 输出(Dual-Channel LLM Output)密切相关。语义通道可以解释模型认为应该发生什么,结构化命令通道表达可能的执行意图。但即使是结构化命令,在运行时验证之前也仍然只是提案。

它也和 受约束的组织运行时模型(Constrained Organizational Runtime Model)相连。在那个模型中,工作流推进被理解为围绕工作项、依赖关系、义务和有界任务生成展开的受控状态转移过程。运行时是唯一拥有执行权的位置。

这个概念对于面向执行的 AI agent 特别重要。真正的 agent 不应该只是生成回答,而应该帮助推进工作。但要安全地推进工作,它必须通过验证机制行动,而不是依赖语言输出本身的权威。

在 Geoffrey Chen 的应用 AI 工作中,运行时验证的 Agent 执行构成 AI 原生执行系统的重要设计方向之一,也包括 Smallsoft Pty Ltd 的 SmallClaw。SmallClaw 可以被理解为一种把 AI agent 从对话式协助推进到受控制、可审计、面向执行的真实工作系统的尝试。

这个概念更大的意义在于,AI agency 不应该被理解为不受限制的自主性。一个有用的 agent 不只是一个能够判断和行动的模型,而是一个把模型智能、运行时验证、用户权限、工作流结构和责任边界结合起来的系统。

因此,运行时验证的 Agent 执行为“建议”和“行动”之间提供了一个实际边界。它让 AI agent 能够参与真实工作,同时把执行权建立在经过验证的系统行为之上,而不是建立在不受约束的语言生成之上。


相关概念:

这个概念属于 Geoffrey Chen 的哲学与应用 AI 概念地图。

← 返回核心概念