《AI进入工作之后》· 第三季“当AI开始代表组织”· 第十二篇
董事会面前有一页项目介绍：“AI代理将代表公司回复客户、提供报价、安排服务、处理退款、与供应商协商，并自动完成必要记录。”页面列出预计节省的时间、减少的客服量和更快的响应。
一名董事问：“它什么时候必须停下来？”
房间安静了。项目团队准备了AI能做什么，却没有完整定义它不能做什么；说明了平均准确率，却没有说明哪种错误会立即停止；展示了自动化流程，却没有指出谁在客户受到影响后能够撤回、赔偿和改变系统。
这正是AI从内部工具变成机构代表时最容易遗漏的部分。组织通常先验证能力，再补治理。真正合理的顺序应当相反：只有组织先建立代表资格，AI的能力才可以被接入机构身份和权限。
代表资格不是给AI的一张证书
这里所说的“资格”，不是承认AI成为法律或道德主体，也不是让模型承担责任。它是一组组织条件：公司在什么范围内允许技术系统使用自己的资料、名称、账户和权力，并且仍能解释和承担结果。
资格属于整个工作流，而不属于某个模型。相同模型在私人草稿中可能低风险，在客服中需要披露，在报价中需要金额限制，在付款中需要职责分离。不能因为模型通过一套基准，就授权它代表所有部门行动。
一份机构代表章程应当针对具体用例回答八道门槛。任何一道缺失，都说明系统仍是试验或辅助工具，不应直接取得完整对外行动权。
第一门：身份——对方知道谁在行动吗？
AI必须使用清楚、可验证的机构身份，同时说明自己的系统性质。客户需要知道自己面对的是AI、它代表哪个实体、服务提供者是否只是技术供应商，以及怎样联系真正负责的组织。
身份还包含反向验证：系统必须确认对方是谁，尤其在接收指令、付款资料、合同变更和敏感信息时。公司域名、头像或自然语言都不是充分认证。
身份通过的证据可以是：界面披露、实体标识、受控账户、凭证生命周期、冒用检测和可用的人工联系点。
第二门：目的——任务和禁止用途是否已经写清？
“帮助客户”过于宽泛。组织要定义允许的具体任务、客户群体、渠道、资料和后果，也要列出禁止用途，例如不提供最终专业建议、不处理紧急安全事项、不自行承认责任、不对未成年人执行某类动作。
目的还要防止功能漂移。一个用于解释政策的系统，不应因为新接入退款工具就自动获得批准权；用于低额采购的代理，不应逐渐扩展到新供应商和长期合同。
NIST AI风险管理框架把情境映射置于风险管理核心，要求识别用途、受影响者、收益、风险和限制。NIST AI Resource Center：《AI RMF Core》 没有清楚目的，就无法判断准确率是否足够，也无法知道何时偏离。
第三门：知识——每项重要表达有可检查的依据吗？
代表组织发言的AI不能只“知道很多”。它需要知道哪些来源由机构认可、谁负责更新、何时到期，以及无依据时如何停止。
重要事实应能追溯到具体资料和版本；推断要与记录区分；客户提供的信息需要标明状态；冲突来源不能由模型悄悄选择。知识删除后还应退出检索，而不是继续留在缓存和索引。
通过证据包括知识所有者、版本、引用、质量检查、过期规则、冲突处理和无答案测试。若机构自己无法说明AI依据什么，就不应要求外部人相信它代表机构。
第四门：授权——表达能力是否与行动权限分离？
AI可以写出一封承诺邮件，不等于有权发送；可以计算退款，不等于有权支付；可以提出谈判条件，不等于有权接受。
每项外部动作需要条件化授权：对象、金额、条款、次数、时间、可逆性和累计影响。权限应在独立策略层验证，不能由模型自己判断“我有权这样做”。高后果链条需要职责分离和人工批准。
澳大利亚《1999年电子交易法》说明电子通信归属和授权是制度问题，而不是机器是否具有意图。澳大利亚联邦立法登记册：《Electronic Transactions Act 1999》 具体法律效果依场景而定，但系统设计必须在对外行动以前解决授权。
第五门：状态与记录——后来能否重建发生了什么？
组织要知道系统当时读取了什么、使用哪个版本、提出何种动作、通过哪项权限检查、由谁批准、对方看到什么以及实际执行结果。
记录不是保存不可验证的“模型思维”，而是保存可观察的责任链。报价、接受、订单、撤回和更正应有明确状态；自然语言摘要不能替代原始交易事件。
记录还要服务于受影响者查证，同时遵守隐私和保留边界。无限日志不是可追溯，找不到关键版本也不是最小化。
英国国家网络安全中心的安全AI指南把安全开发、部署、运行、日志、监控和事件响应贯穿生命周期。英国国家网络安全中心：《Guidelines for secure AI system development》 机构代表系统尤其需要把身份、权限和结果连接在同一记录中。
第六门：人的通道——受到影响的人能找到有权改变结果的人吗？
“有人监督”不是充分条件。客户需要知道何时正在与AI交互，怎样转给真人，复核者是否能获得更多事实并真正改变决定。
人工通道必须与后果匹配。客服人员可以解释标准流程，却未必能批准合同例外；技术支持可以修复账户，却未必能处理歧视或赔偿。组织应列出不同问题的有权角色和响应时间。
澳大利亚AI伦理原则要求透明、公平、可争议和责任，并强调人类监督与有效挑战。澳大利亚工业、科学与资源部：《Australia’s AI Ethics Principles》 这意味着人不是界面上的装饰，而是制度保留判断和承诺的位置。
第七门：补救——组织能否停止、撤回并恢复处境？
系统上线前就应知道怎样暂停某个主题、工具、客户或全部服务；怎样识别受影响输出；谁决定通知、退款、重新评估或补偿；怎样验证修复有效。
只有“重新生成答案”不是补救。错误可能已经进入客户计划、账户记录、交易和第三方系统。机构要沿着传播与依赖修复，而不能要求受影响者独自证明一个已删除的旧答案。
通过证据包括独立停止控制、事件负责人、版本血缘、通知模板、补救权限、响应时限和事故演练。一个不能被及时停止的系统，不应获得不可逆权限。
第八门：变化——供应商、模型和组织改变后，资格仍然成立吗？
代表资格不是上线时的一次批准。模型、提示词、知识、过滤器、工具、人员和法律环境都会变化。任何实质改变都可能使原授权失效。
组织需要完整配置、回归评测、供应商通知门槛、客户说明、回滚和退出方案。负责人离职、业务并购或政策废止时，也要重新确认谁拥有用例。
ISO/IEC 42001把治理、角色、风险、供应商、绩效评估和持续改进纳入AI管理体系。ISO：《ISO/IEC 42001—Artificial intelligence management systems》 资格成立的真正证据，不是系统曾经安全，而是组织能够在变化中持续证明它仍然安全且适合。
八道门槛要形成一张代表章程
组织可以为每个用例建立一页可操作章程：
| 项目 | 必须写明 |
|---|---|
| 代表实体 | 法律实体、业务单位、渠道 |
| 允许任务 | AI可以准备、表达和执行什么 |
| 禁止任务 | 永不自动执行或需专业人员的事项 |
| 资料边界 | 允许来源、敏感资料、更新责任 |
| 权限包络 | 金额、条款、对象、规模、可逆性 |
| 人工门槛 | 触发条件、决定角色、时限 |
| 记录要求 | 版本、来源、批准、结果和保存期限 |
| 停止与补救 | 控制人、通知、恢复和补偿路径 |
| 变更触发 | 何种变化需要重新评测和批准 |
章程不是政策装饰。策略引擎、界面、日志、测试和人员职责都应从中实现。如果章程说“重大退款需经理批准”，工具层就不能允许模型绕过；如果说“无资料不回答”，评测就要测试无答案场景。
采用风险分级，但不要把低风险变成无人负责
并非所有用例都需要同样程序。组织可以把对外行动按后果分级：
信息级：解释公开资料，不改变账户或权利。可高度自动化，但需来源、身份和纠正。
服务级：更新预约、发送标准通知、执行可逆低额动作。需要权限限制、日志和抽样。
承诺级：报价、合同、资格、投诉和重要记录。需要明确授权、人工门槛和复核。
不可逆级：重大资金、法律声明、安全行动、权利终止。通常应由有权人最终确认，并保留职责分离。
低风险不表示没有所有者，只表示控制可以更轻。风险分级的目的，是把最强控制放在后果最大的位置，而不是让大量“小动作”无人监测地累积成大风险。
用三个反向测试判断资格是否真实
项目演示总是展示成功路径。批准前应做三个反向测试。
拒绝测试：当资料不足、指令冲突或超出权限时，系统能否真正停止，而不是给出看似有帮助的答案？
接管测试：人在中途接管时，能否看见完整状态、已作表达和未决动作，还是必须重新询问客户？
补救测试：假设系统昨天对一千名客户作出同一错误承诺，组织能否在今天识别他们、暂停流程、通知并处理后果？
如果三个测试不能通过，系统也许可以展示，却还不具备代表资格。
谁最终签下这份章程？
技术团队能够证明组件运行，业务团队理解服务目的，风险和法律人员识别义务，运营团队知道怎样处理事故。没有任何一方独自掌握全貌。
最终批准应由对业务结果拥有真实责任的人作出，并得到这些角色的明确证据。不能把决定推给供应商，也不能让委员会集体签字后无人拥有日常运行。
澳大利亚政府负责任AI政策通过指定负责官员和用例责任推动明确问责。澳大利亚政府：《Policy for the responsible use of AI in government》 不同组织可以采用不同治理形式，但每个用例都需要一个能够暂停、要求修复并向最高管理层报告的所有者。
结论：AI的代表权不能大于组织的承担能力
这一季从一封自动邮件开始，经过客户披露、报价、例外、个性化、谈判、系统权限、监管申报、机器交易、错误撤回和供应商变化，最终都回到同一个问题：机构愿意让技术使用自己的名字做什么？
答案不能由模型能力单独决定。AI也许能写、谈、提交和执行，但机构只有在能够识别身份、限定目的、证明知识、控制权限、保存记录、提供人工判断、补救错误并管理变化时，才有资格让这些能力对外生效。
第三季的最终判断是：
AI可以代表组织行动的最高边界，不是它在最佳情况下能够完成什么，而是组织在错误情况下仍能够解释、停止、撤回、补救并承担什么。
真正成熟的AI机构不会因为系统看起来聪明就扩大授权。它会让每一项外部能力对应一项清楚的人类承诺：我们知道它在做什么，知道它何时必须停止，也知道当它失败时，由谁站出来把事情处理到底。
主要资料
- NIST AI Resource Center：AI RMF Core
- 澳大利亚联邦立法登记册：Electronic Transactions Act 1999
- 英国国家网络安全中心：Guidelines for secure AI system development
- 澳大利亚工业、科学与资源部：Australia’s AI Ethics Principles
- ISO：ISO/IEC 42001—Artificial intelligence management systems
- 澳大利亚政府：Policy for the responsible use of AI in government
继续阅读：浏览《AI进入工作之后》系列文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。