简短答案
没有一个适用于所有任务的金额门槛。当一次错误可能造成人身伤害、不可逆资金转移、法律权利受损、敏感资料泄露、公共承诺或大规模连锁影响，而系统又无法在执行前可靠发现异常时，就不应允许通用AI自动完成最后动作。判断应同时看后果、发生概率、暴露规模、可逆性和发现时间；任何极端项都可以触发强制人工批准。
不要只用“错误概率低”判断自动化
风险常被简化成概率乘损失，但实际自动化还会改变速度和规模。人工一天可能误发一封邮件，代理系统可能一分钟误发一万封；一个错误公式可能在所有客户账单上重复；一个泄露链接一旦被搜索引擎收录，很难真正收回。
因此至少要问五件事：单次最坏后果是什么；同一错误会影响多少对象；损害能否完全撤销；多久才能发现；受影响者能否得到通知和补救。模型在测试集上表现良好，不能回答这些运营问题。
NIST AI风险管理框架把风险视为对个人、组织和社会的潜在影响，并要求在具体情境中治理、映射、测量和管理。它支持的不是一个统一准确率门槛，而是按用途和后果决定控制强度。NIST AI Risk Management Framework
先把“建议错误”和“行动错误”分开
AI在屏幕上写错一句，与系统把这句话发给客户、执行付款或修改生产环境，是两种风险。建议阶段仍给人和软件规则留下拦截机会；行动阶段会把概率变成真实后果。
最实用的边界是把生成权限与执行权限分离。模型可以起草邮件，但不能选择最终收件人并发送；可以准备付款指令，但不能提交；可以提出文件删除清单，但删除必须通过确定性规则、预览和批准。不要因为某工具能调用API，就默认它应该获得API的全部权限。
权限设计应按具体动作拆分，并使用最小权限、金额或数量上限、允许名单、沙盒、延迟队列和可撤销机制。对高代价动作，模型输出只能成为待审批提案。
人身安全和基本权利不应由通用模型自动决定
医疗处置、危险设备控制、执法、福利停止、招聘淘汰、贷款拒绝和类似决定，可能影响健康、自由、生计与平等机会。即使平均损失难以换算成金额，也应视为高代价。
这类用途需要适用领域的验证、法规与专业标准、可解释程序、有效申诉以及具备责任的决定者。通用生成式AI可以整理资料或提出需要检查的问题，但不能因为表达流畅就取得最终权限。
澳大利亚人权委员会关于人权与技术的报告强调，AI辅助决策可能影响基本权利，透明、责任和独立监督至关重要。Australian Human Rights Commission: Human Rights and Technology Final Report
不可逆或无法完整补救的损失要采用更低门槛
某些行动可以撤回，但伤害不会完全消失。误发的解雇通知即使当天撤回，也可能造成心理和职业影响；公开的健康资料即使删除，也可能已被复制；错误报警即使澄清，也可能影响信用或声誉。
判断可逆性不能只看系统有没有“Undo”按钮。应问外部接收者是否已采取行动、资料是否已复制、法律期限是否已错过、受影响者是否能恢复原有位置。无法保证完整恢复时，应在执行前增加控制，而不是依赖事后修复。
对完全不可逆、可能危及生命或大范围泄露的动作，合理默认值是禁止通用AI自主执行。若确有自动化需要，应使用经过特定验证的确定性系统、冗余安全装置和正式授权，而不是自由生成指令。
规模会把小错误变成重大事件
单次少收一元似乎很小，若重复到数百万交易就会形成重大财务与信任问题。一次不准确的个性化建议也许容易纠正，若系统对所有用户采用同一错误假设，暴露就会相关而集中。
风险评估应设置“爆炸半径”：每批最多多少收件人、每小时最多多少交易、每次可以修改多少文件、每个账户可触达哪些数据。先在小范围、可观察、可撤销环境运行，再逐步扩大。扩大规模本身应触发重新批准，因为它改变了最坏后果。
还要防止多个低风险步骤串联成高风险流程。读取邮件、提取银行信息、创建付款和发送确认，单看每项都像普通操作，组合后却可能直接转移资金。
发现得越晚，允许的风险越低
错误如果在执行前被确定性校验发现，损失接近零；如果要等客户投诉数周后才知道，损失会积累。风险控制应明确检测窗口和停止时间。
建立实时规则检查、异常阈值、对账、回执和事件警报。第一批可以逐项人工批准，稳定后仍应保留随机抽样和自动停机条件。若系统无法可靠知道行动是否成功、对象是否正确或结果是否异常，就不具备自主执行的基本可观察性。
所谓“持续监控”必须连接到处置：谁收到警报、多久响应、谁能暂停、如何通知受影响者。只有仪表板而没有值班与权限，不是控制。
用损失预算决定自动化级别
可以为一类任务设定明确的风险承受范围，而不是争论AI总体是否可信。定义单次最大损失、每日累计暴露、受影响人数、敏感数据级别和最长恢复时间。例如，允许AI自动安排内部非关键会议，但不得邀请外部人员；允许生成不超过特定金额的采购草案，但付款需要双人批准。
损失预算不是给错误定价后放任发生。它把抽象风险转成权限边界。若无法合理估算后果，应将不确定性视为额外风险，采用较低自动化级别。
预算还应包括隐性成本：调查、通知、法律咨询、客户补偿、员工时间、声誉和未来监管义务。只比较节省的操作分钟与直接退款，会系统性低估事故。
一个可执行的四级权限模型
第一级，AI只提供草稿或分析，不能改变外部状态。适用于不确定性较高但人能有效判断的任务。第二级，AI准备具体动作，人看到对象、内容和后果后逐项批准。第三级，AI在明确规则、严格限额、可撤销和实时监控下执行低风险动作，并接受抽样复核。第四级，AI自主执行高后果或不可逆动作。
对通用生成式AI，第四级通常应禁止。第三级也必须证明规则可以限制输出，而不是仅依赖提示词要求模型“小心”。提示词是行为引导，不是权限边界。
任务升级时需要重新评估。例如，内部草稿工具接入客户数据库后，数据风险已经变化；每周十次的自动操作扩大到每日十万次后，规模风险已经变化；模型或工具链更新后，原有测试也可能失效。
什么情况应立即设置硬性停止线
若动作涉及付款、证券交易、法律提交、医疗治疗、危险设备、账户权限、批量删除、敏感信息公开、解雇或拒绝重要服务，应默认要求人工批准与额外规则校验。若行动无法预览最终内容、无法确认目标身份、无法记录依据，或无法撤销，则不应执行。
同样需要停止的信号包括：输入来源不可信、模型可读取外部恶意指令、系统使用共享高权限账号、没有测试环境、没有事件负责人、审核容量不足，或无法确定模型和提示版本。技术演示成功不能抵消这些治理缺口。
NIST的生成式AI风险管理资料特别关注生成式系统的内容、信息安全、人机配置和价值链风险，强调以测量、文档和持续管理处理它们，而不是假设模型会自我约束。NIST AI 600-1: Generative AI Profile
不要让人工确认变成无信息的点击
高风险批准界面必须展示最终行动，而不是“AI已准备好，是否继续？”批准者应看见确切收件人、金额、文件变化、数据范围、外部公开状态和不可逆后果。重要差异应突出，敏感字段应再次验证。
批量批准需要显示总规模和异常项，不能把一万次操作藏在一个按钮后。极高风险动作可以要求两名不同角色批准，或设置冷静期，让误操作与账户被盗都有拦截机会。
批准者还必须有足够时间和能力。若系统设计让逐项检查不可能，就应减少批量范围或取消AI执行权限。
我的判断：先设计事故，再决定权限
在授权AI执行前，先写出三个可信的失败情景：错误对象、错误内容和恶意输入。说明最大影响、发现方式、停止步骤、恢复能力和责任人。如果团队无法完成这份事故叙述，就还不了解系统如何失败，也不应授予自主权限。
最好的自动化目标不是“删除所有人工步骤”，而是在不突破损失预算的情况下减少低价值操作。保留一个关键批准点，可能只花几十秒，却把公开行动与可编辑草稿分开。这通常是值得的成本。
决策检查表
- 最坏结果会影响健康、安全、权利、生计、重大财产或敏感资料吗？
- 同一个错误一次能影响多少人、交易、文件或系统？
- 损害能否完整撤销，还是只能停止继续扩大？
- 错误会在执行前、几分钟内，还是几周后被发现？
- 是否有确定性规则检查对象、金额、格式、权限与异常？
- AI的生成权限是否与发送、付款、删除和发布权限分离？
- 批准者能否看见最终行动和总暴露，而不是只看模型摘要？
- 是否有硬限额、停止开关、事件负责人、通知和补救方案？
结论
错误代价是否过高，不由一个通用金额或模型准确率决定。人身与权利影响、不可逆性、大规模暴露、晚发现和缺少补救都会把门槛降到必须人工批准，甚至禁止执行。先限制权限和爆炸半径，再考虑效率。AI可以快速提出行动，但把建议变成现实的最后一步，应由与最坏后果相匹配的控制来决定。
相关问题
继续阅读本系列： 《AI可以相信到什么程度？》全部文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。