简短答案
当决定会显著影响人的权利、健康、安全、生计、自由或重大财产，而错误难以发现、解释、挑战或撤销时，不应让通用AI拥有最终决定权。AI可以整理资料、提出选项和识别模式，但必须由具备能力、信息和真实裁量权的人决定。关键不是页面上有没有“人工审核”，而是人能否理解证据、拒绝系统、说明理由并及时纠正。
高后果不是唯一条件，低可纠正性同样重要
一项决定风险来自后果大小，也来自错误能否被发现与修复。自动给内部文件建议文件夹，错误通常很快看见并可移动；自动拒绝福利申请，错误可能让申请人几个月失去收入，而且他们未必知道AI参与或如何申诉。
可以用四个维度判断：影响有多大；错误是否可逆；受影响者是否能理解和挑战；是否存在具备职责的人重新决定。任何一项很差，都应降低自动化程度。
澳大利亚政府的AI采用指引要求按具体用途理解影响、测试监控并保持人工控制，说明同一系统不能只凭总体能力获得决策许可。Australian Government: Guidance for AI Adoption—Implementation Practices
不要让AI最终决定基本权利与机会
招聘、解雇、贷款、保险、教育录取、福利、移民、执法与住房等决定，会影响一个人的机会和生活条件。历史数据可能包含过去的偏差，代理变量可能重新编码受保护特征，模型又可能无法给出足够具体的理由。
即使平均准确率很高，一个群体也可能承受更高错误率。最终决定若自动形成，受影响者会面对“系统如此判断”的封闭答案。真正的人类决定者应能查看完整材料、考虑例外、纠正数据并提供可争议的理由。
澳大利亚人权委员会指出，AI决策可以提高效率，却也可能侵害人权；透明、问责和独立监督是保护机制的重要部分。Australian Human Rights Commission: Human Rights and Technology Final Report
不要让通用AI作出医疗、法律或安全的最终判断
症状、合同与安全事件高度依赖背景。模型可能提供教育信息、问题清单或文件摘要，但缺少完整病历、司法管辖、证据规则、设备状态和现场观察。错误建议又可能以专业语气出现。
医疗和法律专业人士也会犯错，但他们受资格、记录、程序和责任约束，能够询问、检查、解释并根据新资料调整。通用聊天模型没有因生成了一段建议就取得这些职责。
在专业系统经过监管、验证并用于规定用途时，AI可以提供决策支持。支持与替代不同：最终人员需要理解系统适用范围，不能只点击接受。
不可逆行动需要事前批准
转出资金、删除资料、公开发布、签署合同、发送大批通知、改变生产系统或向政府提交声明，都会使AI输出变成外部行动。不可逆或昂贵行动不应由自由文本模型独立触发。
安全设计应在行动前显示具体对象、金额、收件人和变化，要求明确确认，并设置金额上限、权限最小化、双人批准或延迟窗口。让AI先执行、事后发通知，只在能完整撤销的低风险环境才合理。
当系统无法解释决定时，不要让它决定
解释不等于公开所有模型参数，而是受影响者能够知道用了哪些相关资料、适用什么规则、哪里可能错误，以及如何请求复核。如果机构连自己也无法说明输出怎样进入决定，就无法有效验证准确性或处理争议。
OAIC对商业AI产品的指引强调，机构若用AI协助决定，需要理解输出形成方式、由人验证准确性并能够推翻决定；对影响个人的用途，还应提供有意义的解释。OAIC: Guidance on privacy and commercial AI products
“模型很复杂”不是不给解释的充分理由。无法解释可以是停止使用该用途的理由。
当目标本身存在价值争议时，应由人选择
AI可以优化被指定的指标，却不能合法地替组织决定什么值得优化。招聘是优先经验还是潜力；城市管理是优先效率还是公平；学校纪律是优先一致还是个体处境，这些都涉及价值和权利。
把价值选择隐藏进评分权重，会让政治或伦理问题看起来像技术结果。应由有正当授权的人公开目标、听取受影响者意见并承担取舍，AI只能帮助比较后果。
信息不完整时，不要被完整答案诱导
真正决定常需要模型没有看见的资料：对话语气、未扫描附件、近期变化、个人意愿、现场异常。AI仍可能生成完整结论，制造“资料已经足够”的错觉。
系统应有缺失字段和停止规则。若必需资料不存在，输出只能列出需要补充的问题，不能自行推断。对于高后果决定，拒答能力比始终给答案更重要。
所谓人工审核可能只是橡皮图章
如果人一天需要批准几千项、只看到AI摘要、没有原始证据、绩效要求又鼓励快速接受，那么形式上“人在回路”，实质上决定仍由系统完成。研究显示，人类可能对自动建议产生自动化偏误，也可能在错误建议下改变原本正确判断。NIST AI RMF: Human-AI Interaction
有效监督需要合理工作量、专业能力、独立证据、拒绝权限、错误反馈和定期测试。还可要求人先形成初步判断再看AI建议，减少被第一个答案锚定。
哪些任务仍可安全地让AI参与
禁止最终决定不等于禁止使用。AI可以整理申请材料、指出缺失文件、生成比较表、查找相关政策、提供多个方案、形成需要人工修改的通知草稿。每项辅助功能仍要检查隐私、偏差和准确性，但它们把决定保留在人手中。
还可让AI挑战决定：寻找遗漏反例、指出规则适用冲突、检查通知是否说明申诉途径。让系统扩展人的视野，比让它输出一个不可争议分数更有价值。
一个决定权分级
第一级是建议：AI提供信息，人完全独立决定。第二级是有条件推荐：AI按公开规则排序，人查看证据并可推翻。第三级是低风险自动执行并抽样复核。第四级是高后果自动决定。随着等级上升，需要更强验证、监控、解释和救济；第四级对通用生成式AI通常不应开放。
分级应按具体动作而不是产品。一个系统可以自动格式化同一份申请，却不能自动拒绝申请。权限设计应把两种能力分开。
我的判断：决定权应跟随可问责能力
能够决定的人，应当能够理解问题、接触相关证据、说明理由、听取异议和修复错误。AI可能在其中几项提供帮助，却不能成为被追问、承担义务和补偿损失的主体。因此最终权力必须留给具备制度责任的人。
若机构无法提供真正的人类决定者，诚实选择是降低用途或暂停部署，而不是在界面加一个批准按钮。自动化不能创造缺失的治理能力。
决定前检查清单
- 决定是否影响权利、健康、安全、生计、自由或重大财产？
- 错误多久能发现，是否能完整撤销？
- 输入是否完整、准确且适用于这个人或情境？
- 目标和权重是否包含需要公开讨论的价值选择？
- 受影响者能否知道AI的作用、纠正资料并提出申诉？
- 人类审核者是否看到原始证据并有时间独立判断？
- 审核者能否拒绝AI，而不受到不合理绩效惩罚？
- 是否有停止、调查、通知和补救机制？
结论
当决定后果重大、难以撤销、资料不完整、价值存在争议或缺乏有效申诉时，AI不应拥有最终决定权。保留人工决定不是仪式，而是保留解释、裁量、责任与救济。AI可以扩大信息和方案，但影响他人生活的最后一步，应由能够被追问并采取纠正行动的人完成。
相关问题
继续阅读本系列： 《AI可以相信到什么程度？》全部文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。