AI时代的判断力 · 第41篇
人工使用时，一个错误答案通常影响一次决定；自动化使用时，同一种错误可能在几分钟内作用于成千上万个对象。风险不仅是错误率，还包括速度、规模、权限和发现延迟。
用四个乘数估算爆炸半径
影响 ≈ 单次后果 × 处理数量 × 可执行权限 × 发现前的时间
即使每次只造成小损失，只要数量巨大且长时间无人察觉，总影响也会很高。相反，高风险操作即使数量少，也需要更强的确认。
在系统里放入保险丝
| 保险丝 | 作用 |
|---|---|
| 速率和金额上限 | 限制一次异常的最大范围 |
| 抽样复核 | 在全量错误前发现模式 |
| 异常阈值 | 分布、退回率或投诉突变时暂停 |
| 灰度发布 | 先在小范围验证 |
| 一键停止与回滚 | 让人能迅速恢复到已知状态 |
自动化之前，先写出“最坏的一次运行会做多少事”。如果答案无法量化、无法停止或无法撤销，系统还不适合无人值守。
参考资料
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。