怎样用反例测试一个看起来合理的AI答案? / How Can Counterexamples Test a Plausible AI Answer?

AI时代的判断力 · 第46篇

一个解释能说明常见情况,不代表它在边界上仍成立。反例不是为了抬杠,而是用最小代价找出规则的适用范围。

四轮反例实验

  1. 极端值:把数量、时间、年龄或成本推到很小或很大。
  2. 角色互换:把受益者与承担成本者对调。
  3. 条件缺失:拿掉答案依赖的一项资源、许可或信息。
  4. 相似异例:寻找表面相同、结果却相反的真实案例。

示例:测试“自动化一定节省时间”

反例 暴露的条件
任务每次都不同 配置成本可能超过节省
错误很少但代价极高 复核成本不能忽略
流程本身不必要 自动化只是更快地做无用工作

找到反例后,不必立刻丢弃原答案。把绝对结论改写为有条件的句子:“当A、B成立且C风险可控时,这个做法通常有效。”能说清边界的建议,比听起来永远正确的建议更有用。

参考资料


了解 Geoffrey Chen 的更多信息

订阅后即可通过电子邮件收到最新文章。