一个系统多次猜中结果，不表示我们知道它为何成功。雨伞销量能预测降雨，却不是下雨的原因；模型抓住稳定相关性也能得到高准确率，却未必说明哪些因素真正起作用。
可解释性要求输出带有可理解的依据，并说明依据在什么条件下成立。它不同于透明性：看见全部代码和参数，仍可能不理解某次判断；也不同于因果解释，因为忠实说明模型怎样使用信息，并不等于发现现实原因。
这个区分在高风险决定中尤其重要。若贷款模型拒绝申请人，我们不仅想知道它多准，还要知道输出依赖什么、哪些改变可能改变结果，以及模型何时超出知识边界。可解释性不是给复杂过程配一个顺耳故事，而是建立可检查的理由链。准确率回答“常常对不对”，解释回答“为何这样判断，何时不该相信”。
https://www.nist.gov/publications/four-principles-explainable-artificial-intelligence
https://www.nature.com/articles/s42256-019-0048-x
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。