有一次看一个图像分类模型的演示,屏幕上给出一张猫的照片,模型判为“猫”,旁边附了一张热力图,红色集中在猫的耳朵和眼睛附近。演示者说:看,它能解释自己。现场点头的人不少。但那一刻我心里冒出的问题是:如果红色恰好落在背景的沙发靠垫上,我们是不是也能就着这张图讲出一套听起来合理的说法?
可解释性这个词,近几年被用得越来越顺手。它经常出现在模型上线前的评审会上,出现在产品介绍页里,也出现在监管讨论的脚注中。但解释这件事本身,比一张彩色的图要复杂得多。
解释是给人看的,所以先要问是谁
同一个模型,面对不同的人,需要的解释并不一样。
对工程师来说,解释可能是某层特征的分布、某个输入维度的梯度大小,或者一次消融实验的结果。这些信息帮助他们判断模型有没有学到不该学的东西。对一线业务人员来说,他们更关心的是:这条结果能不能拿去跟客户交代,如果客户追问,我该说什么。而对被模型影响到的那个人来说,他要的往往不是机制,而是一个能听懂的理由——为什么是我。
这三种诉求经常被混在一起谈。于是出现一种尴尬:技术团队交付了一张注意力热力图,觉得自己已经尽责;业务侧看了半天,只觉得颜色很深,仍然不知道下一步该怎么办。解释没有落地,不是因为它错,而是因为它答的不是对方的问题。
看起来合理的解释,未必是真实的依据
关于可解释性,一个绕不开的麻烦是:解释本身也可能是事后编出来的。
有些方法在模型给出结果之后,再回头去找“哪些输入影响了这个结果”。这类做法的好处是通用,坏处是它描述的是相关性,而不是模型内部真正走的路径。当输入特征彼此高度相关时,归因结果很容易摇摆——换一种随机种子,重要的特征可能就换了位置。使用者如果不知道这一点,就会把一张不稳定的图当成定论。
还有一种情况更微妙。人看到一个说得通的解释,会不自觉地降低警惕。这在一些研究里被称作解释带来的过度信任:解释越流畅,人越少去质疑模型本身是否可靠。换句话说,解释有时不是在帮助判断,而是在替判断收尾。
有用的解释,通常带着边界
我在实际场景里见过相对靠谱的做法,它们往往不追求“把模型讲透”,而是把解释限定在一个明确的范围里。
- 说清楚这次解释覆盖了什么:是单个样本,还是一批样本的共性;是输入层面的影响,还是中间表示的变化。
- 给出解释的不确定性:哪些结论稳定,哪些换个数据就可能翻转。
- 留出反例:什么样的输入会让模型给出完全不同的结果,这比正面例子更能说明边界。
- 把解释和可执行的下一步连起来:知道原因之后,人能改什么、该复核什么。
这些做法听起来朴素,但它们把可解释性从“展示”拉回到了“使用”。一个解释如果不能改变人的某个动作,它的价值就很有限。
它解决不了所有问题
也需要承认,可解释性有它够不着的地方。对于参数量很大的模型,彻底讲清每一个判断的形成过程,目前并不现实;很多解释方法提供的是近似,而不是还原。把近似当成真相,是使用中最常见的偏差。
另一个边界在于,可解释不等于可信。一个模型可以给出漂亮的解释,同时在分布外的数据上表现糟糕。反过来,有些内部机制不透明的系统,在长期运行中表现稳定,人对它的信任来自反复验证,而不是来自解释。解释是建立信任的一条路径,但不是唯一一条,也不总是最短的一条。
所以,当我再看到那张猫的热力图时,我更愿意多问一句:这张图是怎么算出来的,换个模型还在不在,如果它指向背景,你们会怎么处理。问完这几个问题,解释才真正开始工作。