评审会上,运营指着屏幕上一条被拦下的订单问:“这单为什么判异常?”工程师调出归因图,几个词被标成深色。运营看了一眼说:“所以是这几个词的问题?”工程师停顿了一下:“不完全是,模型看的是整段文本。”
这个停顿很常见。它说明一件事:我们能画出一张解释图,却不一定能回答对方真正问的问题。
解释之前,先确认是谁在问
同一个模型,三类人会问三种问题。工程师想知道是不是某个特征把结果带偏了,他要的是定位 bug 的线索;业务方需要一个能写进流程、事后能复述的理由;被拦下的用户想要的,是一个可以申诉的说法。这三件事对精度、对形式的要求并不一样。
不少团队把第一类需求做完,就以为解释这件事已经交付。实际运作里卡住的,往往是后面两类。
几种常见做法,各自回答不同的问题
- 显著性图和梯度归因:看输入的哪些部分对输出影响大,适合排查明显异常。
- 注意力权重:能显示模型“在看哪里”,但它和最终决策的关系不总是线性的,不能直接当成原因。
- 代理模型:在某个样本附近用一个简单模型近似复杂模型的行为,换来决定边界的可读性。
- 反事实解释:告诉对方“如果这个字段变成那样,结果会不同”,它天然贴近可以采取的动作。
这些方法各有前提。归因类方法对输入扰动敏感,同一段文本稍作改动,被标出的词就可能换一批。这不一定是模型坏了,而是归因本身是一种近似计算。如果对外交付时把它说成“模型就是因为这个词”,后面很容易被追问到站不住。
可解释性更像一份接口约定
我倾向于把可解释性理解成接口,而不是模型自带的属性。接口意味着要说清楚:在什么粒度上解释、给谁看、用什么形式、能不能被复核。一个只在测试集上算过一致性指标的模块,和一份业务方真的能引用到工单里的说明,是两回事。
举个客服质检的场景。模型判定某通对话“服务态度不合规”,反事实解释可以给出:如果那句带情绪的话换一种说法,判定会翻转。业务方拿到这条信息,能去改话术和流程;拿到一张词权重图,多半只能点头。
别把解释当成免责声明
还有一种常见误用:有了解释图,就认为责任已经交代清楚。实际上解释描述的是模型的行为,不是现实世界的因果。模型说某个字段重要,只说明在它的计算里这个字段推动了输出,不说明这个字段和结果之间真有因果关系。把两者混在一起,遇到争议时反而更难说清楚。
回到开头那个停顿。比起问“这个模型可不可解释”,更实际的问题可能是:我们要向谁、在多细的粒度上、用他能复核的方式,说明这一次判断是怎么来的。这个问题答不上来,再漂亮的归因图也只是挂在墙上的一张热力图。