采风全网
达观天下

模型说出“因为”的那一刻,可解释性才开始

工程师打开解释面板,几条特征权重排得整整齐齐,箭头方向也对得上直觉。他把其中被标为关键的那条输入改掉,重新跑一遍,预测几乎没有变化。这一刻比任何文档都更能说明问题:我们拿到的是一段说得通的话,不是一个真实的理由。

解释是说给谁听的

可解释性经常被当成模型的某种固有属性,好像拧开盖子就能看见里面的道理。它更像一份约定:一边是拿它做决定的人,一边是系统。约定里要写清楚的是——在什么样的输入下,系统会怎么变,人能据此做什么。少了后半句,解释就退化成安慰剂。

同一条解释,给不同的人看,需要的颗粒度完全不同。

  • 复核者要的是一条能重走的判断路径,换个人照着走也能得到同样的结果;
  • 运维要的是“改动哪里会怎样”,是一种可操作的因果关系;
  • 被系统影响到的人要的往往只是一句“为什么是我”,而不是一张权重图。

用一份全局特征重要性去应付这三种诉求,通常三边都不满意。这也是很多解释功能上线后使用率不高的原因:它回答了技术团队想问的问题,没回答使用者真正的问题。

说得通,和说得对

事后解释方法有一个绕不开的难点:解释器本身也是一个模型,它在拟合原模型的行为。拟合得漂亮,不代表还原了内部计算过程。业内通常把这叫做忠实度问题——解释与模型真实决策依据之间的偏差。

有个成本很低的检验办法,自己动手扰动就行:把解释里被标为关键的输入改掉,看输出是否真的随之变化;再改那些被标为无关的,看输出是否稳得住。经不起这种对照的解释,多半只是相关性的事后描述,读起来顺,但对判断没有支撑力。

透明不等于好用

线性模型、决策树、规则集这类结构透明的模型,解释几乎是免费的,代价落在表达能力上。反过来,把复杂模型压成几条给人看的规则,压缩过程本身就在丢信息。两条路都不轻松,真正的区别在于把不确定性放在哪一环:是承认模型能力有限,还是承认解释可能不准。

实践中更可行的做法,是把可解释性当成一条工程约束来设计,而不是上线之后补一个面板。限定输入特征的语义范围,给关键判断留下可审计的中间量,对偏离训练分布太远的输入直接弃权——这些做法谈不上优雅,但它们让解释成为系统的行为,而不是系统的旁白。

什么时候不必付这笔账

并非所有场合都值得为解释付出代价。一次性的内容分类,错了重跑一遍就行,为它搭一套解释链路是浪费。而会影响人后续选择的系统,解释的缺位早晚会以别的形式补回来——申诉、返工、信任流失,成本只是换了个位置出现。

判断标准不在模型有多复杂,而在这套系统出错时,谁承担后果、能不能追问下去。可解释性最终要回答的,恐怕不是“模型是怎么想的”,而是“我们凭什么相信它这一次”。后面这个问题,模型自己答不了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型说出“因为”的那一刻,可解释性才开始
文章链接:https://tech.cfdanews.com/ai/1946.html