采风全网
达观天下

当模型说这块零件不合格:可解释性为何总在事后才被想起

产线上出过这样一幕:质检模型把一批外壳判为不合格,屏幕上只有一个分数,没有别的。工程师把零件拿在手里翻了两下,说这批次刚换过模具,边角有点毛刺。原因找到了,却和模型毫无关系,因为它没给原因。

这种时刻,人想要的其实不是一份技术文档,而是一句话:你到底看见了什么。

解释是分给不同人看的

同一个模型,三个人来问,问的是三件事。产线主管想知道这批货能不能放行,如果模型不稳定,他宁可加一道人工抽检。算法工程师想知道是哪个输入把分数推上去的,好判断要不要补数据。而面对客户的人想问的是,凭什么。

这三个问题都可以被叫作“要解释”,但它们需要的形态差别很大。一张特征重要性图对第二个问题有用,对第三个问题基本等于没说。不少可解释性工作之所以在落地时显得尴尬,是因为默认所有人问的是同一个问题。

看着像理由的东西,未必是理由

目前常见的一类做法是归因:把输出分摊到输入的各个维度上,告诉你哪几个像素、哪几个字段对结果影响大。显著性图、注意力权重、各类 Shapley 值的近似算法,大体都在这个框架里。

它能回答“这次模型看了哪儿”,但回答不了“模型为什么这么想”。这两句话常被混着用。一张热力图在缺陷区域上亮了,说明模型关注到了那里;但它依据的是纹理还是边缘,是不是碰巧学到了背景里的某个标记,热力图不说。

还有个更实际的麻烦:归因本身不太稳。换一个基线值、换一次随机种子,原本被标为重要的特征可能就换了,结论也跟着变。解释方法本身也是模型,也有它自己的失效方式,只是失效时不会报警。

  • 看归因结果,先确认基线是怎么选的;
  • 同一输入多跑几次,看结论是否漂移;
  • 把解释拿去和领域经验对一下,对不上往往更有信息量。

可解释性有时是脚手架,不是地基

设备预测性维护是个能说明问题的场景。模型提示某台机组的轴承在一段时间内有较高故障概率,维修班组要决定停不停机。这时候他们需要的不是完整因果链,而是几个可以核对的信号:振动频谱里有没有对应的峰,温度曲线有没有同步抬升。核对完,决定就下了。

在这类流程里,解释的作用是让人能验证,而不是让人能理解全部。它是过渡期的脚手架,用一段时间,等流程稳定了、人工抽检的比例降下来了,关注度自然会淡。把可解释性当成立项时承诺、验收时交付、之后长期维护的资产,成本往往被低估。

解释不能替人担责

有些团队把“模型能给出理由”当成合规的终点。但一份说得通的解释,和一个人签字负责,是两件事。前者降低沟通成本,后者才是责任的落点。反过来也成立:有了签字,解释可能就没人细看了。

所以我不太相信“解释得足够清楚,人就会信任模型”这类说法。人对系统的信任,多半来自长期一致的相处,而不是某次输出的附注。

它真正的用处是让人能反驳

如果只能留一个判断,我会说:可解释性的价值不在于让人安心,而在于让人有机会说“这次不对”。一个给不出反驳入口的系统,无论指标写得多好看,在真实流程里都会被绕开——加人工、加双签、加各种补丁,系统还在,作用已经被稀释。

所以设计的时候,与其追问要交付哪种解释形式,不如先问清楚:谁在什么环节需要反驳它,反驳之后会发生什么。答不上来,那些图就只是图。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当模型说这块零件不合格:可解释性为何总在事后才被想起
文章链接:https://tech.cfdanews.com/ai/2102.html