采风全网
达观天下

当模型压缩到只剩几兆,它还记得什么

把一个大模型放进手机、开发板或者一台没有风扇的工控机里,第一件要做的事往往就是模型压缩。工程师盯着体积和延迟的数字往下走,直到它能跑起来,然后松一口气。但真正的问题通常出现在之后几天:模型确实跑起来了,只是它变得有点陌生。

不是整体变笨,而是某些地方突然不灵了。短问题答得利索,稍微绕一点的条件就接不住;常见说法处理得很顺,遇到不常见的表达就开始胡乱猜。这种不均匀的退化,比“精度掉了几个点”更值得警惕。

被拿走的,往往是具体的某种行为

压缩很少均匀地削减能力。它更像是在模型的参数空间里做减法,而减法总会先碰到那些“支撑不够厚”的部分。长句里的指代关系、少见词的细微差别、该说“不知道”的时候说不知道——这些依赖较弱信号的能力,通常先消失。留下来的是高频模式:模板化的开头、常见的句式、看起来很像那么回事的流畅感。

所以小模型给出的结果常常“像对但不对”。流畅掩盖了错误,用户如果不细看,很难发现哪里出了问题。

三条路径,拿走的东西不一样

常见的做法大致分三类,各自的损伤位置并不相同。

  • 剪枝是删结构。它假设网络里存在冗余的连接或通道,删掉之后功能不受影响。问题在于,冗余的判断依赖校准数据,校准数据选得偏,被删掉的可能是某个不常出现却关键的通路。
  • 量化是降数值精度。权重从高精度压到低位宽,省下的是内存和算力。它伤的常常是“细腻的排序感”:几个候选答案本来分得很清楚,量化后差距被抹平,模型的选择开始摇摆。
  • 蒸馏是换老师。让小模型去学大模型的输出,学到的往往是表面语气和答案分布,而不是大模型内部那套推理路径。老师在某些题目上本来就在猜,学生把这种猜也一起继承了。

实际工程里三者常常叠着用,损伤也就叠加在一起,最后很难归因到底是哪一步出的问题。

分数看不出的事

判断一个压缩后的模型能不能上线,很多团队依赖一套固定的评测集。分数达标就发布。但分数是个平均值,平均值天生会掩盖长尾。真实用户输入的长尾程度,通常远超评测集的想象:错别字、混着方言的表达、半句话就发过来的追问、根本没人预料到的用法。

更麻烦的是,评测集往往和校准集同源。用同一批数据决定删什么、又用相似的题目验收,等于自己给自己出考卷。分数好看,不代表模型在实际场景里稳。

先想清楚不能错什么

所以模型压缩的起点不该是“能压到多小”,而是“哪些错误不能接受”。一个用于表单填写的模型,把字段认错是硬伤;一个用于闲聊的模型,偶尔答偏只是体验问题。这两者的压缩策略不该一样。

可行的做法是把能力拆开验收:不只看总分,而是分别看长输入、生僻表达、拒答行为各自退化了多少;在校准阶段就掺入真实场景里的脏数据,别让剪枝和量化只在干净样本上做决定;以及在体积预算里留一点余量,不要压到刚好卡住延迟红线。

我倾向于把模型压缩看成一次明确的取舍,而不是一次单纯的技术搬运。它逼着团队回答一个平时可以回避的问题:这个产品究竟靠哪几种能力活着,其余的,可以不要。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当模型压缩到只剩几兆,它还记得什么
文章链接:https://tech.cfdanews.com/ai/1976.html