在一个硬件展台上,一台巴掌大的设备正在本地跑语音识别,不联网。旁边有人问工程师:能不能再小一点,塞进更便宜的芯片里。工程师的回答很实在——能,但要先想清楚哪部分能力可以不要。
这句话基本概括了模型压缩的真实处境。它不是一个把文件变小的动作,而是一次有取舍的能力再分配。
压掉的往往不是“多余”的部分
常见的做法大致有三类:降低数值精度、删掉一部分结构、用一个更大的模型去教一个小模型。它们都在做同一件事,把原本宽裕的计算预算收紧。问题在于,模型里那些看上去贡献不大的参数,很多时候是在为长尾情况兜底。删掉它们,日常样本上的输出可能纹丝不动,但遇到口音重一点、背景吵一点的输入,差距就显出来了。
所以模型压缩真正难的地方不在压,而在判断哪些能力可以损失、损失到什么程度还能接受。这个判断没法只靠一个压缩率数字完成,得回到具体任务上去看错误都出在哪一类输入上。
压缩率好看,不等于跑得快
还有一个容易被跳过的环节:压缩出来的模型要落到具体硬件上。某些稀疏结构在理论计算量上很漂亮,但目标芯片的算子库并不支持,最后反而要拆成更碎的运算,延迟不降反升。评估一套方案,建议从目标设备上的实测开始,而不是从论文里的表格开始。这是模型压缩走向工程落地时经常被低估的一段。
压缩之后通常还要补一轮微调,把掉下去的部分找回来。这一步的算力与时间成本,也常常没被算进项目排期里。
什么情况下先别压
如果模型本身还没调明白,压缩只会把一个模糊的问题固化下来,后面再改就更麻烦。比较稳妥的顺序是先确认任务上的能力边界,再决定动哪一层、压到什么程度,以及是否需要保留一个未压缩的版本做对照。
回到展台那台设备。工程师后来选了一个本身就小的模型架构,而不是硬压现有的那个。这也是一种答案:模型压缩是手段之一,不是默认选项。