采风全网
达观天下

模型压缩:删掉的那部分,真的只是冗余吗?

一块内存吃紧的板子上,视觉模型要跑起来。工程师面对的问题往往不是“能不能再小一点”,而是“小到哪一步还能用”。这两个问法看着接近,落点完全不同:前者盯的是压缩率,后者问的是边界。

模型压缩这个词,容易被理解成一次无损搬运——把同样的能力装进更小的盒子。实际发生的事更接近重新分配。

几条路径,一个共同假设

常见做法大致几类:量化把权重和激活从高精度压到低精度;剪枝按重要性去掉连接或通道;蒸馏让小模型去拟合大模型的输出分布;低秩分解把大矩阵拆成两个瘦矩阵的乘积。路径不同,脚下踩的却是同一块地板——网络里存在大量冗余。

这个假设通常成立。训练时为了优化方便,参数留了余量;推理时用不到那么多。但“通常”是关键词。冗余是相对于训练时见过的数据分布说的,一旦离开这个分布,冗余的边界就模糊了。

被压掉的常常是边角

在训练数据密集覆盖的区域,参数之间高度可替代,删掉一些几乎不掉点。但在稀疏的、长尾的输入上,那些看起来无关紧要的小权重,往往提供了缓冲。压低精度或剪掉通道之后,平均指标可能纹丝不动,遇到没见过的情形却会更快地滑向一个自信的错误答案。

所以评估压缩效果,只看验证集均值意义有限。更值得看的是分布外样本上的输出变化,以及置信度和正确性之间的对应关系有没有被破坏。这不算新观点,但在赶进度的项目里经常被跳过。

换个说法:算力预算的再分配

把模型压缩理解成算力预算的再分配,比理解成瘦身更贴切。量化省下的带宽可以换成更大的批处理,剪枝腾出的参数可以换成更长的上下文,蒸馏压下的延迟可以换成更高的调用频率。压完之后拿这份预算去换什么,决定了这次操作是收益还是折损。

这也解释了为什么同一套参数配置换个部署环境结果差别很大。端侧关心内存和功耗,服务端关心吞吐,两者的预算结构不一样,搬过去未必成立。

几个上手时的判断点

  • 先测分布外的表现,再看分布内。验证集上的掉点往往会低估真实影响。
  • 精度预算按层分配。不同层对量化的敏感度差别明显,全局统一精度最省事,也最容易留下看不见的隐患。
  • 压完要不要微调,取决于任务能容忍多大的边界漂移。分类任务和生成任务在这件事上不是一回事。
  • 把压缩前后的差异记下来,包括那些“没有掉点”的部分——它们说明余量还在。

回到开头那块板子。真正难的不是把模型压到某个尺寸,而是说清楚压完之后省下的算力换回了什么。这个问题没有答案,压缩就只是把困难推迟到了下一个环节。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型压缩:删掉的那部分,真的只是冗余吗?
文章链接:https://tech.cfdanews.com/ai/1915.html