先摆一个具体场景:一台三年前买的中端手机,内存不算宽裕,芯片也没有为矩阵运算做特别优化。现在要在上面跑一个能离线做文本摘要的小模型。算法同事说效果可以,工程同事把模型装进去,App 卡了两秒,手机背面开始发烫。这时候大家的注意力才从「效果好不好」转到「这东西怎么塞得下」——模型压缩的讨论,通常就是从这里开始的。
它省的不只是存储空间
很多人第一反应是模型文件太大,装不进安装包。这只是一小部分。模型跑起来的时候,权重需要反复从内存搬到计算单元,中间还有大量激活值要读写。对不少设备而言,真正的瓶颈是内存带宽和随之而来的功耗,而不是单纯的存储容量。所以模型压缩省的是这样几笔账:搬运的数据量、参与乘加运算的次数、常驻内存的占用,以及由此产生的发热与耗电。理解了这一点,就会明白为什么有些压缩手段参数没少多少,速度却明显上来了。
三条常见路径,各自的代价不一样
- 量化:把浮点权重换成低比特整数,文件变小、搬运变快,很多芯片对低比特乘加也有专门支持。麻烦在于误差从哪里来——只压权重和同时压激活,难度完全不同;遇到训练数据里少见的输入,误差会被放大。
- 剪枝:按某种重要性判断去掉一部分连接或整个通道。非结构化剪枝看着稀疏率很高,落到真实硬件上未必跑得快;结构化剪枝更容易被实际加速,但可用空间也更有限。
- 蒸馏:让一个小模型去学大模型的输出分布,目标不是复制结构,而是把行为迁移过来。它往往和前面两类方法叠加使用,效果依赖教师模型的质量和训练数据的覆盖面。
还有一类思路是把大矩阵近似拆成几个小矩阵相乘,从数学结构上减少计算量。这些方法听起来各管一段,实际工程里常常是组合使用,先量化再剪枝,或者蒸馏之后再量化,顺序不同结果会差不少。
压缩不是免费的
做完模型压缩,最该问的不是「小了多少」,而是「哪些输入变差了」。整体评测分数波动不大,但长尾请求可能明显退化:少见的表达、混着方言的输入、很长的上下文。这类退化在实验室的固定测试集上不容易暴露,上线之后才会被用户撞见。另一个容易被低估的问题是硬件和工具链。纸面上支持 4 比特运算的芯片,实际调用可能要经过一层转换,延迟反而增加;某些算子压缩后没有对应的加速实现,只好回退到通用计算路径,前面的优化就白做了。
所以一次认真的压缩尝试,往往要连带准备三样东西:一份覆盖真实分布而不是只覆盖常见样本的评估集;一套能在目标设备上实测延迟和内存占用的流程;以及一个能解释精度损失来源的诊断方法,知道掉点是出在权重精度、通道裁剪,还是训练分布不匹配。缺了这些,压缩就变成了一次性的调参运气。
真正难的部分在部署之后
从趋势上看,端侧能承载的模型在慢慢变大,工具链也在成熟,量化几乎成了默认选项。但我的判断是,模型压缩的难点正在从「怎么压」转向「压完怎么确认它还可靠」。前者有大量成熟方法可循,后者依赖对业务输入的理解,很难标准化。很多团队在这一步投入不足,结果是小模型上线了,用户投诉却变多了,最后又被换回云端调用。
如果你正在做类似的决定,可以先问自己一个朴素的问题:这个模型跑在目标设备上,最慢的那一类请求是什么,压缩之后它会更慢还是更差?能回答清楚这个问题,再谈具体用哪种方法,顺序会顺很多。