一个模型在服务器上跑得好好的,搬到只有几瓦功耗的设备上,第一次尝试失败的原因通常不是准确率,而是它根本装不下:内存不够,延迟也控制不住。这个时候,模型压缩才会被拿出来讨论。它不是一件时髦的事,更像是一道被约束条件逼出来的题。
先弄清被删掉的是什么
压缩听起来手段不少,但落到操作上,无非是几种思路。
- 剪枝:把权重里贡献接近零的部分去掉,让密集的矩阵变得稀疏,甚至结构化地整块删除。
- 量化:用更少的比特表示数值,把浮点换成定点或低比特整数,换取更小的体积和更快的运算。
- 蒸馏:让小模型去学大模型的输出分布,传递的是“行为”而不是“参数”。
- 低秩分解:把一个大矩阵近似成两个小矩阵的乘积,用因式分解的方式减少计算量。
它们有一个共同前提:模型内部存在冗余。这个前提大多数时候成立,但成立的程度跟任务、数据分布、训练方式都有关系,并不存在普遍适用的取舍比例。
精度数字之外,容易被忽略的部分
评估压缩效果,最直观的是看准确率掉了多少。但部署之后暴露问题的地方,往往不在这个数字上。量化误差不是均匀分布的,它更可能集中在某些取值区间,于是整体指标几乎没变,个别类型的输入却开始出错。剪枝后稀疏矩阵在理论上有算力优势,实际能不能跑快,还要看硬件和推理框架是否真的支持稀疏计算,否则只是省了存储。
还有一个问题:压缩会改变误差的性质。原来的模型错了,是因为它没学会;压缩后的模型错了,可能是因为数值表示不够。这两种错误的排查路径完全不同,而团队常常还用原来那套调试经验去应对。
什么时候不该压
模型压缩有它的适用边界。当模型本身已经很小,继续压带来的收益有限,风险却在上升;当任务对数值精度敏感,比如需要精细的连续输出,低比特量化就可能不合适。另一层成本是维护:压缩后的模型和原始模型实际上成了两条线,版本同步、问题复现、后续微调都变得更复杂。这部分开销很少被写进方案里,但它确实存在。
所以我更愿意把模型压缩看成一次在部署约束下的重新设计,而不是一组可以随手套用的技巧。真正决定成败的,往往不是选了哪种方法,而是有没有先问清楚:这台设备到底缺的是内存、算力,还是功耗预算;以及,业务能容忍的误差,究竟是什么形状。