把模型装进一台算力有限的设备,问题往往不是“能不能跑”,而是跑起来之后还剩多少余量。摄像头要留出解码时间,电池要撑过一整班,风扇不能一直转。此时谈模型压缩,讨论的就不是论文里的参数量,而是每一次推理要占多少内存、触发多少次访存、在异常输入下会不会变慢。
从工程角度看,压缩手段大致分成几条路:降低数值精度、删掉部分结构、让小模型学习大模型的行为,或者用低秩分解减少计算。它们听上去都在“做减法”,实际改动的位置并不一样。量化动的是表示方式,剪枝动的是网络连接,蒸馏动的是训练目标。把这些手段混在一起谈,容易忽略一个事实:压缩不是无损搬运,它会改变模型对输入的响应方式。
先看约束,再选方法
如果一个模型只是偶尔在后台运行,内存压力不大,硬上激进量化未必划算。反过来,设备端延迟卡得紧,减少访存可能比减少参数更有意义。这里需要一点现场判断:观察推理链路的瓶颈究竟在计算、内存带宽,还是在前后处理。否则很容易出现模型体积降了,端到端时间却没有明显变化的情况。
模型压缩的难点也不只在算法。压缩后的模型要进入版本管理、回归测试和线上监控。量化误差是否集中在某些输入区间,剪枝后的稀疏结构能否被推理框架真正利用,蒸馏得到的小模型是否继承了不该继承的偏差,这些问题不会因为压缩完成就自动消失。它们决定了压缩成果能否稳定留在生产环境里。
- 量化适合先做小范围验证,关注异常值和校准数据是否覆盖真实分布。
- 剪枝要配合推理后端,结构稀疏与硬件支持程度会直接影响收益。
- 蒸馏不只是“小模型学大模型”,还要明确哪些能力需要保留。
- 低秩分解对矩阵形状敏感,改完之后要重新看延迟而不只是看体积。
我更愿意把模型压缩看成一次受约束的重新设计,而不是部署前的收尾动作。它要求算法和工程一起回答:哪些误差可以接受,哪些场景不能退让,压缩带来的维护成本由谁承担。想清楚这些交换,压缩才有意义;否则只是把复杂度从模型里挪到了系统里。