把模型塞进一台旧设备,通常不会以“参数太多”开场。更常见的场景是:模型文件能拷进去,进程也启动起来了,第一批请求却慢得让人犹豫;或者内存刚够,系统却因为峰值占用反复回收缓存。此时再谈模型压缩,问题已经不是把体积改小,而是让它在真实链路上稳定跑完。
先问瓶颈在哪一层
压缩常被当成一条流水线:剪枝、量化、蒸馏,似乎按顺序做一遍就会变轻。工程现场很少这么顺。参数量下降,推理延迟未必同比例下降;文件变小,运行时内存也可能被中间张量占满。尤其在端侧,内存带宽、算子实现和调度开销都可能成为限制。量化把权重与激活压到更低精度,能减少存储和带宽压力,但反量化、混合精度算子以及不友好层的回退,会吃掉一部分收益。剪枝留下的稀疏结构,如果没有运行时支持,也可能只是让文件看起来更小。
所以,模型压缩的第一步不是选方法,而是确认约束:是存储空间不够,是峰值内存超限,是首包延迟太高,还是长期推理成本压不下来。约束不同,压缩策略的落点就不同。把所有问题都归为“模型太大”,容易做出体积达标、体验不达标的版本。
误差落在哪里
压缩会带来误差,这件事并不新鲜。容易被忽略的是误差分布。一个模型在常规样本上的平均表现没有明显变化,不代表它在长尾输入、边界条件和连续对话中同样稳。量化误差可能集中在某些层或某些输入范围;剪枝可能削弱模型对罕见模式的响应;蒸馏则把教师模型的行为迁移给学生模型,训练数据的覆盖范围会直接影响迁移结果。
因此,评估压缩不能只看一个总分。更有用的是把业务里不能出错的片段单独拿出来,观察压缩前后的行为差异。例如结构化输出是否仍然合法,长文本中的指代是否保持,低信噪比输入下是否更容易产生漂移。这里不需要追求某个统一指标,而要让评测集贴近实际请求的分布。否则,压缩后的模型可能在小样本演示里表现正常,上线后却在边缘场景里暴露问题。
账本不止一项
压缩还会改变团队的工作方式。压缩后的模型往往需要新的部署工具链、不同的算子库和额外的回归测试;如果为了省资源而频繁调整压缩配置,维护成本会反过来上升。一个看似轻量的模型,如果每次换设备都要重新调参,它带来的组织负担可能超过节省下来的存储。相反,一个压缩幅度克制但流程稳定的版本,可能让维护周期更可控。
这也是压缩需要克制的地方:它解决的是约束下的可用性,不是把模型无限做小。压缩到某个程度后,收益会变薄,误差和工程复杂度却开始上升。判断停在哪里,需要把延迟、内存、精度、迭代速度放在同一张桌子上看,而不是只盯模型文件的体积。
如果一定要给模型压缩一个更实际的定义,我会说它是把模型放进真实系统时的一次重新协商:和硬件协商,和延迟协商,也和业务容错协商。下一次准备压缩时,不妨先问一句:当前真正硬的约束到底是什么?这个答案通常会在选方法之前决定结果。