当模型从实验环境走向生产环境,团队往往很快遇到同一类问题:显存占用偏高、单次推理延迟不稳定、边缘设备无法承载完整权重。模型压缩正是在这一环节发挥作用的技术方向,它并不是单纯把模型做“小”,而是让模型在目标硬件与成本约束下保持可用的效果。
为什么需要模型压缩
参数规模增长带来的收益并非线性。很多业务场景对首字延迟、并发吞吐和部署成本更敏感,并不需要模型能力提升的全部收益。通过压缩,可以把同一套能力放到更便宜的推理资源上,或者让原本只能运行在服务端的模型直接在终端设备上运行。
常见的四条技术路线
- 剪枝:移除对输出影响较小的权重、通道或注意力头,分结构化与非结构化两类,结构化剪枝更利于实际加速。
- 量化:用更低比特表示权重与激活,如训练后量化与量化感知训练,前者成本低,后者在低比特下更稳定。
- 知识蒸馏:用大模型指导小模型训练,把输出分布或中间特征作为监督信号,适合可以重新训练的场景。
- 低秩分解与参数共享:通过矩阵分解、跨层权重共享降低存储与计算量,常与其他方法叠加使用。
评估时容易被忽略的几个点
压缩比不是唯一指标。团队还应同时关注任务指标的变化、长尾样本的表现、推理框架对相关算子的支持程度,以及压缩后模型是否便于维护。
- 精度:除总体指标外,重点看业务关键类别与小样本场景是否退化。
- 延迟与吞吐:在真实硬件与批大小下测量,而非只在桌面环境估算。
- 工具链兼容:确认推理引擎、驱动版本与量化算子是否匹配。
- 可维护性:记录压缩配置与重训脚本,避免模型变成无法复现的黑盒。
把它纳入常规工程流程
更稳妥的做法是把模型压缩提前到模型选型阶段:先明确部署硬件与延迟预算,再决定是否需要压缩以及采用哪种组合方式。同时保留原始模型作为对照基线,在每次迭代中做一致性回归测试。对于持续更新的业务模型,压缩不应是一次性动作,而应作为发布流程中的固定环节;再配合版本管理与线上监控,才能让效果与成本长期可控。