把模型塞进一台离线设备,工程师常先想到模型压缩:量化、剪枝、蒸馏、低秩分解,名字不同,目标相似,让参数和计算少一点。可样机跑起来,画面仍会卡,内存标签也没明显下降。问题往往不在压缩本身,而在压缩之后,省下的资源被运行时和工程复杂度重新拿走了。
省下来的参数,未必等于省下来的时间
参数变少,模型文件会小,加载和存储压力可能下降。但推理速度受内存带宽、缓存命中、算子实现和调度影响。一个被压小的模型,如果落在不擅长的硬件路径上,反而不如原模型顺畅。模型压缩的收益要放回整条链路看:输入预处理、张量布局、内核选择、后处理,每一段都可能把节省吞回去。
量化不是把数字改小就结束
量化常被描述成用低位宽表示权重和激活。听起来直接,实际要处理校准数据、异常值、层级敏感度和硬件支持。校准集偏了,误差会在某些输入上放大;某些层能承受粗粒度表示,另一些层却需要保留细粒度。工程上常见做法是混合精度,但混合本身增加配置和维护负担。模型压缩如果只追求文件大小,容易把问题推到后面。
剪枝留下的空白,运行时未必会用
结构化剪枝能减少通道或层,非结构化剪枝产生稀疏权重。稀疏在纸面上好看,落到通用硬件上,未必能换成等比例加速。除非运行时和硬件真正利用稀疏性,否则省下的是存储,不是计算。蒸馏则把大模型的行为迁移到小模型,学生模型小了,训练流程和调参成本却上来了。这些方法不是互斥菜单,更像一组需要共同验收的约束。
边界:先问部署环境,再问压缩比例
动手前,先明确目标设备的内存上限、延迟预算、功耗约束、可用算子库和更新方式。若设备端只能跑特定算子,压缩方案要围绕这些限制设计;若模型需要频繁迭代,压缩流水线的可维护性会和体积同样重要。还要留出回退空间:压缩模型在长尾输入上出错时,系统能否降级或切换,决定了它能不能长期运行。
我的判断是,模型压缩不该被当成一次性瘦身。它更像部署合同的一部分:压缩比例、精度损失、硬件适配和维护成本要一起签字。只盯参数数量,容易得到一份好看的文件和一个难用的系统。