桌角那块开发板的风扇一直在转,声音比人说话还大。有人把模型权重从 16 位压到 4 位,显存占用确实降了,可盯着日志看了半小时,每秒输出的字数和之前没差多少。省下来的东西是真的,只是没省在以为的地方。
先分清省的是空间还是时间
量化改变的是权重和激活的表示精度,直接受益的是显存占用与内存带宽。解码阶段本是访存密集的活,权重读得少了,理论上每步更快。但真机上还要看反量化的开销、算子有没有被推理框架接住,以及 KV cache 占了多少。上下文一长,KV cache 往往比权重更占地方,这时压权重的边际收益就变得很薄。
剪枝走的是另一条路。去掉不重要的连接,模型稀疏了,参数量好看了,可如果硬件和内核不支持稀疏计算,稀疏矩阵照样按稠密算,省下的只是存储,不是时间。这个落差在纸面方案和实际部署之间反复出现。
蒸馏不减少参数,它换的是学生模型的规模。教师输出的软标签携带了类别之间的相对关系,比硬标签信息多,学生因此能在更小的容量里保住一部分泛化能力。代价是训练流程变长,且效果依赖教师与数据的匹配程度。
掉下去的那点精度,通常藏在长尾
平均指标好看,不代表每个能力都还在。量化误差往往集中在少数数值分布异常突出的通道上,校准集选得偏,某些输入就会明显走样。这类退化很难在汇总分数里看出来,却会在具体任务里被用户第一时间发现——格式偶尔崩掉、数字算错一位、指令跟了一半忘了后半句。
所以模型压缩真正麻烦的地方不在算法,而在验证:需要一套贴近真实输入的抽样集,去盯那些不常出现但必须正确的场景。
省下来的资源,多半会被重新花掉
工程上有个反复出现的现象:显存降下来之后,团队很快把上下文长度调大,或把并发批量提上去,账面上的余量几周内就被填满。这不是浪费。压缩的意义常常不是让成本凭空消失,而是把同样的预算换成更强的能力,或者让原本跑不动的设备跑起来。
把这条逻辑想清楚,选择会简单一些:端侧内存是硬约束,压不压不是问题,怎么在精度可接受范围内压才是;服务端若带宽和算力都宽裕,压缩有时只是把瓶颈从显存挪到别处,收益要靠实测说话。
动手前的两件事
模型压缩落地时,有两件事值得先做,也常常被跳过。
- 先量延迟的分布,而不是只看均值。抖动往往来自内存分配和算子切换,压权重不一定动得了它。
- 先定可回退的精度底线,再谈压缩率。没有验收标准的压缩,最后都会变成一次漫长的返工。
模型压缩这件事,容易被讲成一条把大模型变小的单行道。实际更像一次预算重排:省下的显存、带宽和功耗,总要有人决定花在哪里。这个决定,比压缩算法本身更影响结果。