一台手机在相册里做语义搜索,刚输入几个字,键盘就停顿半秒。用户看到的是卡顿,工程侧看到的是一串资源约束:模型要放进有限内存,推理不能持续抢占CPU,发热还得压住。于是“模型压缩”被摆上桌面。但压缩到底在省什么,很多人并没有说清。
不是把文件改小就结束
模型文件变小只是表象。真正影响体验的,是推理时的内存占用、计算量、访存次数和能耗。一个模型即使权重不多,若中间激活值很大,端侧仍然会吃紧;反过来,文件体积缩小,也不一定让延迟下降。模型压缩要动的,是这些环节的组合,而不是单一指标。
常见做法有量化、剪枝、蒸馏和低秩分解。量化把高精度数值换成更低精度表示,剪枝去掉贡献有限的连接或结构,蒸馏让小模型学习大模型的行为,低秩分解则试图用更紧凑的矩阵近似原权重。它们各自解决不同瓶颈,也各自带来新的限制。把它们统称为模型压缩,容易掩盖一个事实:压缩从来不是免费午餐。
省下来的资源,和让出去的余地
压缩带来的直接收益通常落在部署侧:更小的存储占用、更低的带宽压力、更少的计算开销,以及在某些设备上更可控的功耗。对离线场景、实时交互和批量推理来说,这些收益有现实意义。尤其在端侧,内存和散热不会因为算法进步而无限增长。
代价也具体。量化可能让数值分布变得敏感,剪枝可能破坏原本依赖的结构,蒸馏需要合适的训练安排,低秩近似则可能损失细节表达。问题不在于要不要付出代价,而在于代价是否落在可接受的范围内。若业务只关心粗粒度分类,轻微精度波动也许可以接受;若涉及细粒度判断,压缩空间就会迅速收窄。这里的判断依赖任务,不依赖口号。
边界比技巧更值得先问
在动手之前,先问三个问题:瓶颈到底在存储、计算、带宽还是功耗;可接受的误差如何定义;部署环境是否允许重新训练或校准。若瓶颈不明确,压缩很容易变成“为了小而小”,最后把复杂度从模型转移到了工程链路。
还要留意评估方式。只看离线指标,可能忽略真实输入分布下的波动;只看平均延迟,也可能漏掉长尾请求。模型压缩的价值,不在于把参数数量压到多低,而在于让一个任务在既定资源里稳定运行。它更像一次资源重新分配,而不是单纯的删减。
所以,当设备开始“喘气”,模型压缩可以是答案之一,但不应是条件反射。先确认约束,再选择手段,最后接受取舍。这个顺序比任何技巧都更接近工程现实。