深夜的实验室,一个模型在服务器上跑得不错,但要装进手机、摄像头或车载盒子里,就显得笨重。工程师打开一张表,上面列着每层参数量、延迟和内存占用,然后开始做减法。这是模型压缩最常见的场景:它更像搬家前的断舍离,而不是把文件拖进压缩软件。
变小是结果,被处理的是冗余
网络里的参数并不是平均用力的。相当一部分权重在训练后接近零,对输出的影响微弱;还有一些通道学到的特征高度相似。压缩做的事,就是找出这些可以商量的部分,用更少的位数、更稀疏的结构或更小的网络去承载相近的功能。
所以它从来不是无损操作。更准确的说法是,在有限的预算里重新分配注意力:哪些细节必须留下,哪些允许近似。这个取舍最终决定模型落到真实设备上之后还行不行。
三条常见路径,各自要付账
- 剪枝:去掉不重要的连接或整条通道,换来稀疏结构,代价是通用硬件不一定吃这套稀疏,速度未必立刻兑现。
- 量化:把浮点换成低比特整数,内存和带宽立刻下降,难点在于少数数值范围异常的权重会把误差放大。
- 蒸馏:让小模型去学大模型的输出分布,省下的是结构,花掉的是训练时间和一份足够贴近任务的标注或伪标签。
这几条路并不互斥,工程上经常叠加使用。但它们都要求同一件事:有贴近部署环境的验证数据,而不是只在一个干净的数据集上看着数字好看。
失效往往很安静
压缩出问题的时候,通常不会报错。平均指标看着没动,某个长尾类别却悄悄掉了几个点;实验室里的图片清晰规整,现场的光线、角度、遮挡完全不同。模型压缩的边界,往往不在算法本身,而在你对使用场景的理解有多具体。
比较务实的顺序是反过来的:先划出不能让步的场景和数据,再谈压缩比例和位宽。至于“能压到多小”,那是个结果,不该是起点。
回到那张表。工程师最后删掉的不只是参数,还有对“通用”的一点幻想——把这个模型真正要负责的问题收窄,收窄到它能承担的范围。这大概是压缩带来的另一个副产品,和体积无关。