采风全网
达观天下

「模型压缩」之后,被删掉的参数去了哪里

一块开发板,一个刚编译好的推理程序,日志停在加载权重那一步——内存不够。这类时刻通常不会出现在论文里,却是模型压缩最常见的起点:目标并不只是把模型改小,更关键的是它必须小到能塞进去。

它压掉的到底是什么

把“压缩”当成一个动作容易误解。实际发生的往往是几件不同的事:剪枝删掉对输出影响小的连接或通道;量化把浮点数换成定点整数,让权重和激活占更少的位;蒸馏让小模型去拟合大模型的输出分布,而不只是拟合标签;低秩分解则把一个矩阵拆成两个更瘦的矩阵相乘。

它们的共同前提是一个假设:网络里存在冗余。这个假设在多数过参数化的模型上大致成立,但它仍然只是一个假设。

冗余是假设,不是承诺

压缩之后精度掉了几个点,这件事本身不稀奇,真正麻烦的是掉在哪里。平均值看不出来的退化,常常集中在长尾样本、罕见类别或者分布稍有偏移的输入上。量化对离群值敏感,一个通道里出现极端大的激活,整层的缩放系数就可能被带偏;剪枝如果不做重新训练,被删掉的部分未必能被剩下的参数补回来。

所以工程上更常见的做法不是“一次压到位”,而是压缩、微调、评估,再退一点。这个退让的过程没有多少可展示的成果,但它决定了模型上线后会不会在某类请求上突然失手。

被忽略的那部分成本

模型压缩真正消耗人力的地方,往往不在算法侧。量化需要一份有代表性的校准数据,这份数据从哪来、覆盖哪些场景,是个业务问题;部署框架对算子的支持不齐,某些层压完之后还得回退;一旦原模型继续迭代,压缩版本就要跟着重做,两套权重、两条流水线,版本对不齐时排查起来很费时间。

压缩率是个好看的数,但它不直接对应体验。端到端延迟里还包括前后处理、内存拷贝、调度开销,模型小了,整体未必等比例变快。

有些场景不必压

  • 瓶颈在 IO 或业务逻辑,而不是算力时,压缩带来的收益有限。
  • 模型本身还在快速迭代、结构频繁变动,此时固定一套压缩流程的维护代价可能超过收益。
  • 推理量很小、成本不敏感时,省下的资源未必抵得上新增的工程复杂度。

反过来,当模型必须落在端侧、当显存是硬约束、当单次推理的电量被仔细计算时,压缩就不只是优化项,而是方案能否成立的前提。

一个更实际的判断标准

评估一次模型压缩是否值得,比起看压缩率,更该问的是:端到端延迟改善了多少,精度回退是否落在可接受的区间,以及这套流程能不能被稳定复现。前两个问题关于效果,后一个关于它能不能长期留在系统里。

压缩本质上是在把“够用”变成“能跑”。它不制造能力,只是重新分配有限的计算资源。想清楚这一点,很多争论会变得具体:不是要不要压,而是在哪一层压、压到什么程度,以及愿意为回退留多少余量。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:「模型压缩」之后,被删掉的参数去了哪里
文章链接:https://tech.cfdanews.com/ai/2304.html