采风全网
达观天下

模型压缩之后,被删掉的参数去了哪里

一个模型在服务器上跑得好好的,搬到只有几瓦功耗的设备上,第一次尝试失败的原因通常不是准确率,而是它根本装不下:内存不够,延迟也控制不住。这个时候,模型压缩才会被拿出来讨论。它不是一件时髦的事,更像是一道被约束条件逼出来的题。

先弄清被删掉的是什么

压缩听起来手段不少,但落到操作上,无非是几种思路。

  • 剪枝:把权重里贡献接近零的部分去掉,让密集的矩阵变得稀疏,甚至结构化地整块删除。
  • 量化:用更少的比特表示数值,把浮点换成定点或低比特整数,换取更小的体积和更快的运算。
  • 蒸馏:让小模型去学大模型的输出分布,传递的是“行为”而不是“参数”。
  • 低秩分解:把一个大矩阵近似成两个小矩阵的乘积,用因式分解的方式减少计算量。

它们有一个共同前提:模型内部存在冗余。这个前提大多数时候成立,但成立的程度跟任务、数据分布、训练方式都有关系,并不存在普遍适用的取舍比例。

精度数字之外,容易被忽略的部分

评估压缩效果,最直观的是看准确率掉了多少。但部署之后暴露问题的地方,往往不在这个数字上。量化误差不是均匀分布的,它更可能集中在某些取值区间,于是整体指标几乎没变,个别类型的输入却开始出错。剪枝后稀疏矩阵在理论上有算力优势,实际能不能跑快,还要看硬件和推理框架是否真的支持稀疏计算,否则只是省了存储。

还有一个问题:压缩会改变误差的性质。原来的模型错了,是因为它没学会;压缩后的模型错了,可能是因为数值表示不够。这两种错误的排查路径完全不同,而团队常常还用原来那套调试经验去应对。

什么时候不该压

模型压缩有它的适用边界。当模型本身已经很小,继续压带来的收益有限,风险却在上升;当任务对数值精度敏感,比如需要精细的连续输出,低比特量化就可能不合适。另一层成本是维护:压缩后的模型和原始模型实际上成了两条线,版本同步、问题复现、后续微调都变得更复杂。这部分开销很少被写进方案里,但它确实存在。

所以我更愿意把模型压缩看成一次在部署约束下的重新设计,而不是一组可以随手套用的技巧。真正决定成败的,往往不是选了哪种方法,而是有没有先问清楚:这台设备到底缺的是内存、算力,还是功耗预算;以及,业务能容忍的误差,究竟是什么形状。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型压缩之后,被删掉的参数去了哪里
文章链接:https://tech.cfdanews.com/ai/2340.html