采风全网
达观天下

「模型压缩」之后,那些被删掉的精度去哪了?

把一个几十 GB 的模型装进一台没有风扇的边缘盒子,工程师的第一反应通常是模型压缩。剪枝、量化、蒸馏、低秩分解,这些手段听起来都像是“做减法”,但真正放到设备上跑起来,减法并不总能让事情变快。

先问一句:你要省的是哪一笔

压缩常被当成一个笼统的目标,实际上它至少对应三笔账:存储占用、内存带宽、单次推理延迟。三者的瓶颈位置并不相同。参数量降下来,模型文件变小了,可推理时如果反复读写中间激活,带宽压力仍然存在;延迟也未必跟着参数走,它更依赖算子能否被硬件原生支持。

这大概是很多团队容易踩的坑:稀疏化把不重要的权重置零,纸面上的计算量减少了,落到通用加速器上却可能因为稀疏结构不够规整,调度开销反而增加。压缩比看起来漂亮,端到端时间却没有变化。

被减掉的那部分,往往在尾部

量化把连续取值映射到离散格点,精度损失不会均匀分布。高频、典型的输入通常还稳,真正容易出问题的是长尾:少见的措辞、边界输入、跨领域的句子。校准集如果只覆盖日常流量,压缩后的模型在常规评测里看不出异常,上线后却在少数请求上给出不连贯的回答。

蒸馏的思路不同,它不直接删参数,而是让小模型去拟合大模型的输出分布。但学生容量有限,学得会的是被教师摊平过的概率形状,学不会的部分,往往正是需要更多参数才能表达的细微差别。这类偏差提醒我们,模型压缩的验收不能只看一个平均指标。

把它当工程问题,而不是指标游戏

  • 先定延迟预算和内存上限,再倒推可用手段;顺序反过来容易做无用功。
  • 校准数据取自真实流量分布,不要只用手写样例。
  • 关注精度损失落在哪一类输入上,而不只是一个总数。
  • 确认目标硬件对量化位宽、稀疏模式的支持程度。

我不太相信“一套方案通吃”的说法。同一份模型放到手机、放到车载盒子、放到服务端做批处理,瓶颈各不相同,配置也得跟着改。模型压缩真正难的部分不是算法,而是承认它有代价,并且说清楚这份代价付在哪里。想清楚这一点,减法才做得下去。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:「模型压缩」之后,那些被删掉的精度去哪了?
文章链接:https://tech.cfdanews.com/ai/1874.html