采风全网
达观天下

模型压缩省下的显存,最后花在了哪里

把语音唤醒模型放进一颗内存以KB计的蓝牙耳机芯片,第一步不是写代码,是做减法。量化把权重从浮点压到低位宽,剪枝去掉一部分连接,蒸馏让一个小网络去模仿大网络的输出。这三件事常被统称为模型压缩,听起来像纯粹的工程优化:不改需求,只改体积。

但如果把它当成免费的瘦身,后面往往会遇到麻烦。参数里的冗余和模型的能力,边界并不像想象中那么清楚。

被压掉的,常常是平均值看不见的部分

训练好的网络里确实有大量近乎无效的参数,这一点没有争议。问题在于,哪些参数在什么输入下才变得重要,很难事先判定。语言模型里那些概率很低的候选词、视觉模型里光照异常的角落、语音里带口音的短句——它们在评测集上占比很小,对平均指标贡献有限,却正是线上出错的地方。低位宽量化对激活值范围的假设一旦在这些输入上失效,误差会被放大,而且放大得很安静。

剪枝也有类似的味道。稀疏矩阵在理论上有算力优势,但落到具体硬件上能不能兑现,取决于算子实现和内存访问模式。结构稀疏与非结构稀疏的差别,往往比稀疏率本身更影响实际延迟。

蒸馏传递的不只是能力

蒸馏的机制是让学生拟合教师的输出分布,而不是原始标签。这意味着教师对某些输入的偏好、以及它在训练数据里学到的偏差,会一起被继承下来。学生没有新的监督信号去纠正这些偏差,只是把它们复制得更便宜。所以有时候蒸馏后的模型在分布内表现很稳,换一个数据来源就开始出现规律性的错误——那不是随机噪声,是继承来的习惯。

量化还有一个不常被提到的环节:校准。缩放因子由一小批校准数据决定,这批数据如果代表不了线上分布,误差就集中出现在边缘样本上,而离线评测恰好覆盖不到这些样本。要发现它,得回头看失败案例,而不是只看一个总分。

先问瓶颈在哪,再决定压什么

我倾向于把模型压缩看成一次有明确代价的交易,而不是默认选项。动手之前值得先分清瓶颈:如果卡在内存带宽,低位宽的收益通常比较直接;如果卡在延迟,而延迟又被算子实现拖着,稀疏化未必帮得上忙;如果只是部署链路臃肿、前后处理占了大部分时间,压缩模型本身的收益会很有限。

相应地,评测方式也该换一换。除了看指标掉了多少,更值得看失败模式变了没有:是错得更自信了,还是错得更奇怪了,错误是否集中在某类输入上。这些信息比一个平均数字更能说明这次压缩能不能上线。

省下来的显存和功耗是真实的,账单也是真实的,只是它延后寄到,通常以一批难以复现的badcase形式出现。这未必是不能接受的代价——端侧场景里,跑不起来就没有一切。但至少要知道自己付的是什么。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型压缩省下的显存,最后花在了哪里
文章链接:https://tech.cfdanews.com/ai/1857.html