采风全网
达观天下

模型压缩做到最后,考的不是算法,是取舍

把模型塞进手机、车机,或者一台没装独立显卡的工控机,往往先撞上的不是算力不够,而是内存带宽和散热。推理时权重需要从内存搬到计算单元,搬得越频繁,功耗越高,机身越热,降频之后延迟反而更难看。于是“能不能跑”这个问题,很快就变成了“能不能以可接受的代价跑”。

压下去的不只是体积

谈到模型压缩,不少讨论停在“模型变小了”。体积只是表象。真正被改变的是三件事:权重占用的存储、每次推理要搬运的数据量、计算单元实际要执行的运算次数。这三者并不总是同步下降,这也是很多压缩方案在纸面上漂亮、落地后收益打折的原因。

  • 量化把浮点权重换成低精度表示,省的是存储和带宽。它改动数值精度,不动网络结构,落地相对直接,但对激活值里的离群点比较敏感,某些层会比预期更早掉精度。
  • 剪枝删掉权重或整块结构。非结构化剪枝看着稀疏率可观,落到通用硬件上未必真能加速;结构化剪枝牺牲一些灵活度,换来的是芯片能真正兑现的收益。
  • 蒸馏让小模型去拟合大模型的输出分布,而不只是学硬标签。它改的是训练方式,模型结构本身可以保持不变。
  • 低秩分解把大矩阵拆成两个更小的矩阵相乘,减少参数量和乘加次数,代价是表达能力的损失,而且对矩阵形状有要求。

指标好看,体验未必

压缩之后,团队通常会看困惑度、准确率或某个基准集上的分数。这些指标大多取平均,而平均值会掩盖长尾。被压掉的容量,往往正好对应那些不常出现、但一出现就很关键的输入:一段少见的格式、一个拗口的人名、一处需要跨段核对的信息。平均分只掉了一点,用户却可能恰好在最需要准确的那一次遇到问题。

所以模型压缩没有通用解。对话补全这类任务对个别字词的偏差容忍度高,而结构化抽取、数字核对、长文档一致性这些任务,容错空间窄得多。同一个压缩比例,放在不同任务上,风险并不对等。把压缩率当成一个可以横向比较的指标,本身就容易误导。

难点在取舍,不在技巧

模型压缩的工程难点,与其说在于找到某种巧妙的算法,不如说在于回答一个产品问题:哪些能力可以放弃,哪些错误可以接受。量化到哪一层、剪掉多大比例、蒸馏时保留哪些行为,这些决定依赖对使用场景的理解,而不是对压缩工具本身的熟悉程度。

一个务实的顺序是先划定容错边界:哪些输入绝不能错,哪些错了可以回退到云端,哪些场景干脆不该上端侧。边界清楚之后再选手段,压缩才有意义。反过来,先压到某个体积再回头补精度,通常要付出更多返工。

与其问能压到多小,不如先问清楚:出错的代价,由谁来承担。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型压缩做到最后,考的不是算法,是取舍
文章链接:https://tech.cfdanews.com/ai/2164.html