端侧语音唤醒的调试现场常出现一种落差:模型在开发机上跑得顺,装进设备后延迟抖动,内存峰值越线。一个常见反应是做模型压缩。可当参数降下来,噪声场景里的唤醒结果开始波动,日志也不容易指出问题落在哪一层。
把模型改小只是表面
压缩容易被当成部署前的收尾动作:训练完,导出,压一压,再上线。实际工程里,它更像重新划定设计边界。参数量、计算量、内存带宽、算子支持、缓存行为都会跟着变。设备端不是开发机的缩小版。压缩后的模型可能避开某些算子,也可能让访存模式变得不连续。延迟未必随参数减少同步下降。若只盯文件大小,问题会被推迟到运行时。
量化、剪枝、蒸馏各自改变什么
量化改的是数值表示,把浮点权重和激活换成低比特表示,关注尺度、异常值和算子支持。剪枝改的是结构,去掉部分连接或通道,关注稀疏是否真能转成推理收益。蒸馏改的是学习方式,让一个小模型拟合大模型的输出分布,关注训练数据和温度设置。三者可以叠加,但叠加后误差来源会纠缠。做模型压缩时,先得问约束在哪:是内存装不下,是首帧延迟超预算,还是功耗压不住。目标不同,手段顺序不同。
维护成本常被忽略
压缩后的模型一旦进入版本迭代,问题会变具体:原训练脚本是否还能复现,压缩策略是否和算子库版本绑定,精度回退时能否定位到某一层。若压缩流程散落在脚本里,下一次换设备就要重来。一种可操作的做法是把压缩步骤纳入构建流水线,保留中间表示和评估记录,把精度、延迟、内存放在同一张观测表里。
边界:不是所有模型都适合压
有些模型对数值扰动敏感,压缩后误差集中在少数难样本;有些任务对延迟不敏感,压缩收益无法覆盖验证成本。模型压缩的边界不在论文指标里,而在部署后的可观测性里。若缺少稳定的回归集和线上监控,压缩带来的不确定性会被放大。个人判断是:压缩应前移到架构选择阶段,与目标硬件、算子库和迭代节奏一起考虑;把它留到上线前,往往只是把复杂度搬到运维。先决定要守住什么,再决定删掉什么。