电梯里信号只剩一格,语音助手还能不能听懂一句指令?这个场景不新鲜,却把端侧AI的底色露了出来:它要处理的是断网、抖动和时延,而不是演示视频里的顺滑。
云端推理把计算放在远处,网络是前提;端侧AI把一部分计算放回设备,前提变成算力、内存和电。两者不是替代关系,更像分工。设备负责近处、短时、确定性的动作,云端承接复杂生成和知识更新。这个分工听起来清楚,落到工程里却处处是取舍。
离线不是卖点,是底线
设备离线时,唤醒词、降噪、字幕、简单指令不该完全失效。短指令、固定意图、对时延敏感的动作,放在设备上能减少等待;需要长上下文和新鲜知识的任务,仍要回到云端。端侧AI的工程难点,不是把模型塞进去,而是让它在内存和功耗的窄缝里稳定跑完。
模型变小之后,麻烦才刚开始
量化、蒸馏、剪枝能压缩模型,但这些手段不是免费午餐。精度会掉,鲁棒性会变,口音、噪声、弱光都会把误差放大。同一套模型落到不同芯片和内存配置的设备上,表现也可能不一致。设备碎片化让测试变成体力活:不能只看实验室里的干净输入,还要看真实环境里的边界情况。
哪些任务该留在设备上
我倾向于把设备端看作一道前置过滤:先处理确定性高、时延紧、数据不宜外走的部分;复杂生成和知识更新交给云端。可以落在设备端的任务大致有几类:
- 短时交互,比如唤醒、命令词识别和简单的本地问答;
- 隐私敏感的前处理,比如在本地完成特征提取,减少原始数据外传;
- 弱网环境下的基础功能,比如离线字幕、录音转写和异常声音提示;
- 传感器融合,比如结合麦克风、加速度计和摄像头做即时判断。
这些任务共同点不是技术炫目,而是闭环短。设备能在很短时间内给出可用结果,就算模型不庞大,也有存在价值。
更新这件事,常被低估
模型不是一次性烧录。设备寿命长,模型要更新,还要考虑回滚、灰度发布和功耗预算。云端更新容易,端侧更新受网络、存储和电量限制。没有运维体系,端侧AI会变成一堆沉默的旧模型:功能还在,但听不懂新说法,也修不了旧毛病。
所以,讨论这类方案时,参数规模只是入口。真正决定体验的,是任务闭环能不能在设备上收尾,以及出问题时有没有退路。