地铁进隧道，信号格消失。你在备忘录里按下录音键，想把刚才想到的几句话转成文字。若语音识别要等云端返回，页面大概率会转圈；若识别模型就在手机里，转写可以继续。这个差别很小，却解释了端侧AI为什么被反复提起：它不是把云上的模型原样搬下来，而是把一部分推理放到离人更近的设备上。
先把“为什么要放到设备上”说清楚
端侧AI常被包装成隐私故事，实际动因更杂。相机预览、输入法联想、会议录音转写、车载语音唤醒，这些任务对时延敏感，等一次网络往返就可能打断操作。还有一类场景是网络条件不稳定，或者数据不适合离开设备。把模型放在本地，能减少对连接的依赖，也让部分数据留在设备内。但隐私不是自动获得的：如果应用把本地结果再上传，或者模型日志没有清理，设备内推理同样会留下痕迹。
另一个动因是成本。云上推理按调用量计费，用户越多，账单越直观。端侧推理把计算摊到已有硬件上，看起来省了服务器开销，却把压力转移到功耗、发热和内存占用。手机上多跑一个模型，续航可能下降，后台调度也更复杂。企业愿不愿意为这部分体验买单，取决于功能是不是高频，以及用户能否感知到差别。
设备上的模型，先要过大大小小的约束
把模型放进手机、PC或小型终端，难点不只是“压缩”。模型变小后，精度可能变化；量化能降低内存占用，但某些算子对低比特不友好；设备里的NPU、GPU、CPU各有分工，调度不好反而增加延迟。还要面对系统版本、芯片差异和内存碎片。云端可以统一环境，端侧更像在碎石路上开车：同一个模型，在不同设备上的表现可能不一样。
- 内存带宽常常比算力更早成为瓶颈，模型加载和中间结果搬运都会消耗时间。
- 功耗和发热决定功能能不能长时间可用，短时演示与日常使用是两件事。
- 更新机制需要更谨慎，模型包体、回滚策略和用户存储空间都要考虑。
它适合做什么，不适合做什么
端侧AI适合处理短路径任务：在本地完成唤醒、转写、图像预处理、简单分类或个性化联想，然后把不确定的部分交给云端。它不太适合承担持续学习、复杂推理和需要大上下文的任务。训练通常仍在数据中心完成，设备更多承担推理。把端侧AI说成云的替代品，容易忽略一个现实：用户要的是任务完成，不是推理发生在哪里。断网时能记下想法，联网后再整理，这种分层体验贴近日常。
产品设计上，真正值得关注的是切换是否顺滑。哪些输入留在本地，哪些需要上传，上传前有没有明确提示，失败时能否退回可用状态。端侧AI的价值往往不在参数规模，而在它是否让一个功能在弱网、移动和私密场景里继续工作。用户不会因为模型跑在设备上就多一分耐心；他们只会记得，那次录音有没有顺利变成文字。