早高峰的隧道里，手机信号只剩一格。你对着耳机说“把刚才那段话记下来”，它停了半秒，真记下了。这个动作之所以成立，不是因为网络变好了，而是模型没有离开设备。
谈端侧AI，容易把问题简化成“能不能把大模型塞进手机”。工程上更像在有限预算里做减法：内存带宽够不够，连续推理十分钟后机身烫不烫，后台被系统回收后冷启动要多久。参数规模只是纸面起点，真正决定体验的是这些不体面的细节。
算力之外，先看内存和电
端侧推理的瓶颈常常不在峰值算力，而在数据搬运。模型权重放在存储里，每次推理都要读进内存，带宽不够，算力再高也只能等。于是量化、剪枝、算子融合成了常规动作，目标不是把模型做小好看，而是让它在一次充电周期里稳定完成多少次任务。
功耗是另一条硬约束。短时间跑一个演示不难，难的是让语音唤醒、降噪、翻译这些功能常驻，又不让电池掉得太快。很多产品最后选择“小模型常驻、大模型按需加载”，这不是妥协，而是对热和电的尊重。
更新一次模型，比发一次云端服务麻烦
云端模型迭代，用户无感。端侧要面对设备型号、系统版本、剩余存储、用户是否愿意在流量下下载。模型包大了，更新率就掉；包小了，能力又不够。碎片化不是一句“适配”能带过的，它决定了新功能能不能真正到达用户。
这也解释了一个常见落差：演示视频里反应很快，买到手却发现时好时坏。不是模型不行，而是设备状态在变。工程团队需要把“失败路径”当成一等公民：本地算不动时，是降级到小模型，还是静默转云端，抑或直接告诉用户稍后再试。用户不关心推理发生在哪，只关心那句话有没有被记下来。
隐私是理由，但不是全部理由
端侧AI常被赋予隐私叙事：数据不出设备，听起来安心。现实里更常见的做法是分层处理——唤醒词、声纹、敏感片段先在本地过滤，复杂请求再上传。把“全部本地”当口号，反而容易在体验上失分。隐私是设计约束，不是营销标签。
更实际的价值在延迟和可用性。离线环境、弱网环境、对响应时间敏感的操作，端侧有天然位置。反过来，需要长上下文、复杂推理、频繁知识更新的任务，仍适合放在云端。两者不是替代关系，而是按任务分工。
产品该盯住的几个问题
如果要把端侧AI做进一个真实产品，下面这些问题比参数表更有用：
- 模型占多少存储，用户升级系统时会不会被挤掉；
- 首字延迟和连续十分钟后的功耗曲线；
- 断网、低电量、后台被回收时的降级策略；
- 模型更新包多大，失败回滚怎么做；
- 本地处理哪些数据，上传哪些数据，边界是否写清楚。
端侧AI的进展，未必体现在某次演示里跑出多快的数字，而体现在那些没人注意的时刻：信号很差，耳机仍然听懂了那句话；手机发烫之前，功能已经悄悄换了一种跑法。把这些细节处理顺，比争论“大模型该不该上端”更有意义。