深夜的电梯里没有信号，手机相册却能把昨天拍的合影按人脸归好类；录音笔在飞行模式下把会议转成文字。这些功能不算新鲜，但它们说明一件事：推理正在离开机房。
所谓端侧AI，指的是模型在手机、耳机、车机、摄像头、工控盒子这类设备上直接完成推理，而不是把原始数据传到云端再等结果回来。判断一个功能算不算，看计算发生在哪里，不看宣传语怎么写。
先问为什么，再问能不能
把模型放到端上，最直接的理由往往不是算力，而是链路。一次云端往返要经过编码、上传、排队、回传，网络好的时候感知不到，网络差的时候体验就断了。语音唤醒、相机对焦、驾驶辅助里的感知，这类对时延敏感的环节，本地处理近乎刚需。
另一个理由是不必把原始数据送出去。相册、录音、行为记录这类数据，用户对它们外流的容忍度很低。数据不出设备，既是体验问题，也是责任问题。还有一层常被忽略：持续在线的服务，云端推理的开销会随使用量增长，端上一旦跑起来，这部分成本就变成了设备的固定成本。
边界在哪里
端侧AI不是把云上的东西原样搬下来。设备的内存带宽、散热空间、电池容量都是硬约束。一个在服务器上跑得动的模型，塞进手机可能连加载都困难，勉强跑起来也会让机身发烫、电量掉得肉眼可见。
所以工程上常见的是另一条路：把模型做小、做窄，只保留当前场景需要的能力。量化、剪枝、蒸馏这些手段听起来枯燥，却决定了很多功能能不能上线。更现实的做法是分工——高频、简单、对时延敏感的判断留在本地，复杂、少见、需要大量知识的任务交出去。哪些留在端上、哪些送出去，这个划分比模型本身更考验设计者。
硬件也在变。手机芯片里专门做推理的单元越来越多，内存和存储之间的数据搬运成了新的瓶颈。有时候限制不是算不动，而是喂不饱。
被高估与被低估的部分
被高估的是“全能”。有些演示看着惊艳，实际是把某个特定任务调到了极致，换一个场景就得重来。这类模型的适用范围有限，短期内也不会改变。把它当成万能底座，容易做出演示好看、日常难用的东西。
被低估的是更新。模型装在设备上，意味着一次升级要面对大量机型、系统版本和内存配置。云端改一行配置就能生效的事，到端上要排期、要灰度、要兜底。不少团队在算法上没问题，卡在了这条链路上。
还有一层是能耗与隐私的张力。本地处理减少了数据外传，但持续运行的各种感知会消耗电量，用户不一定愿意为此买单。功能该常驻还是按需唤起，是产品判断，不只是技术选择。
我的一点判断
端侧AI的价值不在参数规模，而在于把一些原本做不到的体验变得理所当然：没有网络也能用，说完就有反应，数据不必离开手边。它更像一次计算位置的下沉，而不是一次能力爆发。
对做产品的人来说，值得先问几个问题：
- 这个功能离开网络还能不能用？
- 用户是否介意数据离开设备？
- 延迟降下来之后，体验会发生什么实质变化？
如果答案都指向不需要本地计算，那就没必要为了“端侧”而端侧。名词会更替，这些判断不会。