地铁进隧道，手机信号掉到一格。相册里搜“去年冬天那杯咖啡”，结果还是弹了出来。照片没有上传，特征在本地算完。这个瞬间很具体：端侧AI并不总是发布会上的大词，它先发生在断网、弱网和不想把数据交出去的时候。
离线只是表象
很多人把端侧AI理解成“把模型塞进设备”。这只说对了一半。设备上的算力、内存、电量和散热都是硬约束，模型不能只追求会答，还要在有限资源里稳定地答。语音转写、图像检索、输入法联想这些任务，之所以先在本地跑起来，不是因为它们简单，而是因为交互频繁、时延敏感，或者数据本身不适合离开设备。
但本地跑也有代价。一个在云端能从容调用的模型，到了设备上要面对内存带宽、发热降频、后台回收。用户感知到的不是参数规模，而是点下去之后卡不卡、手机烫不烫、电量掉得快不快。端侧AI的产品问题，往往不是“能不能做”，而是“做在什么位置、什么时候退回云端”。
模型变小只是表层
量化、剪枝、蒸馏这些词听起来技术，但落到工程里，都是取舍。把精度降一点，换内存占用下降；把模型裁一点，换首字响应缩短；把部分层放到别处，换功耗曲线平缓。真正麻烦的是运行时：芯片的算子支持不一致，框架版本不一致，同一套模型在不同设备上的表现会分叉。只盯着模型文件大小，很容易忽略推理引擎、内存调度和系统调度这些“脏活”。
更新与碎片化是隐性成本
设备一旦出货，模型就很难像网页一样随时替换。应用要兼容不同系统版本、不同芯片能力，还要处理模型更新失败后的回退。端侧AI因此不只是算法团队的事，它牵着客户端、系统、测试和运维。一个离线功能能不能长期可用，取决于更新链路是否可靠，而不是演示时那几秒钟。
判断它，别只看演示
我会先问几个不浪漫的问题：哪些计算真的在本地完成，哪些只是把请求转走；断网时功能是降级还是直接失效；连续使用一段时间后，发热和耗电是否可接受；模型更新失败时，用户看到什么。这些问题不指向某个漂亮功能，却决定端侧AI能不能成为日常能力。
端侧AI的边界也很清楚：它不适合把所有大模型都搬进手机，也不该被当成云端的替代品。它适合处理那些等不起、传不得、断网也要用的部分。把这条边界划清楚，本身就有产品价值。