地铁里没有信号，翻译应用仍能把菜单上的几行字转成中文；相机取景框里，人像抠图跟着手指移动；录音笔在飞行模式下整理刚录完的会议要点。这些体验有一个共同点：推理没有离开设备。端侧AI讨论的，正是把模型放到手机、PC、耳机、摄像头这类终端上，而不是每次请求都往返云端。
不是云端模型的缩小版
把云端模型压缩后塞进终端，听起来直接，实际很少这么简单。内存带宽、散热、电池和芯片调度都有限，模型大小只是第一道约束。推理还要和系统抢占资源：用户滑动界面、拍照、接电话，哪个先响应，需要调度策略。端侧AI的作用不只在“本地跑”，它让一些交互变得即时、可离线、少上传；代价是模型容量和更新频率受限，复杂任务仍要回到云端。
边界比能力更难划
把端侧与云端对立起来，容易忽略产品里的真实分工。高频、低时延、涉及个人画面的处理留在本地；需要更大知识库或更重计算的任务，在合适时机交给云端。这样既保住响应速度，也减少不必要的数据外传。难点在边界：哪些请求可以等，哪些不能等；哪些信息适合离开设备，哪些最好不离开。这个判断不只靠算法，还要看产品对失败和延迟的容忍度。
功耗和隐私不是口号
端侧AI常被说成隐私方案，但本地处理不自动等于安全。设备丢失、应用越权、模型缓存管理，都会带来新问题。持续推理还会消耗电量，影响发热和续航，用户感知很明显。工程上常见的折中是：用轻量模型处理常驻任务，把重任务放到用户主动触发的时刻；能缓则缓，能批则批。对厂商来说，端侧能力需要系统级管理，而不是每个应用各自唤醒一次模型。
把能力放对位置
从已有体验看，本地推理适合短链路任务：输入法联想、图像分割、语音降噪、离线摘要、简单问答。它们不需要长篇推理，却对时延和稳定性敏感。开放域知识问答、复杂规划、长文档分析，仍要借助云端。终端算力会继续增长，资源约束不会消失；端侧AI的演进，大概率不是替代云端，而是让计算分布得更细。