在地铁里打开相册搜“上个月的发票”,几秒出结果,飞行模式也没受影响——这类体验是端侧AI最容易被感知的一面。它不惊艳,但稳。
问题在于,把它做成产品的团队,往往在演示之后才开始头疼。
算力表上的数字,和设备里的真实体验
芯片发布会上的算力数字通常按峰值算,而设备是拿来长时间握在手里的。同一个模型,跑一次很轻,连续跑十分钟就要面对降频、发热和电量曲线。用户不会因为“本地推理”就原谅手机发烫。
所以第一个约束不是能不能跑,而是能不能一直跑。这意味着选型时真正该看的,是内存带宽和功耗预算,而不是峰值算力。参数量稍小但访存友好的结构,常常比更大更能打的模型在设备上更实用。这一点在工程实践里近乎常识,在宣传材料里却很少被提起。
模型更新,比推理更麻烦的部分
推理只是上线那一天的事。之后每个版本都要分发到用户设备上:体积受安装包限制,还要跟着应用商店的审核节奏走,出了问题得能回滚。云端改一个接口就能修的缺陷,在端侧可能要完整走一次发版流程。
更麻烦的是后端差异。同一份模型,量化方案、算子支持、内存布局在不同芯片上表现并不一致,适配工作量随机型数量放大。团队常以为自己发布了一个模型,实际上是发布了一组针对不同设备调过的变体。
该放在端侧,还是不该
一个朴素的判断标准:如果任务涉及不宜外传的数据、必须在断网下工作,或者对时延敏感到一次往返都嫌慢,端侧AI的价值就成立。反过来,如果任务本身依赖长上下文和频繁迭代,硬塞进设备只会两边都不讨好。
这里有个容易被忽略的成本项:端侧推理省下的是服务端算力,付出的是用户设备的电量和存储。这笔账在不同产品里算法不同,但很少有人明确算过。
评价体系还缺一块
端到端的效果指标在云端好测,在设备上却更模糊:同一模型在不同机型上的输出可能略有差异,用户遇到的“偶尔不准”很难复现。做端侧的人需要一套设备侧的可观测手段——它的目标不是分出高低,而是能定位到是哪一层出现了退化。
这件事目前更多靠团队自己搭。行业里还没有形成通用做法,也就难怪不少端侧功能上线后,改进依赖的是零星反馈,而不是系统性的观察。
端侧AI不缺想象空间,缺的是把“演示可用”变成“日常可用”的那层耐心。谁在做这件事,用户其实感受得到——他们只是不会用“端侧”这个词来描述。