会议室在负一层,手机只剩一格信号。笔记本合盖之前,纪要已经生成完毕。没有等待转圈,也没有把录音交给远处的服务器。这种体验上的差别,比任何宣传语都更能说明端侧AI在做什么。
省下的不只是隐私
很多人把端侧AI理解成“数据不出设备”。这只说对了一部分。每天真正被感知到的,是延迟。一次语音转写要经过编码、上传、排队、返回,网络抖一下,几百毫秒就变成几秒。放在本地,链路短了,交互才像对话,而不是一次次提交请求。
另一笔账是推理成本。远端每处理一次请求都要占用算力,用户越多,开销越大。把一部分计算挪到设备上,等于把成本分摊给了已经卖出去的硬件。这也是厂商愿意推动端侧AI的现实原因,不全是为了隐私叙事。
硬件先撞上的墙
把模型塞进手机或笔记本,第一个约束不是算力峰值,而是内存带宽。参数要一次次从内存搬到计算单元,搬运速度跟不上,算力再高也闲着。所以真正决定体验的,往往是模型能不能被压到合适的尺寸。
量化是常见做法:把权重从高精度压到低精度,模型小一截,速度上一个台阶,代价是某些细微能力会掉。掉多少取决于任务。做摘要和做严格的格式抽取,对误差的容忍度完全不同。
还有热。桌面端跑一个稍大的模型,风扇会告诉你代价;手机没有风扇,连续推理几分钟就开始降频。端侧AI的体验曲线不是一条直线,它随温度和电量起伏,这一点在演示视频里通常看不到。
更难的是更新
远端模型改一版,第二天所有用户都用上新的。设备上的模型不行。它分散在成千上万台不同芯片、不同系统版本的机器上,一次升级要过应用商店,要兼容旧硬件,还要考虑安装体积。设备端模型一旦发出去,就像刻在了石头上。
于是出现一种尴尬:能力在远端迭代得很快,落在设备上的那一份却长期停在某个版本。用户能感觉到“同一个功能,换个场景表现就不一样”,却说不清为什么。
这也解释了混合路由为何变得普遍——简单的、需要即时响应的请求留在本地,复杂的、可以等待的交给远端。难的不是两边都做,而是判断在哪儿切一刀。切得粗,本地模型频繁失败重试,反而更慢;切得细,规则膨胀,维护成本往上走。
评测方法也得跟着换
在服务器上跑分,环境干净、供电稳定、只跑一个任务。设备上不是这样。后台还有消息推送、定位、相机预览在抢资源,模型要在这种嘈杂环境里保持可用。实验室里的数字,搬到口袋里通常要打折。
所以评估这类系统,更该看长尾表现:电量低时会不会崩,内存紧张时会不会被系统杀掉,连续使用半小时后响应慢了多少。这些指标不好看,也不适合做成图表,但它们决定了用户会不会第二次打开。
我不认为端侧AI会取代远端,也不认为所有任务都值得放到本地。它更像一次重新分配:把对时延敏感、对离线可用敏感的部分留在手边,其余继续交出去。真正考验工程能力的,是这条分界线画在哪里,以及它能不能随着硬件换代而移动。
那位在负一层开完会的人不会关心这些。他只知道纪要已经在电脑里了。技术到底有没有用,最后大概就是这样被判断的。