采风全网
达观天下

同样的模型,线上为什么慢三倍:推理优化改了什么

上周一个做客服系统的朋友抱怨:同一份模型权重,测试环境秒回,线上却要等三四秒。他先怀疑网络,又怀疑机器,最后发现是并发。这个问题挺典型——“模型快不快”从来不是一个单一数字。

先把“慢”拆成两件事

用户感受到的是首字时间:从点下发送到屏幕上蹦出第一个字。工程师盯的往往是吞吐:一秒能吐多少 token。这两件事经常互相拉扯。把请求攒成一批一起算,吞吐上去了,可排在队尾的那位用户得多等一会儿。所以推理优化的第一步不是调参,而是想清楚在优化谁的体验——是让一个人等得短,还是让一千个人都不排队。

省下来的时间藏在显存里

自回归生成有个特点:每吐一个词,都要把之前所有词重新算一遍注意力。KV 缓存就是把算过的中间结果留下来,避免重复劳动。它几乎是所有推理框架的默认动作,代价是显存。上下文越长,缓存越大,能同时服务的请求就越少。于是很多推理优化的工作,本质上是在显存这张有限的桌子上重新摆盘子:缓存留多少、什么时候清、多轮对话里的旧内容要不要压缩。

量化是拿精度换速度,但要问换多少

把权重从高精度压到低精度,显存占用和带宽压力都会下降,不少场景下速度提升明显。但这不是无痛的。有些任务对数值误差比较敏感,比如长数字串的复制、结构化输出、需要严格遵循格式的场合,压得太狠会以奇怪的方式失败——不是答错,而是格式崩掉。所以量化更像一个需要带着业务指标去做的实验,而不是一个可以一键打开的开关。

批处理之外,还有调度

再往上一层是调度。连续批处理让新请求不必等整批跑完就能插进去;预填充和解码阶段的计算特性差别很大,有的系统干脆把它们拆到不同机器上跑。投机解码则是让一个小的草稿模型先猜几个词,再由主模型一次性校验,猜对了就省下几次前向。这些方法听着精巧,实际收益高度依赖任务:草稿模型猜得准不准,取决于文本的可预测性,代码补全和开放闲聊就是两种完全不同的情况。

优化的边界在哪

有一点容易被忽略:推理优化改变的是“怎么算”,不改变“算出来的东西有多好”。当延迟压到一定程度,继续投入的边际收益会迅速变小,而工程复杂度、可观测性、故障排查的成本在往上走。我见过的比较务实的做法,是先量清楚瓶颈落在哪一段——是排队、是显存,还是单次前向本身——再决定动哪一块。反过来,如果连首字延迟和吞吐都没分开统计,任何调优都容易变成盲调。

回到那位朋友的问题。他最后没换模型,只是限制了单次上下文长度,把缓存策略调了调,又给不同优先级的请求分了队列,体感就好了很多。这类事听起来不如“换个更大的模型”刺激,但它决定了一个 AI 功能是能用还是不能用。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:同样的模型,线上为什么慢三倍:推理优化改了什么
文章链接:https://tech.cfdanews.com/ai/2159.html