采风全网
达观天下

同一个模型,两种延迟:推理优化在机房里解决什么

凌晨两点,一个接口的 p99 从 800 毫秒跳到三秒。流量没有涨,机型没有换,唯一的改动是两天前产品把输入从一句话扩成了一段带上下文的对话。值班的人第一反应是加机器,加完,曲线几乎没动。

这是推理侧很常见的一幕:算力不是不够,是没被用在刀刃上。

一次生成,其实是两种负载

把生成拆开看,前面那段是 prefill:模型要把整段输入一次读完,算出并缓存注意力所需的中间状态;后面那段是 decode:一次只吐一个 token,每一步都要把之前的缓存重新读一遍。前者偏计算,后者偏访存。

不少推理优化走不下去,是因为把这两段当成一件事在处理。prefill 阶段调并行、切分输入、限制单批的 token 总量,通常见效很快;decode 阶段则要看显存带宽和缓存命中率,算力再富裕也补不上多少。输入从一句话变成一段长上下文,先撑不住的是第一阶段,而用户体感上的“卡”,往往来自第二阶段被拉长的每一步。

缓存省下来的,迟早要以别的方式还

KV 缓存是绕不开的东西。把历史状态留下来,就不必每步重算,代价是显存占用随上下文长度增长。于是一连串取舍摆到面前:缓存放显存还是换到内存,能留多长,什么时候回收,多轮对话里哪些前缀可以复用。

批处理是同类问题。把多个请求拼在一起,硬件利用率上去了,吞吐变好,但排在后面的请求要等前面的算完,单请求延迟随之上升。在线服务里这个矛盾尤其明显:一边看的是每小时能出多少 token,另一边在意的是自己那一句什么时候回来。这两件事经常不在同一个方向上。

  • 缓存复用能省掉重复的 prefill,但前缀匹配做得不准,收益会大打折扣;
  • 连续批处理让队列更平滑,可一旦有超长请求混进来,尾部延迟就会被它带偏;
  • 量化能减轻显存和带宽压力,但精度损失在小模型上更容易被放大。

优化到什么程度就该停

有些团队把推理优化当成一场没有终点的调参。事实上,收益曲线很快就会变平。一个内部工具,日请求几千次,把延迟从两秒压到一点二秒,用户未必感知得到;而为它引入的调度逻辑、缓存一致性和灰度方案,会长期留在代码里,由后面接手的人继续维护。

我倾向于先问三个问题:延迟的哪一段在痛,是首字还是整段;痛的那一段能不能稳定复现;如果什么都不做,最坏情况会怎样。三个问题里有两个答不上来,那多半不是模型的问题,而是监控粒度不够。

反过来,真正值得投入的场景通常特征明确:高并发、长输入、对首字延迟敏感。这类系统里,一点推理优化带来的成本下降是能算出来的,而不只是“感觉快了一些”。

回到那个夜晚

最后查出来的原因并不复杂:新的输入方式让前缀命中全部失效,每次请求都在重算。要改的不是模型,是缓存的粒度。

这类事会反复发生。模型能力往前走一步,服务侧那些默认成立的假设就要跟着改一次。推理优化听起来像一门调参手艺,实际更像持续校准:清楚自己省下的是什么,也清楚这份代价最后落在谁身上。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:同一个模型,两种延迟:推理优化在机房里解决什么
文章链接:https://tech.cfdanews.com/ai/2096.html