三秒钟里发生的事
晚上十点,一个客服对话产品的负责人盯着屏幕:用户按下发送,到界面上出现第一个字,三秒。模型没有更换,参数没有调整,团队只是把请求的排队方式和缓存的复用逻辑改了一遍,这三秒掉到了一秒出头。这类改动在推理侧并不罕见,也解释了为什么推理优化往往不像训练那样有清晰的里程碑——它更像在一条已经跑起来的流水线上找停顿。
延迟其实是好几个数字
把一个“快”字当成唯一指标,判断几乎一定会偏离方向。用户感知到的至少是三件事叠在一起:第一个字多久出现,后面每个字吐得多快,以及在并发上来之后,这些数字会不会突然变坏。第一个字受限于排队与预填充,后面每个字则更依赖逐字解码时的内存带宽。第三件事最容易被忽略,平均值好看、尾部的请求卡住,用户照样会走。
还有吞吐。它和延迟经常被放在一起说,实际上对应两个不同的目标:一个服务在单位时间里能处理多少请求,决定了成本;单个请求多久被满足,决定了体验。调整同一组参数往往会同时影响两边,而且方向常常相反。
先搞清楚在等什么
很多团队的第一反应是换更快的算子、换更新的推理框架。但在动手之前,值得先把推理优化当成一次排查而不是一次升级,先问一句:瓶颈到底在哪。
- 显存先满、算力还有富余,问题多半在缓存容量和批的大小;
- 算力打满而显存宽裕,可能要回到模型精度和算子实现;
- 两者都不紧张、请求却慢,那要去看调度、网络和上游的超时设置。
这三种情况的处置方式差别很大,判断错了,改十处也不见得有效果。把量化当成通用方案是常见的误区:模型变小了,解码确实快一点,但效果需要重新评估,成本最终花在验证上,延迟收益却不明显。
批处理是另一个例子。把多个请求拼在一起送进模型,单位算力的产出会上升,这是提升吞吐最直接的途径;代价是短请求要等长请求,尾部延迟被拉长。所以同一个服务,面向交互场景和面向离线批量任务,几乎应该用两套配置。这个道理不新,但真正按场景分开部署的团队并不多。
缓存与投机:有条件的收益
长上下文流行之后,KV 缓存成了绕不开的词。它省掉的是重复计算,付出的显存却随上下文长度增长。当显存被缓存挤满,能同时并发的请求变少,延迟曲线会在某个点突然抬头。于是推理优化在这里变成了一个容量规划问题:缓存留多少、什么条件下淘汰、能不能按前缀复用,答案取决于业务里提示词重复的程度,而不是某个通用参数。
投机解码也是类似的思路,用小模型起草、大模型核对,在输出较可预测时能减少解码步数。但它的收益高度依赖任务分布,代码、格式化输出和自由创作的表现可能差得很远。把它当成一个需要小流量验证的开关,比当成默认打开的特性更稳妥。
它更像一道工程题
写到这里,我的判断是:推理优化里真正难的部分,不在模型内部,而在把“快”拆成可以分别验收的指标,再对着瓶颈一项项改。它要求工程师懂一点系统,也要求产品经理说清楚:到底是首字要快,还是整体要便宜。这两件事有时能同时拿到,有时必须选一个。
至于那些需要长期投入的方向——更高效的注意力实现、更聪明的调度、更省显存的缓存管理——它们会持续存在,但不会替你做取舍。三秒变一秒的那次改动之所以有效,是因为团队先承认了自己并不知道时间花在哪里,然后去测了一遍。