当停顿出现在生成阶段
晚上十点,客服系统里一条回答刚显示到一半,后面的字像被什么拖住。工程师先怀疑模型能力,翻看日志才发现,请求本身并不复杂,卡住的是逐词生成。用户感知到的慢,常常不是一次计算有多重,而是每个词都要等上一轮结果。
大模型推理大致分两段:先把输入读进去,再逐词输出。前一段像集中备课,后一段像边讲边想。线上问题常出在后一段,显存带宽、缓存管理、并发调度,任何一处不顺畅,都会被用户感知为停顿。于是“推理优化”容易被当成一个提速开关,实际它更像一组围绕体验的取舍。
先分清等的是首字,还是后续
如果用户点下发送后迟迟看不到第一个字,问题可能在输入处理、排队或长上下文预填充;如果首字很快、后面越写越慢,则要看向量缓存、批处理策略和生成调度。常见手段包括量化、缓存复用、连续批处理、投机解码等,但它们各有边界:量化可能影响输出稳定性,批处理会带来排队,投机解码依赖草稿与主模型之间的接受情况。把它们简单叠加,未必能让对话顺畅。
缓存不是免费午餐
多轮对话里,历史内容会被反复带入计算。缓存中间状态能减少重复工作,但上下文越长,占用越多,淘汰策略也越难。推理优化在这里不是把某个参数调大,而是判断哪些状态值得留、哪些请求可以合并、哪些可以晚一点处理。这个判断离不开对业务节奏的理解:客服追问、文档问答、代码补全,对停顿的容忍度并不一样。
别把平均值当体验
监控面板上的平均延迟看起来平稳,用户却可能正好撞上尾部请求。排队、超时、重试和后端抖动叠在一起,低谷会被平均掉。做推理优化时,需要同时看首字延迟、输出速度、失败率和尾部分布,也要给降级路径留空间。某些场景宁可回答短一点,也不要在那里空转;某些场景可以慢半拍,但不能前后矛盾。
边界比参数更早出现
推理优化不是把所有请求塞进同一套配置。产品目标不同,优化方向就会分叉:有的在意首屏反馈,有的在意长文吞吐,有的在意多轮一致性。先问清楚用户在哪一刻感到卡,再决定动缓存、批处理还是模型规格;直接换模型,未必对得上问题。剩下的事,是承认工程没有一劳永逸,只有持续观察和调整。