对话框里的光标在闪,第一句话还没出来。用户不会关心模型有多少参数,他只关心这几百毫秒里发生了什么。而坐在另一侧的工程师盯着的,往往也是同一个数字:首字延迟。
大多数关于模型的讨论集中在训练,但真正每天被反复消耗的是推理。一次请求进来,从排队、分词、算到第一个 token 落地,再一个一个字往外吐,每一步都在花钱、花时间。
慢的地方不止一个
推理通常被分成两段。前一段是预填充,把整段输入一次性算完,注意力矩阵铺得开,吃的是算力;后一段是逐字解码,每次只生成一个 token,计算量不大,却要把权重和缓存反复搬进搬出,吃的是显存带宽。
很多人第一反应是算力不够,于是加卡。但如果上下文很长,真正的瓶颈常常在别处:KV cache 随着对话轮次线性增长,显存被一点点吃掉,能同时容纳的请求数就下降,排队随之变长。这时候加算力不一定有用,因为卡在等数据。
- 显存带宽:解码阶段的隐性上限,权重搬一次只算一个 token。
- KV cache:长对话的成本中心,也是并发数的直接约束。
- 调度与批处理:请求长短混杂时,拼批的方式决定整体节奏。
- 采样与后处理:看似边角,实则在链路上叠加可感知的时间。
改的是一串取舍,不是某个开关
把并发请求拼成一批一起算,能显著提升吞吐,但单条请求的完成时间可能被拖长,因为要等同一批里最慢的那个。量化把权重和缓存压到更低位宽,省显存省带宽,代价是数值精度上的偏移,某些任务会先露出来。KV cache 的分页管理、跨轮复用、超长时的裁剪,决定了多轮对话能撑多久而不崩。投机解码让一个小模型先起草几个 token,再由大模型一次性校验,命中高时省下时间,命中低时反而多做一遍功。
这些手段彼此牵制。所以谈推理优化,第一句该问的不是用什么方法,而是要把哪个指标压下去:是首字延迟,是每 token 时间,还是单位时间能服务多少人。三个目标经常互相打架。
平均值会骗人
压测报告里好看的平均延迟,到线上常常失灵。原因不复杂:真实请求的长度分布很散,有的一句问完,有的贴了几千字文档。平均值被大量短请求拉平,而用户抱怨的那次卡顿,落在尾部。做推理优化时更值得盯的是高并发下的尾部延迟,以及显存逼近上限时系统怎么退化——是优雅变慢,还是直接拒绝。
另一个常见的错觉是只看模型这一段。实际链路里,请求要过网关、要排队、可能还要先做检索和重排,前端再把结果渲染出来。整条链路拆开计时,常会发现被归罪于模型的那部分,其实发生在别处。这也是我对推理优化保持谨慎的原因:它能把属于它的那段时间压缩,但没法替别的环节还债。
先量,再动手
如果让我给一个顺序,我会先把首字延迟、每 token 耗时、并发下的尾延迟分别测出来,看清预算花在哪;再去做那些便宜且风险低的改动,比如复用缓存、调整批处理策略、给超长上下文设一个合理的截断边界;最后才动模型本身,因为量化和蒸馏这类手段一旦引入,输出质量的变化需要重新评估,而不是假定无害。
推理优化更像工程管理而不是技巧堆叠:它要求你明确目标、接受妥协、并且知道哪一部分慢本来就不该由模型负责。光标闪的那几百毫秒,背后是一整套关于成本与体验的权衡,没人能全部拿走,只能选自己最在意的那一段。