光标闪的那两秒,和模型本身关系不大
对话框里,光标闪了两秒,文字才开始一个一个蹦出来。多数人会把这段等待归因于模型不够聪明、服务器不够快。实际情况往往更朴素:自回归生成一次只产出一个 token,产完再喂回输入端,链条天生是串行的。算力再翻倍,也很难让这条串行链立刻缩短。推理优化处理的正是这类约束——它不改变模型会不会答,只改变答得有多快、一次能答多少人。
训练看吞吐,推理看延迟
把训练和推理混为一谈,是理解这件事时很常见的偏差。训练阶段关心的是单位时间内能吃进多少数据、梯度更新得多充分,批量越大越划算,慢一点没关系。推理则相反,用户等的是首字出现的那一刻,以及后面每个字之间的间隔。首 token 延迟和单 token 时延这两个指标,对系统设计提出的要求,和训练几乎相反。
于是出现了有意思的错位:一些在训练里被反复优化的技巧,搬到线上反而拖后腿;而一些看起来像“降级”的做法,比如把权重从高精度压到低精度,在推理场景里却常常划算。
解码阶段到底在等什么
解码时,每生成一个 token,都要把模型权重从显存里读一遍。计算单元大部分时间不在算,而在等数据搬运。理解了这点,很多手段的逻辑就清楚了:
- 键值缓存:把已经算过的中间结果留下来,避免每步重算,代价是显存占用随上下文长度增长。
- 量化:用更少的比特表示权重或激活,减少搬运量,代价通常是精度上的细微损失,需要实测确认能否接受。
- 连续批处理:把不同请求拼在一起送进去,填满空闲算力,代价是个体请求的延迟会受影响。
- 投机解码:用小模型先猜几个 token,大模型一次校验,猜对就省下若干步,代价是猜错时要回退。
这些手段之间不是叠加就好。缓存占的显存多了,能同时容纳的请求就少;批处理开得激进,单用户的等待就变长。推理优化很大程度上是在一张互相牵制的表上做取舍,而不是找一个一劳永逸的开关。
预填充和解码,本来就该分开看
请求进来,先要把整段提示词过一遍,这一步是并行的、吃算力;随后的逐字生成是串行的、吃带宽。两段负载特征差得很远,却常被塞进同一套资源里调度,结果是谁都不舒服。把它们拆开、分别扩缩容,是近一两年工程上比较务实的一条路。它对系统复杂度的要求也更高,小团队未必值得一开始就上。
有些场景,其实不该急着优化
说句不讨好人的话:不少团队在还没弄清瓶颈在哪的时候,就开始堆手段。先量一量,是首字慢还是后续慢,是长上下文拖累还是并发打满,答案不同,方向完全相反。另一个容易忽略的边界是任务性质——离线批量处理文档、生成报表这类场景,用户并不在屏幕前等,把吞吐做上去往往更实际;反过来,交互式产品里那一百毫秒的差别,用户感受却很明显。
还有一个诚实的提醒:推理优化能省的是成本和时间,救不了错的答案。一个在事实层面站不住的输出,生成得再快也只是更快地让人失望。把优化当成产品能力的全部,是另一种方向上的偷懒。