上线前的最后一次评审,讨论没有停在准确率上,而是卡在一个很具体的问题:用户从点下按钮到看见第一行字,能不能稳定落在两秒以内。模型的输出质量已经够用,卡住的是尾延迟——多数请求很快,少数请求慢得刺眼。于是话题转向了推理优化。
先把“快”拆成几段
很多团队在谈优化时习惯盯着一个平均数,例如每秒能处理多少请求。但用户感知的不是平均数。一次问答从输入到输出,大致要经过排队、预填充、逐字生成、结果拼装几个阶段,每一段的耗时构成不同,优化手段也不同。把总时间当成一个整体去压,常常压错了地方。
预填充阶段要一次性处理整段输入,算力吃得重;生成阶段则是一个字一个字往外吐,越往后越依赖缓存里的中间结果。前者偏计算,后者偏内存带宽。两者混在一起看,就会得出“算力不够”这类过于笼统的判断,进而把资源投到并不紧张的位置。
所以第一步往往不是改代码,而是把延迟拆开测量。哪些请求慢、慢在哪一段、慢的请求有没有共同特征,例如输入特别长、并发特别高、或者恰好落在某个批处理窗口的边缘。没有这层拆解,后面的调整基本靠猜。
缓存省下的时间和它带来的麻烦
在生成阶段,复用已经算过的中间状态是最直接的思路。同一段对话里,前面的内容不变,后续轮次就没必要从头再算一遍。这部分收益在长对话场景里相当明显,也是近年来推理优化里被讨论最多的方向之一。
但缓存不是免费的。它占内存,而内存正是并发能力的上限之一。缓存留得越多,能同时服务的请求就越少;缓存淘汰策略稍有不慎,命中率掉下来,收益也就跟着消失。更微妙的是,缓存让请求之间产生了状态关联,调度变得不那么自由——原本可以随意合并的批次,现在要考虑谁和谁能放在一起。
这引出一个常见的误判:把单次请求的耗时降下来,就认为整体吞吐会同步变好。实际情形经常相反,单请求更快了,但单位时间内能处理的请求数没怎么涨,因为内存被缓存吃掉了。延迟和吞吐在这里不是同向的。
批处理的两面
把多个请求合并进同一次计算,能更充分地利用硬件,这是提升吞吐的常规做法。代价是排队。批次越大,等待凑批的时间越长,尾延迟越难看。用户少的时候,这个代价几乎看不见;流量一上来,它就成了主要矛盾。
于是调度策略变成了一个取舍问题:是让每个请求都等一等,换取整体更平稳的成本,还是优先照顾那些已经等了一会儿的请求,宁可牺牲一点硬件利用率。没有普适答案,取决于业务对延迟的容忍度,以及流量是否可预测。把这两件事混为一谈,优化就会变成局部打补丁。
该停下来的地方
推理优化有一个容易被忽略的边界:优化本身也要消耗工程资源,而且会引入复杂度。为了挤出一点点延迟,把系统改造成只有一两个人能看懂的样子,长期看未必划算。尤其当模型还在迭代、流量形态还没稳定时,过度贴合当下情况的调优,很可能在下一次变更后失效。
另一个边界是质量。量化、剪枝、提前终止这类手段,多少会影响输出。影响有多大,需要用业务真正在意的样本去测,而不是只看通用评测上的数字。有些场景里,稍微慢一点但稳定可解释,比快而偶发失误更合适。
回到开头那场评审。最后定下的方案并不激进:把长输入单独走一条路径,对话缓存设一个不算大的上限,批处理窗口按流量时段调整。延迟没有降到理论上的低位,但尾部的尖刺被削平了。这大概就是推理优化在工程现场更常见的样子——不是找到一个最优解,而是在几个互相牵制的约束之间,选一个当下能说清楚理由的位置。