晚上十点,有人打开客服页面,输入一句话,光标转了两秒。模型其实已经在跑,只是它大部分时间并不在计算,而是在等:等权重从显存里搬过来,等上一批请求腾出位置。
先分清卡在哪
一次生成大致分两段。读 prompt 的时候,矩阵乘密集,算力是瓶颈;一个 token 一个 token 往外吐的时候,每步只算一点点,却要把模型权重和 KV 缓存重新过一遍。计算单元大段时间空转,带宽先到顶。这个区别决定了推理优化的入口——如果连瓶颈在哪都没测过,后面的调参基本靠猜。
实际做法通常从“少搬一点”开始。量化把权重和缓存的位宽压下来,搬运量随之下降;KV 缓存的分页管理与前缀复用,让相同的系统提示词不必反复计算;连续批处理把零散请求拼在一起,填满原本空着的计算槽位。这些都是工程上比较成熟的路子,代价各不相同。
吞吐和延迟并不站在同一边
批处理是最容易被误用的一个。批次开大,单位时间处理的请求变多,但单个请求要排队等同伴,尾部延迟跟着抬起来。平均值好看,p99 难看,而用户感知到的恰恰是后者。所以推理优化很少是“把某个数字压到极值”,更像是在一组约束里挪动:显存有多少、并发有多高、可接受的等待是几百毫秒还是几秒。
- 量化省带宽,也可能让某些任务的输出变得不稳,需要按业务分布验证;
- 投机解码靠小模型先猜、大模型校验,猜得准时快,分布不匹配时白忙一场;
- 缓存复用降低重复计算,代价是显存被长期占住,挤掉并发空间。
把目标写成约束,而不是指标
我比较在意的一点是,不少团队把优化当成一次性的压测,跑出一组漂亮数字就收工,上线后流量形状一变,之前的结论全部作废。更稳的做法是先固定几条不能破的线——首字时间、错误率、显存上限——再在这个范围里去换吞吐。推理优化做到后面,考验的不是会不会用某个技巧,而是清楚哪一项可以牺牲、哪一项不能。
还有一层常被忽略:请求本身并不均匀。长 prompt 和短对话混在一起,热门前缀和冷门问题交错,静态配置很难同时照顾。按输入长度分流、把预填充和生成拆到不同资源池,是近年比较务实的思路,但它也要求运维侧多一层调度,用复杂度换稳定性。
回到开头那个转圈的两秒。多数时候,问题不在模型不够聪明,而在搬运和排队。把测量做在动手之前,把目标写成约束,剩下的技巧才有落点。