设想一个常见场景:模型没换,参数没动,服务响应却比前一阵慢了一截。排查时容易先怀疑网络或机器负载,却发现请求卡在等待一段缓存整理完。这个场景说明,推理优化不总是“把模型变小”,很多时候是在安排数据少走弯路。
慢不一定在计算,可能在搬运
大模型推理的过程可以粗略分成两步:先根据输入生成内部表示,再逐字往外吐。真正耗时的部分,未必是矩阵乘法本身。显存和计算单元之间的带宽、缓存占用、请求排队,都会把时间拉长。尤其当上下文变长,历史信息的缓存需要反复读写,搬运成本就会显出来。
所以看推理服务时,先把一次请求拆成几个时间段:排队等了多久,预填充花了多久,每个输出 token 之间隔多久,缓存命中情况如何。这个拆法不新鲜,但它能避免把所有问题都推给“模型太大”。如果时间主要花在等内存,只换一个小一些的模型,未必能解决眼前的卡顿。
批处理不是把请求捆在一起就完事
为了提高吞吐,服务端常把多个请求拼成一批。批一大,计算单元的空转减少,但单个请求可能要等同伴凑齐,首字延迟被拉长。反过来,批太小,调度灵活,机器又容易闲。这里没有放之四海皆准的参数,只有场景取舍:面向人对话的接口,通常在意等待感;离线生成任务,则愿意用排队换资源利用率。
缓存也是类似。把历史键值保存下来,可以少算一些重复内容,但缓存本身占显存,长上下文时还会带来管理开销。是否启用、保留多久、如何分页,都要看请求的相似度和内存余量。推理优化在这里更像资源调度,而不是某个开关。
先接受约束,再谈优化
还有一个容易被忽略的边界:优化本身有成本。量化能减少内存占用和带宽压力,但可能改变输出分布;算子融合能减少中间结果,但会让调试变难;复杂调度能提高利用率,却增加维护负担。如果业务对延迟并不敏感,或者流量还没到需要精打细算的程度,过早把系统做复杂,反而会留下隐患。
我的判断是,推理优化应先从可观测性开始:知道每个阶段等了多久,知道内存和算力的哪一边先成为约束,再决定动哪一层。它不只是算法工程师的活,也需要服务端、运维和对业务体验负责的人一起看。否则很容易陷入一种循环:改了参数,指标短暂变化,过几天又回到原样,却说不清问题究竟在哪。
回到开头那个等待缓存的场景。它提醒我,推理系统的速度不只由模型大小决定,也由数据在内存里怎么走、请求怎么排队、缓存怎么留空间决定。把这些看清楚了,速度问题才不至于变成一场盲目的参数调整。