夜里看服务监控,常会误判的是那条延迟曲线:平均值平稳,尾部却偶尔翘起。模型没变、请求量没变,忙的往往不是算力,而是数据在显存与计算单元之间的来回搬运。很多关于推理优化的讨论从算子、量化开始,落到线上,却常被内存带宽、缓存管理和调度策略拉住。
先分清是在等算力,还是在等数据
一次自回归生成,看似在反复做矩阵运算,实际伴随大量键值缓存读写。上下文越长,缓存占用越大,计算单元空等的窗口也越明显。此时只盯吞吐数字,容易把问题归到“模型太慢”,而忽略批处理尺度、缓存分页和请求到达节奏。推理优化在这里更像交通组织:不是只给每辆车加马力,而是让路口少堵。
我倾向于先把链路上的等待拆开:是计算排队,还是显存读写,抑或调度器在等一个更大的批次。拆不开,调参就会变成碰运气。量化能降低带宽和存储压力,但也会改变数值误差与输出稳定性;连续批处理能提升设备利用率,却可能让个别请求排在队尾。每一项都有适用边界,不能拿离线吞吐的结果直接套在线服务。
离线跑分与在线服务,不是同一道题
离线环境追求单位时间处理更多样本,在线服务还要照顾首字延迟、尾延迟和请求公平性。把离线测试里的批次直接搬到线上,短请求可能被长请求拖住;反过来,一味压小批次,设备又闲得发慌。能落地的推理优化,常发生在这些约束之间:设定可接受的延迟上限,再决定缓存怎么分配、批次怎么拼、超时怎么回退。
还有一个常被低估的部分是观测。没有细到算子与内存层的追踪,团队只能看到“慢”,看不到“等”。当监控能指出某类长上下文请求频繁触发缓存回收,优化才有落点。否则,换框架、改参数、加机器,都可能只是把瓶颈挪到下一站。
先写清边界,再谈技巧
推理优化不是一组可以无脑套用的开关。业务对延迟的容忍度、输入长度分布、峰值并发、成本约束,都会改变技术选择。先写清边界,再谈手段;追新技巧未必能解决等待。模型能力决定上限,系统工程决定这份能力能否稳定交付;稳定通常来自对等待的诚实拆解。