采风全网
达观天下

同样一张卡,白天卡顿夜里流畅:推理优化里被忽略的那部分

深夜调接口,响应几乎是即时的;第二天上午十点再试,同一个模型、同一张卡,进度条却要转上好几秒。下意识会归因为算力不够,于是加卡。但把监控拉长看,GPU 利用率并不高——卡在等,而不是在算。

排队的地方不在芯片里

一次请求进来,从分词、调度、组批、前向计算到逐 token 吐字,前半段多是毫秒级的小事,真正的开销常落在两处:等一个合适的批次凑齐,以及为每个请求保留的 KV cache 争夺显存。推理优化如果只盯着算子,容易漏掉这两块——它们属于系统层面,不在模型层面。

组批的取舍很直观。把多个请求拼成一批送进 GPU,单位时间处理的请求数上去了,但每个请求要等同伴;批次越大,等待越久。反过来,来一个算一个,延迟好看,卡却大半时间空转。这里没有标准答案,只有你向用户承诺了什么。

缓存与精度:省下来的都是显存

KV cache 是长上下文的隐形账单。序列越长,要保留的中间状态越多,显存被挤占后,能同时容纳的并发随之下降。前缀缓存(prefix caching)的思路很朴素:system prompt、长文档、固定指令这类重复前缀,没必要每次重算。它能省多少,取决于你的流量是否真的同质——用户各问各的,命中率自然低。

量化则是另一条路。把权重或 KV cache 压到更低精度,显存和带宽压力下降,代价是数值分布的偏移,需要靠评测确认而不是默认安全。投机解码走得更巧:小模型起草、大模型校验,串行的逐 token 变成并行猜测,收益高度依赖任务的可预测性——代码补全、格式化输出容易命中,开放式写作未必。

被平均值掩盖的那部分

很多团队报的是平均延迟,用户感知的却是偶尔一次的长等待。尾延迟才是投诉的来源。推理优化做到后期,往往不是把平均再压低一点,而是把长尾切掉:超时熔断、按优先级分队列、把重请求挪到低谷时段。

回到开头那个现象:白天与夜里的差别不只是负载,还有请求的形状。夜里多是调试流量,短、稀疏、可预测;白天是真实用户,长上下文、并发、不可控。做推理优化,先看清自己服务的是哪一种流量,换框架、调参数之前,这一步省不掉。至于要不要为几个百分点的延迟改架构,得看你愿不愿意长期维护第二套部署。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:同样一张卡,白天卡顿夜里流畅:推理优化里被忽略的那部分
文章链接:https://tech.cfdanews.com/ai/1953.html