采风全网
达观天下

算力不够时,先别急着加机器

把模型部署上线之后,不少团队都会遇到同一个画面:请求量没有明显变化,等待时间却慢慢变长。第一反应是加机器。采购流程还没走完,有人把监控调出来,发现显卡的空转时段比跑满的时段还长。

这时候讨论要不要扩容,其实为时过早。更该问的是:请求到底在等什么。

等待可以拆成几段

一次推理请求的延迟,大致分为几段:数据从存储读到内存、预处理、排队等一张显卡空出来、在显卡上算完、结果回传。其中只有「在显卡上算完」这一段,和算力直接相关。其余任何一段堵住,表现出来都是「模型很慢」。

  • 等数据:存储带宽不够,或者预处理写得太重,显卡还没开始算,时间已经过去了;
  • 等调度:请求被分到已经排满的显卡上,而旁边还有空闲的;
  • 等批次:为了凑够一个批次,请求被压着不发,吞吐好看,单次延迟难看;
  • 等改代码:引擎参数没调、算子没融合,这类问题加多少机器都绕不过去。

把这四类混在一起谈,结论很容易变成「算力不够」。分开看,往往只有一部分是真的不够。

空转时间值得单独看

显卡贵,空转的显卡更贵。但空转并不总是浪费:短请求密集的场景里,批次天然凑不齐,利用率上不去;长序列任务里,显存往往先于算力成为瓶颈。盯着一个百分比调优,容易把系统调成只适合某一种请求的形状。

更实际的做法是分开看三段时间:显卡在算的时间、在等的时间、在搬数据的时间。前两者通常能靠调度策略改善,比如调整排队规则、给不同优先级的请求分开通道;后者要回到数据管道上找原因,可能是读取方式,也可能是预处理里一次多余的拷贝。

有些活,堆机器没用

推理和训练不太一样。训练可以靠增加并行度把大任务切开,推理的每个请求本身就小,切无可切。请求量不大时,多买几张显卡带来的改善,可能还不如把服务合并、减少一次跨网络调用。

还有一类问题出在模型本身:结构冗余、精度没做量化、算子没融合。这些属于工程细节,收益却常常比新增硬件来得直接。先把这些做完,再看缺口,扩容的判断会清楚很多。

该加的时候别犹豫

如果监控显示显卡长期跑满、排队时间随请求量同步上升、代码侧也找不到明显浪费,那就是真的缺。这时候犹豫反而耽误事,扩容有采购和部署周期,等曲线彻底绷不住再动手,中间那段体验空窗没人替你扛。

判断的顺序比判断的结论更重要。先拆等待,再看空转,最后才谈买。算力是一种资源,不是答案:它能解决「算不过来」,但解决不了「不知道在等什么」。下次看到延迟曲线抬头,先花半天把等待拆开,可能比走一遍采购流程更快。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:算力不够时,先别急着加机器
文章链接:https://tech.cfdanews.com/ai/2025.html