机房巡检的夜里,最容易被盯着看的是那排利用率曲线。曲线贴顶,人会觉得投入没有白费;曲线悬在半腰,就要被追问一句是不是没调好。可这条线只回答一件事:卡在忙。它不回答忙得有没有用。
一个数字装不下整台机器
采购单上写的算力,通常指某种精度下的峰值吞吐。峰值是理想条件下的产物——数据已经在片上,访存互不干扰,卡与卡之间不排队。真实任务很少这么配合:时间大量花在等,等样本从存储里搬过来,等显存把权重喂给计算单元,等另一张卡把中间结果送过来。
所以偶尔会看到一种别扭的现象:模型参数翻了一倍,单步耗时涨得比一倍更多。多出来的那部分并非算不动,而是搬运和协调的成本盖过了计算本身。
瓶颈会搬家
调优的人大多有过这种体验。把模型切到多卡,单卡的计算压力小了,通信占比却上来了;把批大小调大,计算单元吃得饱一些,显存带宽开始紧张;把精度压下去,理论吞吐变好看,某些算子却不一定有对应的快速实现。瓶颈不会凭空消失,它只是从一处挪到另一处,有时候还挪到了监控看不到的地方。
有的任务其实吃不掉
不是所有负载都值得往大处堆。举几个常见的形态:
- 参数量不大的模型做在线推理,延迟主要卡在请求排队和前后处理上;
- 训练前的数据清洗与增强,跑在通用处理器上,跟加速卡关系不大;
- 依赖串行逻辑的业务流程,加设备只是让更多单元一起空转。
这类场景里继续加算力,收益会以肉眼可见的速度衰减。判断依据不是别人都在加,而是先量清楚一段任务里,计算、访存、通信、等待各占多少。
把账算在前面
更实际的做法,是先把一次端到端的耗时拆开:哪一段是计算,哪一段是搬运,哪一段是调度空窗。拆完之后再决定要不要扩容、扩多少、扩在哪一层。很多时候答案落在软件上——换个数据加载方式,调一下并发,或者干脆把任务挪到更合适的时段。
算力是一种资源,也是一种成本。它的价值不体现在采购单的数字上,而体现在被真正用掉的那部分比例。承认这一点,机房里那些半高的曲线,看起来就没那么刺眼了。