采风全网
达观天下

算力不够用时,先别急着加机器

深夜的机房里,风扇声比白天更响,监控面板上的利用率曲线却往下掉。值班的人盯着屏幕,心里冒出同一个念头:是不是该再加一批机器。这个念头很自然,也很昂贵。因为曲线下滑常常不是因为计算单元不够,而是因为它在等。

先看它等的是什么

一次训练或推理任务跑起来,计算单元并不是全程满负荷。它可能等数据从存储读进来,等另一块设备把中间结果传过来,等一个批次凑齐,也可能只是在等前一个任务释放资源。这些等待在监控上有时表现为利用率波动,有时干脆表现为“看着很忙,实际没推进”。

数据搬运是其中最容易被低估的一块。计算单元做一次运算的时间很短,把数据送到它手边的时间却可能长得多。当模型规模变大、层与层之间需要频繁交换信息时,瓶颈就从“算得多快”变成“喂得多快”。这时候继续增加计算单元,只会让更多设备一起等同一份数据。

买回来的和用得上的,中间隔着几道缝

很多团队在讨论算力时,说的是采购规模;实际影响交付节奏的,是被用上的那一部分。两者之间的缝,通常出现在几个地方:

  • 排队。任务提交后等待空闲资源的时间,往往比执行时间更长,尤其在多人共用的集群里。
  • 碎片。剩余资源零散分布在不同设备上,单个任务要不到整块,只能干等。
  • 通信。多机协同时的同步开销,会随规模上升而放大,规模越大越明显。
  • 故障与重启。一次中断,前面跑过的进度可能要重来,这部分损耗很难在面板上被单独看见。

这些缝不会自己合上。它们需要调度策略、任务切分方式、数据摆放位置的配合。有时候调一调批次大小、把相邻任务放到同一组设备上,效果比添置新硬件更直接。

换一个问法

比起问“我们有多少算力”,更有用的问题可能是:这类任务一天能跑完多少个?等待时间主要花在哪一段?如果任务本身很小、要求低延迟,堆叠设备带来的收益会迅速递减,甚至因为调度复杂度上升而变差。边缘侧的场景尤其如此——受限于供电和散热,能塞进去的计算资源本就有限,优化空间更多在模型压缩和数据流程上。

还有一层边界常被忽略:电力与散热是硬约束。机柜的供电上限、机房的散热能力,决定了设备能不能长期跑在理想状态。超出这层约束的扩容,最后可能变成降频运行,账面上的数字好看,实际产出并不成比例。

所以扩容不是不能做,而是顺序问题。先花一周时间把任务排队记录拉出来,看清楚等待时间分布在提交、调度、通信还是重试上;再看这些环节里哪一段的改动成本最低、见效最快。做完这一步,再决定要不要买,买多少,买来放在哪。机器不会因为被买回来就自动产出,它只在流程顺畅的地方才真正开始工作。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:算力不够用时,先别急着加机器
文章链接:https://tech.cfdanews.com/ai/1901.html