采风全网
达观天下

算力到货那天,没人问它能不能跑满

机房的走廊不宽,木箱靠墙立着,泡沫碎屑粘在防静电地板上。工程师蹲下去拆箱,一张张加速卡从防静电袋里取出来,插进机柜。验收单上填的是型号、数量、标称峰值,签字很快。三个月后,同一批人再打开监控面板,那条利用率曲线大多停在中间偏下的位置,偶尔冲一下,又落回去。

这件事很少被拿出来讨论,因为它不构成故障。机器是好的,卡是好的,只是没有想象中那么忙。

峰值是理想条件下的瞬时值

厂商标出的数字,来自供电稳定、频率跑满、散热充分的测试环境。真实机柜里,风扇转速一上去,功耗墙就触发降频;显存带宽往往先成为瓶颈,数据还没喂到计算单元,卡就在等。标称的算力是天花板,不是日常吞吐。这个落差不是谁的过错,是规格书与机房之间本来就存在的距离。

卡和卡之间的那条线

多卡并行时,梯度同步要穿过互联通道。拓扑没配好,或者并行切分方式和模型结构不匹配,通信时间就会吃掉计算时间。看上去十张卡一起在跑,有效吞吐可能只相当于其中几张。采购按张数计价,使用按比例打折,中间的差额没人写进验收单。

还有一层容易被忽略:任务规模不够大。小批量、短序列、频繁启停的活儿,把并行的收益抵消掉了。卡不是不够,是排不满。

排期表比采购单更难写

一台机器往往同时承担训练、微调和推理。谁先谁后,靠的不是硬件性能,是调度规则。规则模糊时会出现两种浪费同时发生:一部分卡空着,另一部分任务在队列里等。等待也是成本,只是它不出现在电表上,也不出现在折旧表的第一行。

  • 任务颗粒度太细,切换开销累积起来不小;
  • 优先级靠口头约定,紧急任务一来就打乱全部排期;
  • 没有回收机制,跑完的容器占着显存不释放。

电和热,绕不过去的底层约束

单柜功率密度提上去,配电和制冷要跟着改。而改造的周期,通常长于设备到货的周期。于是就出现一种局面:机器已经上架,指示灯亮着,但因为电容量或冷量不足,只能降功率运行。这时候限制吞吐的不是芯片,是墙里的线径和屋顶的冷机。

有些活其实不必堆卡

推理侧的空间常被低估。量化、蒸馏、批处理参数调优,加上对输入长度的合理控制,往往能把需求压下来一大截。中小规模模型在合适的硬件上就能跑得不错。把训练场景的思路直接套到所有业务上,容易高估需要,也容易让新设备一到位就闲置。

反过来,也确实存在必须堆叠的场景:长上下文、大参数、紧期限的实验。这类需求买卡是对的,只是买之前该想清楚它一周能跑多少小时。

所以采购流程里也许该多一栏:预期的日均利用率,以及达不到时的退路——是外租、是转做推理,还是干脆晚半年再买。算力买回来只是开始,把它跑满才是真正难的部分。而这一栏,目前大多空着。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:算力到货那天,没人问它能不能跑满
文章链接:https://tech.cfdanews.com/ai/2223.html