深夜的机房里,走廊风机的声音压过一切。运维的人盯着屏幕上一列机柜的功率读数,扩容申请单上写的是加速卡的数量,真正卡住审批的却是配电柜还剩多少余量。
这件事有点反直觉。我们谈算力,习惯从芯片说起:制程、显存、互联带宽,参数表翻得比谁都熟。但一套集群能跑多久、能跑多满,往往由另外几样东西决定:进来的电、出去的热,以及地板的承重。
买回来只是开始
一张卡上架那天,账单才刚开头。它后面牵着配电改造、UPS 容量、制冷冗余,还有机位的空间。这些投入不像硬件那样能写进一张漂亮的采购清单,却按月出现在运营账上。不少团队立项时把预算算到设备到货为止,等到真正跑满,才发现瓶颈不在计算单元,而在墙上的电表。
- 供电:现有配电能否撑住新增机柜,常常需要提前几个月排期。
- 散热:风冷还是液冷,不只是技术选择,还牵扯机房结构和改造成本。
- 闲置:设备空转时的功耗不会归零,这部分开销最容易被忽略。
峰值好看,利用率才管用
对外介绍时,人们爱说集群的峰值规模。但业务是波动的:白天排队,凌晨空闲;训练任务之间还夹着一堆短小的推理请求。真正影响体验的,是这些任务能不能被塞进同一段时间里跑完。
调度层面的整理,常常比再添一批设备更立竿见影。把碎片化的空闲卡拼成可用的整块,给不同优先级的任务排好队,让长任务和小任务错开,这些动作不增加一颗芯片,却能让同样的算力多干不少活。反过来,如果调度混乱,再大的集群也会在排队里耗掉。
不是所有任务都需要大集群
还有一种惯性:一提到模型,就想到跨机房的大规模集群。但微调、推理、批量数据处理这类工作,对延迟和成本的敏感度往往高于对规模的追求。放在本地的小集群上,数据不用出内网,链路短,出问题时也更容易定位。
边界当然存在。当模型大到单个节点放不下,切分之后的通信开销会迅速上升,这时候分散的小集群反而吃亏。判断依据不在规模本身,而在任务的性质:通信密集还是计算密集,延迟敏感还是吞吐敏感。这个分寸没有通用答案,只能在具体业务里试出来。
把它当成一项要经营的资产
如今更多团队开始给算力做计量:谁用了多少、什么时候用的、哪些任务可以挪到空闲时段。这套做法听起来像财务,实际解决的是技术问题:只有看得见消耗,才知道该在哪里扩容、在哪里优化。
机房电表转动的速度,比任何参数都诚实。它提醒的是一件朴素的事:我们讨论的从来不只是计算能力,而是一整套要为它持续付费的系统。