采风全网
达观天下

算力越堆越多,为什么很多机房先卡在配电房门口

深夜经过一层机房,走廊里最先扑过来的不是灯光,是风。门缝里挤出的热气带着塑料和金属的味道,风扇在机柜里成排地转,声音像有人在远处持续吹一张纸。运维的人说,这两年最常被问的问题变了:以前问还剩几个机位,现在问这层楼还能不能多给两百千瓦。

芯片的交付周期在缩短,配电和制冷的改造却按季度、按审批走。于是出现一种不太上镜的错位——采购清单上的加速卡堆在仓库里,机柜空着一半,电却先到了上限。

先被算清楚的,往往是电

一台高密度服务器的功率,抵得上过去好几台普通机器。机柜功率密度上去之后,风冷很快碰到天花板。液冷不是新鲜事,麻烦在于改造成本和停机窗口:管道要重新走,地板要重新承重,老机房层高不够,连检修通道都得重划。很多地方不是不想上,是改一次要停一次业务。

这里有个容易被忽略的算术:单位面积能塞进多少计算能力,最终由每平方米能散掉多少热决定。芯片性能往上走多少,散热就得跟上多少,而热这一侧的速度,通常慢半拍。

通了电,也不等于算力在被使用

设备点亮只是开始。真正决定产出的是任务能不能持续喂饱这些机器。训练任务还好,排进队列就能长时间占住;推理业务有明显潮汐,白天高、凌晨低,低谷时段的闲置很普遍。把闲置时段拼起来给别人用,听起来合理,做起来要处理数据隔离、网络互通、故障归责,每一件都不轻。

还有一个更硬的天花板:数据搬运。计算单元再快,等数据的时候也只能干等。内存带宽、卡间互联、跨机房链路,任何一段窄了,整体吞吐就卡在那儿。很多人盯的是单卡峰值,实际跑起来,瓶颈常常在搬运环节。

不是所有活儿都需要一个很大的池子

我倾向于认为,接下来关于算力的讨论会从“建多大”转向“怎么用”。一些推理场景对延迟敏感,把任务放到离用户近的小节点上,比塞进远端的大集群更划算;一些批量任务对时延不敏感,可以错峰跑。分层、大小混合的部署,可能比单一巨型设施更贴近真实需求。

反过来说,把规模当成唯一目标也有代价:设备折旧按年走,电费按月走,业务增长却未必按同样的斜率。若利用率长期上不去,账面上的规模越大,压力越沉。

所以再听到有人谈算力,我通常会多问一句:电够吗,热散得掉吗,任务排得满吗。这三个问题里任何一个没有答案,剩下的都只是纸面上的数字。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:算力越堆越多,为什么很多机房先卡在配电房门口
文章链接:https://tech.cfdanews.com/ai/1476.html