凌晨两点的机房,风扇声比白天更清楚。值班的人拿着功率表挨排看过去,关心的是哪一列机柜温度在往上走、电还够不够。这时候没人提峰值,峰值在纸上,热在眼前。
通电只是开始
算力常被当作一个数字报出来,仿佛报了就能说明一切。但真正在机房里转起来的是条链条:电进来,变电、配电,芯片发热,冷板或风墙把热带走,网络把成千上万张卡连成一台机器,最后是调度系统决定谁先用、谁等着。链条上任何一环松了,纸面上的数字就落不了地。
采购会往往开得热闹,讨论电费、运维编制和机柜承重的会开得安静。可这两件事本来是一件事。
被低估的那一半
设备通电不等于有产出。卡在等数据、等网络、等某个人改完一行代码,一样在耗电,一样在发热。常见的漏损大致有几处:
- 任务切得太碎,通信开销把并行收益吃掉;
- 存储和网络跟不上,加速器空转;
- 环境配置、依赖版本、队列权限这类琐事,把人的时间耗在集群门口;
- 为了短时高峰按最大需求配置,其余时间闲置。
所以看算力,除了看装了多少,还得看同一段时间里有多少在真正干活。这个比值不好看,也不适合写进宣传材料,但它决定了单位成本。
训练与推理,两种不同的紧张
训练是长跑,几天几周占满整片集群,怕的是中断:一次故障回滚,前面的时间白花。推理是脉冲,请求忽高忽低,怕的是排队和延迟。把训练的机器直接拿去跑推理,往往会发现显存够而吞吐不够;反过来把推理集群拼起来做训练,网络又会先撑不住。两种负载对机房的要求不一样,一个吃互联和稳定性,一个吃分布和弹性。
想清楚主要跑什么,比笼统地问“需要多少”更有意义。
也有不需要它的地方
有些任务换个思路就省了:规则能覆盖的别上模型,小模型能做的别硬套大模型,能批处理的不必实时。算力贵,贵的不只是采购价,还有它占的电、占的机位、占的那几个人。把不该放上去的放上去,是一种隐性浪费,而且很难被察觉。
我倾向于把这件事看成基础设施建设,而不是采购行为:先算清楚要跑什么、跑多久、谁来维护,再谈规模。风扇声会一直在,问题是它吹的是有效负载,还是空转。