采风全网
达观天下

当算力变成水电,谁在交电费?

深夜的机房里,冷通道吹出来的风其实是热的。运维的人站在一排机柜前,看的不是跑分,是今天这批任务有没有把机器喂饱,以及月底那张电费单。谈论智算中心时,人们习惯先问有多少张卡、多少P;真正决定这套系统值不值钱的,往往是那些不方便在采购会上提出的问题。

算力被当成一种可以随意调用的资源,这个比喻用起来方便,也容易遮住细节。它并不像打开水龙头那样即开即用,中间隔着调度、通信、显存、框架版本和一堆没人愿意在发布会上提的琐碎事。

峰值只是一个瞬间

芯片说明书上的数字,是在最理想的条件下测出来的。真实训练里,一张卡真正用于计算的时间可能被通信切得很碎。多机多卡时,参数要在节点之间来回搬运,带宽跟不上,计算单元就得等着。这时候拉高集群规模,吞吐未必线性增长,反而可能因为同步开销变得迟钝。

所以看一套系统的能力,只看峰值就像只看汽车的极速表——它说明上限,不说明通勤时间。

闲置是最贵的那部分

机房里有两种浪费:一种是没任务,一种是任务跑得不好。前者是空转,后者是低效占用。调度做得粗,大任务把整机占满,零散作业就在队列里等;资源碎片拼不起来,卡被切成几块又都用不满。

这就引出成本结构的问题。一台设备的开销由折旧、电费、散热、机房改造和人力分摊组成,其中电费和散热是持续的、按小时计的。机器只要通电就在花钱,跑满还是跑一半,差距只体现在产出上。于是“算力便宜”和“用得起”成了两件事。

不是每个任务都需要那么大的机器

另一个常被忽略的方向是需求本身。很多业务场景要的是稳定延迟,不是峰值性能。把模型做小一点、量化一下、把高频请求的结果缓存起来,往往比多申请几张卡更有效。端侧设备能扛的部分,没必要都推到中心机房。

边界也要说清楚:模型预训练、大规模仿真这类任务,确实离不开成规模的集群,把它们往小设备上搬并不现实。判断的关键在于:任务对吞吐、延迟、成本的敏感程度各不相同,一刀切的做法两边都不讨好。

水电的比喻漏掉了一件事

把算力比作水电,强调的是随取随用。但水电不会因为你换了个管子就掉三成压力,也不会在排队时告诉你“明天再来”。资源的使用效率,很大程度上取决于软件栈——编译器、算子库、调度策略、监控,这些东西不像硬件那样能写进采购清单,却实实在在地决定了一块卡能干多少活。

回到那间机房。风机还在转,电表也在转。管理者真正该盯的,或许不是集群总规模,而是每一度电、每一小时换回来多少可用的结果。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当算力变成水电,谁在交电费?
文章链接:https://tech.cfdanews.com/ai/2152.html