采风全网
达观天下

机房里的电表,比参数表更能说明算力去哪了

深夜路过一栋机楼,最响的不是服务器,是风墙。风扇把热量推出去,电表转得平稳而固执。那一刻会意识到,谈算力时我们习惯说“多少张卡”“多少P”,但真正卡住一个系统的,往往是这些不起眼的东西:电、水、空间,以及把成千上万个单元连起来的那层网络。

一个数字装不下的东西

参数表上写的是峰值。峰值是理想条件下的瞬时能力,像发动机的标称功率。真实任务里,数据要搬运,卡与卡要通信,一批任务排着队等调度。带宽不够,算力就在等;显存不够,模型就得切开;互联跟不上,多卡并行未必比单卡利索。同样规模的集群跑同一个任务,快慢差异常常来自这些“周边”,而不是那个最显眼的数字。

训练像修路,推理像通车

训练是一次性的重型投入,周期长、负载稳,可以慢慢打磨。推理不一样,它是常态化的:白天请求涌进来,后半夜几乎归零。按峰值配置,闲时就是浪费;按均值配置,峰值又撑不住。这个矛盾很难用一句“弹性扩容”抹平,因为扩容要时间,扩容后的机器也得有地方放、有电可用。

买回来只是开始

有一种浪费很安静:设备装进机柜,通上电,灯都亮着,但调度跟不上,任务排不进去,利用率长期趴在低位。这不大像技术问题,更像流程问题——谁有权限申请、按什么粒度切分、闲置了由谁回收。它的价值不在到货那天,而在被稳定消耗的每一个小时。

也不是非它不可

另一端同样存在过度。有些任务在本地设备上用一个小模型就够,延迟低、数据不出门,却因为“要上大模型”的习惯被推到远端。判断标准其实朴素:

  • 任务本身的复杂度是否真的需要更大的模型;
  • 对时延的容忍度有多高;
  • 数据是否必须留在原地。

这几条想清楚,很多需求根本不必去挤那些紧张的资源。

省下来的部分,谁负责

还有一层边界容易被忽略:为了省算力,量化、蒸馏、稀疏化被广泛使用,代价是效果在某些偏门场景上出现波动。这种波动不会显现在平均值里,只会在某个具体用户的某次使用中冒出来。省下来的每一分,都得有人对结果负责,否则成本只是从机房转移到了使用的人手上。

回到那间机房。电表还在转,风声没停。判断一个团队是否真的摸清了这套系统,或许不看它报出的规模,而看它能不能说清楚:哪一部分在满负荷,哪一部分在空转,以及为什么。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:机房里的电表,比参数表更能说明算力去哪了
文章链接:https://tech.cfdanews.com/ai/2013.html