晚上十点,一个训练任务卡在启动阶段。监控面板上,集群的加速卡大多显示空闲,可提交的作业已经排了一天多。值班的人反复刷新队列,最后发现问题既不在代码,也不在卡的数量:一部分显存被早先没退干净的进程占着,剩下的碎片拼不出一个完整的作业。这件事很小,却把「资源够不够」这个老问题翻了个面。
峰值之外,还有一本账
说算力,通常说的是峰值:多少张卡、多少万亿次浮点运算。这些数字写在采购单和发布会上,容易记住,也容易误导。真正决定一个团队一天能跑几轮实验的,是有效利用率:显存有没有被切碎、节点之间的带宽够不够、数据读得进读不进、调度器愿不愿意把任务塞进空隙里。一张跑满的卡和一张只用三成的卡,账面上一模一样。
训练和推理对资源的脾气也不一样。前者要长时间占住整片集群,节点间通信频繁,中途断一次代价很高;后者是大量短请求,波峰波谷明显,需要快速伸缩。把两类需求放进同一个池子,很容易出现一边闲置、一边排队的场面。很难说这是配置错误;两种负载本来就不共享同一套节奏。
调度是一件比采购更慢的事
买机器是签合同,调度是长期工程。它不产生新的算力,却实实在在改变可用的量。一套调度策略好不好用,往往取决于几个不起眼的细节:
- 任务能不能被切分,决定它塞不塞得进碎片;
- 被中断之后能不能快速恢复,决定抢占策略敢不敢开;
- 团队能不能看到实时占用,决定配额会不会被悄悄占满。
不少团队把这几件事交给默认配置,等到排队变长才回头补,代价是几周的实验窗口。
电、位置和被忽略的搬运
集群能装多少,常常先由电决定。机架功率密度、供电改造、散热方式,这些听起来像机房的事,实际决定了扩张的节奏。另一头是位置:数据在哪里,计算最好就在附近。跨地域搬运的代价不会出现在卡的规格表里,却会实打实地拖慢每个作业。
当它变得像水电
把算力当成水电一样按需取用,是个好用的比喻,但计量单位值得重新想。卡时统计的是占用,不是产出。更贴近实际的度量,也许是完成一次有效训练、处理一批请求所花的综合代价,可惜这个数字每个团队都得自己定义,没法直接抄。
一个谨慎的判断:接下来一段时间,讨论的重心大概会从「有多少」慢慢挪到「用得上多少」。这不意味着硬件不重要,互联带宽、显存容量这些硬指标,调度再好也补不回来。只是当采购不再是唯一变量,工程上的取舍就会浮到台面上:是继续加机器,还是先把队列理顺。这个问题没有统一答案,但至少该在被问到之前,先有人算过。