下午三点,机房的空调声很均匀,指示灯都正常。运维的人扫了一眼监控:负载不高,离告警线还有很远。没有告警,也就没有需要处理的事。这样的下午,在很多地方重复发生。
负载数字意味着什么,取决于你怎么读它。如果任务确实在跑,只是规模小,那没什么可说的;如果是任务在排队、在等数据、在等上游的产出,那这段时间机器是亮的,活是没干的。
买回来的是时间,不是设备
采购那一刻,账面看的是一批设备、一份报价。但设备落到机架上之后,成本就开始按另一种方式走:电费按小时计,折旧按天走,机位、散热、网络带宽都是持续支出。这些支出不会因为任务停下来而暂停。
所以更贴近实际的看法是,企业买的不是芯片数量,而是一段时间,即一段时间内可以被持续调用的计算能力。这段时间用掉了,或者没用掉,账都照付。所谓算力,说到底就是这种被时间切分的可用性。
这也是为什么有些团队设备不少,实际产出却不理想。卡插上电只是开始,能不能被高效调用,还要看数据管道通不通、任务队列排得顺不顺、人和机器的节奏合不合得上。
闲置常常藏在流程里
比较容易被看见的浪费是明显的空转,面板上的曲线一眼就能看出来。比较难被看见的,是流程里的等待:
- 数据还在准备,训练任务已经提交,机器先占着,等文件就位;
- 几个环节串在一起,前一段的输出迟迟不到,后一段只能空等;
- 实验阶段反复改配置,人想的时间远长于机器跑的时间;
- 集群按峰值预留资源,平时用不满,但谁也不敢往下调。
这些等待不会出现在任何告警里,却实实在在地消耗着那段被买回来的时间。它们分散在不同环节,单看每一处都不严重,加在一起却相当可观。
调度是一门关于错峰的活儿
既然成本落在时间上,改善的方向自然指向时间安排。把不着急的任务排到夜间或低谷,让推理和训练混在同一批资源上,用短的、可中断的任务去填补长的、独占的任务留下的空隙。这类做法不算新鲜,难的是有人愿意为它做取舍,因为取舍往往要动别人已经习惯的排期。
算力不会自己找到空位,需要有人把它排进去。资源不够用时,排队是正常的;资源够用时还在排队,说明安排出了问题。区分这两种排队,比再添一批设备更考验判断力。
留余量不是浪费
把闲置一概视为问题也不对。突发请求、故障切换、临时验证,都需要缓冲。把负载压到接近满格,系统看起来高效,实际变得脆弱,一次异常就会顺着依赖关系传导成一片等待。
关键不是把那个百分比推到多高,而是能说清楚余量留给了什么。能回答这个问题的余量,是设计;回答不了的余量,才是浪费。
下次站在监控面板前,看到负载数字时,也许可以多问一句:这中间有多少是任务在跑,有多少是任务在等。答案通常不在设备清单里,而在流程的某一段。