值班看的是请求,不是风扇。
一张卡热着,只说明电费在走。训练任务要的是 samples/s、loss 还在不在降、checkpoint 能不能读回来。推理请求要的是 TTFT、ITL、P95。把利用率当成功率,你会在 P95 烂掉的早上,向老板汇报集群很忙。
那晚的告警规则绑在 GPU 90%。阈值没破。队列里塞进几条 8k 的长请求,短问题的第一下从 0.4 秒被按到 6 秒。训练作业还在隔壁机柜,samples/s 很好看。三拨人早上开会,各拿一本绿账。平台值班要的是能把人叫起来的那一本:请求级的尾巴,加上一个叫得出名字的回滚。
原版三十章还在,里面有调度、KV、工作点、国产卡和回滚。这一条路只坐下五次。第一次把两本账分开。第二次用手算 KV,看一条长请求怎样把短请求挤到 P95 外面。第三次在并发扫描里挑仍能满足 SLO 的最便宜点。第四次买国产卡先问能不能对上,不排 TOPS。第五次版本冻住,金丝雀,回滚是一个有名字的动作。
训练不等于推理。作业有完。请求没有完。混用同一张卡、同一条告警、同一个「健康」大盘,出事时两边都有理由说自己没问题。分账、算 KV、选工作点、问对卡、能回滚,五件事做完,卡在转才配叫平台。
值班电话要能落到人。谁看 TTFT,谁看 loss,谁有权拨回滚。写在页头。没有这三行,92% 的绿只是风扇还在转。平台的最小形状就是:两本账、一条能算的 KV、一个过线的工作点、采购时能核对的三问、一次叫得出名字的回滚。少一件,夜里仍会空转。
实验室里的调度器和扫表是教师玩具。数字是合成的。可以点开练手感,不能写进现场报告当成绩。现场只认你自己的卡、自己的扫表、自己的回滚演练记录。