V2

HOST platformGPU 92%PAGE noneTTFT p95 ?

平台 · 五次坐下

卡在转,不等于平台在值班。

夜班大盘是绿的。GPU 92%。没有人被叫起来。早班客服说助手第一下要等六秒。训练那边说卡在转啊。两本账混着看,谁都觉得自己没问题。

值班看的是请求,不是风扇。

一张卡热着,只说明电费在走。训练任务要的是 samples/s、loss 还在不在降、checkpoint 能不能读回来。推理请求要的是 TTFT、ITL、P95。把利用率当成功率,你会在 P95 烂掉的早上,向老板汇报集群很忙。

那晚的告警规则绑在 GPU 90%。阈值没破。队列里塞进几条 8k 的长请求,短问题的第一下从 0.4 秒被按到 6 秒。训练作业还在隔壁机柜,samples/s 很好看。三拨人早上开会,各拿一本绿账。平台值班要的是能把人叫起来的那一本:请求级的尾巴,加上一个叫得出名字的回滚。

原版三十章还在,里面有调度、KV、工作点、国产卡和回滚。这一条路只坐下五次。第一次把两本账分开。第二次用手算 KV,看一条长请求怎样把短请求挤到 P95 外面。第三次在并发扫描里挑仍能满足 SLO 的最便宜点。第四次买国产卡先问能不能对上,不排 TOPS。第五次版本冻住,金丝雀,回滚是一个有名字的动作。

训练不等于推理。作业有完。请求没有完。混用同一张卡、同一条告警、同一个「健康」大盘,出事时两边都有理由说自己没问题。分账、算 KV、选工作点、问对卡、能回滚,五件事做完,卡在转才配叫平台。

值班电话要能落到人。谁看 TTFT,谁看 loss,谁有权拨回滚。写在页头。没有这三行,92% 的绿只是风扇还在转。平台的最小形状就是:两本账、一条能算的 KV、一个过线的工作点、采购时能核对的三问、一次叫得出名字的回滚。少一件,夜里仍会空转。

实验室里的调度器和扫表是教师玩具。数字是合成的。可以点开练手感,不能写进现场报告当成绩。现场只认你自己的卡、自己的扫表、自己的回滚演练记录。

可选玩具(合成,不能当现场成绩): 调度 · 工作点 · 国产卡材料 · 回滚演练

动手

早班那通电话,你先看哪个数?