训练一本账。推理另一本。

先讲

训练作业有头有尾。你盯的是 samples/s、loss 还降不降、checkpoint 能不能续。卡转 92%，可能在算，也可能在等数据和集合通信。利用率高、步数不动，那一晚买的是热。

推理没有「跑完」。用户一句就是一笔新账。TTFT 是第一下。ITL 是后头每个字之间。P95 是让客服打电话的那条尾巴。一百个请求里九十五个 0.4 秒、五个 8 秒，平均仍好看。被骂的是那五个。

GPU 利用率两边大盘都会画。它是温度计，不能替 TTFT 值班。92% 很忙，P95 6 秒，告警若只绑利用率，夜里没人起来。早班只会丢来「卡在转」三个字。三个字对训练成立，对这通客服电话不成立。

两本账要分队列、分限额、分告警。训练抢了推理的卡，samples/s 好看，助手第一下排队。混在一个「GPU 健康」里，出事时两边都绿。值班电话落到人：谁看 TTFT，谁看 loss，谁有权拨回滚。

混部更危险。同一条机器上既跑训练又跑推理，samples/s 和 TTFT 会抢同一块 KV 和同一条 PCIe。训练一个 step 卡住 20 秒，推理的 P95 跟着烂。看起来都是 GPU 忙。分账之后你才知道该杀作业还是该拒长请求。早班先打开推理账：TTFT p95、ITL p95、错误率、队列长度。92% 放在第三眼。同一条短信里既写 util 又写 p95，三点钟的人不知道该动手哪一本。告警绑利用率，夜里没人起来；告警绑 P95，六点的客服电话会少一截。分账写进页头。这一坐结束时，你要能指着六个数字说它们各自进哪本账。