一课 · 三节

卡在转，不等于平台在值班。

给要把推理服务稳住的人。训练记 samples/s。推理记 TTFT、ITL、P95。一条长请求能把短请求按在门口。每节先讲清楚，再看一条做过的例子，然后你动手。

1. 01
   分账六个数字放进训练账或推理账。利用率两边都有。约 30 分钟。
2. 02
   长请求手算 KV。8k 拖坏短请求 P95。工作点选 8，不选 16。约 35 分钟。
3. 03
   回滚模板改了停用词。第一下滚回冻住的那一版。约 25 分钟。

三节都做过，本机留下分账、工作点 8、回滚名。这一课结束。

从分账开始