16 最便宜。线破了。

先讲

教学圆整按 7B：2×32 层×4096×2 字节 ≈ 0.5 MiB / token。2048×8 ≈ 8 GiB。改成 8192×8，大约 32 GiB，一张 24 GiB 卡接不住。接不住就抢占。抢占写进别人的 P95，不写进平均值。

连续批把新请求塞进正在解码的批次。吞吐上去，平均 TTFT 几乎不动。一条 8k 进来，prefill 先吃完，门口 32 token 的短问题只能等。P95 TTFT 从 0.9 秒跳到好几秒，ITL 还可能正常。用户骂的是第一下。

工作点先划线再谈钱。SLO 写成一句能值班的话：成功请求的 TTFT p95 ≤ 2.0 秒，超时进分母。并发 1：0.4 秒、每千次 2.40 元。8：1.4 秒、0.48 元，还在线内。16：4.2 秒、0.31 元，最便宜，线破了。

一天 8 万次短请求，5% 超过 4 秒，就是 4000 次有人盯着屏幕。转人工一次 90 秒，4000 次是 100 小时。0.17 元差价买不回这一截。答案是 8：配置写 max_concurrency=8，并发越过 8 先限流。

隔离发生在进批之前。长于 2k 的请求进慢队列，短请求保 2 秒。土办法能让 P95 活下来。平均好看、尾巴死人，就是没隔离。扫表从低并发往上走。每一档记下 TTFT p95、失败率、每千次的钱。质量门没过的档直接划掉。不要先删慢请求再算 P95。删了，16 会看起来能上。工作点写进配置就要写进告警：周一改并发要当一次发布，不是随手拧旋钮。现场用你自己的层数和精度代入同一条公式。教学圆整不能抄进容量报告。口算过一遍，值班才敢说这条 8k 会把短请求按在门口。没算过，只会看到卡很忙。P95 和 KV 余量要绑在同一条告警上，调参当晚才会有人起来。