第 3 节 · 约 25 分钟
停用词被改了。第一下是滚回去。
新模板悄悄改了停用词。模型开始把不该说的尾巴吐出来。加卡和调温度会让错的停用词出得更快。
先讲
版本冻三样:权重、tokenizer、对话模板。三样哈希写进同一条发布说明。改 jinja 等于改模型。有人只更了模板,镜像标签没动,大盘仍显示「同一版本」。用户看到的字已经换了。发布说明只写「润色」,等于没冻。
停用词从 </s> 换成另一串,解码器找不到停。短问题后面拖出胡话,工具调用的 JSON 收不了尾。利用率还是 90%。加卡让胡话出得更快。调温度让胡话换口气。第一下是滚回冻住的那一版。
回滚得有名字,例如 rollback-serving 2026-04-tpl-v3 → tpl-v2。名字里有从哪到哪。值班三点钟能执行,不必开会决定「我们要不要回」。没有名字的回滚,会变成改温度、加卡、重载一遍「再观察」。观察期间,停用词仍是错的。
演练过一次才算平台在值班:真把指针拨回 tpl-v2,看黄金集和 TTFT 回来。没演练,批文会把你卡住。滚回去之后再查谁改了模板没改发布说明。卡在转只说明风扇还活着。
金丝雀是一小股真流量。5% 也行,关键是这 5% 走新版本,95% 还在旧的。看的是 TTFT、拒答、工具调用是否收得住、黄金集是否仍对。金丝雀没有单独的回滚按钮,就还不能放量。放量不是把副本加到十,是把流量指针从旧拨到新。至少覆盖高峰的一截,别只在夜里 5%。冻的是哈希,不是形容词。回滚名写进值班手册第一页。只改文件不改发布说明那一行,大盘仍显示同一版本,用户已经在看新尾巴。停用词事故的第一下永远是滚回去。
- 短请求后面开始拖尾巴。工具 JSON 收不干净
- GPU 91%。上周金丝雀已全量。发布说明只写「模板润色」
- 第一下:rollback-serving 2026-04-tpl-v3 → tpl-v2
- 停用词回来,尾巴消失。TTFT 回到 1.2s
- 然后再查:jinja 改了,镜像标签没动
你来做
07:12 短请求后面开始拖尾巴。工具调用的 JSON 收不干净。GPU 91%。上周金丝雀已全量。发布说明只写了「模板润色」。
第一下做什么。
留下回滚名。三节做过,夜里再响,先看 P95 和停用词,再看风扇。这一课结束。