桌上 卡在转 目录

第 3 节 · 约 25 分钟

停用词被改了。第一下是滚回去。

新模板悄悄改了停用词。模型开始把不该说的尾巴吐出来。加卡和调温度会让错的停用词出得更快。

先讲

版本冻三样:权重、tokenizer、对话模板。三样哈希写进同一条发布说明。改 jinja 等于改模型。有人只更了模板,镜像标签没动,大盘仍显示「同一版本」。用户看到的字已经换了。发布说明只写「润色」,等于没冻。

停用词从 </s> 换成另一串,解码器找不到停。短问题后面拖出胡话,工具调用的 JSON 收不了尾。利用率还是 90%。加卡让胡话出得更快。调温度让胡话换口气。第一下是滚回冻住的那一版。

回滚得有名字,例如 rollback-serving 2026-04-tpl-v3 → tpl-v2。名字里有从哪到哪。值班三点钟能执行,不必开会决定「我们要不要回」。没有名字的回滚,会变成改温度、加卡、重载一遍「再观察」。观察期间,停用词仍是错的。

演练过一次才算平台在值班:真把指针拨回 tpl-v2,看黄金集和 TTFT 回来。没演练,批文会把你卡住。滚回去之后再查谁改了模板没改发布说明。卡在转只说明风扇还活着。

金丝雀是一小股真流量。5% 也行,关键是这 5% 走新版本,95% 还在旧的。看的是 TTFT、拒答、工具调用是否收得住、黄金集是否仍对。金丝雀没有单独的回滚按钮,就还不能放量。放量不是把副本加到十,是把流量指针从旧拨到新。至少覆盖高峰的一截,别只在夜里 5%。冻的是哈希,不是形容词。回滚名写进值班手册第一页。只改文件不改发布说明那一行,大盘仍显示同一版本,用户已经在看新尾巴。停用词事故的第一下永远是滚回去。

例:07:12 停用词事故
  1. 短请求后面开始拖尾巴。工具 JSON 收不干净
  2. GPU 91%。上周金丝雀已全量。发布说明只写「模板润色」
  3. 第一下:rollback-serving 2026-04-tpl-v3 → tpl-v2
  4. 停用词回来,尾巴消失。TTFT 回到 1.2s
  5. 然后再查:jinja 改了,镜像标签没动
若先把副本从 4 加到 8,胡话吞吐量翻倍。

你来做

07:12 短请求后面开始拖尾巴。工具调用的 JSON 收不干净。GPU 91%。上周金丝雀已全量。发布说明只写了「模板润色」。

第一下做什么。

留下回滚名。三节做过,夜里再响,先看 P95 和停用词,再看风扇。这一课结束。