V2

FREEZE weights+tok+tplCANARY on

第五次坐下

能回滚,再放量。

新模板悄悄改了停用词。模型开始把不该说的尾巴吐出来。第一下动作是滚回冻住的那一版,不是加卡,也不是调温度。

回滚得有名字,才算平台。

版本冻三样:权重、tokenizer、对话模板。三样写进同一条发布说明。改模板等于改模型。停用词、角色名、工具调用的括号,都在模板里。有人只更了 jinja,镜像标签没动,大盘仍显示「同一版本」。用户看到的字已经换了。

金丝雀是一小股真流量。5% 也行,关键是这 5% 走新版本,95% 还在旧的。看的是 TTFT、ITL、拒答、工具调用是否收得住、和黄金集是否仍对。金丝雀没有单独的回滚按钮,就还不能放量。放量不是把副本加到十。是把流量指针从旧拨到新。

回滚是一个有名字的动作。例如 rollback-serving 2026-04-tpl-v3 → tpl-v2。名字里有从哪到哪。值班的人三点钟能执行,不必开会决定「我们要不要回」。没有名字的回滚,会变成改温度、加卡、重载一遍「再观察」。观察期间,停用词仍是错的。

这次事故的样子很常见。新模板把 stop 从 </s> 改成了另一串。解码器找不到停,继续写。短问题后面拖出一段胡话,或者工具调用的 JSON 收不了尾。利用率还是 90%。加卡会让胡话出得更快。调温度会让胡话换一种口气。滚回 v2 模板,停用词回来,尾巴消失。然后再查是谁改了模板没改发布说明。发布说明只写「润色」,等于没冻版本。冻的是哈希,不是形容词。

放量前把三样哈希写进同一行:权重、tokenizer、模板。金丝雀至少覆盖高峰的一截,别只在夜里 5%。回滚演练过一次:真的把指针拨回去,看 TTFT 和黄金集回来没有。没演练过的回滚,三点钟会卡住在「谁批」。批文来的时候,尾巴已经出了一小时。

能回滚,平台才在值班。卡在转只是底盘还活着。回滚演练失败的常见原因是镜像标签动了、配置没动,或者反过来。名字里写从哪到哪,就是为了不在三点钟对这两样。

想走一遍发布与回滚材料,可选玩具(合成,不能当现场成绩):ops-readiness-lab

动手

事故:新模板悄悄改了停用词。

07:12 短请求后面开始拖尾巴。工具调用的 JSON 收不干净。GPU 91%。上周金丝雀已全量。发布说明只写了「模板润色」。

第一下做什么。