三问过了,才打开秒表。
采购会丢来四页彩页。峰值算力、生态对标、某实验室的 tokens/s。先别排。先问三句。
第一句:同一份模型、同一个版本。权重、tokenizer、对话模板、精度,和你现在线上那份是不是同一套。换了模板,停用词都会变。换了量化,数值漂了你还当它是同一个助手。BOM 写不清,后面的对比作废。
第二句:对得上。黄金几十条,逐 token 或在你定的容差里对。任务质量也要对,不能只看 loss 形状像。对不上,吞吐数字没有意义。你比较的是两个不同的程序。
第三句:关键路径在卡上。Attention、RMSNorm、你这条链路里最烫的那几个 kernel,Profiler 能看见它们在加速器上。悄悄回退到 CPU,大盘仍可能绿。绿的是主机很忙。P95 会先告诉你。
三句都有材料,再谈快、再谈分布式、再谈钱。快要在同一负载、同一质量、同一失败口径下比。缺任何一项,就把「快」从桌上拿开。TOPS 排行帮不了这三句。生态完善、对标某体系,也帮不了。那些句子没有可核的版本号。采购会上你只带三份东西:BOM、黄金集结果、Profiler 里关键 kernel 的位置。彩页可以留在信封里。
跳过三问的现场很贵。卡到了,demo 能聊,黄金集对不上,上线后工具调用收不了尾。或者 kernel 回退到 CPU,tokens/s 海报上的一半都没有,P95 先炸。退货周期按季度算。三问的材料可以在到货前就要:镜像哈希、黄金集脚本、Profiler 截图。没有材料,就还在看海报。海报能进会议室。进不了值班。值班只认对得上的那一份权重,和仍在加速器上的那几条 kernel。
现场仍以你自己的镜像、驱动、厂商支持声明为准。下面四条是教学用的采购原话,用来练手:哪一句能核对,哪一句只是海报。
想走一遍材料检查,可选玩具(合成,不能当现场成绩):accelerator-qualification-lab