V2

TOPS ignoredASK match then perf

第四次坐下

国产卡,先问对。

海报上的 TOPS 能排座次。值班要的是:同一份权重跑出来的字,和你现在的参考实现对得上。对不上,再快也是另一件事。

三问过了,才打开秒表。

采购会丢来四页彩页。峰值算力、生态对标、某实验室的 tokens/s。先别排。先问三句。

第一句:同一份模型、同一个版本。权重、tokenizer、对话模板、精度,和你现在线上那份是不是同一套。换了模板,停用词都会变。换了量化,数值漂了你还当它是同一个助手。BOM 写不清,后面的对比作废。

第二句:对得上。黄金几十条,逐 token 或在你定的容差里对。任务质量也要对,不能只看 loss 形状像。对不上,吞吐数字没有意义。你比较的是两个不同的程序。

第三句:关键路径在卡上。Attention、RMSNorm、你这条链路里最烫的那几个 kernel,Profiler 能看见它们在加速器上。悄悄回退到 CPU,大盘仍可能绿。绿的是主机很忙。P95 会先告诉你。

三句都有材料,再谈快、再谈分布式、再谈钱。快要在同一负载、同一质量、同一失败口径下比。缺任何一项,就把「快」从桌上拿开。TOPS 排行帮不了这三句。生态完善、对标某体系,也帮不了。那些句子没有可核的版本号。采购会上你只带三份东西:BOM、黄金集结果、Profiler 里关键 kernel 的位置。彩页可以留在信封里。

跳过三问的现场很贵。卡到了,demo 能聊,黄金集对不上,上线后工具调用收不了尾。或者 kernel 回退到 CPU,tokens/s 海报上的一半都没有,P95 先炸。退货周期按季度算。三问的材料可以在到货前就要:镜像哈希、黄金集脚本、Profiler 截图。没有材料,就还在看海报。海报能进会议室。进不了值班。值班只认对得上的那一份权重,和仍在加速器上的那几条 kernel。

现场仍以你自己的镜像、驱动、厂商支持声明为准。下面四条是教学用的采购原话,用来练手:哪一句能核对,哪一句只是海报。

想走一遍材料检查,可选玩具(合成,不能当现场成绩):accelerator-qualification-lab

动手

四句原话,标「可核对」或「只是海报」。

「800 TOPS,业界第一。」

「同一份 7B 权重、同一 tokenizer。黄金 50 条,输出 token 与参考实现逐条一致。」

「Attention 与 RMSNorm 的 kernel 在加速器上。Profiler 显示这条路径没有 host fallback。」

「生态完善,对标 CUDA。」