AI Infra

从设备、训练状态和推理调度，学到测量、共享平台与交付。

从第一阶段开始

先修知识

能运行Python，理解HTTP请求和基本百分比。
不要求GPU或云账号；核心实验用真实CPU，调度与平台部分明确使用合成数据和纸面模型。

学完能做什么

解释计算、内存、数据与通信瓶颈。
复建训练恢复，复算推理运行点与联合验收。
交付有证据、有边界的系统运行报告。

独立的12单元系统工程课程，约16小时含练习。真实GPU性能、真实集群隔离和厂商适配需另做环境验证。

学习路径

设备与训练

先画系统，再定义快慢

沿训练作业与推理请求找观察点，拆解时延、失败分母和有效产出。

01 · 系统地图与指标练习：本课任务与独立自检

产出：系统路径图与指标口径卡

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能分别说明训练与推理的观察边界。能保留失败并复算分母、P95与goodput。能给出GPU忙但请求慢的反例。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

GPU 很忙，为什么任务仍然慢？

把计算、访存、传输与等待分开，用时间线和内存账解释瓶颈。

02 · GPU 执行与内存练习：本课任务与独立自检

产出：一份瓶颈假设与反证记录

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能算计算与访存的理想下界。能区分GB与GiB、峰值与可用容量。能用时间线提出可证伪的瓶颈假设。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

把一个训练步算完整

从前向、反向和更新理解训练状态、数值、batch 与累积。

03 · 训练步与数值练习：本课任务与独立自检

产出：训练状态内存账与更新自检

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能追踪前向、反向和更新的不同职责。能说明梯度累积怎样改变有效batch。能列出权重、梯度和优化器状态内存。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

让数据跟上，也让训练能恢复

判断输入等待，保存真正能续跑的状态，核对样本消费与恢复结果。

04 · 数据供给与恢复练习：本课任务与独立自检

产出：数据供给实验与恢复对账

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能定位输入等待，而不是只看设备利用率。能说明恢复需要哪些状态。能对照连续训练与恢复训练的真实输出。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

增加 GPU，增加了什么代价？

手算梯度归约，对比 DDP、ZeRO、TP 与 PP 的内存和通信取舍。

05 · 通信与并行练习：本课任务与独立自检

产出：并行方案与通信预算

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能手算归约结果及通信体积。能区分数据、张量、流水线并行的分片对象。能解释加卡后性能不成比例的一个原因。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

推理运行时

从 prefill 到 decode，把状态算清

追踪一次生成，区分权重与 KV，用 GQA 维度估算容量和并发边界。

06 · 推理状态与 KV 练习：本课任务与独立自检

产出：带假设的 KV 容量账

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能区分prefill与decode的状态。能按KV头数和实际长度计算KV容量。能说明容量模型遗漏的临时开销。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

请求一起进来，谁应该先走？

区分连续批处理、分块 prefill 和分页缓存，在长短请求中验证调度取舍。

07 · 请求调度练习：本课任务与独立自检

产出：调度对照、失败反例与原始 trace

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能追踪长短请求的进入与退出。能解释连续批处理、分页缓存和分块prefill分别解决什么。能用反例比较调度取舍，并说明合成实验的边界。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

用原始请求记录选择运行点

先冻结测量协议，再联合判定质量、时延与成功，报告 goodput 和成本。

08 · 测量与运行点练习：本课任务与独立自检

产出：可复算的运行点决策记录

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能冻结采集点、负载与验收口径。能保留逐请求失败并复算联合合格数。能在质量、时延、成功与成本约束下选择运行点。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

平台与交付

把一张卡变成共享资源

区分设备分配与请求调度，处理配额、gang、隔离和容量竞争。

09 · 集群资源练习：本课任务与独立自检

产出：三租户资源安排与拒绝理由

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能区分设备分配与请求调度。能解释配额、gang与隔离的不同作用。能根据资源冲突说明拒绝或等待的理由。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

上线一个版本，也准备好退出

冻结发布包，区分探针职责，用证据选择回退、限流或降级。

10 · 交付与故障练习：本课任务与独立自检

产出：发布清单与故障处置卡

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能区分启动、存活和就绪探针。能从证据选择回退、限流或降级。能说明一次成功演练没有证明什么。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

换硬件之前，先写验收合同

比较软件栈、精度与性能证据，算完整成本并设计可执行的退出条件。

11 · 硬件迁移与成本练习：本课任务与独立自检

产出：候选硬件验收表与成本账

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能固定精度与性能验收条件。能列出软件栈适配和完整成本。能制定有条件且可执行的退出路径。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

交付第一份 AI 系统运行报告

同时面对训练恢复、推理长请求和资源争用，把解释变成可复建的证据。

12 · 综合项目练习：本课任务与独立自检

产出：完整实验报告与复建包

记录阅读、练习与自检

我已阅读这一段我已实际完成练习

先练习，再逐项自检能复建训练恢复和推理测量。能交代真实CPU、合成模型与纸面平台的边界。能用新条件检验原结论并说明未解决的问题。

可选摘要可填写产物位置、关键结果或下一步；无需把完整作品存到网页。摘要输入不会自动保存。

记录不代替练习结果

阅读、练习和自检分别由你确认。代码与数据保留实际输出；情境任务对照原则和参考。勾选条件不是自动能力认证。