把模型运行，变成可验证的系统决策。
沿着设备、训练、推理与平台四层，完成一次测量、一次优化和一次故障复盘。
建议第一次按课程路径学习；以后可以从上次阅读的单元继续。
先确定你的实验条件
有基础 Python、HTTP 和百分比知识即可开始，训练经验与 Kubernetes 不作先修。讲解、练习、代码与答案都在本课程内。
| 浏览器 | 完成公式计算、trace 推演、约束选择与故障判断。 |
|---|---|
| 本地 CPU · Python 3.11+ | 运行标准库训练、checkpoint 恢复、调度模拟与逐请求指标实验。无需密钥或外部服务。 |
| 单张 / 多张 GPU · 选做 | 按每课的测量协议，用实际框架与设备替换教学样本。不能将浏览器或模拟结果当成硬件成绩。 |
课程路径
设备与训练建立状态和执行模型；推理运行时解释请求如何共享设备；平台与交付把性能结论变成可以上线、恢复和退出的方案。
设备与训练
- 01先画系统，再定义快慢约 50 分钟
沿训练作业与推理请求找观察点，拆解时延、失败分母和有效产出。
产出：系统路径图与指标口径卡未自检 - 02GPU 很忙，为什么任务仍然慢？约 70 分钟
把计算、访存、传输与等待分开，用时间线和内存账解释瓶颈。
产出：一份瓶颈假设与反证记录未自检 - 03把一个训练步算完整约 70 分钟
从前向、反向和更新理解训练状态、数值、batch 与累积。
产出：训练状态内存账与更新自检未自检 - 04让数据跟上，也让训练能恢复约 80 分钟
判断输入等待，保存真正能续跑的状态，核对样本消费与恢复结果。
产出：数据供给实验与恢复对账未自检 - 05增加 GPU，增加了什么代价？约 90 分钟
手算梯度归约，对比 DDP、ZeRO、TP 与 PP 的内存和通信取舍。
产出：并行方案与通信预算未自检
推理运行时
- 06从 prefill 到 decode，把状态算清约 70 分钟
追踪一次生成，区分权重与 KV，用 GQA 维度估算容量和并发边界。
产出：带假设的 KV 容量账未自检 - 07请求一起进来，谁应该先走？约 80 分钟
区分连续批处理、分块 prefill 和分页缓存，在长短请求中验证调度取舍。
产出：调度对照、失败反例与原始 trace未自检 - 08用原始请求记录选择运行点约 80 分钟
先冻结测量协议，再联合判定质量、时延与成功，报告 goodput 和成本。
产出：可复算的运行点决策记录未自检
平台与交付
- 09把一张卡变成共享资源约 70 分钟
区分设备分配与请求调度，处理配额、gang、隔离和容量竞争。
产出：三租户资源安排与拒绝理由未自检 - 10上线一个版本，也准备好退出约 80 分钟
冻结发布包，区分探针职责，用证据选择回退、限流或降级。
产出：发布清单与故障处置卡未自检 - 11换硬件之前，先写验收合同约 60 分钟
比较软件栈、精度与性能证据，算完整成本并设计可执行的退出条件。
产出：候选硬件验收表与成本账未自检 - 12交付第一份 AI 系统运行报告约 180 分钟
同时面对训练恢复、推理长请求和资源争用，把解释变成可复建的证据。
产出：完整实验报告与复建包未自检
最终交付一份可以复建的报告
报告包含系统地图、训练恢复对账、推理调度 trace、运行点证据、资源安排和发布处置。每课的产出会进入最后的综合任务。保存笔记只表示留下记录；“已自检”由你依据答案和验收条件确认，不会因读过或点过按钮自动获得。
学到哪一层
这是一套 AI Infra 的系统入门，目标是能解释机制、复算指标、运行机制实验，并为工程行动写出验证和退出条件。CUDA 内核编写、完整分布式框架实现、超大集群调优与复杂 MoE 不在主课范围；你会了解它们出现的原因和下一步阅读入口。实际生产能力还要用自己的 GPU、服务与故障演练来证明。
V3 与原版长教程是独立的学习路径。这里的关键知识和练习都能在 V3 内完成；准备深入时，再用原版的专题补充实践。