先让它学会

六次坐下 · 图纸日光

先写清这次训练在回答什么，再碰参数。

主题还是深度学习：张量、回传、曲线、注意力，最后跑通一次。原版二十四章仍在。这一页只把路收成六次能坐下的练习。进度只留在这台电脑。

从实验卡开始 对照原版

s1
实验卡 输入、输出、谁为哪类错误付钱、测试集何时才准看。
s2
形状要对上 (B, D) @ (D, H)。乘得上和碰巧广播，不是一回事。
s3
错从哪回 上游梯度 × 局部导数。五个数走一遍，再判断梯度为 0 卡在哪。
s4
看着曲线 zero_grad、backward、step。先过拟合一个小集合，再读三条线。
s5
注意力是加权 三个 token、一个头、因果掩码。哪一格变成 −∞。
s6
一次完整训练 数据、切分、循环、存盘、生成或预测、八行模型卡。不逛框架。

怎么坐

一次只做一页上的那件事。卡在语法就再坐一次同一页。原版章节用来查公式和更长的推导，不用来代替这一次动手。

论文放到第五次坐下之后。先让一个小网络在你这台机器上学会，再去读别人怎么写注意力。