模块 1: 机器学习基础

工程师心里有一个函数，却写不出它的表达式。脚手架的下垂量是材料和几何形状的函数，求解器可以算出来，但这个求解器花了一个人一年才造好。某个危险是否可控的概率是情境的函数，根本无法计算，只能由人来估计。机器学习（machine learning）就是在示例比理论更便宜的时候，从输入输出的示例中得到这样一个函数的做法。

形式化地说，存在一个未知函数 f^\ast，以及输入输出对 (\mathbf{x}, y) 上的数据分布 P，其中输入 \mathbf{x} \in \R^d。函数 f^\ast 是由 \mathbf{x} 预测 y 的最佳可能预测；输出会围绕它散开，因为输入并不能完全决定输出。我们看到一个从 P 中抽取的样本 \mathcal{D} = \{(\mathbf{x}_i, y_i)\}_{i=1}^{N}，希望得到一个函数 f，使它在没见过的输入上也能很好地由 \mathbf{x} 预测 y。最后这半句就是整个学科的核心。只会预测已有的示例，那不过是一张查找表。

期望风险与经验风险

损失（loss）\ell(f(\mathbf{x}), y) \ge 0 衡量一次预测错得有多厉害，例如平方误差 (f(\mathbf{x}) - y)^2。我们希望变小的是期望风险（expected risk），即在输入将来自的分布上的平均损失：

由于 P 未知，它无法计算。能够计算的是：对于参数为 \theta 的模型 f_\theta，经验风险（empirical risk），即样本上的平均损失：

对于在抽样之前就固定的参数，\mathcal{L}(\theta) 是 R(f_\theta) 的无偏估计：每一项的期望都是 R(f_\theta)。拟合会破坏这一性质。优化器选择 \hat\theta，使 \mathcal{L} 在这 N 个示例上变小，噪声也一并拟合进去，所以 \hat\theta 处的训练损失是偏低的。对于能找到最小值的优化器，论证分三步。把 R(f_\theta) 记作 R(\theta)，并令 \theta^\circ 在模型族上使它最小。那么对每个样本都有 \mathcal{L}(\hat\theta) \le \mathcal{L}(\theta^\circ)，因为 \hat\theta 使 \mathcal{L} 最小；又有 \E[\mathcal{L}(\theta^\circ)] = R(\theta^\circ)，因为 \theta^\circ 不依赖于样本；还有 R(\theta^\circ) \le R(\hat\theta)，因为 \theta^\circ 是最优的。串起来：

训练损失与期望风险之间的差距，是第 8 节的主题，该节度量这一差距如何随模型的灵活性增长；也是第 10 节的主题，该节讲如何估计期望风险而不自欺欺人。

三种设定

• 监督学习（supervised learning）。每个示例都给出了 y：y 连续时是回归（regression），y 取 K 个标签之一时是分类（classification）。本系列的大部分内容属于这一类。
• 无监督学习（unsupervised learning）。没有 y。任务是发现结构：聚类、低维坐标、密度。k 均值和主成分分析出现在第 11 节；它们的神经网络形式见模块 05。
• 强化学习（reinforcement learning）。同样没有 y，但在动作之后会收到奖励。模块 09用它来训练语言模型。

五个要素

从一条直线到一个语言模型，每一种学习方法都由五项选择确定。遇到任何方法，都把这五项写下来；无法这样陈述的方法，就是你还没有理解的方法。

1. 数据。 \mathcal{D}，以及它所来自的分布 P。第二项是人们最容易忘记的。学到的一切都是关于 P 的，所以模型的好坏，只取决于 P 与它在使用中遇到的输入之间的匹配程度。
2. 模型。 以参数 \theta 为索引的一族函数 f_\theta，也称假设类（hypothesis class）。它决定了究竟能学到什么：直线有两个参数，永远只能是直线；语言模型有数十亿个参数。
3. 损失。 \ell \ge 0 及其在数据上的平均，即经验风险 \mathcal{L}(\theta)。它决定哪些错误算数、算多少；第 5 节会说明，它同时也陈述了对噪声的一个假设。
4. 优化器。 找到使 \mathcal{L} 变小的 \theta 的过程，几乎总是梯度下降的某个变体（第 3 节和第 4 节）。它决定损失所要求的 \theta 是否真能找到，以及代价多大。
5. 评估。 衡量 f_\theta 在未参与拟合的数据上表现如何：这是对 R 的估计，而不是在 \mathcal{D} 上的损失，后者已经被优化器最小化过了。

输入是数

模型看到的是一个特征输入向量（feature vector）\mathbf{x} \in \R^d。测得的量本身就是数；类别则不是，例如材料牌号、供应商或缺陷类型。把 K 类的类别编码成独热编码（one-hot）：K 个二值列，观测到的类别所在列为 1，其余为 0。绝不要把它编码成整数 1, \dots, K：线性模型会把类别当作一个量，这就强加了顺序，并且相邻编码之间间距相等。例外是真正的有序量表，例如从轻微到严重的严重程度，其顺序是真实的；即便如此，整数编码也假设各级之间等距，这是需要检验的建模选择，而不是事实。

独热编码也能解释学到的表示。独热行向量 \mathbf{e}_k^\top 乘以一张可训练的 K \times m 表，取出的是表的第 k 行，所以嵌入（embedding）就是随模型其余部分一起学习的这样一张表，它对任何类别特征（零件编号、供应商、传感器 ID）的作用方式，与对语言模型的 token 相同。模块 06 第 4 节展示了 token 嵌入如何进入 Transformer 的残差流，模块 06 第 11 节则统计了它的 V \times d 表的大小。

贯穿全模块的示例

本模块反复出现四个示例，使每个新概念都落在已经熟悉的东西上：

• 一个合成的线性回归，N = 200 行、d = 3 个特征（第 2–4 节，实验 1）；
• 带噪声的 \sin(2\pi x) 样本，用多项式拟合（第 8–9 节，实验 3）；
• 在 scikit-learn 自带的数据集上，把乳腺肿瘤分为恶性或良性的分类器（第 6–7 节，实验 2和实验 4）；
• 拟合软水凝胶压缩试验的超弹性材料模型（第 5 节和第 12 节，实验 5）。

线性回归是能涉及全部五个要素的最简单的模型，也是本模块中唯一一个其所有性质都能精确计算的模型。本节用闭式解来拟合它，把结果解读为一个投影，并说明问题何时是病态的，以及如何稳定地计算答案。

设定

令 f(\mathbf{x}) = \mathbf{w}^\top\mathbf{x} + b。给每个输入追加一个常数 1，把截距 b 吸收进去，于是 f(\mathbf{x}) = \mathbf{w}^\top\mathbf{x}，其中 \mathbf{w} \in \R^{d+1}，b 是它的最后一个分量。把输入堆叠为 \mathbf{X} \in \R^{N\times(d+1)} 的各行，其最后一列全为 1，把输出堆叠为 \mathbf{y} \in \R^N。损失是均方误差：

第 5 节会说明为什么噪声为高斯时平方误差是正确的损失；这里先把它当作已知。

梯度的推导

把范数的平方展开为内积：

两个交叉项 \mathbf{w}^\top\mathbf{X}^\top\mathbf{y} 和 \mathbf{y}^\top\mathbf{X}\mathbf{w} 是同一个标量，互为转置，系数 2 由此而来。两个恒等式可以对各项求导。对于对称矩阵 \mathbf{A}，有 \nabla_{\mathbf{w}}(\mathbf{w}^\top\mathbf{A}\mathbf{w}) = 2\mathbf{A}\mathbf{w}：把求和写开，\partial_{w_k}\sum_{j,l}w_jA_{jl}w_l = \sum_l A_{kl}w_l + \sum_j w_jA_{jk} = 2(\mathbf{A}\mathbf{w})_k，最后一步用到对称性。对于常向量 \mathbf{c}，有 \nabla_{\mathbf{w}}(\mathbf{c}^\top\mathbf{w}) = \mathbf{c}。取 \mathbf{A} = \mathbf{X}^\top\mathbf{X}，\mathbf{c} = \mathbf{X}^\top\mathbf{y}，则

梯度就是残差向量 \mathbf{X}\mathbf{w} - \mathbf{y} 经 \mathbf{X}^\top 映射回参数空间。再求一次导，得到海森矩阵（Hessian）\frac{2}{N}\mathbf{X}^\top\mathbf{X}，它在每个 \mathbf{w} 处都相同。它是半正定的，因为对每个 \mathbf{v} 都有 \mathbf{v}^\top\mathbf{X}^\top\mathbf{X}\mathbf{v} = \|\mathbf{X}\mathbf{v}\|^2 \ge 0。所以 \mathcal{L} 是凸二次函数，梯度为零的每个点都是全局最小值。

正规方程

令梯度为零，得到正规方程（normal equations）

若 \mathbf{X} 列满秩，即它的 d + 1 列线性无关，则对每个 \mathbf{v} \ne \mathbf{0} 都有 \|\mathbf{X}\mathbf{v}\|^2 > 0，所以 \mathbf{X}^\top\mathbf{X} 正定且可逆，最小值点唯一：

列满秩要求至少有 d + 1 个线性无关的行：示例数不能少于参数数。这个公式是用来读的；如何计算 \mathbf{w}^\ast 见下文。

几何：正交投影

随着 \mathbf{w} 变化，\mathbf{X}\mathbf{w} 是 \mathbf{X} 各列的线性组合，扫出 \mathbf{X} 的列空间（column space），即 \R^N 中一个 d + 1 维的子空间。最小二乘选取该子空间中离 \mathbf{y} 最近的点。记残差 \mathbf{r} = \mathbf{y} - \mathbf{X}\mathbf{w}^\ast，正规方程可以写成

\mathbf{X} 的每一列与残差的内积都为零。残差垂直于（即“正规于”）列空间，这就是这组方程名称的由来，而 \hat{\mathbf{y}} = \mathbf{X}\mathbf{w}^\ast 就是 \mathbf{y} 在列空间上的正交投影（orthogonal projection）：从 \mathbf{y} 向子空间作垂线的垂足，也就是最近点（图 1.1）。

这个投影是线性的：\hat{\mathbf{y}} = \mathbf{P}\mathbf{y}，其中

即帽子矩阵（hat matrix），因为它给 \mathbf{y} 戴上了“帽子”。（统计学教材把它写作 \mathbf{H}；本模块把 \mathbf{H} 留给海森矩阵。）它是对称的，并且幂等（idempotent）， \mathbf{P}^2 = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}(\mathbf{X}^\top\mathbf{X})(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top = \mathbf{P}：投影两次不改变任何东西。它的迹等于它所投影到的空间的维数。利用 \operatorname{tr}(\mathbf{A}\mathbf{B}) = \operatorname{tr}(\mathbf{B}\mathbf{A})， \operatorname{tr}\mathbf{P} = \operatorname{tr}\big((\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{X}\big) = \operatorname{tr}\mathbf{I}_{d+1} = d + 1，即被拟合的参数个数。第 9 节把这个计数变成岭回归的有效自由度。

当 \mathbf{X} 包含全 1 的列时，有两个推论。\mathbf{X}^\top\mathbf{r} = \mathbf{0} 中对应该列的那一行写作 \sum_i r_i = 0：残差之和为零，\hat{\mathbf{y}} 与 \mathbf{y} 有相同的均值 \bar y。又因为 \bar y\mathbf{1} 也位于列空间内，\mathbf{y} - \bar y\mathbf{1} = (\hat{\mathbf{y}} - \bar y\mathbf{1}) + \mathbf{r} 把中心化后的数据分成位于列空间内的一部分和垂直于它的一部分。由勾股定理，

总平方和等于解释平方和加残差平方和。由此定义决定系数（coefficient of determination）

即拟合所解释的 \mathbf{y} 关于其均值的方差所占的比例；在训练数据上它介于 0 和 1 之间。处处预测均值，是只有截距的模型，所以 R^2 把拟合与这条基线作比较。第 7 节在留出数据上使用 R^2，那里这个恒等式不再成立，R^2 可以为负。

当各列相关时

若 \mathbf{X} 的某一列是其他列的线性组合，就存在 \mathbf{v} \ne \mathbf{0} 使 \mathbf{X}\mathbf{v} = \mathbf{0}；于是 \mathbf{X}^\top\mathbf{X}\mathbf{v} = \mathbf{0}，\mathbf{X}^\top\mathbf{X} 是奇异的。实践中有两种情形：以 °C 计的温度旁边又放了同一温度的 °F 值，并且带有截距，因为 T_{\text{F}} = 1.8\,T_{\text{C}} + 32 使 °F 列成为 °C 列与全 1 列的组合；以及一个类别的全部 K 个独热列与截距并存，因为这 K 列之和等于全 1 列。此时每个 \mathbf{w}^\ast + t\mathbf{v} 的拟合效果都一样好。投影 \hat{\mathbf{y}} 仍然唯一，训练输入处的预测以及任何服从同一相关关系的新输入处的预测也唯一；权重则不唯一。伪逆（pseudo-inverse）解 \mathbf{X}^{+}\mathbf{y} 在所有最小值点中取范数最小的那个，np.linalg.lstsq 返回的就是它。第 9 节的岭惩罚同样能消除这种歧义。两者都不会使相关列各自的权重变得有意义。

如何计算

绝不要显式形成 (\mathbf{X}^\top\mathbf{X})^{-1}；要去解方程。条件数（condition number）\kappa(\mathbf{X}) 是 \mathbf{X} 最大奇异值与最小奇异值之比，它给出舍入误差最多会被放大多少：双精度有 16 位有效数字，一次求解大约会损失 \log_{10}\kappa 位。三种方法，稳健性依次递增：

• 对 \mathbf{X}^\top\mathbf{X} 做 Cholesky 分解。 分解 \mathbf{X}^\top\mathbf{X} = \mathbf{L}\mathbf{L}^\top，其中 \mathbf{L} 为下三角矩阵，再解两个三角方程组。它最快，但形成 \mathbf{X}^\top\mathbf{X} 会使条件数平方，\kappa(\mathbf{X}^\top\mathbf{X}) = \kappa(\mathbf{X})^2，因为 \mathbf{X}^\top\mathbf{X} 的特征值是 \mathbf{X} 的奇异值的平方。当 \kappa(\mathbf{X}) = 10^6 时，这意味着最多损失 12 位而不是 6 位。
• 对 \mathbf{X} 做 QR 分解。 写 \mathbf{X} = \mathbf{Q}\mathbf{R}，其中 \mathbf{Q} 的各列标准正交，\mathbf{R} 为上三角矩阵。由于 \mathbf{Q}^\top\mathbf{Q} = \mathbf{I}，正规方程化为 \mathbf{R}^\top\mathbf{R}\mathbf{w} = \mathbf{R}^\top\mathbf{Q}^\top\mathbf{y}，即 \mathbf{R}\mathbf{w} = \mathbf{Q}^\top\mathbf{y}，用回代法求解。这种方法直接处理 \mathbf{X} 本身，从不使 \kappa 平方。
• 奇异值分解（SVD）。 \mathbf{X} = \mathbf{U}\boldsymbol{\Sigma}\mathbf{V}^\top 给出 \mathbf{w} = \mathbf{V}\boldsymbol{\Sigma}^{-1}\mathbf{U}^\top\mathbf{y}。\boldsymbol{\Sigma} 对角线上的奇异值直观显示了条件状况，而只对非零奇异值求逆，就得到秩亏情形下的最小范数解。

np.linalg.lstsq 使用基于 SVD 的 LAPACK 驱动程序，是默认应当选用的方法。形成 \mathbf{X}^\top\mathbf{X} 或分解 \mathbf{X}，每种方法的代价都约为 Nd^2 次运算，随后的小规模求解再约为 d^3 次。

代码，以及不可约误差

下面是用 NumPy 写出的全部内容，数据取自实验 1：200 个输入，各有三个标准正态特征，真实权重为 (1.5, -2.0, 0.5)，截距为 0.7，高斯噪声的标准差为 0.1。下一节的主题是梯度下降，这里也放进来作比较。

import numpy as np

rng = np.random.default_rng(0)
N, d = 200, 3
X = rng.normal(size=(N, d))
w_true = np.array([1.5, -2.0, 0.5]); b_true = 0.7
y = X @ w_true + b_true + 0.1 * rng.normal(size=N)   # noise: the part no model recovers

Xb = np.hstack([X, np.ones((N, 1))])                 # absorb the bias

# closed form
w_closed = np.linalg.solve(Xb.T @ Xb, Xb.T @ y)

# gradient descent
w = np.zeros(d + 1); eta = 0.1
for step in range(500):
    grad = (2 / N) * Xb.T @ (Xb @ w - y)
    w -= eta * grad
print(np.round(w_closed, 3), np.round(w, 3))         # both near [1.5, -2.0, 0.5, 0.7]

# the robust default: an SVD-based solver that never forms Xb.T @ Xb
w_lstsq = np.linalg.lstsq(Xb, y, rcond=None)[0]
rss = np.sum((y - Xb @ w_lstsq) ** 2)               # residual sum of squares
print(np.round(w_lstsq, 3))
print(f"residual RMS {np.sqrt(rss / N):.4f}")
print(f"sqrt(RSS / (N - 4)) {np.sqrt(rss / (N - 4)):.4f}")

[ 1.491 -2.01   0.505  0.696] [ 1.491 -2.01   0.505  0.696]
[ 1.491 -2.01   0.505  0.696]
residual RMS 0.1000
sqrt(RSS / (N - 4)) 0.1010

数据中的项 0.1\cdot\mathcal{N}(0, 1) 就是不可约误差（irreducible error）：\mathbf{x} 的任何函数都无法预测它，所以没有任何模型能把新数据上的期望平方误差降到它的方差 0.01 以下。残差 RMS 等于噪声水平，说明已经没有可恢复的东西剩下。训练残差远低于噪声水平的模型，是在拟合噪声，而新数据并不具有这些噪声。这就是第 8 节中心问题的第一次出现。

正规方程一步就解出最小二乘。梯度下降（gradient descent）则通过迭代来解它，

其中步长 \eta > 0 称为学习率（learning rate）。已有闭式解时仍要迭代，有三个理由。代价：求解约需 Nd^2 + d^3 次运算，而一步梯度只需约 Nd 次，即两次矩阵-向量乘法。内存：求解需要同时拿到全部数据，而第 4 节的随机步只需要几行。普适性：模块 02起的所有模型都没有闭式解，训练它们的都是梯度下降。最小二乘是唯一一个能精确推导梯度下降行为的情形，所以在这里推导。经验法则：d 小时调用 lstsq；N 或 d 很大，或数据以流的形式到来时，使用第 4 节的随机梯度下降；问题病态时，先对特征重新缩放（见下文）。

二次函数的精确分析

记 \mathbf{H} = \frac{2}{N}\mathbf{X}^\top\mathbf{X}，即第 2 节的海森矩阵。把 \mathbf{w} = \mathbf{w}^\ast + \mathbf{e} 代入损失并展开：

由正规方程，中间一项为零。除以 N，

其梯度为 \nabla\mathcal{L}(\mathbf{w}) = \mathbf{H}(\mathbf{w} - \mathbf{w}^\ast)。损失就是它的最小值加上一个形状由 \mathbf{H} 决定的碗。跟踪误差 \mathbf{e}_t = \mathbf{w}_t - \mathbf{w}^\ast：在更新式两边同时减去 \mathbf{w}^\ast，得到

由于 \mathbf{H} 是对称的，它有一组标准正交的特征向量基，\mathbf{H} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top，特征值为 \lambda_{\min} = \lambda_1 \le \dots \le \lambda_{d+1} = \lambda_{\max}，全部非负。在旋转后的坐标 \tilde{\mathbf{e}} = \mathbf{Q}^\top\mathbf{e} 下，矩阵 \mathbf{I} - \eta\mathbf{H} 变成对角矩阵 \mathbf{I} - \eta\boldsymbol{\Lambda}，每个分量各自独立演化：

关于二次函数上的学习率，所有该知道的都包含在这一行里了。

稳定性

只有当对每个 i 都有 |1 - \eta\lambda_i| < 1，即 0 < \eta\lambda_i < 2 时，每个分量才会从任何起点出发都收缩。最陡的方向最先达到限制：

随着 \eta 增大，观察最陡方向的因子 1 - \eta\lambda_{\max}（图 1.2 在同一个问题上展示了第一、第三和第五种情形）：

• \eta < 1/\lambda_{\max}：每个因子都在 0 和 1 之间，每个分量单调收缩，不变号。
• \eta = 1/\lambda_{\max}：最陡方向的因子为 0，该分量一步就解决。
• 1/\lambda_{\max} < \eta < 2/\lambda_{\max}：最陡方向的因子为负，介于 −1 和 0 之间。该分量每一步都变号，所以迭代点在谷中来回之字形穿越，同时收敛。
• \eta = 2/\lambda_{\max}：因子为 −1，该分量永远翻转符号，既不增长也不衰减。
• \eta > 2/\lambda_{\max}：因子小于 −1，该分量按几何级数增长；损失爆炸。

边界是尖锐的。实验 1 在 2/\lambda_{\max} 的 0.99 倍和 1.01 倍处各运行 200 步，前者得到的训练 MSE 为 0.0104，后者为 3.8\times10^3。

速度

稳定性由最陡的方向决定；速度则由最平坦的方向决定。误差范数每步至多收缩 \rho(\eta) = \max_i|1 - \eta\lambda_i|，即绝对值最大的因子（旋转 \mathbf{Q} 保持范数）。由于 |1 - \eta\lambda| 作为 \lambda 的函数呈 V 形，它在各特征值上的最大值出现在两端之一：\rho = \max(|1 - \eta\lambda_{\min}|, |1 - \eta\lambda_{\max}|)。增大 \eta 会使第一项变小，而在超过 1/\lambda_{\max} 之后会使第二项变大。最优的固定步长使两者相等：

其中 \kappa = \lambda_{\max}/\lambda_{\min} 是 \mathbf{H} 的条件数（对于 \mathbf{H} \propto \mathbf{X}^\top\mathbf{X}，按第 2 节的记号它等于 \kappa(\mathbf{X})^2）。把误差缩小为原来的 \epsilon 倍，需要 \rho^t \le \epsilon，即

这里用到 -\ln\rho^\ast = \ln(1 + 1/\kappa) - \ln(1 - 1/\kappa) \approx 2/\kappa。由 (3.1)，超额损失是误差的二次函数，所以它按 \rho^{2t} 收缩。即使取最优的固定步长，步数也与 \kappa 成正比增长：这就是病态的代价。模块 02 第 7 节说明动量法如何把它降低到约 \sqrt{\kappa}。

条件数从何而来

条件数是特征的性质，可以直接从特征中读出。

单位。 若特征已中心化且互不相关，标准差为 s_j，则 \frac{1}{N}\mathbf{X}^\top\mathbf{X} 是对角矩阵：每个特征对应 s_j^2，截距对应 1，因为截距的全 1 列与每个中心化列都正交。于是 \kappa = (s_{\max}/s_{\min})^2（前提是截距的 1 介于两个极值之间）。设跨度长度以毫米计，标准差为 1000 mm，旁边是以吉帕计的弹性模量，标准差为 0.001 GPa，即批次间 1 MPa 的离散。两者的标准差相差 10^6 倍，所以 \kappa = 10^{12}，即使取最优固定步长，梯度下降也需要约 (\kappa/2)\ln(10^6) \approx 6.9\times10^{12} 次迭代才能多得到六位有效数字。标准化之后 \kappa \approx 1。

偏移。 没有中心化的特征会与截距耦合。一个均值为 100、标准差为 1 的特征，与全 1 列放在一起，给出

因为非对角元是该特征的均值，右下角是它的均方，100^2 + 1^2。迹为 10002，行列式为 10001 - 10000 = 1，所以特征值约为 10002 和 1/10002 = 1.0\times10^{-4}，\kappa \approx 1.0\times10^{8}，而这只是来自一个尺度并不起眼的特征。当权重和截距一起变动，一个上升而另一个下降 100 倍时，损失几乎不变，这就是一个狭长平坦的山谷。仅仅中心化就能解决：减去均值，矩阵就变成单位矩阵。

相关。 两个相关系数为 r 的标准化特征，给出相关矩阵 \begin{bmatrix} 1 & r \\ r & 1 \end{bmatrix}，其特征值沿 (1, 1) 为 1 + r，沿 (1, -1) 为 1 - r，所以 \kappa = (1 + r)/(1 - r)：r = 0.9 时为 19，r = 0.99 时为 199。标准化解决的是单位问题，解决不了相关问题。

针对单位和偏移的补救办法是对每个特征做标准化（standardisation），x'_j = (x_j - \mu_j)/s_j，其中均值 \mu_j 和标准差 s_j 只在训练集上计算，并原样应用于验证数据、测试数据和使用中的输入。若在全部数据上计算它们，留出的行就会影响拟合：这是缩微版的泄漏，第 10 节会一般地讨论。标准化后的模型就是同一个模型换了坐标，所以它的权重可以精确地映射回去：

超越二次函数

在任何光滑的最小值点附近，损失都近似为二次函数，\mathbf{H} 是它在最小值点处的海森矩阵，所以 \eta < 2/\lambda_{\max}(\mathbf{H}) 同样决定模块 02中网络的局部稳定性。对于逻辑回归（第 6 节），曲率随 \mathbf{w} 变化，由最坏情形算出的界是充分而非必要的：在实验 2 中，损失在超过该界八倍以上的步长下仍然下降。

经验风险的梯度是对全部 N 个示例的平均，所以精确计算它，每一步都要遍历一遍数据。随机梯度下降（stochastic gradient descent，SGD）把它替换成对随机抽取的、含 B 个示例的mini-batch \mathcal{B} 的平均：

其中 \ell_i(\theta) = \ell(f_\theta(\mathbf{x}_i), y_i)。B = N 就是第 3 节的全 batch 梯度下降；B = 1 是 SGD 的原始形式。

无偏，方差按 1/B 下降

从 1, \dots, N 中独立、均匀地（有放回地）抽取 B 个下标。于是每个被抽中的梯度 \nabla\ell_{i_k} 都是一个随机向量，均值为 \frac{1}{N}\sum_i\nabla\ell_i = \nabla\mathcal{L}，协方差为

即逐示例梯度的离散程度。由期望的线性性，\E[\mathbf{g}_{\mathcal{B}}] = \nabla\mathcal{L}：mini-batch 梯度是无偏的。独立性使 B 项的协方差相加，而因子 1/B 是以平方形式进入的：

batch 大四倍，噪声的标准差减半，代价却是四倍。无放回抽样（如对数据洗牌后依次遍历）会把协方差乘以 (N - B)/(N - 1)：略小一些，并且在 B = N 时恰为零，此时 batch 就是整个数据集。

遍历一遍数据，即一个轮次（epoch），是 \lceil N/B\rceil 次更新而不是一次，对线性模型而言每次更新的代价约为 Bd 而不是 Nd 次运算。远离最小值点时，各示例的梯度大体一致，所以一步 mini-batch 更新几乎取得与完整一步相同的进展，而代价只是其一小部分；这就是 SGD 在大数据上取胜的原因。实践中：每个轮次都重新洗牌，因为按顺序存放的数据（按类别、按时间、按机器）否则会给出并非整体样本的 batch；固定随机种子以便复现运行；B 取在 32 到几千之间。语言模型用数百万 token 的 batch 来训练，原因见模块 08 第 6 节。

完成这一过程的循环，接续第 2 节的代码：

rng = np.random.default_rng(1)
w = np.zeros(d + 1); eta, B = 0.1, 32
for epoch in range(50):
    order = rng.permutation(N)                       # reshuffle every epoch
    for k in range(0, N, B):
        idx = order[k:k + B]                         # the last batch holds 8 rows
        grad = (2 / len(idx)) * Xb[idx].T @ (Xb[idx] @ w - y[idx])
        w -= eta * grad
excess = np.mean((Xb @ w - y) ** 2) - np.mean((Xb @ w_lstsq - y) ** 2)
print(np.round(w, 3), f"excess loss {excess:.1e}")

[ 1.489 -2.016  0.507  0.688] excess loss 1.3e-04

经过 350 次更新后，权重接近最小二乘解，但并未落在其上，而且在同样步长下增加轮次也不会使它们更接近。原因是本节其余部分的主题。

噪声下限

在最小值点处，完整梯度为零，但逐示例梯度不为零，所以 mini-batch 梯度也不为零，迭代点会继续移动。取一维二次函数 \mathcal{L}(\theta) = \mathcal{L}(\theta^\ast) + \frac{1}{2}\lambda(\theta - \theta^\ast)^2，把 mini-batch 梯度建模为真实梯度 \lambda(\theta - \theta^\ast) 加上噪声 \xi_t，噪声每一步重新抽取，均值为零，方差为 s^2/B，其中 s^2 是逐示例梯度的方差。更新给出

两边平方并取期望。交叉项消失，因为 \xi_t 均值为零，且独立于由先前 batch 决定的 \theta_t。令 V_t = \E[(\theta_t - \theta^\ast)^2]，

对于稳定的步长 |1 - \eta\lambda| < 1，到不动点的距离 V_t - V 每步按 (1 - \eta\lambda)^2 收缩，所以 V_t 收敛到满足 V = (1 - \eta\lambda)^2V + \eta^2s^2/B 的 V。利用 1 - (1 - \eta\lambda)^2 = \eta\lambda(2 - \eta\lambda)：

固定步长不会收敛。迭代点在 \theta^\ast 周围徘徊，方差为 V，期望超额损失为 \frac{1}{2}\lambda V = \eta s^2/\big(2B(2 - \eta\lambda)\big)：一个正比于 \eta/B 的噪声下限（noise floor）。

降到下限以下

有两条路可以降下来。增大 batch，它把下限除以 B，代价是每次更新的成本成比例增加；或者让步长衰减。罗宾斯（Robbins）和门罗（Monro）（1951）给出了步长调度 \eta_t 使迭代点收敛的条件：

第一个条件使各步加起来可以走到任意远的距离，所以迭代点能从任何起点到达最小值点。第二个条件限制各步注入的噪声，其方差在上面的递推式中以 \eta_t^2s^2/B 的形式出现。调度 \eta_t = \eta_0/(1 + t/\tau) 同时满足两者：在最初约 \tau 次更新内它保持在 \eta_0 附近，之后表现得像 \eta_0\tau/t，其和像 \ln t 一样发散，而其平方和收敛。

回到第 3 节的小部件，把它的梯度噪声滑块 \sigma_g 调大：损失先像以前一样下降，然后在预测下限的虚线处变平。当 \kappa = 20、\sigma_g = 0.3 时，\eta = 0.1 的下限是 0.0046，把 \eta 减半到 0.05，下限也减半，为 0.0023。步长较大时，因子 2 - \eta\lambda 也会起作用：\eta = 0.5 时下限为 0.0264，\eta = 1.0 时为 0.0681。

选择学习率

曲率已知时，例如最小二乘，从 2/\lambda_{\max} 出发，并保持在它之下留出安全系数。否则就去测量：在对数刻度上以约 3 倍的间隔，从 10^{-4} 到 1（0.0001、0.0003、0.001、……、0.3、1）做一次学习率的短扫描，每个跑几百次更新，取损失平稳下降的最大 \eta，并在整个运行中让它衰减。然后在对数刻度上读损失曲线：

• 上升，或几步之内出现 NaN：\eta 超出了稳定极限；把它除以 3 到 10；
• 笔直但平缓的下降：\eta 太小，或问题是病态的；先计算 \kappa，再考虑提高 \eta；
• 下降之后变成有噪声的平台：噪声下限；让步长衰减或增大 batch，不要把平台当作收敛。

动量法和 Adam 见模块 02 第 7 节和第 8 节，学习率范围测试和学习率调度见该模块的第 9 节。

噪声、平坦极小点与非凸损失

噪声还有第二重作用，可能是有益的：小 batch 倾向于找到更平坦的极小点，而更平坦的极小点倾向于泛化得更好。Keskar 等人（2017）观察到，大 batch 训练网络会收敛到更尖锐、泛化更差的极小点。这是一个经验观察，只有部分理论解释，而不是定律，平坦程度与泛化之间的联系仍有争论。

对于非凸模型，也就是模块 02 起的每一个模型，梯度下降找到的是局部极小点或鞍点，并不保证它是最好的那个。实践中，对于大型网络，找到的极小点通常已经足够好，困难在别处：在条件数、参数初始化和学习率上，这些由模块 02 处理。

第 2–4 节最小化的是平方误差，却没有问过：误差为什么要取平方，而不是比如取绝对值。本节回答这个问题，而答案会把一个看似随意的选择变成可以检验的假设：损失就是数据在噪声模型下的负对数似然。本模块中的每一个损失，以及训练本系列中每一个语言模型的交叉熵（cross-entropy），都来自这一条原则。讲它之前，需要先补一点概率知识。

概率知识回顾

随机变量（random variable）是在被观测之前取值不确定的量：应变片的下一个读数，下一条被检测焊缝的标签。离散随机变量有概率质量函数（probability mass function）p(y) = P(Y = y)，其取值在 0 和 1 之间，总和为 1。连续随机变量有概率密度（probability density）p(y)，概率是密度曲线下的面积，P(a \le Y \le b) = \int_a^b p(y)\,dy。密度不是概率。在分布集中的地方，它可以大于 1；只有它的积分必须等于 1。

本系列主要用到四种分布：

• 高斯分布（Gaussian）：\mathcal{N}(y;\mu,\sigma^2) = (2\pi\sigma^2)^{-1/2}\exp\big(-(y-\mu)^2/(2\sigma^2)\big)，均值为 \mu，方差为 \sigma^2。只要 \sigma < 0.399，它的峰值密度 1/(\sqrt{2\pi}\,\sigma) 就大于 1。
• 拉普拉斯分布（Laplace）：(2b)^{-1}\exp(-\lvert y-\mu\rvert/b)，均值为 \mu，方差为 2b^2。与方差相同的高斯分布相比，它的峰更尖，尾部更重：在 y = \mu 处，单位方差下它的密度是 1/\sqrt2 = 0.707，高斯分布则是 0.399。
• 伯努利分布（Bernoulli），用于 y \in \{0, 1\}：p^y(1-p)^{1-y}，即 y = 1 时为 p，y = 0 时为 1 - p。
• 类别分布（categorical），用于 y \in \{1, \dots, K\}：\prod_k p_k^{[y=k]}，其中 [y = k] 在 y = k 时为 1，否则为 0，所以这个乘积恰好取出 p_y。

期望（expectation）\E[X] 是 X 按概率加权的平均（对质量函数求和，对密度求积分），方差（variance）是 \operatorname{Var}(X) = \E[(X - \E[X])^2]。由定义可得三条规则。对常数 a 和 c，\E[aX + c] = a\E[X] + c，\operatorname{Var}(aX + c) = a^2\operatorname{Var}(X)；对独立的 X 和 Y，\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)。第 8 节用它们计算拟合曲线的方差，第 12 节用它们计算拟合出的材料常数的不确定度。

当联合概率可以分解为 p(y_1, y_2) = p(y_1)\,p(y_2) 时，两个随机变量是独立的。关于数据集的标准假设是：各样本独立同分布（independent and identically distributed，i.i.d.），即每个样本都从同一个 P 中单独抽取。于是整个数据集的概率就是各样本概率的乘积。工程数据经常违背这一假设。同一个试件的十次测量共享该试件的特质；同一个传感器的连续读数共享它的漂移。把它们当作独立样本，会高估它们所含的证据量；若再把它们随机分到训练集和测试集，信息就会跨越划分泄漏（分组泄漏与时间泄漏，见第 10 节）。

似然，以及为什么取对数

设模型为每一个可能的输出赋予一个概率或密度 p(y \mid \mathbf{x};\theta)。对 i.i.d. 数据，似然（likelihood）为

它被看作 \theta 的函数，数据固定不变。它不是 \theta 上的概率分布：它对 \theta 的积分不必为 1，它说明的是每个 \theta 对数据的解释程度，而不是 \theta 本身有多大概率。极大似然估计（maximum likelihood estimation）选取使观测数据最可能出现的那个 \theta。

实践中人们转而最大化对数似然（log-likelihood）\sum_i \ln p(y_i \mid \mathbf{x}_i;\theta)，原因有二。对数函数单调递增，所以最大值点不变。而且许多概率相乘会下溢：一千个 0.1 相乘得到 10^{-1000}，远小于最小的双精度规格化数（约 2.2\times10^{-308}），乘积被存成 0.0，每个 \theta 看起来都同样糟糕。而对数之和 1000\ln 0.1 = -2302.6 是一个正常的数。

import numpy as np

probs = np.full(1000, 0.1)                 # a thousand events, each of probability 0.1
print(np.prod(probs))                      # the likelihood itself underflows
print(f"{np.log(probs).sum():.1f}")        # the log-likelihood is an ordinary number

0.0
-2302.6

高斯噪声给出平方误差

假设数据由 y = f_\theta(\mathbf{x}) + \varepsilon 生成，其中 \varepsilon \sim \mathcal{N}(0, \sigma^2)，各样本之间相互独立。那么给定 \mathbf{x} 时 y 服从均值为 f_\theta(\mathbf{x}) 的高斯分布，对数似然为

第一项与 \theta 无关。第二项是平方误差之和乘以负常数 -1/(2\sigma^2)。因此，对 \theta 最大化对数似然，就是最小化 \sum_i (y_i - f_\theta(\mathbf{x}_i))^2，它是第 2 节中均方误差的 N 倍。\sigma 的取值会缩放并平移目标函数，却不会移动它的最大值点：在任意宽度的高斯噪声下，最小二乘都是极大似然拟合。

噪声水平本身也可以用极大似然来估计。令 v = \sigma^2，并令 r_i = y_i - f_{\hat\theta}(\mathbf{x}_i) 为拟合模型的残差，再令关于 v 的导数为零：

这个估计偏低，原因与第 1 节中训练损失偏低相同：残差是被拟合过程压小的。对于有 p 个参数的线性模型，\E[\sum_i r_i^2] = (N - p)\sigma^2，这是一个标准结果（Hastie et al. 2009，第 3.2 节），用第 2 节的帽子矩阵（hat matrix）\mathbf{P} 一行就能证明。残差为 \mathbf{r} = (\mathbf{I} - \mathbf{P})\mathbf{y} = (\mathbf{I} - \mathbf{P})\boldsymbol{\varepsilon}，因为 (\mathbf{I} - \mathbf{P})\mathbf{X} = \mathbf{0}，所以

（中间一步用到：\mathbf{I} - \mathbf{P} 对称且幂等，所以 \lVert(\mathbf{I} - \mathbf{P})\boldsymbol{\varepsilon}\rVert^2 = \boldsymbol{\varepsilon}^\top(\mathbf{I} - \mathbf{P})\boldsymbol{\varepsilon}；还用到：对方差为 \sigma^2 的独立噪声，\E[\boldsymbol{\varepsilon}^\top\mathbf{A}\boldsymbol{\varepsilon}] = \sigma^2\operatorname{tr}\mathbf{A}。）

残差落在模型够不到的 N - p 个维度里，只有这些维度上的噪声才会体现在残差中。因此无偏估计要除以 N - p。这正是第 2 节中残差均方根 0.1000（即极大似然估计的 \hat\sigma）与 \sqrt{\text{RSS}/(N-4)} = 0.1010 之间的差别。

拉普拉斯噪声给出绝对误差

如果 \varepsilon 服从拉普拉斯密度，那么单个样本的负对数似然为 \ln(2b) + \lvert y - f_\theta(\mathbf{x})\rvert/b，极大似然最小化的是 \sum_i \lvert y_i - f_\theta(\mathbf{x}_i)\rvert，即绝对误差。这两种损失的差别，在最简单的模型，即常数预测 c 上看得最清楚。对平方误差，\sum_i (y_i - c)^2 的导数为 -2\sum_i (y_i - c)，在均值处为零。对绝对误差，\sum_i \lvert y_i - c\rvert 的导数为 -\sum_i \operatorname{sign}(y_i - c)，当高于 c 的点与低于 c 的点一样多时为零：即在中位数处。均值对每个点的响应与其距离成正比；中位数只数两侧各有多少个点。这就是绝对误差拟合对离群值（outlier）稳健、而平方误差拟合不稳健的原因。

Huber 损失在残差较小时是二次的，超过阈值后是线性的，是两者之间常用的折中；模块 02 第 12 节会用到它。

每个点噪声不同：加权最小二乘

测量往往带有各自的不确定度：称重传感器在量程下端精度较差，扰动期间的读数被标记为质量不佳。如果第 i 个点的噪声标准差 \sigma_i 已知，高斯负对数似然为

第一个和式不含 \theta，所以极大似然最小化的是 \sum_i w_i (y_i - f_\theta(\mathbf{x}_i))^2，权重为 w_i = 1/\sigma_i^2。这就是加权最小二乘（weighted least squares）：精确的点对拟合拉力大，不确定的点拉力小。第 12 节中水凝胶拟合的似然就是这种形式，那里每个应力读数都带有自己的不确定度。

小结配方

按行横着读：假设高斯噪声、用平方误差拟合、用均值概括样本，这是同一个决定，而不是三个。后两行是第 6 节的分类器；它们的最佳常数用同样的办法求得，即令导数为零。

平均负对数似然有一个名字，它在整个系列中反复出现。对数据分布 p_\text{data} 和模型分布 p_\theta，在期望内加上再减去 \ln p_\text{data}，得到

左边是交叉熵 H(p_\text{data}, p_\theta)。它分成两部分：数据的熵，任何 \theta 的选择都无法改变它；以及 Kullback–Leibler 散度（KL 散度），它永不为负，仅当 p_\theta = p_\text{data} 时为零。因此最大化似然会把模型的分布推向数据的分布。模块 07 第 1 节用困惑度（perplexity）报告语言模型的质量，它正是这个交叉熵（对留出文本、按每个 token 计算）的 \exp。

对 \theta 加上先验分布，极大似然就变成最大后验（MAP）估计，先验的对数则成为对参数的惩罚：第 9 节用这种方式推导岭回归和 Lasso 回归。

回归预测一个数；分类预测 K 个标签之一：有缺陷还是合格，良性还是恶性，文本的下一个 token。第 5 节表中的伯努利行和类别分布行已经给出了损失。缺的是一个输出为概率的模型。本节构建线性的那种，推导它的梯度和曲率，并说明它如何失效。

由线性得分得到概率

对 y \in \{0, 1\}，逻辑回归（logistic regression）的模型是

截距像第 2 节那样吸收进 \mathbf{w}。这里的 \sigma 是逻辑（sigmoid）函数，不是标准差。它把任意实数得分 z（即 logit）映射到 (0, 1)。下面要用到它的两条性质。第一，\sigma(-z) = 1 - \sigma(z)。第二，它的导数为

由 p = \sigma(z) 解出 z，得 z = \ln\big(p/(1-p)\big)，即几率（odds）的对数。所以逻辑回归关于对数几率（log-odds）是线性的：\ln(p/(1-p)) = \mathbf{w}^\top\mathbf{x}。把特征 j 增加一个单位，对数几率增加 w_j，几率乘以 e^{w_j}。系数 0.7 使每个单位的几率翻倍（e^{0.7} = 2.01）。拟合出的系数就是这样解读的。

损失及其梯度

单个样本的伯努利负对数似然（令 \hat p = \sigma(z)）就是二元交叉熵（binary cross-entropy）

它对 logit 的导数由链式法则分两个因子得到：

sigmoid 的导数抵消了两个分母，剩下的是预测值减观测值。由 z_i = \mathbf{w}^\top\mathbf{x}_i 得 \partial z_i/\partial\mathbf{w} = \mathbf{x}_i，所以平均损失的梯度为

与最小二乘梯度 \frac{2}{N}\mathbf{X}^\top(\mathbf{X}\mathbf{w} - \mathbf{y}) 形状相同，只是用 \hat{\mathbf{p}} 代替了 \hat{\mathbf{y}}（因子 2 来自平方）。

曲率、凸性与步长

再求一次导，\partial\hat p_i/\partial\mathbf{w} = \hat p_i(1-\hat p_i)\mathbf{x}_i，于是海森矩阵（Hessian）为

对任意 \mathbf{v}，\mathbf{v}^\top\mathbf{H}\mathbf{v} = \frac{1}{N}\sum_i \hat p_i(1-\hat p_i)(\mathbf{x}_i^\top\mathbf{v})^2 \ge 0，所以 \mathbf{H} 半正定，损失是凸的：每个极小点都是全局极小点。但梯度关于 \mathbf{w} 是非线性的，令它为零没有闭式解。可选的办法有：梯度下降；牛顿法，在这里称为迭代重加权最小二乘（iteratively reweighted least squares），因为每一步牛顿迭代都在解一个以 \mathbf{S} 加权的最小二乘问题；或者拟牛顿法。scikit-learn 的默认求解器是 L-BFGS，一种拟牛顿法。

第 3 节的稳定性分析只需做一处改动就能沿用。由于 \hat p(1-\hat p) \le \tfrac14，在 \hat p = \tfrac12 处取等号，所以最大曲率满足 \lambda_{\max}(\mathbf{H}) \le \lambda_{\max}(\mathbf{X}^\top\mathbf{X}/N)/4，梯度下降在下式成立时可保证稳定：

这个界是充分条件，不是必要条件。只有当每个 \hat p_i 都接近 \tfrac12 时，曲率才达到最坏情形；随着拟合改善，大多数 \hat p_i 趋向 0 或 1，曲率远低于这个界。实验 2 算出其数据的界为 \eta < 0.59，而在它的扩展部分中，损失在 \eta = 5 时仍在下降。

为什么不用平方误差

经过 sigmoid 的平方误差 \tfrac12(\hat p - y)^2，其对 logit 的梯度为

多出来的因子 \hat p(1-\hat p) 在 \hat p 趋近 0 或 1 时会消失，这也包括模型信心十足却错了的情形，即 y = 0 而 \hat p 接近 1。此时交叉熵的梯度 \hat p - y 接近其最大值，而平方误差的梯度接近零：模型恰恰在错得最厉害的地方学得最慢（图 1.4，右）。经过 sigmoid 的平方误差关于 \mathbf{w} 也不是凸的：对 y = 0，它先上升，然后在 0.5 处变平，梯度下降可能停在平台上。一个信心十足却错了的模型必须能学得很快。练习 4 给出了这一差别的具体数字。

稳定地计算损失

把损失写成 logit 的函数更好。利用 \ln\sigma(z) = -\ln(1 + e^{-z})、\ln(1 - \sigma(z)) = \ln\sigma(-z) = -\ln(1 + e^{z}) 以及 \ln(1 + e^{-z}) = \ln(1 + e^{z}) - z，

若按朴素的方式计算，先算 \hat p = \sigma(z)，再取它的对数，则在 \lvert z\rvert 很大时损失会失效。稳定的做法是计算 \operatorname{softplus}(z) = \max(z, 0) + \ln(1 + e^{-\lvert z\rvert})，其中的指数永远不会溢出；NumPy 以 np.logaddexp(0, z) 提供了它。模块 02 第 12 节把这一做法推广到多个 logit 的 log-sum-exp。

import numpy as np

def sigmoid(z):
    return 1.0 / (1.0 + np.exp(-z))

def bce_naive(z, y):
    p = sigmoid(z)
    return -(y * np.log(p) + (1 - y) * np.log(1 - p))

def bce_stable(z, y):
    # softplus(z) - y*z, with softplus(z) = ln(1 + e^z) computed by logaddexp
    return np.logaddexp(0.0, z) - y * z

with np.errstate(divide="ignore", invalid="ignore"):
    for z, y in [(40.0, 1), (-40.0, 1), (40.0, 0)]:
        print(f"z = {z:5.1f}, y = {y}:  naive {bce_naive(z, y):5.1f}"
              f"  stable {bce_stable(z, y):5.1f}")

z =  40.0, y = 1:  naive   nan  stable   0.0
z = -40.0, y = 1:  naive  40.0  stable  40.0
z =  40.0, y = 0:  naive   inf  stable  40.0

决策边界

把截距再单独写出来，z = \mathbf{w}^\top\mathbf{x} + b。概率通过阈值 t 变成决策：当 \hat p \ge t 时预测 1。因为 \sigma 是递增的，\hat p \ge t 等价于 z \ge \ln\big(t/(1-t)\big)。在 t = 0.5 时，条件为 \mathbf{w}^\top\mathbf{x} + b \ge 0，而决策边界（decision boundary）\mathbf{w}^\top\mathbf{x} + b = 0 是以 \mathbf{w} 为法向量的超平面。点到它的有符号距离为 (\mathbf{w}^\top\mathbf{x} + b)/\lVert\mathbf{w}\rVert，所以 logit 等于 \lVert\mathbf{w}\rVert 乘以这个距离：\lVert\mathbf{w}\rVert 决定了点远离边界时概率变化的快慢。换一个阈值，边界会平行于自身移动，变为 \mathbf{w}^\top\mathbf{x} + b = \ln\big(t/(1-t)\big)。

无论给模型什么特征，边界在这些特征里都是平的。弯曲的边界需要弯曲的特征：加入 x_1^2、x_2^2 和 x_1x_2 后，边界可以是任意圆锥曲线，椭圆也在其中。模块 02 第 1 节中的同心圆就需要这样的特征，或者一个能学出这些特征的网络。

可分数据

假设某个超平面把两类完美分开：每个正例都有 z_i > 0，每个负例都有 z_i < 0。把 \mathbf{w} 和 b 乘以任意 c > 1。每个 logit 的绝对值变大而符号不变，每个 \hat p_i 都向其标签靠拢，每个样本的损失都下降。损失总能进一步降低，它的下确界 0 只有在 \lVert\mathbf{w}\rVert \to \infty 时才能逼近，极大似然估计不存在。梯度下降照此行事：\lVert\mathbf{w}\rVert 无限增长，概率在 0 和 1 处饱和，宣称了数据无法支持的确定性。这时需要对 \lVert\mathbf{w}\rVert 施加惩罚（第 9 节）或者早停。scikit-learn 的 LogisticRegression 默认带有 L2 惩罚（C=1.0），所以它从不出现这个问题；实验 2 去掉惩罚，观察 \lVert\mathbf{w}\rVert 从 100 步后的 3.2 增长到 100,000 步后的 51.2。

softmax 回归

对 K 个类别，模型计算 K 个 logit，\mathbf{z} = \mathbf{W}\mathbf{x}，\mathbf{W} 的每一行 \mathbf{w}_k 对应一个类别，并用 softmax 把它们变成概率：

把损失对某个 logit z_k 求导。第二项给出 e^{z_k}/\sum_j e^{z_j} = \hat p_k。第一项在 k 是真实类别 y 时给出 -1，否则为 0。所以

这又是二元情形的模式：预测值减观测值，只是观测标签用独热编码表示。把预测概率堆成 \hat{\mathbf{P}}（N\times K）的各行，把独热标签堆成 \mathbf{Y} 的各行，就得到整个权重矩阵的梯度，

这是一个 K\times(d+1) 的矩阵，与 \mathbf{W} 的形状一致。

给每个 logit 加上同一个常数不会改变任何东西，因为 e^{z_k + c}/\sum_j e^{z_j + c} = e^{z_k}/\sum_j e^{z_j}。因此可以不失一般性地把某一个类别的权重固定为零。取 K = 2，

这就是权重为 \mathbf{w}_1 - \mathbf{w}_0 的逻辑回归。预测的类别是 logit 最大的那个，类别 j 与 k 在 (\mathbf{w}_j - \mathbf{w}_k)^\top\mathbf{x} + (b_j - b_k) = 0 处持平，这是一个超平面。每个决策区域都是若干半空间的交集，所以边界是分段线性的（图 1.5，右）。

整个系列共用的一个输出层

logit、softmax 和交叉熵损失构成了本系列中每个分类器的输出层。语言模型就是这样一个分类器，它的类别是词表中的条目（几万到几十万个），在文本的每个位置上预测下一个 token（模块 07）。梯度 \hat p - y、它在可分数据上造成的过度自信，以及稳定计算对数的需要，都原样适用。

损失是优化器能够最小化的东西：光滑、可微、对样本取平均。指标（metric）则是决策所依赖的东西：漏掉了多少有缺陷的焊缝，报废了多少好焊缝，预测的下垂量与真实值相差多少毫米。两者很少是同一个量。分类器可能把交叉熵最小化得很好，却服务不好决策，比如决策要求在固定的假阳性率下取得高召回率时。先根据决策选指标；再选阈值，必要时选模型，去服务这个指标。

每一个报告出来的数字都要带上它的基线。 下垂量预测的 RMSE 为 0.3 mm，这本身没有意义，除非你知道预测均值得到的是 1.1 mm，而闭式求解器得到的是 0.05 mm：该模型远好于一无所知，又比物理模型差六倍。

回归指标

对 n 个留出样本上目标 y_i 的预测 \hat y_i，设它们的均值为 \bar y：

RMSE 的单位与 y 相同，并由最大的误差主导。MAE 单位相同，并且与第 5 节的中位数一样，对少数离群值稳健。R^2 来自第 2 节的勾股关系：它是模型所解释的 y 的方差占比，以预测均值为基线来度量。在带截距的训练数据上，它介于 0 和 1 之间。在留出数据上，它没有下界：比预测均值还差的模型有 \text{SS}_\text{res} > \text{SS}_\text{tot}，R^2 为负。上面的下垂量模型有 R^2 = 1 - (0.3/1.1)^2 = 0.93，听上去极好，却掩盖了六倍的差距。像 \lvert y - \hat y\rvert/\lvert y\rvert 这样的百分比误差很流行，但当 y 可能接近零时就失效：微小的误差会变成巨大的百分比。

混淆矩阵

固定阈值的二分类器会产生四类结果：真阳性（TP）、假阳性（FP）、假阴性（FN）和真阴性（TN）。每个比率都是这些计数的比值：

• 准确率（accuracy）= (\text{TP} + \text{TN})/n；
• 精确率（precision）= \text{TP}/(\text{TP} + \text{FP})：在被标记的样本中，实为阳性的比例；
• 召回率（recall）= \text{TP}/(\text{TP} + \text{FN})，也称灵敏度（sensitivity）或真阳性率（TPR）：在阳性样本中，被标记出来的比例；
• 特异度（specificity）= \text{TN}/(\text{TN} + \text{FP})，以及假阳性率（false-positive rate）\text{FPR} = \text{FP}/(\text{FP} + \text{TN}) = 1 - \text{特异度}；
• F1 分数（F1）= 2\cdot\text{精确率}\cdot\text{召回率}/(\text{精确率} + \text{召回率})，是精确率与召回率的调和平均。

单个比率会掩盖究竟在犯哪一类错误，所以每次报告比率时都应给出混淆矩阵（confusion matrix）。F1 用调和平均而不用算术平均，是因为调和平均由较小的那个值主导：分类器无法靠牺牲精确率或召回率之一来换取另一个，从而得到好分数。

当类别不平衡时，准确率会产生误导。如果 1% 的样本是阳性，那么“一律判阴性”的规则准确率为 99%，却什么也找不到。

基础比率

精确率取决于阳性有多常见，贝叶斯公式确切地说明了这一点。设 \pi 为阳性率（prevalence），即阳性样本所占的比例。则

分母是被标记的概率，标记既可能来自阳性样本，也可能来自阴性样本。当 \pi 很小时，即使 FPR 很小，假标记 \text{FPR}\cdot(1-\pi) 也会在分母中占主导。对罕见事件而言，一个好的检测器会让使用者淹没在误报里。

排序：ROC 曲线与精确率-召回率曲线

输出得分的分类器可以在任何阈值下使用。把阈值从高扫到低，就描出 ROC 曲线（ROC curve），即 TPR 对 FPR 的曲线，从什么都不标记的 (0, 0) 到全部标记的 (1, 1)。它下面的面积，即 AUC，有直接的含义：它是随机选取的一个阳性样本得分高于随机选取的一个阴性样本的概率（即 Mann–Whitney 统计量，得分相同的情形按一半计）。所以可以通过数样本对来计算它。TPR 是在阳性样本中计算的，FPR 是在阴性样本中计算的，因此类别比例变化时两者都不变，AUC 也不变。这使 AUC 成为衡量模型排序能力的好指标，但在阳性稀少时具有误导性：1% 的假阳性率在 ROC 图上看起来很小，却可能占据大部分警报。

当阳性稀少时，应当看精确率-召回率曲线（precision-recall curve），即阈值扫过时精确率对召回率的曲线。它显示的是阅读警报的人将经历什么。它的汇总量平均精度（average precision）是在找到阳性样本的各召回率水平上对精确率取平均。它的基线不是二分之一：随机打分的分类器在每个召回率下的精确率都等于阳性率。

选择阈值

阈值是一个决策，不是模型的属性。假设预测概率是校准的（定义见下文），假阳性的代价为 C_\text{FP}，假阴性的代价为 C_\text{FN}。对于一个为阳性的概率是 p 的样本，标记它的期望代价为 (1 - p)\,C_\text{FP}，即它实为阴性时承担的代价，而放过它的代价为 p\,C_\text{FN}。当 p\,C_\text{FN} > (1 - p)\,C_\text{FP} 时标记它，整理为

只有当两类错误的代价相同时，默认的 0.5 才是对的。另一种做法是施加约束，例如在验证数据的 ROC 曲线上读出能达到召回率不低于 0.99 的最低假阳性率。用最小化交叉熵训练出的模型，在服务于要求固定假阳性率下取得某种召回率的决策之前，仍然需要这两步之一。

校准

本节为整个系列定义校准（calibration）。当模型的概率说到做到时，它就是校准的：在被赋予 \hat p = 0.8 的样本中，80% 是阳性。形式化地说，对每个 p 都有 P(y = 1 \mid \hat p = p) = p。只要概率是被当作概率来用的，校准就很重要：用在上面的代价阈值中，用在风险估计中，或者用来决定模型何时应当弃权。

可靠性图（reliability diagram）按 \hat p 把预测分到各个分箱里，并对每个分箱画出阳性的观测比例对平均预测概率的曲线；校准良好的模型落在对角线上（图 1.6 画的是实验 2 的）。期望校准误差（expected calibration error）概括了这张图。设分箱等宽，第 b 个分箱含有 N 个预测中的 n_b 个，平均预测概率为 \text{conf}_b，阳性比例为 \text{freq}_b，则

对于 K 个类别，或者对模型对问题的回答，常用的形式是对预测类别的置信度（即其最大概率）分箱，并把它与箱内的准确率比较：

这是 Guo et al. (2017) 的 top-label 形式；模块 02、07 和 09 使用它，并回头引用此处。

有三点需要注意。第一，要说明分箱方式：通常用 10 或 15 个等宽分箱，约一百个样本的测试集用 5 个，因为 ECE 会随分箱而变：实验 2 的预测在 5 个分箱下给出 0.023，在 10 个分箱下给出 0.039。第二，ECE 在小样本上有向上的偏差。即使是完美校准的模型，各分箱的频率也会围绕其置信度波动，而绝对值把这种波动变成了正的误差。第三，ECE 衡量的是校准，不是区分能力：对每个样本都预测基础比率的模型是校准的，却毫无用处。应当把 ECE 与 AUC 和布里尔分数（Brier score）\frac1N\sum_i(\hat p_i - y_i)^2 一起报告，后者是概率的均方误差。布里尔分数是一个适当评分规则（proper scoring rule）：当预测概率就是真实概率时，它的期望最小，所以它同时奖励校准和区分能力。

import numpy as np

def ece_binary(p, y, n_bins=10):
    """Binary ECE of probabilities p against labels y in {0, 1}, equal-width bins."""
    edges = np.linspace(0.0, 1.0, n_bins + 1)
    bins = np.clip(np.digitize(p, edges[1:-1]), 0, n_bins - 1)
    ece = 0.0
    for b in range(n_bins):
        in_bin = bins == b
        if in_bin.any():                       # empty bins contribute nothing
            gap = abs(y[in_bin].mean() - p[in_bin].mean())
            ece += in_bin.mean() * gap         # weight n_b / N
    return ece

# the three-bin example below: 50 cases at 0.2 (5 positive), 30 at 0.5 (15), 20 at 0.9 (14)
p = np.repeat([0.2, 0.5, 0.9], [50, 30, 20])
y = np.concatenate([np.r_[np.ones(5), np.zeros(45)],
                    np.r_[np.ones(15), np.zeros(15)],
                    np.r_[np.ones(14), np.zeros(6)]])
print(f"ECE   {ece_binary(p, y):.4f}")
print(f"Brier {np.mean((p - y) ** 2):.4f}")

ECE   0.0900
Brier 0.1750

长时间用交叉熵训练的模型往往过度自信，因为损失会持续奖励那些已被正确分类的训练样本上更大的 logit。补救办法是在留出数据上重新校准。普拉特缩放（Platt scaling）拟合一个从模型得分到标签的单特征逻辑回归；保序回归（isotonic regression）拟合一个非递减的阶梯函数，它更灵活，也需要更多数据。对网络而言，标准方法是温度缩放（temperature scaling），即把所有 logit 除以一个拟合出的常数（模块 02 第 11 节，模块 07 第 10 节）。误校准的方向应当测量，而不是假设：实验 2 的 L2 正则化模型，其预测类别的平均置信度为 0.956，准确率为 0.986，错的方向略有不同，是偏保守。

训练损失偏低（第 1 节），所以它无法说明模型在新输入上会表现如何。本节使这一差距变得可测量：先安排好数据，让差距看得见，再推导它的来源，并给出在实践中管理它的两种工具，即验证曲线和交叉验证。

三个数据集

在做任何事之前先划分数据：

• 训练集是优化器看到的数据；
• 验证集用于在模型和设置之间做选择（次数、\lambda、k）；
• 测试集只在最后碰一次，用来报告一个数字。

每一次改变了某些东西的测试集查看，无论改变的是特征、设置还是模型的选择，都会把它变成验证集，它的数字也就不再具有你要宣称的含义。第 10 节会展开讲这一纪律。

容量曲线

实验 3 的实验：y = \sin(2\pi x) + \varepsilon，其中 \varepsilon \sim \mathcal{N}(0, 0.3^2)，N = 20 个训练点位于等间距网格 x_i = i/19 上，并用最小二乘拟合 0 到 15 次的多项式。多项式写在勒让德（Legendre）基 P_k(2x - 1) 下，而不是写成幂 x^k。拟合出的函数是相同的，但 15 次时勒让德设计矩阵的条件数为 47，而 2x - 1 的幂为 6.7\times10^{5}，所以求解是精确的（第 2 节）。一个包含 1,000 个随机 x 点的验证集用来度量新输入上的误差。

训练 RMSE 绝不会随次数增加而上升：每一族多项式都包含前一族，所以最小二乘总能做得至少一样好。验证 RMSE 先降后升（图 1.7）。在左侧，模型欠拟合（underfit）：它无法表示信号，两种误差都很高。在右侧，它过拟合（overfit）：它拟合了验证集所不具有的噪声，两种误差之间的差距变大。次数是一个容量（capacity）旋钮。其他旋钮还有参数个数、树的深度、k 近邻中的 1/k 以及岭回归中的 1/\lambda。

偏差-方差分解

验证误差为什么呈 U 形，可由一个恒等式得出。固定一个输入 \mathbf{x}。那里的一个新观测为 y = f^\ast(\mathbf{x}) + \varepsilon，其中 \E[\varepsilon] = 0，\operatorname{Var}(\varepsilon) = \sigma^2，且 \varepsilon 与训练集 \mathcal{D} 独立。拟合出的模型依赖于 \mathcal{D}，而 \mathcal{D} 是随机的。记 \hat f = \hat f_{\mathcal{D}}(\mathbf{x}) 为它在 \mathbf{x} 处的预测，\bar f = \E_{\mathcal{D}}[\hat f] 为对各训练集取平均的预测。加上再减去 \bar f 和 f^\ast：

取平方：

对 \mathcal{D} 和 \varepsilon 逐项取期望。\bar f - f^\ast 是常数，所以 \E[(\hat f - \bar f)(\bar f - f^\ast)] = (\bar f - f^\ast)\,\E_{\mathcal{D}}[\hat f - \bar f] = 0，因为 \E_{\mathcal{D}}[\hat f] = \bar f。由于 \varepsilon 与 \mathcal{D} 独立，\E[(\hat f - \bar f)\varepsilon] = \E_{\mathcal{D}}[\hat f - \bar f]\,\E[\varepsilon] = 0。而 \E[(\bar f - f^\ast)\varepsilon] = (\bar f - f^\ast)\E[\varepsilon] = 0。剩下的是

对从 P 中抽取的 \mathbf{x} 取平均，就得到期望测试误差。

偏差（bias）是模型族即使对各训练集取平均也无法表示的部分。方差（variance）是拟合结果随训练样本不同而变化的程度。噪声（noise）是不可约的：没有模型能预测 \varepsilon。简单模型偏差高、方差低；灵活的模型则相反，验证曲线是两者之和。这个分解对平方误差是精确的恒等式。对分类的 0–1 损失，没有干净的加性版本，只有同一幅图景的宽松用法。

学习曲线

学习曲线（learning curve）画出固定模型的训练误差和验证误差随训练点数 N 的变化。对有 p 个参数的最小二乘，第 5 节的 \E[\text{RSS}] = (N - p)\sigma^2 说明：期望训练 MSE 等于训练点上的偏差² 加 \sigma^2(1 - p/N)，低于噪声水平，而期望验证 MSE 是偏差² + 方差 + \sigma^2，高于噪声水平。随着 N 增大，方差缩小，大致按 \sigma^2 p/N，两条曲线从相反的两侧逼近偏差² + \sigma^2。

曲线的形状就是诊断。持续存在的大间隙意味着方差：更多数据会有帮助。两条曲线都很高且靠得很近意味着偏差：更多数据没有帮助，更大的容量或更好的特征才有帮助。在实验 3 的设定下（图 1.8），N = 20 时，9 次的期望训练和验证 MSE 为 0.045 和 0.132，间隙为 0.087，而 3 次为 0.078 和 0.111。到 N = 1{,}000 时，两对都已在各自极限的 0.001 以内，即 3 次的 \sigma^2 + 偏差² = 0.0946，9 次的为 0.0900，并且从约 N = 115 起，9 次是更好的模型。随着数据积累，最佳次数向右移动。

k 折交叉验证

当数据稀缺时，单个验证集会浪费数据，而且它的结论取决于它碰巧拿到了哪些点。k 折交叉验证（k-fold cross-validation）把数据分成 k 个大小几乎相等的折（fold），用其中 k - 1 折训练，在剩下的一折上验证，轮流遍历全部 k 种选择，并对 k 个验证误差取平均。每个点用于验证一次，用于训练 k - 1 次。常用的选择：k = 5 或 10，这样每次拟合能看到 80–90% 的数据，代价是要拟合 k 次；分类时用分层折，使每一折保持类别比例；对非常小的数据集用留一法（k = N）。

k 个折误差还给出了一个离散程度。它们的均值带有标准误 \text{sd}/\sqrt{k}，其中 sd 是折误差的标准差。这个标准误是近似的，并且偏乐观：任意两折的训练集会重叠（k = 5 时它们共享四分之三的点），所以折误差是正相关的，它们的均值比 \text{sd}/\sqrt{k} 所暗示的波动更大。即便如此，要说明一种设置比另一种好的幅度小于噪声，这仍是唯一诚实的办法。

双下降

U 形曲线是经典的预期，对本模块的模型来说也是正确的。但它不是定律。当模型被拟合到插值的程度，并且拟合规则在众多能拟合数据的解中选取最小范数的那个时，测试误差可能在参数个数 p 达到训练点数 N 的地方（即插值阈值，interpolation threshold）达到峰值，并在越过它之后再次下降（图 1.9）。Belkin et al. (2019) 把这称为双下降（double descent）；Nakkiran et al. (2020) 在深度网络中沿模型规模和训练时间两个轴发现了它。

它与分解并不矛盾，因为分解是恒等式。它改变的是方差随规模变化的方式。在 p = N 时，恰好只有一个函数能拟合数据，它必须追逐每一个噪声值。越过阈值之后，有无穷多个函数能拟合数据，偏好小范数的规则会挑出一个光滑的，它的方差随 p 增大而下降。实验 3 的设计展示了这一点。用精确公式计算，其中 19 次以上的最小范数拟合由 np.linalg.lstsq 给出，期望测试 MSE 在 15 次时为 0.96，在 19 次（p = N = 20）时约为 16,000，在 25 次时为 0.19，在 100 次时为 0.14：出现了第二次下降，但没有低于 3 次处 0.111 的经典最小值。实践上的教训是要去测量：不要假设只有单一的 U 形，也不要假设第二次下降一定胜过它。本次学习的论文导读就是 Belkin 的那篇论文。

第 8 节把灵活模型的失败归因于方差。正则化（regularisation）有意用一部分方差换取偏差，通常做法是给损失加上惩罚项： \mathcal{L}_\lambda(\theta) = \mathcal{L}(\theta) + \lambda\,\Omega(\theta)，其中 岭回归（ridge regression）取 \Omega = \lVert\mathbf{w}\rVert_2^2，Lasso 回归（套索回归）取 \lVert\mathbf{w}\rVert_1。 这个惩罚项并不是随意添加的：它表达了你在看到数据之前对参数的信念。本节中 \lambda 是正则化强度， \mathbf{X}^\top\mathbf{X} 的特征值记作 s_i^2。

先验就是正则项

对参数应用贝叶斯公式，得到

先验（prior）p(\theta) 表示在看到数据之前哪些参数是合理的，第 5 节的似然则表示每组参数对数据的解释程度。 最大后验（maximum a posteriori，MAP）估计最大化后验的对数：

极大似然估计就是先验平坦时的 MAP。任何其他先验都会在负对数似然上加一项 -\ln p(\theta)：先验就是正则项。

保留常数的岭回归 MAP 推导

取高斯噪声 y_i = \mathbf{w}^\top\mathbf{x}_i + \varepsilon_i，\varepsilon_i \sim \mathcal{N}(0, \sigma^2)， 以及先验 \mathbf{w} \sim \mathcal{N}(\mathbf{0}, \tau^2\mathbf{I})：每个权重的大小被认为约为 \tau。负对数后验为

乘以正常数 2\sigma^2/N 不改变最小值的位置，并得到本模块使用的“均值损失加惩罚项”形式：

先验更紧（\tau 更小）或数据噪声更大，都会让惩罚变大。数据越多，惩罚越小：证据压过先验，数据足够多时 MAP 与极大似然一致。

闭式解总是存在

令 (9.1) 的梯度为零，如第 2 节所做，并乘以 N/2：

\mathbf{X}^\top\mathbf{X} 的特征值 s_i^2 \ge 0 是 \mathbf{X} 奇异值的平方。加上 \lambda N\mathbf{I} 相当于给每个特征值加上 \lambda N， 于是每个特征值至少为 \lambda N > 0，方程组总是可解的：有重复列、列数多于行数，任何数据都不例外。

每个方向按各自的因子收缩

对 \mathbf{X} 做瘦奇异值分解 \mathbf{X} = \mathbf{U}\boldsymbol{\Sigma}\mathbf{V}^\top （列 \mathbf{u}_i 与 \mathbf{v}_i 标准正交，奇异值为 s_i）， \mathbf{X}^\top\mathbf{X} = \mathbf{V}\boldsymbol{\Sigma}^2\mathbf{V}^\top，解为 \mathbf{w}_\lambda = \mathbf{V}(\boldsymbol{\Sigma}^2 + \lambda N\mathbf{I})^{-1}\boldsymbol{\Sigma}\mathbf{U}^\top\mathbf{y}， 拟合值为

最小二乘完整保留每个分量 \mathbf{u}_i^\top\mathbf{y}：这就是第 2 节的投影。岭回归把每个分量乘以各自的收缩因子（shrinkage factor） s_i^2/(s_i^2 + \lambda N)：数据变化强的方向接近 1，数据几乎不变的方向接近 0。

方差解释了原因。沿 \mathbf{v}_i 方向，最小二乘系数为 \mathbf{u}_i^\top\mathbf{y}/s_i；其噪声部分的方差为 \sigma^2/s_i^2， 所以一个数据几乎不约束的方向，其取值由噪声除以一个很小的数决定。岭回归系数 s_i\,\mathbf{u}_i^\top\mathbf{y}/(s_i^2 + \lambda N) 的方差为 \sigma^2 s_i^2/(s_i^2 + \lambda N)^2，在 s_i^2 = \lambda N 处达到峰值，且不会超过 \sigma^2/(4\lambda N)。岭回归在每个方向上都给方差设了上限，只在数据本来说不出什么的方向上付出偏差的代价。

这些因子之和 \operatorname{df}(\lambda) = \sum_i s_i^2/(s_i^2 + \lambda N) 是有效自由度（effective degrees of freedom）。 当各列线性无关时，它在 \lambda = 0 处等于列数（即帽子矩阵的迹，第 2 节），随着 \lambda 增大平滑地降到 0： 这是一个连续的容量旋钮。

权重衰减

对岭回归损失做一步梯度更新为

每个权重先乘以略小于 1 的 1 - 2\eta\lambda，这就是 L2 惩罚被称为权重衰减（weight decay）的原因。AdamW 的解耦版本见模块 02 第 8 节。

Lasso：拉普拉斯先验与精确的零

拉普拉斯先验 p(w_j) = \frac{1}{2b}\exp(-\lvert w_j\rvert/b) 在零点处有尖峰，尾部更重， 其负对数为 \lVert\mathbf{w}\rVert_1/b 加一个常数。按 (9.1) 同样的缩放，得到 Lasso： \frac{1}{N}\lVert\mathbf{X}\mathbf{w} - \mathbf{y}\rVert^2 + \lambda\lVert\mathbf{w}\rVert_1， 其中 \lambda = 2\sigma^2/(Nb)。它会把系数精确地压到零，因此能做特征选择。 从几何上看（图 1.10），加惩罚等价于在球 \Omega(\mathbf{w}) \le t 内最小化损失：把椭圆形的损失等高线放大，直到与球相切。 L2 球是圆的，切点处每个坐标都不为零。L1 球是菱形，角在坐标轴上，从一般方向逼近的椭圆往往先碰到某个角。

对于标准正交设计 \mathbf{X}^\top\mathbf{X} = N\mathbf{I}，代数推导是精确的。此时最小二乘解为 \hat{\mathbf{w}} = \mathbf{X}^\top\mathbf{y}/N，展开平方得

问题于是分解为每个坐标一个独立的问题。

• 岭回归： 最小化 (w_j - \hat w_j)^2 + \lambda w_j^2；令 2(w_j - \hat w_j) + 2\lambda w_j = 0，得 w_j = \hat w_j/(1 + \lambda)。
• Lasso： 最小化 h(w_j) = (w_j - \hat w_j)^2 + \lambda\lvert w_j\rvert。当 w_j > 0 时， 2(w_j - \hat w_j) + \lambda = 0 给出 w_j = \hat w_j - \lambda/2，仅当 \hat w_j > \lambda/2 时自洽；对称地，若 \hat w_j < -\lambda/2，则 w_j = \hat w_j + \lambda/2。 其余情形最小值在尖点处：在 w_j = 0 处，右侧斜率为 -2\hat w_j + \lambda \ge 0， 左侧斜率为 -2\hat w_j - \lambda \le 0。合起来就是软阈值（soft-thresholding）：

岭回归做缩放；Lasso 做减法并截断（图 1.11 在真实数据上展示了两者）。一般情况下 Lasso 没有闭式解， 可用坐标下降（coordinate descent）求解，即每次对一个坐标做软阈值。在强相关的特征之中，Lasso 或多或少随意地保留其中一个； 同时加上两种惩罚的弹性网络（elastic net）则会保留整组特征。

实践要点

• 先标准化。 惩罚对所有系数一视同仁，但系数的大小取决于其特征的单位：以毫米为单位的长度，其系数要比以米为单位时小一千倍， 于是岭回归对它的惩罚会小一百万倍。
• 不要惩罚截距。 把 \mathbf{y} 和特征中心化，或者把 b 排除在外，如实验 3 那样把 \mathbf{I} 换成 \mathbf{I}'， 后者第一个对角元素为零。
• 在对数网格上选择 \lambda，用验证集或交叉验证。一倍标准误规则（Hastie 等，2009）取交叉验证误差在最优值一个标准误以内的最大 \lambda。
• 把 \lambda 对应到库的参数：把各库的目标函数除以一个常数，直到与 (9.1) 一致：

其他正则化方法

早停（early stopping）通过优化器起到正则化作用。从 \mathbf{w}_0 = \mathbf{0} 出发的梯度下降， 沿 \mathbf{H} 的每个特征向量（特征值在此记为 h_i）把误差每步收缩 1 - \eta h_i（第 3 节）， 所以 t 步之后，\mathbf{w}_t 的该分量等于最小二乘值乘以 1 - (1 - \eta h_i)^t。 同一组基下，岭回归的因子是 h_i/(h_i + 2\lambda)，因为 h_i = 2s_i^2/N。当 h_i 大时两者都接近 1； 当 h_i 小时，它们分别约为 \eta t\,h_i 和 h_i/(2\lambda)，在 \lambda \approx 1/(2\eta t) 时两者吻合。提前停止的效果大致相当于惩罚随训练推进而减弱的岭回归。 数据增强（模块 03 第 10 节），以及随机失活（dropout）和噪声注入（模块 02 第 11 节）， 则用来正则化神经网络。

只有当测试样本没有参与模型的构建、与服务中遇到的样本相似，并且读数时考虑了抽样噪声，测试得分才是第 1 节中期望风险的公平估计。 本节是本系列中关于标准误、自助法与 McNemar 检验的参考；模块 07 和 09 把它们用于语言模型的基准测试。

测试数字有多大噪声

用一个真实准确率为 p 的模型给 n 个独立样本评分。答对的个数服从二项分布， 所以观测准确率 \hat p 的方差为 p(1 - p)/n，标准误（standard error）为

根据中心极限定理，95% 区间约为 \hat p \pm 1.96\,\operatorname{SE}。 这个公式对任何比例都成立，n 是计算该比例所依据的样本数：对召回率，就是正例的个数。错误或正确少于约十个时，正态近似失效； 此时应改用自助法或精确二项区间。要为半宽 h 确定测试集的大小，把公式反过来：

测试集复用与选择

测试集复用是指：看了测试数字，改动模型，再看一次；每次改动都使模型对测试集多拟合一点。补救办法在流程上： 测试集只打开一次，并在报告数字时写明打开的日期。

选择一步就对验证集造成同样的后果。每个配置的得分是其真实性能加噪声，许多得分中的最大者属于噪声最有利的那个配置， 所以即使没有任何配置更好，胜出者的得分也会向上偏。

补救办法是嵌套交叉验证（nested cross-validation，图 1.12）：在每个外层训练部分内部用一个内层循环做选择，外层折只对所选的模型评分， 因此外层得分衡量的是整个流程。它需要拟合 k_\text{outer}\times k_\text{inner}\times 配置数 次， 对二十个 \lambda 值就是 5\times3\times20 = 300 次。最终部署的模型来自在全部数据上运行一次内层选择。

数据泄漏

泄漏（leakage）指留出标签的信息在训练期间以任何途径到达模型。它的各种形式及其对策：

1. 在全部数据上拟合预处理：缩放、填补缺失值、特征选择、目标编码。用 scikit-learn 的 Pipeline 在每一折内部拟合它们。 缩放通常泄漏很少；特征选择和目标编码可能泄漏很多。
2. 跨划分的重复与近似重复，比如一张被保存了两次的焊缝图像。划分前先去重。
3. 分组：对同一零件、试样、患者或机器的重复测量被按行划分。模型学会了识别个体。按组划分（GroupKFold）。
4. 时间：打乱的时间序列让模型在未来数据上训练。使用前向滚动划分，并在每个验证块之前留出间隔（带 gap 的 TimeSeriesSplit）。
5. 目标泄漏：某个特征是在标签已知之后才记录的，例如故障预测器中的维修费用。检查每个特征在服务中何时可得。
6. 测试集复用，见上文。

这六条背后的规则是：按部署时将是新的单位来划分（新零件、新患者、新的一天），绝不按行划分（图 1.13）。

分布偏移

测试集与训练集来自同一个 P；部署时则不然。在协变量偏移（covariate shift）下，输入变了而输入输出关系没变： 比如新的传感器供应商带来不同的偏置。在标签偏移（label shift）下，类别比例变了：工艺改进使缺陷率减半，精确率随患病率下降（第 7 节）。 在概念漂移（concept drift）下，关系本身变了：磨损改变了振动与剩余寿命之间的关系。 要在模型将遇到的条件下的数据上评估，即使这样的数据更少；在生产中则要监控输入和输出，而不只是准确率。

自助法区间

自助法（bootstrap）通过重采样估计抽样噪声：有放回地抽取 n 个测试样本，重新计算指标，重复 R = 2{,}000 次， 取第 2.5 和第 97.5 百分位数作为 95% 区间。它不需要公式，因此既适用于准确率，也适用于 AUC、F1 或 ECE。

要在同一测试集上比较两个模型，用配对自助法：每次重复只抽取一次下标，用它们给两个模型评分，取差值的区间。 由于 \operatorname{Var}(\hat a - \hat b) = \operatorname{Var}\hat a + \operatorname{Var}\hat b - 2\operatorname{Cov}(\hat a, \hat b)， 而各模型认为容易和困难的样本是相同的，配对区间比两个单独区间所暗示的要窄得多。对分组数据，则对组重采样（聚类自助法）。

两点提醒。第一，在测试集上做自助只度量测试抽样的噪声，不度量重新训练带来的变化。第二，它无法凭空造出证据： 当差异只建立在寥寥几个模型意见不一的样本上时，每个重复都由这几个样本构成，百分位区间会过窄。此时应使用下面的精确检验。

McNemar 检验

在同样的 n 个样本上给分类器 A 和 B 评分。两者都答对或都答错的样本，对谁更好什么也说明不了；只有不一致样本才有信息： 只有 A 答对的有 n_{10} 个，只有 B 答对的有 n_{01} 个。如果两个模型一样好，每个不一致样本就是一枚均匀硬币， 所以 n_{10} \sim \operatorname{Binomial}(n_{10} + n_{01}, \tfrac12)，精确的双侧 p 值为 \min\big(1,\; 2\,P(X \le \min(n_{10}, n_{01}))\big)（scipy.stats.binomtest）。 这就是 McNemar 检验（McNemar，1947），Dietterich（1998）推荐用它比较分类器。教科书上的统计量

与 3.84（自由度为 1 的 \chi^2 的 5% 临界值）比较，是一种大样本近似，在中等计数下过于容易拒绝原假设； 其连续性校正形式 (\lvert n_{10} - n_{01}\rvert - 1)^2/(n_{10} + n_{01}) 与精确检验较为接近。 精确检验不花任何代价，所以就用它，并同时报告 n_{10} 和 n_{01}。

基于语言模型的应用有它们自己的评估问题；AI Agents 系列中有一个模块专门讲这些。

线性模型是本模块所有思想最容易看清的地方，也常常是一个好的基线。当边界弯曲或特征之间有交互时，其他方法表现更好。 本节是一次巡览，给出足够的机理，让你知道每种方法何时适合作基线；如何判断，靠的是第 7 到 10 节的评估。

k 近邻与维数灾难

k 近邻（k-NN）通过对离查询点最近的 k 个训练点的目标取平均，或对其标签投票来预测。它没有训练过程； 一次预测要花大约 Nd 次运算来找邻居。k 是容量旋钮：k = 1 时插值训练数据，k 很大时平均范围太宽而欠拟合。 距离会把各特征混在一起，所以缩放是必需的：不缩放的话，单位最大的特征决定谁是邻居。在低维时，k-NN 是很强的基线。

在高维时它会失败，因为邻域不再是局部的。对均匀分布在单位立方体中的数据，容纳比例 r 的数据的子立方体，其边长为 r^{1/d}。

树、森林与提升

决策树（decision tree）用轴对齐的阈值 x_j \le t 递归地划分输入空间，在每个节点选择能最大程度降低两个子节点不纯度（impurity）的特征和阈值： 回归用目标的方差；分类用基尼不纯度（Gini impurity）1 - \sum_k p_k^2 或熵，其中 p_k 是节点中各类别的占比。深度就是容量。 对特征做递增的重新缩放，会移动其上的阈值，但不改变每侧落入哪些点，所以树不需要缩放。树的方差很高：数据的微小变化就可能改变第一次划分以及它之下的一切。

随机森林（random forest）生成 M 棵深树，每棵在行的自助样本上训练，每次划分时只考虑随机选出的一部分特征，然后对它们取平均。 如果每棵树的预测方差为 \sigma^2，任意两棵的相关系数为 \rho，则平均的方差为

即 M 个方差加上 M(M - 1) 个协方差。更多的树只能消去第二项；第一项只有在树之间去相关时才会下降，随机特征子集正是为此而设。 每个自助样本会漏掉约三分之一的行，所以用没见过某行的那些树给每一行评分，就得到袋外（out-of-bag）误差，这是免费的验证估计。

梯度提升（gradient boosting）由小树 h_m 构建加法模型 F_m(\mathbf{x}) = F_{m-1}(\mathbf{x}) + \nu\,h_m(\mathbf{x})， 每棵树拟合损失对预测值的负梯度，在 F_{m-1} 处取值。对平方误差 \tfrac12(y - F)^2，这个负梯度就是 y - F， 所以每棵树拟合的是当前的残差 y_i - F_{m-1}(\mathbf{x}_i)。这是函数空间中的梯度下降：学习率 \nu 与树的数量 M 此消彼长， M 由在验证数据上的早停来选定。XGBoost、LightGBM 和 scikit-learn 的 HistGradientBoosting 估计器是常用的实现（截至 2026 年）。 提升不需要缩放，原生支持缺失值。在最多几十万行的表格数据上，它往往是最好的方法，也是最先该尝试的； Grinsztajn 等（2022）给出了基准证据，表明在典型的表格数据上，树集成仍然胜过深度网络。“往往”不等于“总是”： 练习 13 在两个数据集上检验这一说法，其中一个数据集上岭回归获胜。

核函数与支持向量机

用特征映射 \phi(\mathbf{x}) 替换 \mathbf{x}，其维数可以很高，并把映射后的输入堆成 \boldsymbol{\Phi} 的各行。 岭回归给出 \mathbf{w} = (\boldsymbol{\Phi}^\top\boldsymbol{\Phi} + \lambda N\mathbf{I})^{-1}\boldsymbol{\Phi}^\top\mathbf{y}。 展开相乘得到推过恒等式（push-through identity）：

左乘 (\boldsymbol{\Phi}^\top\boldsymbol{\Phi} + \lambda N\mathbf{I})^{-1}，右乘 (\boldsymbol{\Phi}\boldsymbol{\Phi}^\top + \lambda N\mathbf{I})^{-1}， 就变成 (\boldsymbol{\Phi}^\top\boldsymbol{\Phi} + \lambda N\mathbf{I})^{-1}\boldsymbol{\Phi}^\top = \boldsymbol{\Phi}^\top(\boldsymbol{\Phi}\boldsymbol{\Phi}^\top + \lambda N\mathbf{I})^{-1}。 因此

预测为

这里只出现内积，所以永远不必真正构造 \phi：核函数（kernel）k 直接计算内积。这就是核技巧（kernel trick）， 这种方法叫核岭回归（kernel ridge regression）。RBF 核 k(\mathbf{x}, \mathbf{x}') = \exp(-\gamma\lVert\mathbf{x} - \mathbf{x}'\rVert^2) 对应一个无穷维的 \phi：在一维情形下，把 \exp(2\gamma xx') 展开成幂级数，对每个 j \ge 0 得到一个特征 e^{-\gamma x^2}\sqrt{(2\gamma)^j/j!}\,x^j。代价是 N\times N 的矩阵 \mathbf{K}： 拟合需要 O(N^3)，每次预测需要 N 次核函数计算。

支持向量机（support vector machine，SVM）针对标签 y_i \in \{-1, +1\}，保留 L2 惩罚， 并把平方误差换成合页损失（hinge loss）\max(0, 1 - y_i f(\mathbf{x}_i))。间隔 y_i f(\mathbf{x}_i) \ge 1 的点被正确分类， 不产生损失也不产生梯度，所以解只依赖支持向量，即位于间隔上或间隔内的点；其余各点的 \alpha_i = 0，预测只需要支持向量。 边界是惩罚所允许的最大间隔的那一个。配合 RBF 核，SVM 在深度学习出现之前是中等规模数据上的最先进方法。

高斯过程与神经网络

高斯过程（Gaussian process）在函数上放一个由核函数指定的先验分布，并在每次预测时同时返回后验均值和方差。 后验均值就是 \lambda N 等于噪声方差时的核岭回归。其代价随 N 呈三次方增长，而不确定性正是关键所在： 高斯过程是昂贵工程仿真的标准代理模型，也是贝叶斯优化的引擎。

神经网络除了最后的线性映射，还会学习特征。它的优势在图像、文本和信号上，那里好的特征并不知道，而数据又很充足； 它们是本系列其余部分的内容。

无监督的主力方法：k 均值与 PCA

k 均值（k-means）通过最小化 J = \sum_i\lVert\mathbf{x}_i - \boldsymbol{\mu}_{c(i)}\rVert^2 把数据划分为 k 个簇。 Lloyd 算法交替进行两步：把每个点分配给最近的中心，这在各种分配中最小化 J；把每个中心移到其簇的均值， 这在各种中心中最小化 J（第 5 节中平方误差下的最优常数）。两步都不会使 J 增大，所以算法会收敛， 但收敛到的局部最小值取决于初始值：应使用 k-means++ 初始化并多次重启。k 的选择依据下游用途、J 随 k 变化曲线的拐点， 或轮廓系数；先缩放。

主成分分析（principal component analysis，PCA）寻找方差最大的方向。投影 \mathbf{u}^\top\mathbf{x}（\lVert\mathbf{u}\rVert = 1） 的方差为 \mathbf{u}^\top\mathbf{C}\mathbf{u}，其中 \mathbf{C} 是样本协方差；用拉格朗日乘子最大化它， 得到 \mathbf{C}\mathbf{u} = \lambda\mathbf{u}，方差为 \lambda （这里 \lambda 又是特征值，如第 3 节，不是上面核函数小节中的岭回归强度）。 主方向就是 \mathbf{C} 按特征值排序的特征向量，等价于中心化数据的右奇异向量。第 i 个成分解释的方差占比为 \lambda_i/\sum_j\lambda_j，投影到前 k 个成分为 \mathbf{z} = \mathbf{V}_k^\top(\mathbf{x} - \boldsymbol{\mu})。用途：可视化、压缩、去噪，以及使特征去相关， 从而改善第 3 节的条件数。PCA 是线性的，对缩放敏感；它在神经网络中的对应物是自编码器，见模块 05 第 2 节。

没有免费的午餐，以及一次比较

对所有可能的问题取平均，没有任何学习方法优于其他方法（Wolpert，1996）。一种方法在某个问题上获胜， 是因为它的假设与该问题相符，这就是为什么第 7 到 10 节的评估比方法的选择更重要。