高斯分布

前两章分别建立了一套语言和一套工具。第 2 章给出了不确定量的推理规则：分布、用于边际化的加法规则、用于条件化的乘法规则。第 3 章则给出了同时涉及许多量时这些规则所对应的矩阵：协方差矩阵及其 Cholesky 因子、分块矩阵。本章把两者结合于一个分布，即高斯分布，本书其余内容都以它为基础。

单独一个分布之所以值得用一整章来讲，是由贝叶斯优化器使用信念的方式决定的。优化器对未知函数持有信念，每次评估后更新信念，再依据信念决定下一步的评估位置。每一步都是对概率分布的一次运算，多数分布的这些运算是没有闭式解的积分。而对高斯分布，每种运算只需几行线性代数就能精确求解：高斯分布经线性映射仍是高斯分布，略去一部分坐标仍是高斯分布，以一部分坐标为条件仍是高斯分布。高斯过程（第 7.3 节）是函数值上的高斯分布，因此高斯过程回归和贝叶斯优化之所以可以计算，正是依靠这三条封闭性。

本章先讨论单变量情形，此时公式一目了然；再推广到多变量，此时分布的形状由协方差矩阵决定；然后依次推导这三种运算。最后一种运算即条件化，是本章的主要结果，第 8 章将直接沿用。其后一节区分两种容易混淆的高斯分布组合方式，为第 5 章的贝叶斯更新作准备。

4.1 一维情形 #

设某次训练将采用新的学习率，尚未开始运行。根据类似训练的经验，预期验证准确率约为 0.82，向上或向下偏离超过 0.06 的情况很少。这一信念有中心，有散布范围，对向上和向下的偏差同等看待，且大偏差比小偏差少见。高斯分布（也称正态分布）是用两个数表达这类信念的标准方式。

随机变量 $X$ 服从均值为 $\mu$、方差为 $\sigma^2 > 0$ 的高斯分布，记作 $X \sim \N(\mu, \sigma^2)$，是指其密度为

式中分号把求密度的点 $x$ 与参数 $\mu$、$\sigma^2$ 隔开。如第 2.3 节所述，密度不是概率，概率是密度曲线下的面积。

这个公式可以由内向外解读。指数 $-(x - \mu)^2 / 2\sigma^2$ 是一条开口向下的抛物线，在 $x = \mu$ 处取峰值。指数函数把抛物线变为钟形：在峰值处等于 1，随抛物线取负值而迅速下降。前面的系数对钟形作缩放，使总面积为一。取对数可以消去指数函数：

高斯密度是二次函数的指数。其逆命题是本章大部分推导的依据：任何密度，只要其对数是 $x$ 的开口向下的二次函数，就是高斯分布，且参数可以直接从系数读出。若

只需配方即可看出这一点：$-\tfrac12\alpha x^2 + \beta x = -\tfrac12\alpha(x - \beta/\alpha)^2 + \beta^2/2\alpha$，最后一项是常数，可并入归一化常数。系数 $\alpha$ 是方差的倒数，称为精度（precision）。后文要证明某个分布是高斯分布时，都会这样做：先证明其对数密度是二次的，再套用这一公式。

两个参数的含义与其名称一致。均值是期望值 $\E[X] = \mu$，方差是偏差平方的期望 $\Var[X] = \E[(X - \mu)^2] = \sigma^2$（第 2.6 节）。标准差 $\sigma$ 是方差的平方根，与 $x$ 的单位相同，因此直观思考时用标准差。上述关于准确率的信念约为 $\N(0.82, 0.03^2)$：标准差为 0.03，偏差达到其两倍的情况很少见。

4.1.1 标准正态分布 #

任何高斯分布都可由同一个参考分布经平移和伸缩得到，这个参考分布就是标准正态分布 $Z \sim \N(0, 1)$。若 $X \sim \N(\mu, \sigma^2)$，则 $Z = (X - \mu)/\sigma$ 服从标准正态分布；反之，$X = \mu + \sigma Z$。值 $z = (x - \mu)/\sigma$ 表示 $x$ 比均值高出多少个标准差，称为其 z 分数。标准正态分布有专用记号，全书通用：

其中 $\phi$ 是密度，$\Phi$ 是累积分布函数：$\Phi(z)$ 是 $Z \le z$ 的概率。$\Phi$ 无法用初等函数表示，程序库借助误差函数 $\Phi(z) = \tfrac12\left(1 + \operatorname{erf}(z/\sqrt{2})\right)$ 计算，可达到浮点数的全部精度。

经过标准化，关于 $X$ 的任何概率问题都可化为关于 $\Phi$ 的问题：

有几个数值值得记住。区间 $\mu \pm \sigma$ 包含 68.3% 的概率，$\mu \pm 1.96\sigma$ 包含 95%，$\mu \pm 2\sigma$ 包含 95.4%，$\mu \pm 3\sigma$ 包含 99.7%。尾部衰减很快：无论朝哪个方向，偏离均值超过五个标准差的概率约为 $5.7 \times 10^{-7}$。

4.1.2 为什么选择高斯分布 #

读者也许会问，为什么默认采用这条钟形曲线，而不是别的分布。理由有三条，性质各不相同。

第一条来自定理。中心极限定理指出：设有许多相互独立的随机量，方差有限，且没有哪一个占主导，则无论各项服从什么分布，其和经标准化后都近似服从高斯分布（Blitzstein 与 Hwang，2019）。测量噪声往往是许多微小扰动（如热涨落、时序抖动、舍入）之和，因而接近高斯分布。一个经典的演示：取十二个 $[0, 1]$ 上相互独立的均匀随机数，求和后减去 6，所得量均值为 0、方差为 1，其直方图已经很难与 $\phi$ 区分。

第二条是原则。在实数轴上均值和方差给定的所有分布中，高斯分布的熵最大；熵度量分布的分散程度，第 6.1 节将给出其精确定义（Cover 与 Thomas，2006，第 12 章）。如果只愿意确定中心和散布范围，高斯分布就是不作任何额外假设的选择。

第三条是计算方便，这也是本书在前两条理由不成立时仍采用高斯分布的原因：本章其余部分的每种运算都有闭式解。方便是选择模型的理由，却不能证明世界服从高斯分布。真实的量可能偏斜、有界或重尾，极端值远比上面的 $5.7 \times 10^{-7}$ 所暗示的常见。两个选项之间的比较是第四部分的核心观测，它完全不服从高斯分布；第 17 章说明如何用高斯分布近似由此得到的后验，使本章的工具依然适用。

4.2 多维情形 #

贝叶斯优化器的信念从来不只涉及单个数。它同时对目标函数在许多输入处的值持有信念，而且这些信念相互关联：若学习率为 0.010 时准确率很高，那么 0.011 时准确率很可能也高。一组彼此独立的一维高斯分布无法表达这种关联，需要的是值向量上的联合分布，它记录每一对值如何共同变化。

先看两个独立的坐标。若 $x_1 \sim \N(0, \sigma_1^2)$ 与 $x_2 \sim \N(0, \sigma_2^2)$ 相互独立，则联合密度是两个密度之积（第 2.7 节），而指数函数相乘即指数相加：

指数为常数的地方密度也为常数，即在曲线 $x_1^2/\sigma_1^2 + x_2^2/\sigma_2^2 = r^2$ 上。这些曲线是轴沿坐标方向的椭圆，$\sigma_1 = \sigma_2$ 时为圆。为了使两个坐标相互关联，允许指数中的二次式含有交叉项 $x_1 x_2$。此时椭圆发生倾斜，较大的 $x_1$ 会使较大的 $x_2$ 更可能或更不可能出现，取决于倾斜的方向。这些信息全部记录在一个矩阵中。

这个矩阵就是第 2.6.3 节中的协方差矩阵 $\mSigma$。对均值向量为 $\vmu$ 的随机向量 $\vx = (x_1, \dots, x_d)^\T$，其元素为 $\Sigma_{ij} = \Cov[x_i, x_j] = \E[(x_i - \mu_i)(x_j - \mu_j)]$，对角线上是方差。协方差矩阵对称半正定（第 3.3 节），把某个元素除以相应的两个标准差，即得相关系数 $\rho_{ij} = \Sigma_{ij} / \sqrt{\Sigma_{ii}\Sigma_{jj}}$。

式中各部分都与一维情形对应。$d = 1$ 且 $\mSigma = [\sigma^2]$ 时，此式即式（4.1）。指数仍是二次的，现在是向量 $\vx - \vmu$ 的二次型，协方差的逆 $\mSigma^{-1}$ 相当于一维中的 $1/\sigma^2$。协方差的逆称为精度矩阵（precision matrix），下面的若干推导用它表述最为自然。归一化因子中的行列式度量分布所占的体积（第 3.6 节），相当于一维中的 $\sigma$：分布越分散，峰越低，以保证总概率为一。

配方公式式（4.2）可以直接推广到多维。若某个密度满足

其中 $\bm{\Lambda}$ 为正定矩阵，$\mathbf{h}$ 为向量，则 $p$ 是精度为 $\bm{\Lambda}$ 的高斯分布，即

配方的做法与前面相同，展开右边即可验证：

最后一项与 $\vx$ 无关。

4.2.1 形状 #

指数中的量有专门的名称。$\vx$ 到 $\vmu$ 的 Mahalanobis 距离（Mahalanobis distance）定义为

即多元情形的 z 分数。一维时它等于 $\lvert x - \mu\rvert / \sigma$，即偏离均值的标准差个数。一般而言，Mahalanobis 距离在每个方向上都以分布自身的散布为单位度量距离：一个点即使按普通距离离均值很远，只要位于分布较宽的方向上，按 Mahalanobis 距离仍可能很近。密度只通过 $r$ 依赖于 $\vx$，因此其等高线是 $r$ 为常数的点集：二维中为椭圆，更高维中为椭球。

这些椭圆的朝向如何确定？将协方差作特征分解 $\mSigma = \mathbf{U}\bm{\Lambda}_{\mathrm{e}}\mathbf{U}^\T$，其中 $\mathbf{U}$ 的各列是标准正交的特征向量 $\mathbf{u}_i$，$\bm{\Lambda}_{\mathrm{e}}$ 的对角线上是特征值 $\lambda_i$（第 3.4 节）。在旋转后的坐标 $\mathbf{y} = \mathbf{U}^\T(\vx - \vmu)$ 下，二次型变为 $\sum_i y_i^2/\lambda_i$，不含交叉项。因此每条等高线的轴都沿特征向量方向，Mahalanobis 距离为 $r$ 的椭圆半轴长为 $r\sqrt{\lambda_i}$。特征值是沿各主方向的方差，其乘积为 $\lvert\mSigma\rvert$。多元高斯分布在某个旋转后的坐标系中是与坐标轴对齐的钟形，这个坐标系由特征向量给出。

设两个坐标的标准差为 $\sigma_1, \sigma_2$，相关系数为 $\rho$，则协方差矩阵及其行列式为

下图画出了均值为零时的这一情形。

把 $\rho$ 设为零，并让两个标准差相等。椭圆变为圆。分布在各个方向上都相同，特征向量可以指向任意方向。

把 $\rho$ 调向 0.95。椭圆沿对角线收窄，细如针状。两个标准差都为 1 时，特征值为 $1 + \rho$ 和 $1 - \rho$，前者趋于 2，后者与行列式趋于零：分布集中在一条直线附近，一旦知道 $x_1$，$x_2$ 也就几乎确定。$\rho = \pm 1$ 时，协方差矩阵奇异，式（4.5）的密度不存在，Cholesky 分解也会失败。在对角线上加一个小的抖动项，正是为了修复这类浮点问题（第 8.4 节）。

让 $\rho$ 取负值。椭圆向另一侧倾斜：此时较大的 $x_1$ 伴随较小的 $x_2$。

调节 $\rho$ 时观察两个条带。条带保持不变，原因见第 4.4 节。

每个椭圆包含多少概率？比一维的数值所暗示的要少。二维中，Mahalanobis 距离为 $r$ 的椭圆内的概率为 $1 - e^{-r^2/2}$：$r = 1$ 以内为 39%，$r = 2$ 以内为 86%，$r = 3$ 以内为 99%。要包含 95% 的概率，需要 $r \approx 2.45$，而不是 1.96。维度越高，差距越大。

高斯分布还有一个特有的性质。$\mSigma$ 为对角矩阵时，二次型没有交叉项，密度分解为一维密度之积，各坐标相互独立。因此，对于高斯向量，不相关即意味着独立。其他分布则不然（第 2.7 节）：习题 4.3 给出两个变量，各自服从高斯分布且互不相关，却并不独立，原因在于它们不服从联合高斯分布。

4.3 线性映射与采样 #

两个实际问题会引出同一个结果。第一，若 $f(\vx_1)$ 与 $f(\vx_2)$ 联合服从高斯分布，二者的差或平均值服从什么分布？第四部分中，每当一个人比较两个选项，都要用到这个差。第二，随机数生成器产生的是相互独立的标准正态随机数，如何把它们变成协方差任意的 $\N(\vmu, \mSigma)$ 的样本？凡是要画出从模型中抽取的函数，都需要这样的样本；Thompson 采样（第 12.5 节）同样需要，这一规则从模型中抽取一个可能的目标函数，在该样本取最大值处评估。

两个问题的答案都来自同一条封闭性。设 $\vx \sim \N(\vmu, \mSigma)$ 为 $d$ 维向量，$\mA$ 为 $m \times d$ 矩阵，$\mathbf{c}$ 为 $\R^m$ 中的向量，则

高斯分布经线性映射仍是高斯分布。均值像点一样随映射变换，协方差则夹在矩阵与其转置之间。

有一点需要注意。定义 4.1 中的密度要求协方差正定，而只有当 $\mA$ 的任何一行都不是其余各行的线性组合时，$\mA\mSigma\mA^\T$ 才正定。若这一条件不满足（例如 $\mA$ 的行数多于列数），$\vy$ 在下面第 6 步的意义下仍是高斯的，但局限于一个更低维的仿射子空间，在 $\R^m$ 上没有密度。两种情况下，均值和协方差的公式都成立。

4.3.1 用 Cholesky 因子采样 #

采样就是沿着有用的方向运用这一映射。设 $\vz \sim \N(\mathbf{0}, \mI)$ 是由 $d$ 个独立标准正态随机数组成的向量，任何数值计算库都提供这样的随机数（由均匀随机数构造它们的经典方法是 Box 与 Muller（1958）的变换）。任取满足 $\mL\mL^\T = \mSigma$ 的矩阵 $\mL$，令

由式（4.9），$\vx$ 服从均值为 $\vmu$、协方差为 $\mL\mI\mL^\T = \mSigma$ 的高斯分布。$\mL$ 通常取第 3.5 节中的 Cholesky 因子，即对角线为正的下三角矩阵：它对任何正定的 $\mSigma$ 都存在，计算一次需要 $O(d^3)$ 次运算，此后每抽取一个样本只需一次三角矩阵与向量的乘法（Rasmussen 与 Williams，2006，附录 A.2）。其他平方根同样可用，例如由特征分解得到的 $\mathbf{U}\bm{\Lambda}_{\mathrm{e}}^{1/2}$。它会把给定的 $\vz$ 映射到不同的点，但这些点的分布不变。

二维时，式（4.8）的 Cholesky 因子可以直接写出，再乘以 $\vz$，便可看出每个坐标的构成：

展开乘积即可验证 $\mL\mL^\T = \mSigma$。这个公式还从生成机制上说明了相关性的含义。坐标 $x_2$ 一部分来自驱动 $x_1$ 的同一个随机数 $z_1$，另一部分来自新的随机数 $z_2$；其方差中有 $\rho^2$ 的比例来自共享部分。$\rho = 0$ 时两个坐标毫无共享，$\rho = \pm 1$ 时二者完全共享。

观察箭头。所有灰点都由同一个矩阵移动。$\mL$ 是下三角矩阵，因此 $x_1 = \sigma_1 z_1$ 只依赖于 $z_1$；$\sigma_1 = 1$ 时映射不改变第一个坐标，箭头都是竖直的。$\rho$ 为正时，映射给第二个坐标加上 $\rho\sigma_2 z_1$，使左侧的点下移、右侧的点上移，并把 $z_2$ 缩小为原来的 $\sqrt{1 - \rho^2}$ 倍。圆形点云于是变为倾斜的椭圆。

比较样本相关系数与 $\rho$。读数给出蓝点的相关系数，它与 $\rho$ 相差百分之几，换一组样本，误差也随之改变：这是采样噪声，$n$ 个点时其标准差约为 $(1 - \rho^2)/\sqrt{n}$。

把 $\rho$ 设为零，并让两个标准差不相等。此时 $\mL$ 是对角矩阵，只沿坐标轴拉伸点云。

对高斯过程，$\vx$ 存放输入网格上的函数值，每个网格点对应一个坐标；后验样本之所以只能在几千个点的网格上抽取，正是受分解的立方级代价所限（第 8.5 节）。随着输入维度增加，网格很快就不再可行：每个轴取 20 个点，直线上是 20 个值，正方形上是 400 个，三维立方体中是 8,000 个，其协方差矩阵有 6,400 万个元素。输入超过两三维时，样本改在几千个分散的候选点上抽取，而不在网格上抽取。

本节开头提出的另一个问题，是两个函数值之差。

4.4 边际化 #

高斯过程描述无穷多个函数值，而计算机只能存放有限多个。要使这种做法成立，关于少数几个值的信念，就不能取决于还选择追踪了其他哪些值。用第 2.4 节的术语来说，需要的是子向量的边际分布，加法规则通过对其余变量积分得到它。对多数联合密度，这个积分是计算的难点；对高斯分布则毫无代价。

把向量分为两块：保留的坐标 $\mathbf{a}$ 与舍弃的坐标 $\mathbf{b}$，并相应地划分均值和协方差：

对角块 $\mSigma_{aa}$ 和 $\mSigma_{bb}$ 是各块内部的协方差，$\mSigma_{ab}$ 是 $\mathbf{a}$ 的坐标与 $\mathbf{b}$ 的坐标之间的协方差。$\mathbf{a}$ 的边际分布为

对高斯分布做边际化，就是读出一个子块。利用上一节的结果，证明只需一行：保留 $\mathbf{a}$、舍弃 $\mathbf{b}$ 是矩阵为 $[\mI \;\; \mathbf{0}]$ 的线性映射（单位块旁接一个零块），由式（4.9）得均值 $[\mI \;\; \mathbf{0}]\vmu = \vmu_a$，协方差 $[\mI \;\; \mathbf{0}]\mSigma[\mI \;\; \mathbf{0}]^\T = \mSigma_{aa}$。加法规则所需的积分由此一次性完成；也可以通过配方直接计算（Bishop，2006，第 2.3.2 节）。

有两个推论在后文很重要。第一，边际分布具有一致性：$\mathbf{a}$ 的分布既不依赖于 $\mathbf{b}$ 包含多少其他坐标，也不依赖于包含哪些坐标。高斯过程正是依靠这一点才得以良定义，因为其定义只规定有限个函数值的联合分布（第 7.3 节）。第二，边际分布舍弃了交叉协方差 $\mSigma_{ab}$，也就舍弃了两块之间相互提供的全部信息。在图 4.1 中，图上方和右侧的条带就是两个边际分布；移动相关系数滑块会旋转并压扁联合密度，两个条带却都不变。许多联合分布具有相同的边际分布。

$x_2$ 的边际分布回答的问题是：忽略 $x_1$ 时，对 $x_2$ 应持什么信念？下一节回答另一个问题：知道 $x_1$ 之后，对 $x_2$ 应持什么信念？

4.5 条件化 #

本书其余内容都以这一运算为基础。贝叶斯优化器已在几个输入处评估了目标函数，需要据此得到对目标函数在其他各处取值的信念。若对所有这些输入处函数值的先验信念是联合高斯分布，问题就化为：观测到高斯向量的一部分坐标之后，其余坐标服从什么分布？与边际分布不同，答案必须用到观测值。

4.5.1 钟形曲面的切片 #

先看二维。由乘法规则，给定 $x_1 = a$ 时 $x_2$ 的条件密度为

分子是联合密度沿竖直线 $x_1 = a$ 的取值，即钟形曲面的一个切片。分母不依赖于 $x_2$，它只是把切片重新缩放到面积为一。因此条件密度的形状就是切片的形状。沿着切片，联合密度的指数是 $x_2$ 的二次函数，因为固定二元二次式中的一个变量后，剩下的是另一变量的二次式。所以切片本身也是钟形，由式（4.2）知其为高斯分布。

计算这个二次式，即可得到切片的均值和方差。设协方差为式（4.8），均值为 $\mu_1, \mu_2$，则

习题 4.2 将由下面的一般公式推出这一结果。式中每一部分都有明确的含义。观测通过其 z 分数 $(a - \mu_1)/\sigma_1$ 进入公式。$x_2$ 的均值偏离 $\mu_2$ 的量，以 $x_2$ 自身的标准差为单位，等于该 z 分数的 $\rho$ 倍：若 $x_1$ 比其均值高一个标准差，则预测 $x_2$ 比其均值高 $\rho$ 个标准差。方差缩小为原来的 $1 - \rho^2$ 倍，这正是 $x_2$ 的方差中 $x_1$ 无法解释的比例，而且与 $a$ 完全无关。

把切片从左拖到右。条件密度沿虚线滑动，宽度保持不变。宽度只取决于相关系数，与观测值无关。

把 $\rho$ 调向 $\pm 0.95$。条件密度急剧收窄，读数显示消除的方差比例 $\rho^2$ 超过 90%。$\rho = 0$ 时没有消除任何方差，条件分布等于边际分布：与 $x_2$ 不相关的观测不提供关于它的任何信息。

比较虚线与椭圆。条件均值线不是椭圆的长轴，而是比长轴更平缓。它穿过每个椭圆的最左点和最右点，因为沿一条竖直切片，密度在切片恰好与某个椭圆相切处最高。

这一现象由来已久。Francis Galton 注意到，身材异常高的父母，其子女平均而言不像父母那样异常，他将这一效应称为向平庸回归（regression toward mediocrity）（Galton，1886）；统计学术语“回归”（regression）即源于此。在两个标准差相等时的式（4.14）中，$x_2$ 的预测偏差是 $x_1$ 观测偏差的 $\rho$ 倍，只要 $\lvert\rho\rvert < 1$，就更接近均值。并没有什么力量把子女拉回均值。这种收缩只是对相关的高斯分布做条件化的结果。

4.5.2 一般公式 #

同样的推理适用于任意维数，只需以分块代替数。按式（4.12）把向量分为已观测块 $\mathbf{a}$ 与未观测块 $\mathbf{b}$，则

与二维情形对照：矩阵 $\mSigma_{ab}^\T\mSigma_{aa}^{-1}$ 对应 $\rho\sigma_2/\sigma_1 = \Sigma_{12}/\Sigma_{11}$，减去的项 $\mSigma_{ab}^\T\mSigma_{aa}^{-1}\mSigma_{ab}$ 对应 $\rho^2\sigma_2^2 = \Sigma_{12}^2/\Sigma_{11}$。

这个公式中的维数容易误读，下面看一个实际规模的例子。某机器学习模型有六个超参数待调，已完成 40 次训练。在贝叶斯优化器中，$\mathbf{a}$ 存放 40 个观测到的验证误差，$\mathbf{b}$ 存放尚未尝试的配置（例如 1,000 个）处的未知误差，因此 $\mSigma_{aa}$ 为 $40 \times 40$，$\mSigma_{ab}$ 为 $40 \times 1000$。数字六在任何地方都没有出现：高斯分布定义在函数值上，每个配置对应一个坐标，输入空间的维数只通过核函数为各对配置指定的协方差发挥作用（第 9 章）。条件化的代价随评估次数增长，而不随超参数个数增长，尽管维数越高，确定函数所需的评估越多（第 30 章）。Snoek 等人（2012）正是用这一计算为隐 Dirichlet 分配、结构化支持向量机和卷积网络调参，结果达到或超过了人类专家选定的设置；第 22 章在真实数据上完整演示了这样一个调参问题。

推导要用到第 3.7 节中的一个结论，这里用式（4.12）的记号重述如下。块 $\mSigma_{aa}$ 的 Schur 补为

而精度矩阵 $\bm{\Lambda} = \mSigma^{-1}$ 的各块为

将 $\mSigma$ 与该矩阵相乘，逐块验证乘积为单位矩阵，即可检验这一公式（Petersen 与 Pedersen，2012）。推导只需要最下面一行：$\bm{\Lambda}_{bb} = \mathbf{S}^{-1}$ 与 $\bm{\Lambda}_{ab}^\T = -\mathbf{S}^{-1}\mSigma_{ab}^\T\mSigma_{aa}^{-1}$。

这一推导沿用 Bishop（2006）第 2.3.1 节的做法，第 B.3 节将这一结果与相关恒等式汇集在一起。由推导可得两点。其一，条件协方差就是 Schur 补式（4.16）本身。其二，第 5 步表明条件精度就是联合精度的块 $\bm{\Lambda}_{bb}$：条件化读出精度矩阵的一个块，正如边际化读出协方差矩阵的一个块。

要点的后半句解释了为什么高斯过程的不确定性取决于评估的位置，而不取决于评估的结果（第 8.1 节）。另一种推导可以使 Schur 补显得不那么神秘。

一个简单的数值例子即可展示高斯过程回归的缩影。

4.5.3 计算方法 #

代码中计算式（4.15）时，使用 $\mSigma_{aa}$ 的 Cholesky 因子和三角求解，从不显式求逆（第 3.5 节）。设 $\mL\mL^\T = \mSigma_{aa}$，令 $\mathbf{V} = \mL^{-1}\mSigma_{ab}$，$\vw = \mL^{-1}(\mathbf{a} - \vmu_a)$。由于 $\mSigma_{aa}^{-1} = \mL^{-\T}\mL^{-1}$，均值的偏移量为 $\mathbf{V}^\T\vw$，减去的协方差为 $\mathbf{V}^\T\mathbf{V}$。

import numpy as np

def condition(mu, Sigma, ia, ib, a):
    """Mean and covariance of x[ib] given x[ia] = a, for x ~ N(mu, Sigma)."""
    Saa = Sigma[np.ix_(ia, ia)]
    Sab = Sigma[np.ix_(ia, ib)]
    Sbb = Sigma[np.ix_(ib, ib)]
    L = np.linalg.cholesky(Saa)
    V = np.linalg.solve(L, Sab)          # L^{-1} Sigma_ab
    w = np.linalg.solve(L, a - mu[ia])   # L^{-1} (a - mu_a)
    return mu[ib] + V.T @ w, Sbb - V.T @ V

当观测坐标几乎决定了其余坐标时，减法 $\mSigma_{bb} - \mathbf{V}^\T\mathbf{V}$ 会抵消掉大部分有效数字，结果可能略不对称，或出现极小的负特征值。再次分解之前（例如为了抽取样本），先将其对称化并加上一个小的抖动项，即可修复这一问题。

4.6 和与积 #

另有两种组合高斯分布的运算，二者都以两个高斯分布为输入、得到一个高斯分布，因而容易混淆。两个独立高斯随机变量相加，描述由两个不确定部分构成的量，例如函数值加上测量噪声。两个高斯密度相乘，描述关于同一个量的两条独立证据，这正是贝叶斯定理对高斯先验和高斯似然所做的运算。前者使不确定性增大，后者使其减小。

4.6.1 独立高斯变量之和 #

若 $X \sim \N(\mu_1, \sigma_1^2)$ 与 $Y \sim \N(\mu_2, \sigma_2^2)$ 相互独立，则 $(X, Y)$ 联合服从协方差为对角矩阵的高斯分布，而 $X + Y$ 是由单行 $(1, 1)$ 给出的线性映射。由式（4.9），

相加的是方差，而不是标准差。标准差分别为 3 和 4 的两个独立误差，相加后标准差为 5，而不是 7。若 $X$ 与 $Y$ 相关，同一映射给出的方差为 $\sigma_1^2 + \sigma_2^2 + 2\Cov[X, Y]$。书中有两种用法反复出现。观测 $y = f(\vx) + \varepsilon$ 带有独立噪声 $\varepsilon \sim \N(0, \sigma_n^2)$，其方差为 $\Var[f(\vx)] + \sigma_n^2$，即第 8.3 节中的预测方差。$n$ 次独立测量（每次方差为 $\sigma^2$）的平均值，方差为 $\sigma^2/n$，因此标准差按 $1/\sqrt{n}$ 下降。

4.6.2 高斯密度之积 #

现在取同一变量 $x$ 上的两个高斯密度，将其逐点相乘。乘积未经归一化，但形状是高斯的：两个二次指数之和仍是二次的。

$d$ 维时，以式（4.6）代替式（4.2），同样的步骤给出

其中常数 $Z = \N(\vmu_1;\, \vmu_2,\, \mSigma_1 + \mSigma_2)$（Rasmussen 与 Williams，2006，附录 A.2）。

这一结果可以从精度的角度解读。精度相加，因此乘积比任一因子都窄。均值是两个均值的加权平均，权重与精度成正比，因此更尖锐的密度对均值的牵引更强。常数 $Z$ 是原始乘积曲线下的面积：两个密度一致时它较大，两者的质量分布在不同位置时它很小。

这正是高斯先验与高斯测量下的贝叶斯定理。设对某个量 $\theta$ 的先验信念为 $\N(\mu_0, \sigma_0^2)$，观测为 $y = \theta + \varepsilon$，噪声 $\varepsilon \sim \N(0, \sigma_n^2)$。由于公式关于 $y$ 和 $\theta$ 对称，似然 $\N(y;\, \theta, \sigma_n^2)$ 作为 $\theta$ 的函数，就是密度 $\N(\theta;\, y, \sigma_n^2)$。后验正比于先验乘以似然，因此是高斯分布，精度为 $1/\sigma_0^2 + 1/\sigma_n^2$，均值介于先验均值与观测值之间。常数 $Z = \N(y;\, \mu_0, \sigma_0^2 + \sigma_n^2)$ 是观测值在先验下的密度，第 5.6 节称之为模型证据。注意，它恰好是式（4.18）中和 $\theta + \varepsilon$ 的分布：本节的两种运算在此交汇。第 5.1 节将展开这一观点，第 5.4 节将其从单个数推广到权重向量。

保持输入不变，切换两种运算。和以 $\mu_1 + \mu_2$ 为中心，比任一输入都宽；积位于 $\mu_1$ 与 $\mu_2$ 之间，比任一输入都窄。

在积中把一个输入调得很宽。$\sigma_1$ 为 2.5 时，乘积几乎与第二个输入重合：模糊的先验几乎不改变精确测量提供的信息。

把两个均值拉开。归一化乘积的宽度不变，因为精度与均值无关；但原始乘积向零下沉，$Z$ 也随之变小。两个互相矛盾的自信密度，会在两者都几乎没有质量的区域给出一个自信的折中。$Z$ 很小，是先验与测量相互冲突的警示信号。

4.7 在代码中使用高斯分布 #

养成三个习惯，可以避免大多数数值问题。

使用对数密度。高维时，密度式（4.5）是许多小因子之积，会发生下溢。对 $d = 1000$ 维的标准正态分布，即使均值处的密度 $(2\pi)^{-500}$ 也约为 $10^{-399}$，低于双精度浮点数所能表示的最小正数。对数密度则是若干大小适中的数之和。可用 $\mSigma$ 的 Cholesky 因子 $\mL$ 计算：令 $\vw = \mL^{-1}(\vx - \vmu)$，二次型即为 $\vw^\T\vw$，而 $\log\lvert\mSigma\rvert = 2\sum_i \log L_{ii}$（第 3.6 节）。

import numpy as np

def gaussian_logpdf(x, mu, Sigma):
    L = np.linalg.cholesky(Sigma)
    w = np.linalg.solve(L, x - mu)       # L^{-1} (x - mu)
    d = len(mu)
    return -0.5 * w @ w - np.log(np.diag(L)).sum() - 0.5 * d * np.log(2 * np.pi)

切勿构造 $\mSigma^{-1}$。本章凡是含逆矩阵的公式，都应像上面的条件化代码那样，用 Cholesky 分解和三角求解计算，理由见第 3.5.1 节。

核对参数化方式。记号 $\N(\mu, \sigma^2)$ 的第二个参数是方差，但多数程序库接受的是标准差：NumPy 的 random.normal(loc, scale)、SciPy 的 stats.norm(loc, scale) 与 PyTorch 的 Normal(loc, scale) 都要求传入 $\sigma$。在应传标准差处传入方差，是一种不报错却很常见的错误。多元版本接受协方差矩阵，有时也接受其 Cholesky 因子，例如 PyTorch 的 MultivariateNormal(loc, scale_tril=L)。

4.8 习题 #