贝叶斯优化
EN

矩阵与高斯恒等式

本书各章反复用到少数几条恒等式。每一条都在首次需要时引入，推导通常结合该章的例子展开。本附录以一般形式将它们汇集于此，每条附一个简短、便于核对的证明，并注明书中何处用到它。

五节内容层层递进，分块求逆是根本：Woodbury 恒等式是以两种方式解读的分块求逆，高斯分布的条件化是作用于协方差矩阵的分块求逆，两个高斯密度的乘积则是换了形式的条件化。最后一节讨论两个高斯值的期望最大值，与其他各节相互独立，为第 12 章与第 19 章中的采集函数服务。

全文约定：向量均为列向量，I\mI 为尺寸相应的单位矩阵，凡求逆的矩阵均假定可逆。

B.1 分块求逆与 Schur 补 #

若矩阵的行与列各分为两组，则可以逐组求逆。写成分块形式，

M=[ABCD],\mathbf{M} = \begin{bmatrix} \mA & \mathbf{B} \\ \mathbf{C} & \mathbf{D} \end{bmatrix},
(B.1)

其中 A\mA 的尺寸为 p×pp \times p，D\mathbf{D} 的尺寸为 q×qq \times q。矩阵不必对称。A\mA 在 M\mathbf{M} 中的 Schur 补（Schur complement）为

S=D−CA−1B,\mathbf{S} = \mathbf{D} - \mathbf{C}\mA^{-1}\mathbf{B},
(B.2)

即消去第一组之后 D\mathbf{D} 余下的部分，正如对两个方程消元后，会在 2×22 \times 2 矩阵的一角留下 d−cb/ad - cb/a。

定理 B.1 分块求逆

若 A\mA 与 S\mathbf{S} 可逆，则

M−1=[PQRS−1],P=A−1+A−1B S−1CA−1,Q=−A−1B S−1,R=−S−1CA−1,\begin{aligned} \mathbf{M}^{-1} &= \begin{bmatrix} \mathbf{P} & \mathbf{Q} \\ \mathbf{R} & \mathbf{S}^{-1} \end{bmatrix}, \\ \mathbf{P} &= \mA^{-1} + \mA^{-1}\mathbf{B}\,\mathbf{S}^{-1}\mathbf{C}\mA^{-1}, \\ \mathbf{Q} &= -\mA^{-1}\mathbf{B}\,\mathbf{S}^{-1}, \\ \mathbf{R} &= -\mathbf{S}^{-1}\mathbf{C}\mA^{-1}, \end{aligned}
(B.3)

并且 det⁡M=det⁡A⋅det⁡S\det\mathbf{M} = \det\mA \cdot \det\mathbf{S}。

证明

用两个三角矩阵消去非对角块，

E=[I0−CA−1I],F=[I−A−1B0I].\mathbf{E} = \begin{bmatrix} \mI & \mathbf{0} \\ -\mathbf{C}\mA^{-1} & \mI \end{bmatrix}, \qquad \mathbf{F} = \begin{bmatrix} \mI & -\mA^{-1}\mathbf{B} \\ \mathbf{0} & \mI \end{bmatrix}.
  1. 左乘 E\mathbf{E}，即从第二块行中减去 CA−1\mathbf{C}\mA^{-1} 左乘第一块行的结果。左下块变为 C−CA−1A=0\mathbf{C} - \mathbf{C}\mA^{-1}\mA = \mathbf{0}，右下块变为 D−CA−1B=S\mathbf{D} - \mathbf{C}\mA^{-1}\mathbf{B} = \mathbf{S}。
  2. 再右乘 F\mathbf{F}，即从第二块列中减去第一块列右乘 A−1B\mA^{-1}\mathbf{B} 的结果；右上块由此消去，其余各块不变。于是
    E M F=[A00S].\mathbf{E}\,\mathbf{M}\,\mathbf{F} = \begin{bmatrix} \mA & \mathbf{0} \\ \mathbf{0} & \mathbf{S} \end{bmatrix}.
  3. E\mathbf{E} 与 F\mathbf{F} 都可逆：将各自的非对角块变号，即得其逆矩阵。对第 2 步的等式两边求逆，得 F−1M−1E−1=diag⁡(A−1,S−1)\mathbf{F}^{-1}\mathbf{M}^{-1}\mathbf{E}^{-1} = \operatorname{diag}(\mA^{-1}, \mathbf{S}^{-1})，即以这两块为对角块的分块对角矩阵，从而 M−1=Fdiag⁡(A−1,S−1) E\mathbf{M}^{-1} = \mathbf{F}\operatorname{diag}(\mA^{-1}, \mathbf{S}^{-1})\,\mathbf{E}。
  4. 将乘积展开。Fdiag⁡(A−1,S−1)\mathbf{F}\operatorname{diag}(\mA^{-1}, \mathbf{S}^{-1}) 的上块行为 (A−1, −A−1BS−1)(\mA^{-1},\, -\mA^{-1}\mathbf{B}\mathbf{S}^{-1})，下块行为 (0, S−1)(\mathbf{0},\, \mathbf{S}^{-1})；再右乘 E\mathbf{E}，即把第二块列右乘 −CA−1-\mathbf{C}\mA^{-1} 后加到第一块列上，由此得到式（B.3）的四个块。
  5. E\mathbf{E} 与 F\mathbf{F} 是对角元全为 1 的三角矩阵，行列式为 1；乘积的行列式又等于行列式的乘积（第 3.6 节）。于是由第 2 步得 det⁡M=det⁡A⋅det⁡S\det\mathbf{M} = \det\mA\cdot\det\mathbf{S}。

第一组并无特殊之处。改为先消去第二组，利用 D\mathbf{D} 的 Schur 补 T=A−BD−1C\mathbf{T} = \mA - \mathbf{B}\mathbf{D}^{-1}\mathbf{C}，同样的论证给出同一逆矩阵的第二种表达式：

M−1=[T−1Q′R′P′],P′=D−1+D−1C T−1BD−1,Q′=−T−1BD−1,R′=−D−1C T−1,\begin{aligned} \mathbf{M}^{-1} &= \begin{bmatrix} \mathbf{T}^{-1} & \mathbf{Q}' \\ \mathbf{R}' & \mathbf{P}' \end{bmatrix}, \\ \mathbf{P}' &= \mathbf{D}^{-1} + \mathbf{D}^{-1}\mathbf{C}\,\mathbf{T}^{-1}\mathbf{B}\mathbf{D}^{-1}, \\ \mathbf{Q}' &= -\mathbf{T}^{-1}\mathbf{B}\mathbf{D}^{-1}, \\ \mathbf{R}' &= -\mathbf{D}^{-1}\mathbf{C}\,\mathbf{T}^{-1}, \end{aligned}
(B.4)

且 det⁡M=det⁡D⋅det⁡T\det\mathbf{M} = \det\mathbf{D}\cdot\det\mathbf{T}。

书中用途。第 3.7.2 节逐步推导了对称情形 C=B⊤\mathbf{C} = \mathbf{B}^\T，并说明对称矩阵 M\mathbf{M} 正定当且仅当 A\mA 与 S\mathbf{S} 都正定。条件化后的高斯分布以 Schur 补为协方差，原因正在于式（B.3）的右下块为 S−1\mathbf{S}^{-1}（第 B.3 节）。取第二组为单个坐标，即得式（9.6）中的留一公式；为已分解的矩阵添加一行一列，即得第 3.7.3 节的 Cholesky 更新。

B.2 Woodbury 恒等式 #

M−1\mathbf{M}^{-1} 的两种表达式必须逐块相等。比较二者的左上块，便得到本附录中最有用的恒等式，它给出矩阵加上一个低秩矩阵之后其逆的变化。

定理 B.2 Woodbury 恒等式

设 Z\mathbf{Z} 为 n×nn \times n 矩阵，W\mW 为 m×mm \times m 矩阵，U\mathbf{U} 与 V\mathbf{V} 为 n×mn \times m 矩阵。则

(Z+UWV⊤)−1=Z−1−Z−1U N−1V⊤Z−1,where N=W−1+V⊤Z−1U.\begin{aligned} &\left(\mathbf{Z} + \mathbf{U}\mW\mathbf{V}^\T\right)^{-1} = \mathbf{Z}^{-1} - \mathbf{Z}^{-1}\mathbf{U}\,\mathbf{N}^{-1}\mathbf{V}^\T\mathbf{Z}^{-1}, \\ &\text{where } \mathbf{N} = \mW^{-1} + \mathbf{V}^\T\mathbf{Z}^{-1}\mathbf{U}. \end{aligned}
(B.5)
证明

取 A=Z\mA = \mathbf{Z}、B=−U\mathbf{B} = -\mathbf{U}、C=V⊤\mathbf{C} = \mathbf{V}^\T、D=W−1\mathbf{D} = \mW^{-1}，对相应的分块矩阵应用第 B.1 节的结果。

  1. A\mA 的 Schur 补为 S=W−1+V⊤Z−1U=N\mathbf{S} = \mW^{-1} + \mathbf{V}^\T\mathbf{Z}^{-1}\mathbf{U} = \mathbf{N}，由式（B.3），逆矩阵的左上块为 P=Z−1−Z−1U N−1V⊤Z−1\mathbf{P} = \mathbf{Z}^{-1} - \mathbf{Z}^{-1}\mathbf{U}\,\mathbf{N}^{-1}\mathbf{V}^\T\mathbf{Z}^{-1}。
  2. D\mathbf{D} 的 Schur 补为 T=Z+UWV⊤\mathbf{T} = \mathbf{Z} + \mathbf{U}\mW\mathbf{V}^\T，由式（B.4），逆矩阵的左上块为 T−1\mathbf{T}^{-1}。
  3. 矩阵的逆是唯一的，因此这两个块相等。

该恒等式也称为矩阵求逆引理（Rasmussen 与 Williams，2006，附录 A.3），其价值在于矩阵的尺寸。左边需要对 n×nn \times n 矩阵求逆；右边在已知 Z−1\mathbf{Z}^{-1} 时，只需对 m×mm \times m 矩阵 N\mathbf{N} 求逆。当 Z\mathbf{Z} 易于求逆（例如为对角矩阵）且 mm 远小于 nn 时，计算代价从 O(n3)O(n^3) 降到 O(nm2)O(nm^2)。

由同一分块矩阵还可以得到三个相关结果。

秩一情形。取 m=1m = 1、W=1\mW = 1，并以向量 u,v\mathbf{u}, \mathbf{v} 代替 U,V\mathbf{U}, \mathbf{V}，中间的逆即为一个数，由此得到 Sherman-Morrison 公式：

(Z+uv⊤)−1=Z−1−Z−1u v⊤Z−11+v⊤Z−1u.\left(\mathbf{Z} + \mathbf{u}\mathbf{v}^\T\right)^{-1} = \mathbf{Z}^{-1} - \frac{\mathbf{Z}^{-1}\mathbf{u}\,\mathbf{v}^\T\mathbf{Z}^{-1}}{1 + \mathbf{v}^\T\mathbf{Z}^{-1}\mathbf{u}}.
(B.6)

行列式。对同一分块矩阵，令第 B.1 节中的两个行列式公式相等，即得矩阵行列式引理（Rasmussen 与 Williams，2006，附录 A.3）：

det⁡(Z+UWV⊤)=det⁡Z det⁡W det⁡N.\det(\mathbf{Z} + \mathbf{U}\mW\mathbf{V}^\T) = \det\mathbf{Z}\,\det\mW\,\det\mathbf{N}.
(B.7)

推移恒等式。对任意 n×mn \times m 矩阵 X\mathbf{X} 与 m×nm \times n 矩阵 Y\mathbf{Y}，

(I+XY)−1X=X(I+YX)−1,\left(\mI + \mathbf{X}\mathbf{Y}\right)^{-1}\mathbf{X} = \mathbf{X}\left(\mI + \mathbf{Y}\mathbf{X}\right)^{-1},
(B.8)

这是因为 X(I+YX)=(I+XY)X\mathbf{X}(\mI + \mathbf{Y}\mathbf{X}) = (\mI + \mathbf{X}\mathbf{Y})\mathbf{X}，两边分别左乘、右乘相应的逆，便把这两个因子移到了等式另一侧。

例 B.1 权重空间与函数空间一致

第 5.4.2 节在权重空间中求出了含 MM 个特征的线性模型的后验：协方差为 Aw−1\mA_w^{-1}，其中 Aw=Σp−1+σn−2Φ⊤Φ\mA_w = \mSigma_p^{-1} + \sigma_n^{-2}\boldsymbol{\Phi}^\T\boldsymbol{\Phi} 是 M×MM \times M 矩阵；均值为 wˉ=σn−2Aw−1Φ⊤y\bar{\vw} = \sigma_n^{-2}\mA_w^{-1}\boldsymbol{\Phi}^\T\vy。第 8.3 节则在函数空间中用 n×nn \times n 矩阵 Ky=ΦΣpΦ⊤+σn2I\mK_y = \boldsymbol{\Phi}\mSigma_p\boldsymbol{\Phi}^\T + \sigma_n^2\mI 做预测。两者的预测必须相同，上述恒等式表明确实如此。

协方差：取 Z=Σp−1\mathbf{Z} = \mSigma_p^{-1}、U=V=Φ⊤\mathbf{U} = \mathbf{V} = \boldsymbol{\Phi}^\T、W=σn−2I\mW = \sigma_n^{-2}\mI，应用式（B.5）：

Aw−1=Σp−ΣpΦ⊤Ky−1ΦΣp.\mA_w^{-1} = \mSigma_p - \mSigma_p\boldsymbol{\Phi}^\T\mK_y^{-1}\boldsymbol{\Phi}\mSigma_p.

在等式两边用新输入的特征 ϕ∗\boldsymbol{\phi}_* 从左右两侧相乘。左边是权重空间中的预测方差 ϕ∗⊤Aw−1ϕ∗\boldsymbol{\phi}_*^\T\mA_w^{-1}\boldsymbol{\phi}_*；右边是 k(x∗,x∗)−k∗⊤Ky−1k∗k(\vx_*, \vx_*) - \vk_*^\T\mK_y^{-1}\vk_*，其中核函数为式（7.3）的 k(x,x′)=ϕ(x)⊤Σpϕ(x′)k(\vx, \vx') = \boldsymbol{\phi}(\vx)^\T\mSigma_p\boldsymbol{\phi}(\vx')，k∗=ΦΣpϕ∗\vk_* = \boldsymbol{\Phi}\mSigma_p\boldsymbol{\phi}_*。这正是式（8.6）。

均值：由定义，AwΣpΦ⊤=Φ⊤+σn−2Φ⊤ΦΣpΦ⊤=σn−2Φ⊤Ky\mA_w\mSigma_p\boldsymbol{\Phi}^\T = \boldsymbol{\Phi}^\T + \sigma_n^{-2}\boldsymbol{\Phi}^\T\boldsymbol{\Phi}\mSigma_p\boldsymbol{\Phi}^\T = \sigma_n^{-2}\boldsymbol{\Phi}^\T\mK_y。左乘 Aw−1\mA_w^{-1}、右乘 Ky−1\mK_y^{-1}，得 σn−2Aw−1Φ⊤=ΣpΦ⊤Ky−1\sigma_n^{-2}\mA_w^{-1}\boldsymbol{\Phi}^\T = \mSigma_p\boldsymbol{\Phi}^\T\mK_y^{-1}，即一个推移恒等式。于是 ϕ∗⊤wˉ=k∗⊤Ky−1y\boldsymbol{\phi}_*^\T\bar{\vw} = \vk_*^\T\mK_y^{-1}\vy，同样是式（8.6）。

权重空间要对 M×MM \times M 矩阵求逆，函数空间则要对 n×nn \times n 矩阵求逆（Rasmussen 与 Williams，2006，第 2.1.2 节）。特征少而观测多时，权重空间的计算代价更低；特征有无穷多个时，只能采用函数空间（第 7.2 节）。

书中用途。除上例之外，式（B.6）还为习题 8.2 提供了第二种解法（习题 B.1）。低秩近似使高斯过程能够处理大数据集（第 8.4 节），这类方法以 mm 个诱导点代替 nn 个观测，应用的正是式（B.5）与式（B.7）（Quiñonero-Candela 与 Rasmussen，2005）。

第 B.2 节引用的文献 2
  1. Rasmussen 与 Williams（2006）Gaussian Processes for Machine Learning
  2. Quiñonero-Candela 与 Rasmussen（2005）A Unifying View of Sparse Approximate Gaussian Process Regression

B.3 高斯分布的条件化 #

将高斯向量分为两块，沿用式（4.12）的记号：

[ab]∼N ⁣([μaμb],  [ΣaaΣabΣab⊤Σbb]).\begin{bmatrix} \mathbf{a} \\ \mathbf{b} \end{bmatrix} \sim \N\!\left( \begin{bmatrix} \vmu_a \\ \vmu_b \end{bmatrix},\; \begin{bmatrix} \mSigma_{aa} & \mSigma_{ab} \\ \mSigma_{ab}^\T & \mSigma_{bb} \end{bmatrix} \right).

有两种运算可将其化为关于其中一块的陈述，结果都是高斯分布。

定理 B.3 高斯分布的边际分布与条件分布

a\mathbf{a} 的边际分布为 N(μa,Σaa)\N(\vmu_a, \mSigma_{aa})。给定 a\mathbf{a} 时 b\mathbf{b} 的条件分布是高斯分布，

b ∣ a∼N ⁣(μb∣a, Σb∣a),μb∣a=μb+Σab⊤Σaa−1(a−μa),Σb∣a=Σbb−Σab⊤Σaa−1Σab.\begin{aligned} \mathbf{b} \given \mathbf{a} &\sim \N\!\left(\vmu_{b \mid a},\, \mSigma_{b \mid a}\right), \\ \vmu_{b \mid a} &= \vmu_b + \mSigma_{ab}^\T\mSigma_{aa}^{-1}(\mathbf{a} - \vmu_a), \\ \mSigma_{b \mid a} &= \mSigma_{bb} - \mSigma_{ab}^\T\mSigma_{aa}^{-1}\mSigma_{ab}. \end{aligned}
(B.9)

若用精度矩阵 Λ=Σ−1\bm{\Lambda} = \mSigma^{-1}（按同样方式分块）表示，条件分布的精度为 Λbb\bm{\Lambda}_{bb}，均值为 μb−Λbb−1Λab⊤(a−μa)\vmu_b - \bm{\Lambda}_{bb}^{-1}\bm{\Lambda}_{ab}^\T(\mathbf{a} - \vmu_a)。

证明

边际分布对应保留 a\mathbf{a}、丢弃 b\mathbf{b} 的线性映射；高斯变量经线性映射后仍为高斯变量，均值与协方差随之映射（式（4.9））。

再看条件分布。给定 a\mathbf{a} 时，b\mathbf{b} 的密度作为 b\mathbf{b} 的函数正比于联合密度，而联合密度的对数为 −12(x−μ)⊤Λ(x−μ)-\tfrac12(\vx - \vmu)^\T\bm{\Lambda}(\vx - \vmu) 加一个常数。合并含 b\mathbf{b} 的项，余下一个二次型，其精度为 Λbb\bm{\Lambda}_{bb}，均值即上文以精度形式给出的均值。对 Σ\mSigma 应用定理 B.1，Schur 补为 S=Σbb−Σab⊤Σaa−1Σab\mathbf{S} = \mSigma_{bb} - \mSigma_{ab}^\T\mSigma_{aa}^{-1}\mSigma_{ab}，精度矩阵的块为 Λbb=S−1\bm{\Lambda}_{bb} = \mathbf{S}^{-1} 与 Λab⊤=−S−1Σab⊤Σaa−1\bm{\Lambda}_{ab}^\T = -\mathbf{S}^{-1}\mSigma_{ab}^\T\mSigma_{aa}^{-1}。代入即得协方差 S\mathbf{S} 与均值偏移 Σab⊤Σaa−1(a−μa)\mSigma_{ab}^\T\mSigma_{aa}^{-1}(\mathbf{a} - \vmu_a)。第 4.5.2 节完成了每一步的计算，并给出了不借助精度矩阵的另一种证明。

式（B.9）的三个特点在全书中反复出现：条件均值是观测块的线性函数；条件协方差完全不依赖于观测值；条件协方差等于先验协方差减去一个半正定矩阵，因此观测只会减少不确定性。

本书的多数模型并非以联合高斯分布的形式给出，而是由高斯先验与观测构成，观测等于未知量的线性函数加高斯噪声。下面的结果实现两种形式之间的转换。

定理 B.4 线性高斯对

设 a∼N(μ,Σ)\mathbf{a} \sim \N(\vmu, \mSigma)，b ∣ a∼N(Ha+c, R)\mathbf{b} \given \mathbf{a} \sim \N(\mathbf{H}\mathbf{a} + \mathbf{c},\, \mathbf{R})。则 a\mathbf{a} 与 b\mathbf{b} 服从联合高斯分布，且

E[b]=Hμ+c,Cov⁡[b]=HΣH⊤+R,Cov⁡[a,b]=ΣH⊤,\begin{aligned} \E[\mathbf{b}] &= \mathbf{H}\vmu + \mathbf{c}, \\ \Cov[\mathbf{b}] &= \mathbf{H}\mSigma\mathbf{H}^\T + \mathbf{R}, \\ \Cov[\mathbf{a}, \mathbf{b}] &= \mSigma\mathbf{H}^\T, \end{aligned}
(B.10)

给定 b\mathbf{b} 时 a\mathbf{a} 的后验是高斯分布，且

E[a ∣ b]=μ+G (b−Hμ−c),Cov⁡[a ∣ b]=Σ−G HΣ,G=ΣH⊤(HΣH⊤+R)−1.\begin{aligned} \E[\mathbf{a} \given \mathbf{b}] &= \vmu + \mathbf{G}\,(\mathbf{b} - \mathbf{H}\vmu - \mathbf{c}), \\ \Cov[\mathbf{a} \given \mathbf{b}] &= \mSigma - \mathbf{G}\,\mathbf{H}\mSigma, \\ \mathbf{G} &= \mSigma\mathbf{H}^\T\left(\mathbf{H}\mSigma\mathbf{H}^\T + \mathbf{R}\right)^{-1}. \end{aligned}
(B.11)
证明

记 b=Ha+c+e\mathbf{b} = \mathbf{H}\mathbf{a} + \mathbf{c} + \mathbf{e}，其中 e∼N(0,R)\mathbf{e} \sim \N(\mathbf{0}, \mathbf{R}) 与 a\mathbf{a} 独立。(a,e)(\mathbf{a}, \mathbf{e}) 的两部分是相互独立的高斯变量，因而服从联合高斯分布；(a,b)(\mathbf{a}, \mathbf{b}) 是它的线性映射，所以同样服从联合高斯分布。其矩由线性性得出：Cov⁡[a,b]=Cov⁡[a,Ha]=ΣH⊤\Cov[\mathbf{a}, \mathbf{b}] = \Cov[\mathbf{a}, \mathbf{H}\mathbf{a}] = \mSigma\mathbf{H}^\T；Cov⁡[b]=HΣH⊤+R\Cov[\mathbf{b}] = \mathbf{H}\mSigma\mathbf{H}^\T + \mathbf{R}，因为 b\mathbf{b} 的两个独立部分的协方差相加。后验即互换两块角色后的式（B.9）。

书中用途。在观测输入上取 H=I\mathbf{H} = \mI、R=σn2I\mathbf{R} = \sigma_n^2\mI，式（B.10）即为带噪声的高斯过程回归背后的联合分布（第 8.3 节），其中间一式即边际似然中的协方差 Ky\mK_y（第 9.3 节）。取 H=Φ\mathbf{H} = \boldsymbol{\Phi}，则得到贝叶斯线性回归（第 5.4 节），即例 B.1 中的函数空间形式。矩阵 G\mathbf{G} 称为增益，它把观测中出乎预期的部分转化为对先验均值的修正。

B.4 高斯密度的乘积 #

同一变量上的两个高斯密度相乘，结果仍呈高斯形状，只差一个常数因子。记 N(x; μ,Σ)\N(\vx;\, \vmu, \mSigma) 为均值为 μ\vmu、协方差为 Σ\mSigma 的高斯密度在 x\vx 处的值。

定理 B.5 两个高斯密度的乘积
N(x; μ1,Σ1)  N(x; μ2,Σ2)=Z  N(x; μ,Σ),\N(\vx;\, \vmu_1, \mSigma_1)\;\N(\vx;\, \vmu_2, \mSigma_2) = Z\;\N(\vx;\, \vmu, \mSigma),
(B.12)

其中 Σ=(Σ1−1+Σ2−1)−1\mSigma = \left(\mSigma_1^{-1} + \mSigma_2^{-1}\right)^{-1}，μ=Σ(Σ1−1μ1+Σ2−1μ2)\vmu = \mSigma\left(\mSigma_1^{-1}\vmu_1 + \mSigma_2^{-1}\vmu_2\right)，Z=N(μ1; μ2, Σ1+Σ2)Z = \N(\vmu_1;\, \vmu_2,\, \mSigma_1 + \mSigma_2)。

证明

将这一乘积视为一个模型。令 x∼N(μ1,Σ1)\vx \sim \N(\vmu_1, \mSigma_1)，y ∣ x∼N(x,Σ2)\vy \given \vx \sim \N(\vx, \mSigma_2)。

  1. 联合密度为 p(x) p(y ∣ x)=N(x; μ1,Σ1) N(y; x,Σ2)p(\vx)\,p(\vy \given \vx) = \N(\vx;\, \vmu_1, \mSigma_1)\,\N(\vy;\, \vx, \mSigma_2)。高斯密度对自变量与均值的依赖只通过二者之差，所以 N(y; x,Σ2)=N(x; y,Σ2)\N(\vy;\, \vx, \mSigma_2) = \N(\vx;\, \vy, \mSigma_2)。在 y=μ2\vy = \vmu_2 处，联合密度就是式（B.12）的左边。
  2. 同一联合密度也可以按另一顺序分解为 p(y) p(x ∣ y)p(\vy)\,p(\vx \given \vy)。由定理 B.4，取 H=I\mathbf{H} = \mI、c=0\mathbf{c} = \mathbf{0}、R=Σ2\mathbf{R} = \mSigma_2，得 p(y)=N(y; μ1,Σ1+Σ2)p(\vy) = \N(\vy;\, \vmu_1, \mSigma_1 + \mSigma_2)，而 p(x ∣ y)p(\vx \given \vy) 是高斯分布，协方差为 Σ1−Σ1(Σ1+Σ2)−1Σ1\mSigma_1 - \mSigma_1(\mSigma_1 + \mSigma_2)^{-1}\mSigma_1，均值为 μ1+Σ1(Σ1+Σ2)−1(y−μ1)\vmu_1 + \mSigma_1(\mSigma_1 + \mSigma_2)^{-1}(\vy - \vmu_1)。
  3. 在 y=μ2\vy = \vmu_2 处，第一个因子就是常数 ZZ。
  4. 由式（B.5），取 Z=Σ1−1\mathbf{Z} = \mSigma_1^{-1}、U=V=I\mathbf{U} = \mathbf{V} = \mI、W=Σ2−1\mW = \mSigma_2^{-1}，第 2 步中的协方差等于 (Σ1−1+Σ2−1)−1=Σ(\mSigma_1^{-1} + \mSigma_2^{-1})^{-1} = \mSigma。
  5. 由第 4 步，ΣΣ1−1=I−Σ1(Σ1+Σ2)−1\mSigma\mSigma_1^{-1} = \mI - \mSigma_1(\mSigma_1 + \mSigma_2)^{-1}；又因 Σ(Σ1−1+Σ2−1)=I\mSigma(\mSigma_1^{-1} + \mSigma_2^{-1}) = \mI，有 ΣΣ2−1=Σ1(Σ1+Σ2)−1\mSigma\mSigma_2^{-1} = \mSigma_1(\mSigma_1 + \mSigma_2)^{-1}。所以第 2 步中的均值在 y=μ2\vy = \vmu_2 处为 ΣΣ1−1μ1+ΣΣ2−1μ2=μ\mSigma\mSigma_1^{-1}\vmu_1 + \mSigma\mSigma_2^{-1}\vmu_2 = \vmu。

由这一证明可以理解结果的三个部分。精度相加，是因为关于同一个量的两份独立证据合并在了一起。均值是两个均值以精度为权重的加权平均。常数 ZZ 是第一个高斯分布经第二个高斯分布模糊之后，在第二个高斯分布中心处的概率密度：两个密度重叠时该值较大，不重叠时极小。第 4.6.2 节用配方法推导了一维情形，并配有图示。

例 B.2 一个变量上的两个鼓包

第 7.2.1 节需要计算两个未归一化鼓包之积 e−(x−c)2/2s2 e−(x′−c)2/2s2e^{-(x - c)^2/2s^2}\,e^{-(x' - c)^2/2s^2} 对 cc 的积分。作为 cc 的函数，每个鼓包都是 2πs2\sqrt{2\pi s^2} 乘以方差为 s2s^2 的高斯密度，两者的中心分别为 xx 与 x′x'。由式（B.12），乘积为

2πs2⋅N(x; x′, 2s2)⋅N ⁣(c; x+x′2, s22).2\pi s^2 \cdot \N(x;\, x',\, 2s^2) \cdot \N\!\left(c;\, \tfrac{x + x'}{2},\, \tfrac{s^2}{2}\right).

最后一个因子对 cc 的积分为 1，所以积分值为 2πs2 N(x; x′,2s2)=sπ  e−(x−x′)2/4s22\pi s^2\,\N(x;\, x', 2s^2) = s\sqrt{\pi}\; e^{-(x - x')^2/4s^2}，与该节用配方法求得的结果相同。径向基函数核正是两个鼓包之积中的常数 ZZ。

书中用途。高斯先验与高斯似然下的贝叶斯定理即为式（B.12），其中 ZZ 为模型证据（第 5.6 节）。期望传播（第 17.3 节）依据同一规则逐个乘、除高斯因子。

B.5 两个高斯变量的期望最大值 #

有几个采集函数需要计算两个不确定量中较大者的期望值：期望改进比较一个不确定的值与一个已知的值（第 12.3 节），最优选项期望效用比较效用的两个不确定的值（第 19.4 节）。当这两个量服从联合高斯分布时，该期望有闭式解。

定理 B.6 两个高斯变量的期望最大值

设 AA 与 BB 服从联合高斯分布，均值为 μA,μB\mu_A, \mu_B，方差为 vA,vBv_A, v_B，协方差为 cc。记 δ=μA−μB\delta = \mu_A - \mu_B，s2=vA+vB−2cs^2 = v_A + v_B - 2c 为 A−BA - B 的方差。若 s>0s > 0，则

E[max⁡{A,B}]=μA Φ(α)+μB Φ(−α)+s ϕ(α),α=δ/s,\begin{aligned} \E[\max\{A, B\}] ={}& \mu_A\,\Phi(\alpha) + \mu_B\,\Phi(-\alpha) \\ &+ s\,\phi(\alpha), \qquad \alpha = \delta / s, \end{aligned}
(B.13)

其中 ϕ\phi 与 Φ\Phi 分别是标准正态分布的密度与分布函数。若 s=0s = 0，期望为 max⁡{μA,μB}\max\{\mu_A, \mu_B\}。

证明
  1. 对任意两个数，max⁡{A,B}=B+max⁡{A−B,0}\max\{A, B\} = B + \max\{A - B, 0\}。
  2. D=A−BD = A - B 是高斯向量的线性映射，因而服从高斯分布（式（4.9）），均值为 δ\delta，方差为 Var⁡[A]+Var⁡[B]−2Cov⁡[A,B]=s2\Var[A] + \Var[B] - 2\Cov[A, B] = s^2。
  3. 若 s>0s > 0，记 D=δ+sZD = \delta + sZ，其中 ZZ 服从标准正态分布。仅当 Z>−δ/sZ > -\delta/s 时 max⁡{D,0}\max\{D, 0\} 不为零，因此 E[max⁡{D,0}]=∫−δ/s∞(δ+sz) ϕ(z) dz\E[\max\{D, 0\}] = \int_{-\delta/s}^{\infty}(\delta + sz)\,\phi(z)\,\dd z。第一部分为 δ (1−Φ(−δ/s))=δ Φ(δ/s)\delta\,(1 - \Phi(-\delta/s)) = \delta\,\Phi(\delta/s)。第二部分：由 ϕ′(z)=−z ϕ(z)\phi'(z) = -z\,\phi(z)，z ϕ(z)z\,\phi(z) 的原函数为 −ϕ(z)-\phi(z)，z ϕ(z)z\,\phi(z) 从 −δ/s-\delta/s 到无穷的积分为 ϕ(−δ/s)=ϕ(δ/s)\phi(-\delta/s) = \phi(\delta/s)。于是 E[max⁡{D,0}]=δ Φ(δ/s)+s ϕ(δ/s)\E[\max\{D, 0\}] = \delta\,\Phi(\delta/s) + s\,\phi(\delta/s)。
  4. 由期望的线性性与第 1 步，E[max⁡{A,B}]=μB+δ Φ(δ/s)+s ϕ(δ/s)\E[\max\{A, B\}] = \mu_B + \delta\,\Phi(\delta/s) + s\,\phi(\delta/s)。由于 μB+δ Φ(δ/s)=μAΦ(δ/s)+μB(1−Φ(δ/s))\mu_B + \delta\,\Phi(\delta/s) = \mu_A\Phi(\delta/s) + \mu_B(1 - \Phi(\delta/s))，且 1−Φ(t)=Φ(−t)1 - \Phi(t) = \Phi(-t)，这就是式（B.13）。
  5. 若 s=0s = 0，DD 等于常数 δ\delta，max⁡{A,B}=B+max⁡{δ,0}\max\{A, B\} = B + \max\{\delta, 0\} 的期望为 max⁡{μA,μB}\max\{\mu_A, \mu_B\}。

该公式出自 Clark（1961）。这篇论文对相关系数任意的两个联合正态变量给出了精确结果，并通过反复应用该结果，给出多于两个变量时的近似。第 3 步正是期望改进背后的计算，第 12.3 节逐步完成了这一计算（式（12.4））。

该公式可以逐项解读。Φ(δ/s)\Phi(\delta/s) 是 AA 超过 BB 的概率，所以前两项是两个均值的加权平均，权重为相应变量较大的概率。第三项是由于不知道哪个较大而获得的额外收益，它对不确定性的依赖只通过 ss。书中用到由此得出的四个推论。

  • 从不低于较优均值。max⁡{D,0}≥D\max\{D, 0\} \ge D 且 max⁡{D,0}≥0\max\{D, 0\} \ge 0，所以 E[max⁡{D,0}]≥max⁡{δ,0}\E[\max\{D, 0\}] \ge \max\{\delta, 0\}，进而 E[max⁡{A,B}]≥max⁡{μA,μB}\E[\max\{A, B\}] \ge \max\{\mu_A, \mu_B\}。
  • 随 ss 递增。将第 3 步的结果对 ss 求导，来自 Φ\Phi 的项与来自 ϕ′\phi' 的项相互抵消，恰好余下 ϕ(δ/s)>0\phi(\delta/s) > 0。关于两者之差的不确定性越大，价值总是越高。
  • 相关性只通过 ss 起作用。AA 与 BB 正相关会降低 ss，从而降低期望最大值；负相关则使之升高。同涨同落的两个选项，几乎没有选择的余地。
  • 均值相等。δ=0\delta = 0 时公式化为 μ+s/2π\mu + s/\sqrt{2\pi}：额外收益约为 0.4 s0.4\,s。

下图展示最大值的完整分布，式（B.13）给出的正是该分布的均值。

A 的密度B 的密度max(A, B) 的密度0.00.20.40.60.8密度−4−2024取值较优均值E[max]E[max(A, B)] = 0.674（Clark 公式），0.674（对密度数值积分）· 较优均值 0.40 · 额外收益 0.274 · s = 1.12
A 的密度B 的密度max(A, B) 的密度0.00.20.40.60.8密度−4−2024取值较优均值E[max]E[max(A, B)] = 0.674（公式），0.674（积分）较优均值 0.40 · 额外收益 0.274 · s = 1.12
图 B.1 两个联合高斯值的最大值。细曲线：AA 与 BB 的密度。阴影：max⁡{A,B}\max\{A, B\} 的精确密度。竖直实线为其均值，即式（B.13）；虚线为两个均值中较优者。读数以阴影密度的数值积分检验该公式，并给出超出较优均值的额外收益。

按下“均值相等”。额外收益为 s/2πs/\sqrt{2\pi}：标准差分别为 1 与 0.5、不相关时，s=1.12s = 1.12，额外收益为 0.446。

把“相关系数 ρ”调向 0.95。额外收益随 ss 一同缩小。两个标准差相等且相关系数接近 1 时，两个值同步变化，其差几乎为常数，最大值的期望几乎恰好等于较优均值。

把相关系数调向 −0.95-0.95。此时一个值高时另一个值低，最大值几乎总是远高于两个均值，额外收益达到最大。

按下“一个确定的选项”。BB 近乎常数时，阴影密度就是将 AA 的密度中低于 BB 的部分全部堆积到 BB 处所得的密度，其均值为 μB\mu_B 加上 AA 相对于 μB\mu_B 的期望改进。期望改进正是式（B.13）在两个值之一已知时的特例。

书中用途。式（B.13）就是式（19.3），即一对选项的 EUBO 闭式解，其中 AA 与 BB 为两个选项的后验效用。只有两个输入参与时，它也是知识梯度（第 12.6 节）。此时两个值是同一标准正态变量的线性函数，因而完全相关，定理依然适用，只需取 ss 为二者斜率之差的绝对值。

第 B.5 节引用的文献 1
  1. Clark（1961）The Greatest of a Finite Set of Random Variables

B.6 习题 #

习题 B.1

令 1\mathbf{1} 为由 nn 个 1 组成的向量。用式（B.6）计算 (σ2I+11⊤)−11(\sigma^2\mI + \mathbf{1}\mathbf{1}^\T)^{-1}\mathbf{1}，并由此求出：在单位幅度的核下，于 x0x_0 处做 nn 次带噪声观测之后，x0x_0 处的后验方差（与习题 8.2 相同）。

解答

取 Z=σ2I\mathbf{Z} = \sigma^2\mI、u=v=1\mathbf{u} = \mathbf{v} = \mathbf{1}，则 Z−11=1/σ2\mathbf{Z}^{-1}\mathbf{1} = \mathbf{1}/\sigma^2，1⊤Z−11=n/σ2\mathbf{1}^\T\mathbf{Z}^{-1}\mathbf{1} = n/\sigma^2。于是

(σ2I+11⊤)−11=1σ2−1 (n/σ2)σ2 (1+n/σ2)=1σ2⋅11+n/σ2=1σ2+n.\begin{aligned} (\sigma^2\mI + \mathbf{1}\mathbf{1}^\T)^{-1}\mathbf{1} &= \frac{\mathbf{1}}{\sigma^2} - \frac{\mathbf{1}\,(n/\sigma^2)}{\sigma^2\,(1 + n/\sigma^2)} \\ &= \frac{\mathbf{1}}{\sigma^2}\cdot\frac{1}{1 + n/\sigma^2} = \frac{\mathbf{1}}{\sigma^2 + n}. \end{aligned}

所有核函数值都是 1，所以 K=11⊤\mK = \mathbf{1}\mathbf{1}^\T，k(x0)=1\vk(x_0) = \mathbf{1}，式（8.6）的后验方差为 1−1⊤1/(σ2+n)=σ2/(σ2+n)1 - \mathbf{1}^\T\mathbf{1}/(\sigma^2 + n) = \sigma^2/(\sigma^2 + n)。

习题 B.2

用式（B.7）计算 nn 个观测时 σ2I+11⊤\sigma^2\mI + \mathbf{1}\mathbf{1}^\T 的行列式，并由此求出式（9.4）中的复杂度项 −12log⁡∣Ky∣-\tfrac12\log\lvert\mK_y\rvert，其中核为单位幅度、长度尺度无穷长。再与长度尺度很短的情形比较，此时 Ky=(1+σ2)I\mK_y = (1 + \sigma^2)\mI。

解答

取 Z=σ2I\mathbf{Z} = \sigma^2\mI、U=V=1\mathbf{U} = \mathbf{V} = \mathbf{1}、W=1\mW = 1：det⁡(σ2I+11⊤)=σ2n (1+n/σ2)=σ2(n−1)(σ2+n)\det(\sigma^2\mI + \mathbf{1}\mathbf{1}^\T) = \sigma^{2n}\,(1 + n/\sigma^2) = \sigma^{2(n-1)}(\sigma^2 + n)。复杂度项为 −12[(n−1)log⁡σ2+log⁡(σ2+n)]-\tfrac12\left[(n - 1)\log\sigma^2 + \log(\sigma^2 + n)\right]。噪声小时，该项是很大的正数：n=7n = 7、σ=0.1\sigma = 0.1 时为 −12[6×(−4.61)+1.95]=12.8-\tfrac12\left[6 \times (-4.61) + 1.95\right] = 12.8。长度尺度很短时，行列式为 (1+σ2)n(1 + \sigma^2)^n，该项为 −n2log⁡(1+σ2)=−0.03-\tfrac{n}{2}\log(1 + \sigma^2) = -0.03。长的长度尺度所受的复杂度惩罚小得多，因为它预期所有观测几乎相等，而这只占数据集空间中很薄的一片。除非观测确实几乎相等，否则它会在数据拟合项上受到惩罚。

习题 B.3

设 AA 与 BB 是相互独立的标准正态变量。（a）用式（B.13）求 E[max⁡{A,B}]\E[\max\{A, B\}]。（b）不经积分，证明 E[max⁡{A,B}2]=1\E[\max\{A, B\}^2] = 1，并求最大值的方差。（c）在图 B.1 中核对这两个数。

解答

（a）δ=0\delta = 0，s2=2s^2 = 2，所以期望为 s ϕ(0)=2/2π=1/π≈0.564s\,\phi(0) = \sqrt{2}/\sqrt{2\pi} = 1/\sqrt{\pi} \approx 0.564。（b）max⁡{A,B}2+min⁡{A,B}2=A2+B2\max\{A, B\}^2 + \min\{A, B\}^2 = A^2 + B^2，其期望为 2。(−A,−B)(-A, -B) 与 (A,B)(A, B) 同分布，且 min⁡{A,B}=−max⁡{−A,−B}\min\{A, B\} = -\max\{-A, -B\}，所以 min⁡{A,B}2\min\{A, B\}^2 与 max⁡{A,B}2\max\{A, B\}^2 的期望相同，都等于 1。方差为 1−1/π≈0.6821 - 1/\pi \approx 0.682：两次抽样的最大值，其变异性比任何一次单独的抽样都小。（c）把两个均值都设为 0，两个标准差都设为 1，相关系数设为 0。读数为 0.564，阴影密度明显比两条细曲线窄。

延伸阅读 #

参考文献

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  2. Clark, C. E. (1961). The Greatest of a Finite Set of Random Variables. Operations Research. 引用于 §B.5
  3. Golub, G. H., and Van Loan, C. F. (2013). Matrix Computations. Johns Hopkins University Press.
  4. Petersen, K. B., and Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark. 非同行评审
  5. Quiñonero-Candela, J., and Rasmussen, C. E. (2005). A Unifying View of Sparse Approximate Gaussian Process Regression. Journal of Machine Learning Research. 引用于 §B.2
  6. Rasmussen, C. E., and Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press. 引用于 §B.2