函数上的分布

第 6 章的最后几节借用了一个本书尚未构建的模型，即高斯过程。本部分从上一个完整构建的模型出发，构建高斯过程。第 5.4 节用贝叶斯方法拟合了一条直线：在直线的两个权重上设定高斯先验，观测几个带噪声的点，得到的权重后验仍是高斯分布，并有闭式解。由此得到的每个量，包括预测、预测的不确定性以及随机抽取的合理直线，都来自对高斯分布的几行代数运算。

问题在于直线本身。贯穿全书的示例目标函数左侧是一座宽阔的山丘，右侧是一座更窄也更高的峰（第 1.2 节）；真实的目标函数，例如验证准确率或人的舒适度，也无法保证是直线。我们希望保留这套代数，舍弃直线。

本章分三步实现这一目标。第一步，为线性模型引入许多特征，使其能够弯曲，并考察在模型的先验下函数值服从什么分布。第二步，注意到这一先验仅通过一个双输入函数（即核函数）依赖于特征，于是令特征数目无限增长，直到只剩下核函数。第三步，把剩下的部分作为定义，即高斯过程：一种样本为整个函数的概率分布。本章最后从这一分布中抽取函数，并解读每种核函数选择对待求函数作出了怎样的假定。随后，第 8 章以数据为条件更新这一先验。

7.1 从权重到函数 #

把直线写成 $f(x) = w_1 + w_2 x$：两个权重分别乘以输入的一个固定函数，即常数 $1$ 和 $x$ 本身。贝叶斯线性回归在权重向量 $\vw$ 上设定高斯先验，对模型别无其他要求，因为函数关于 $\vw$ 是线性的。代数运算之所以可行，靠的正是这种线性；而这一过程并不要求两个固定函数必须是 $1$ 和 $x$。

于是把它们换成输入的任意 $M$ 个固定函数 $\phi_1, \dots, \phi_M$，称为特征（features）或基函数（basis functions），并保留权重：

其中 $\boldsymbol{\phi}(\vx) = (\phi_1(\vx), \dots, \phi_M(\vx))^\T$ 由同一输入的各个特征堆叠而成，$\mSigma_p$ 是权重的先验协方差（下标 p 表示先验，即 prior）。模型关于 $\vw$ 仍是线性的，因此第 5.4 节中的高斯计算全部适用，改变的只有特征。

特征如何选取？多项式和正弦函数都是常见的选择，本章使用鼓包。对一维输入 $x$，第 $j$ 个鼓包是以点 $c_j$ 为中心的高斯形函数，所有鼓包的宽度同为 $s$：

鼓包的加权和在权重为正处隆起，在权重为负处下凹。只要鼓包足够多、排得足够密，加权和几乎可以构成任何光滑的形状。

7.1.1 权重上的先验就是函数上的先验 #

从先验中抽取一个权重向量，模型就成为一个特定的函数；再抽取一次，又得到另一个函数。因此，无需任何额外假设，权重上的先验就是函数上的先验。要了解这一先验的信念，最直接的方法是从中抽取样本。

先看阴影带。有六个鼓包时，阴影带在每个鼓包上方鼓起，在鼓包之间收窄：模型确信 $f$ 在两个中心的中点附近接近零，唯一的理由是那里没有特征。抽取的函数也继承了这一模式：在中心上方大幅摆动，在间隙中向零下垂。没有人会这样看待目标函数。这只是特征恰好所在位置造成的假象，第 7.2 节将消除它。

7.1.2 函数值的先验分布 #

为了精确描述先验的信念，考察函数在有限个输入 $\vx_1, \dots, \vx_n$ 处的取值。将这些值堆叠成向量 $\vf = (f(\vx_1), \dots, f(\vx_n))^\T$，再将这些输入的特征堆叠成 $n \times M$ 矩阵 $\boldsymbol{\Phi}$，其第 $i$ 行为 $\boldsymbol{\phi}(\vx_i)^\T$。对每个输入依次应用式（7.1），得到 $\vf = \boldsymbol{\Phi}\vw$：函数值是权重的线性映射。

因此任意 $n$ 个输入处的函数值服从联合高斯分布，

协方差的每个元素都具有相同的形式：

本章余下的内容建立在这一结果的两个特点之上。其一，权重消失了。函数值的分布完全由 $k$ 表述；这一函数以两个输入为自变量，返回函数在这两处取值的协方差。其二，输入的个数和位置都不受限制。任何有限的输入列表都对应一个联合高斯分布，而这些高斯分布都由同一个 $k$ 构造。

图 7.1 下方的条带对固定的 $x_0$ 画出 $k(x_0, x)$ 随 $x$ 的变化，即 $f(x_0)$ 与其他各输入处取值的协方差。把 $x_0$ 拖到某个鼓包的中心，曲线又高又窄；拖到两个中心之间，曲线随之缩小。在这一模型中，两个值的关联强度不仅取决于两者的距离，还取决于它们所在的位置。

7.2 核函数 #

鼓包模型有两个缺陷，上面的例子刚刚指出了第二个。第一，模型的信念取决于鼓包的位置，图 7.1 中收窄的阴影带说明了这一点。第二，$M$ 个特征只提供 $M$ 个自由度，输入多于 $M$ 个时协方差矩阵是奇异的：先验对某些取值组合确信无疑，却并无理由如此确信。两个缺陷的解决办法相同：使用更多鼓包，排得更密，直至成为连续统。

这一办法听起来代价高昂：若有一百万个特征，每个输入都要计算一百万次才能得到 $\boldsymbol{\phi}(x)$。然而，式（7.2）从不需要特征本身，只需要特征的内积（式（7.3））。只要内积能直接算出，特征的数目就无关紧要。鼓包的内积确实可以写成闭式。

7.2.1 无穷多个鼓包 #

在整条实数轴上以间距 $\Delta$ 均匀放置中心，各权重相互独立、方差均为 $\sigma_w^2$，于是 $\mSigma_p = \sigma_w^2 \mI$。每增加一个鼓包，方差都会增加，因此间距缩小时，权重方差必须按比例缩小，否则函数会无限增大。取 $\sigma_w^2 = \Delta / (s\sqrt{\pi})$，这一常数恰好使下面的结果具有单位方差。

第 3 步用到一个事实：两个高斯鼓包之积仍是高斯鼓包；一般规则见第 B.4 节。记 $\ell = \sqrt{2}\,s$，再把每个权重方差都乘以常数 $\sigma_f^2$，$k$ 也随之乘以 $\sigma_f^2$。结果为

这就是径向基函数（RBF）核（radial basis function kernel），也称平方指数核（squared exponential kernel），第 8 章使用的正是这一核函数。径向基函数核支持向量机以同一公式作为相似度度量；这种分类器的核宽度在第 22 章中用贝叶斯优化调节。这是一个标准构造（Rasmussen 与 Williams，2006，第 4.2.1 节）。若输入有多个坐标，在每个方向上都放置鼓包，会得到同样的公式，只是 $(x - x')^2$ 换成平方距离 $\lVert \vx - \vx' \rVert^2$。

整个特征模型最终只剩下两个数。长度尺度（lengthscale）$\ell$ 表示两个输入相距多远时，其取值才变得几乎无关：核函数在距离 $\ell$ 处降到峰值的 $0.61$，在 $2\ell$ 处降到 $0.14$，在 $3\ell$ 处降到 $0.011$。幅度（amplitude）$\sigma_f$ 表示函数取值的大小：$k(x, x) = \sigma_f^2$ 是 $f$ 在任一输入处的先验方差。$\sigma_f = 1$ 的核函数称为具有单位幅度，第 8 章的大部分内容采用这一设定。

下图仍是图 7.1 中的模型，只是特征数目可以调节。读数给出在所有输入上，鼓包诱导的协方差与极限（式（7.4））之间的最大差距。

下面几个实验展示极限的逼近过程。

从 4 个特征开始。阴影带时而鼓起、时而收窄；把 $x_0$ 拖过一个鼓包时，条带中的实线随之变形。与径向基函数核的差距和核函数本身相当，甚至更大。

逐步增加到 16 个。到 12 个特征时，阴影带已几乎平坦，差距约为 0.1；到 16 个时，差距低于 0.01，函数看上去与 ∞ 处抽取的函数无异，而 ∞ 处根本没有特征。

把长度尺度缩短到 0.05。鼓包变窄，16 个已不够用，阴影带重新出现收窄。所需鼓包的数目大致等于定义域宽度除以单个鼓包的宽度。

最后一个实验说明了实践中为什么要直接使用核函数。在 $[0, 1]$ 上取 $\ell = 0.1$，几十个鼓包就已足够。但输入为 $d$ 维时，鼓包必须铺满 $d$ 维网格，数目是每个轴上鼓包数的 $d$ 次方：10 维中每个轴 16 个鼓包，就是 $16^{10} \approx 10^{12}$ 个特征。而核函数（式（7.4））无论维度多高，对每一对输入只需 $d$ 次减法和一次指数运算。

用直接计算内积的函数代替显式的特征列表，称为核技巧（kernel trick）（Rasmussen 与 Williams，2006，第 2.1.2 节）。核技巧贯穿本书余下的部分。第 8.1 节将表明，基于数据的预测同样只需要核函数，别无其他。

7.2.2 哪些函数可以作为核函数 #

不再写出特征之后，就需要知道哪些函数 $k$ 可以充当协方差。必要条件有两个。其一，函数必须对称，即 $k(\vx, \vx') = k(\vx', \vx)$，因为协方差是对称的。其二，对每个有限输入集和每个系数向量 $\mathbf{a}$，

因为左边是加权和 $\sum_i a_i f(\vx_i)$ 的方差，而方差不可能为负。具有这一性质的矩阵是半正定的（第 3.3 节）；若一个函数生成的矩阵都具有这一性质，就称之为半正定核（positive semidefinite kernel）。

特征的任何内积都能通过这一检验，因为对协方差矩阵 $\mSigma_p$ 有 $\mathbf{a}^\T\boldsymbol{\Phi}\mSigma_p\boldsymbol{\Phi}^\T\mathbf{a} = (\boldsymbol{\Phi}^\T\mathbf{a})^\T\mSigma_p(\boldsymbol{\Phi}^\T\mathbf{a}) \ge 0$。反过来的结论使直接设计核函数成为可能：在温和的技术条件下，每个对称半正定核都是某个特征列表（特征可能有无穷多个）的内积，这一结果称为 Mercer 定理（Rasmussen 与 Williams，2006，第 2.2 节与第 4.3 节）；第 10.3 节给出该定理的完整条件，并用核函数的特征函数构造这些特征。因此，只要一个函数通过这一检验，就可以直接采用，而无需写出它的特征。

这一检验并非可有可无。看似合理的相似度也可能无法通过。所谓“sigmoid”核 $\tanh(a + b\,\vx^\T\vx')$，有时借神经网络的类比提出，但它从来都不是正定的，因而不是有效的协方差（Rasmussen 与 Williams，2006，第 4.2.3 节）。习题 7.2 给出一个更简单的反例并说明其含义：某个函数值组合的方差为负。

7.3 高斯过程的定义 #

前几节得到了函数 $k$，以及一个论断：仅凭它就能确定函数在任意有限个输入处取值的联合高斯分布。若把这一论断作为出发点而非推论，它就成了定义。

软件工程师可以把这一定义理解为接口。高斯过程是这样一个对象：接受任意有限的输入列表，返回均值向量和协方差矩阵，两者都由 $m$ 和 $k$ 逐元素算出。它无需一次性给出函数在所有输入处的值，本书中也没有任何计算提出这样的要求。在这个意义上，高斯过程是惰性求值的随机函数：处处有定义，只在查看之处才具体生成。

不同查询的结果必须彼此一致。同时查询 $\vx_1$ 和 $\vx_2$ 并忽略第二个值，所得 $f(\vx_1)$ 的分布必须与单独查询 $\vx_1$ 的结果相同。对高斯分布，忽略某些坐标就是取出均值向量和协方差矩阵的相应子块（第 4.4 节）。$\mK$ 的每个元素只取决于对应的两个输入，因此这一子块恰好等于较小查询构造出的矩阵。凡是由核函数逐元素指定的协方差，一致性都自动成立（Rasmussen 与 Williams，2006，第 2.2 节）。

均值函数是获得任何数据之前的猜测：逐个输入地给出 $f$ 应处的位置。在贝叶斯优化中，观测值标准化为均值为零、离散程度为一之后（第 8.6 节），均值函数几乎总是取零或常数。这一假设比听起来要弱。结合核函数的幅度，它只是表明：在任何评估之前，$f(\vx)$ 在每个输入处都位于零附近约 $\pm 2\sigma_f$ 的范围内；凡是数据与之不符之处，数据都会推动后验。确实掌握某种趋势时，非常数的均值函数很有用，例如以物理模型为均值，由高斯过程学习它的误差。除非另有说明，本书其余部分都取 $m = 0$。

核函数（kernel）承载其余的一切：不同输入处的值在多大程度上共同变化，并由此决定函数的光滑程度、曲折程度和取值大小。核函数必须对称且半正定（第 7.2.2 节），此外别无要求。例 7.1 的直线核和径向基函数核（式（7.4））都满足条件。

有两个词容易混淆。高斯分布描述固定长度的向量。高斯过程描述函数，即以输入为索引的一族随机变量，其任何有限切片都服从高斯分布。以某个集合为索引的随机变量族统称为随机过程，该集合称为指标集；在本书中，指标集总是待优化的定义域。对整个函数的一次抽取称为一条样本路径，简称样本。

7.4 抽取函数 #

计算机无法抽取完整的函数，但可以在精细的输入网格上抽取函数值并依次连接，在屏幕上效果相同。由式（7.5），这些值构成均值为 $\mathbf{m}$、协方差为 $\mK$ 的高斯向量，因此可以用高斯向量的采样方法（第 4.3 节）抽取：由 Cholesky 分解得到 $\mK = \mL\mL^\T$（第 3.5 节），抽取由独立标准正态数构成的向量 $\vz$，返回 $\mathbf{m} + \mL\vz$。结果的协方差为 $\mL\,\E[\vz\vz^\T]\,\mL^\T = \mL\mL^\T = \mK$，符合要求。

第 2 步中的抖动项即第 3.4.4 节中介绍的抖动项：精细网格上的核矩阵近乎奇异。抖动项给每个样本带来的扰动为 $\sqrt{\varepsilon}$ 量级，远低于图上可分辨的程度。分解需要 $O(N^3)$ 的时间，只需做一次；此后每个样本的代价为 $O(N^2)$。

import numpy as np

def rbf(a, b, ell=0.1, sf=1.0):
    return sf**2 * np.exp(-0.5 * (a[:, None] - b[None, :]) ** 2 / ell**2)

xs = np.linspace(0, 1, 200)
K = rbf(xs, xs)
L = np.linalg.cholesky(K + 1e-8 * np.eye(len(xs)))
rng = np.random.default_rng(0)
F = L @ rng.standard_normal((len(xs), 3))   # 三个样本，每列一个

下图在 201 个网格点上运行算法 7.1。改变核函数时，三个标准正态向量 $\vz$ 保持不变，因此每次改变都只是让同样的三个函数变形，而非抽取新的函数。

每个控件都值得花一分钟尝试。

把长度尺度从 0.3 拖到 0.03。三个函数像手风琴一样沿水平方向压缩。读数中的期望穿零次数与 $1/\ell$ 成正比增长，样本中的实际次数分布在其附近。

拖动幅度。函数沿竖直方向伸缩，其余一切不变：形状不变，穿零次数不变，相关条带也不变。核函数乘以 $\sigma_f^2$，相当于 $\mL$ 乘以 $\sigma_f$，仅此而已。

从“RBF”切换到“Matérn 5/2”，再切换到“Matérn 1/2”，保持长度尺度不变。这两种核函数抽出的函数比径向基函数核的更粗糙，其定义见第 7.5.3 节。Matérn 5/2 的样本除纹理稍粗外，与径向基函数核的样本很难区分。Matérn 1/2 的样本在任何尺度上都呈锯齿状，读数也不再给出穿零次数的期望值。

选择“周期核”。每个函数都以周期为单位严格重复，相关条带在 $x_0 \pm p$ 处回到 1。若原先的长度尺度低于 0.4，切换时会跳到 0.8，因为这一核函数的长度尺度是相对于周期度量的（第 7.5.4 节）。

移动 $x_0$。在条带接近 1 处，每个函数在 $x_0$ 附近的值都随其在 $x_0$ 处的值（圆点标出）变化。在条带降到零处，两个值互不相关。

7.5 核函数表达的信念 #

图 7.3 中的每个控件，都代表在任何评估之前对未知函数的一项陈述。核函数自身的参数，即长度尺度、幅度和周期，是第 5.6 节意义上的超参数：它们是先验的设定，有别于模型所关注的函数值。第 9 章将用数据拟合这些超参数。本节逐一解读它们的含义。

7.5.1 平稳性 #

径向基函数核只通过两个输入之差 $x - x'$ 依赖于这两个输入。具有这一性质的核函数是平稳（stationary）的：把每个输入平移相同的量，先验保持不变，因此先验在定义域各处看起来都一样。平稳核可以写成单个自变量即差值 $r = x - x'$ 的函数，方便时记作 $k(r)$。图 7.3 中的四个核函数都是平稳的，所以阴影带宽度恒定。图 7.1 的六鼓包模型不是平稳的，因为鼓包中心使某些输入变得特殊。例 7.1 的直线核 $\sigma_0^2 + \sigma_1^2 x x'$ 也不是平稳的，其方差随着远离零而增长。

平稳核是贝叶斯优化中的默认选择。第 8.2 节将展示由此带来的一个后果：远离所有数据时，后验在各处都回到同一个先验。

7.5.2 长度尺度与幅度 #

对平稳核而言，长度尺度本质上是一种频率。随机过程理论中有一个经典结果，给出零均值平稳高斯过程在单位长度区间上向上穿过零点的期望次数（Rasmussen 与 Williams，2006，第 4.1 节）：

其中 $k''(0)$ 是 $k(r)$ 在 $r = 0$ 处的二阶导数。这一公式只用到核函数在零距离处的曲率，即两个相邻的值彼此分开时相关性下降的快慢。对径向基函数核，$k(r) = \sigma_f^2 \exp(-r^2/2\ell^2)$ 满足 $k''(0) = -\sigma_f^2/\ell^2$，因此

取 $\ell = 0.1$，一个样本在 $[0, 1]$ 上平均向上穿过零点 1.6 次；取 $\ell = 0.03$，则为 5.3 次。幅度在公式中相互约去，与图 7.3 中拖动幅度的实验结果一致。

长度尺度以输入的单位度量。若时间以毫秒而非秒为单位，合适的长度尺度就变为原来的一千倍。因此第 8.6 节建议在拟合之前把每个输入都缩放到 $[0, 1]$，这样长度尺度 0.1 在任何问题中含义都相同。若输入的多个坐标重要程度不同，每个坐标可以有各自的长度尺度（第 9.2 节）。

即使输入已经缩放，同一长度尺度在不同维度下的含义也不相同。第 3.1.2 节表明，从单位立方体 $[0, 1]^d$ 中随机抽取的两个输入，典型距离为 $\sqrt{d/6}$：1 维中约为 $0.41$，6 维中约为 $1.0$，50 维中约为 $2.9$。取 $\ell = 0.2$，径向基函数核在这一距离上的值 $\exp(-(d/6)/2\ell^2)$ 在 1 维中为 $0.12$，在 6 维中为 $4 \times 10^{-6}$，在 50 维中低于 $10^{-45}$。可见在 6 维中，这一先验已把两个随机输入处的值视为互不相关，每个观测只能为自身周围的一小片邻域提供信息；图 6.3 从信息的角度展示的正是这一现象。让长度尺度随 $\sqrt{d}$ 缩放，此处即 $\ell = 0.2\sqrt{d}$，就能在任何维度下都把这一相关性保持在 $0.12$。2024 年的研究表明，只要长度尺度先验随维度缩放，标准贝叶斯优化在高维中也能表现良好（Hvarfner 等，2024）；上面的算术为理解这种缩放为何有效提供了一个角度（推断）。第 9.5 节和第 30.1 节讲述了这段经过。

幅度较为简单。$k(x, x) = \sigma_f^2$ 是 $f$ 在每个输入处的先验方差，因此在获得任何数据之前，模型以 95% 的概率认为 $f(x)$ 位于均值的 $\pm 1.96\,\sigma_f$ 范围内。高斯过程乘以常数 $c$，其核函数就乘以 $c^2$（习题 7.3），所以改变幅度只会拉伸样本。输出经过标准化时，幅度自然以 1 附近为起点。软件库常把幅度存为单独的“输出尺度”（output scale）超参数，乘在单位幅度的核函数上。

7.5.3 光滑度 #

长度尺度描述函数变化的快慢，光滑度描述函数在最小尺度上的粗糙程度，两者相互独立：函数可以缓慢地起伏，近看却仍呈锯齿状，就像从飞机上看到的海岸线。光滑度由核函数在零距离附近的行为决定。若 $k(r)$ 在 $r = 0$ 处光滑，相邻输入处的值几乎完全相关，样本就是光滑的。若 $k(r)$ 在 $r = 0$ 处有尖角，相邻的值很快失去相关性，样本就是粗糙的。

径向基函数核在零处无穷次可微，其样本具有任意阶导数（指均方意义下，即随机过程理论采用的意义）（Rasmussen 与 Williams，2006，第 4.2.1 节）。这是很强的假设。Matérn 族（Matérn family）用光滑度参数 $\nu$ 放宽了这一假设；Stein（1999）依据 Matérn 早先的工作为其命名。当且仅当 $\nu > q$ 时，Matérn 族的样本 $q$ 次可微（Rasmussen 与 Williams，2006，第 4.2.1 节）。实践中取半整数，此时核函数是指数函数与多项式之积。最粗糙的 $\nu = 1/2$ 为

该核函数在 $r = 0$ 处的尖角使样本连续但处处不可微。这些样本是 Ornstein-Uhlenbeck 过程的路径；该过程最初是为受随机碰撞冲击的粒子速度建立的模型（Rasmussen 与 Williams，2006，第 4.2.1 节）。$\nu = 3/2$ 给出一次可微的样本，$\nu = 5/2$ 给出二次可微的样本；当 $\nu \to \infty$ 时，Matérn 核成为径向基函数核。整个族的表达式见第 9.1 节。

式（7.6）需要 $k''(0)$，而 Matérn 1/2 核不存在这一二阶导数。其样本穿过零点的期望次数不是有限的：样本只要穿过零点一次，就会在附近穿过无穷多次（Rasmussen 与 Williams，2006，第 4.1 节）。因此，图 7.3 中的读数对该核函数不给出期望值，报告的计数也取决于网格的精细程度。

假定何种光滑度，是一项实质性的建模选择。Stein（1999）认为，径向基函数核假定的光滑度对许多物理过程并不现实，并推荐改用 Matérn 类（Rasmussen 与 Williams，2006，第 4.2.1 节）。针对贝叶斯优化，Snoek 等人（2012）提出了同样的论点：径向基函数核的样本“对实际的优化问题来说光滑得不现实”（are unrealistically smooth for practical optimization problems）。他们提出使用 Matérn 5/2，其样本二次可微，与拟 Newton 法的假设相符；拟 Newton 法是一类根据梯度在相邻步之间的变化估计二阶导数的优化器。他们还检验了这一选择：为一个结构化支持向量机调节三个超参数，该模型用于在蛋白质 DNA 序列（约 40,000 条）中寻找基序；对几种核函数各重复优化 100 次，发现核函数的选择“显著影响性能”，径向基函数核关于无穷次可微的假设“对这个问题限制过强”（Snoek 等，2012）。另一方面，仅凭有限且带噪声的数据，$\nu$ 大于 5/2 的各个取值很难彼此区分，也很难与径向基函数核区分；这也是 3/2 与 5/2 成为最常见取值的一个原因（Rasmussen 与 Williams，2006，第 4.2.1 节）。

7.5.4 周期性 #

有些目标函数具有重复性，例如角度、一天中的时刻、色轮上的色相。周期核（periodic kernel）把这种重复写进先验，

其中 $p$ 为周期。这一公式可以由下面的构造得到。把每个输入映射到圆上，$\mathbf{u}(x) = \left(\cos(2\pi x/p),\, \sin(2\pi x/p)\right)$，再对映射后的点应用径向基函数核。两个映射点之间的平方距离为 $4\sin^2(\pi(x - x')/p)$，代入径向基函数核的公式即得式（7.7）（Rasmussen 与 Williams，2006，第 4.2.3 节）。恰好相距一个周期的输入落在圆上的同一点，其取值的相关系数为 1，因此每个样本都严格重复。

由于径向基函数核作用在圆上，周期核的长度尺度 $\ell$ 相对于圆度量，而不以 $x$ 的单位度量。在零距离附近，周期核的行为近似于长度尺度为 $p\ell/(2\pi)$ 的径向基函数核，因此由式（7.6）得每单位长度 $1/(p\ell)$ 次向上穿零。正因如此，切换到这一核函数时图 7.3 会调整长度尺度。第 19 章中的颜色偏好图使用周期核，因为色相首尾相接。

7.5.5 平稳核的局限 #

核函数本身就是很强的陈述，有些信念无法用上述核函数表达。平稳核无法表达延续到数据之外的趋势，因为远离数据时，其后验回到先验均值（第 8.6 节）。平稳核也无法表达突变，例如超过某个设定值后训练就会发散，因为其样本是连续的；Matérn 1/2 的样本虽然粗糙，也没有跳跃。单一的长度尺度同样无法表达在一个区域平坦、在另一区域曲折的函数。这些因素重要时，实践中会把核函数相加或相乘（第 9.1 节），像周期核那样先变换输入再应用核函数，或者改用非平稳模型。

此外，先验在贝叶斯优化中比在大多数回归问题中更重要。用数千个点拟合的模型主要由数据塑造。而对 10 维函数只能承担 20 次评估的优化器，几乎处处没有数据，它在几乎所有位置的信念都由先验决定。因此接下来两章用大量篇幅讨论核函数：第 8 章说明先验与数据如何结合，第 9 章说明如何由数据选择超参数。

7.6 习题 #

延伸阅读 #

• Rasmussen 与 Williams（2006）的第 2 章并列介绍权重空间视角与函数空间视角，包含核技巧和本章所用的定义；第 4 章汇总了各种核函数，包括径向基函数核的鼓包构造、穿零公式和 Matérn 类。
• Garnett（2023）的第 2 章和第 3 章从贝叶斯优化的角度阐述高斯过程与核函数的选择。
• Neal（1996）的第 2 章表明，权重随机的神经网络在宽度趋于无穷时成为高斯过程。
• Stein（1999）从空间预测理论出发，论证核函数假定的光滑度至关重要，并主张使用 Matérn 类。
• Görtler 等人（2019）是一篇交互式文章，读者可以更换核函数并观察先验样本的变化，可与图 7.3 配合阅读。