度量信息

第 5.3.1 节留下了一个问题。贝叶斯模型保留其不确定性，目的是使优化器把每次评估用在能学到最多的地方。但一次评估究竟能学到多少？要比较两个候选查询，或说明一个人对一次比较的回答最多能揭示多少，就需要一个度量所学内容的单位，正如字节是度量存储的单位。

这个单位由 Claude Shannon 在 1948 年给出，他当时研究的是另一个问题：传输一条消息需要多少个二进制位（Shannon，1948）。这一度量称为熵，事实证明它可以普遍地量化不确定性。由熵导出的两个量，Kullback-Leibler 散度与互信息，分别度量两个信念相差多远，以及一个变量提供了多少关于另一个变量的信息。本章从单个结果的意外度这一个概念出发建立这三个量，再将其用于本书其余部分所需的两项工作。

第一项工作是决定提什么问题。Lindley（1956）提出，应根据实验结果预期提供的信息来选择实验。第 12 章中的若干采集函数与第 20 章中针对比较的大多数查询规则，都是这一准则的变体。第二项工作是理论分析。优化器的遗憾（regret）是每次评估所得的值与可得最佳值之间的差距，对全部评估求和的结果；第 13 章的理论界定遗憾增长的速度。这些界以 $T$ 次评估最多能获得的关于目标函数的信息来衡量问题的难度，这个量记作 $\gamma_T$。本章最后计算这个量，并考察它随输入维度增长的速度。

先说明单位。信息用对数度量，对数的底决定单位。以 2 为底得到比特（bits），适用于是非问题；以 $e$ 为底得到奈特（nats），适用于高斯分布。本书沿用文献的惯例，离散的例子用比特，连续的例子用奈特。1 奈特等于 $1/\ln 2 \approx 1.443$ 比特，换算只需一次乘法。

6.1 意外度与熵 #

6.1.1 意外度 #

先考虑单个结果。公平硬币正面朝上，略感意外；彩票中奖，十分意外；太阳升起，毫不意外。意外程度的度量应当只依赖于所发生结果的概率 $p$，在 $p = 1$ 时为零，并随 $p$ 减小而增大。再增加一个要求，即可确定其形式。两个独立事件（例如硬币正面朝上、骰子掷出六点）同时发生的概率为 $\tfrac12 \times \tfrac16$，我们希望两者同时出现的意外程度等于各自意外程度之和。把乘积化为和的函数是对数，因此概率为 $p$ 的结果的意外度（surprise），又称信息量，定义为

以比特计，概率为 $1/2$ 的结果携带 1 比特，概率为 $1/8$ 的携带 3 比特，概率为 $1/1024$ 的携带 10 比特。意外度可以理解为一个抛掷次数：公平硬币连续抛掷相应次数且每次都出现指定的一面，其概率与该结果的概率相同。

6.1.2 熵 #

意外度描述的是单个结果。在结果揭晓之前，可以计算预期的意外程度，这一期望就是分布的熵（entropy）：

其中约定 $0 \log 0 = 0$，因为从不发生的结果没有贡献。熵是分布的性质，而非某个取值的性质，它度量的是分布的不确定程度。

举几个例子来说明熵的大小。公平硬币的熵为 $H = 1$ 比特，公平骰子为 $\log_2 6 \approx 2.585$ 比特。正面概率为 $0.9$ 的硬币，其熵为

其中 $h(p) = -p\log_2 p - (1 - p)\log_2(1 - p)$ 称为二元熵（binary entropy）函数。它在 $p = 1/2$ 处等于 1 比特，当 $p$ 趋于 0 或 1 时降为 0。答案几乎确定的是非问题，熵几乎为零；第 6.3 节将表明，这样的问题也几乎提供不了信息。

熵不只是一个公式，它还有明确的操作意义。设有人从 $p$ 中抽取一个结果，另一人通过提出是非问题来识别它，问题的内容不限。以比特度量熵时，平均提问次数的最小可能值介于 $H(X)$ 与 $H(X) + 1$ 之间：一套提问策略相当于对各结果的一种二进制编码，而最优的二进制编码恰好达到这一长度（Cover 与 Thomas，2006，第 5 章）。从 128 个等可能的结果中识别出一个，恰好需要 7 个问题，每个问题把剩余集合减半，而 $\log_2 128 = 7$。若分布把概率集中在少数几个结果上，平均所需的问题更少，因为可以先问那些可能性大的结果。

在 $K$ 个结果上的所有分布中，均匀分布的熵最大，为 $\log K$；全部概率集中于一个结果的分布熵最小，为零。习题 6.1 借助下一节的工具证明前一个结论。

6.1.3 连续变量的熵 #

对于密度为 $p$ 的连续变量，求和变为积分，

称为微分熵（differential entropy）。微分熵保留了“分散程度”的含义，但它并不是离散熵的极限，并且有两个乍看出人意料的性质。其一，它可以为负：集中在宽度为 $0.1$ 的区间内的密度，取值在 10 左右，那里的 $-\log p(x)$ 为负。其二，它依赖于单位：同一个量改用毫米而非米来度量，微分熵增加 $\log 1000$。本章其余部分只用到微分熵之差，而差不存在这两个问题。

高斯分布的熵与均值无关，只取决于散布程度：一维时随标准差的对数增长，多维时随椭球体积 $\lvert\mSigma\rvert^{1/2}$ 的对数增长（第 3.6 节）。标准正态分布的熵为 $\tfrac12\log(2\pi e) \approx 1.419$ 奈特；当 $\sigma < 1/\sqrt{2\pi e} \approx 0.242$ 时，熵降到零以下。

第 4.1.2 节曾指出，在均值和方差给定的所有分布中，高斯分布作出的假设最少。用本节的语言表述：在实数轴上方差为 $\sigma^2$ 的所有密度中，高斯分布的微分熵最大，为 $\tfrac12\log(2\pi e\,\sigma^2)$（Cover 与 Thomas，2006，第 12 章）。借助下一节的工具，证明只需两行，见第 6.2.4 节。

6.2 KL 散度 #

熵度量的是单个分布。推断中则常常需要比较两个分布：后验与其近似、回答的真实分布与模型的预测、公平硬币与有偏硬币。本书其余部分采用的比较方式是 Kullback-Leibler 散度。

6.2.1 定义 #

设数据来自分布 $p$，而我们用模型 $q$ 为其打分。在该模型下，每个结果 $x$ 带来 $-\log q(x)$ 的意外度；若采用最好的模型，即 $p$ 本身，意外度只有 $-\log p(x)$。Kullback-Leibler 散度（Kullback-Leibler divergence）就是两者之差的平均值：

对于密度，求和换成积分。KL 散度也称为相对熵。

这个量还有另一种解读，由此可以看出它在统计学中的用途。比值的对数 $\log(p(x)/q(x))$ 是单个观测的对数似然比，即该观测支持“数据来自 $p$”而非“数据来自 $q$”的证据。对确实来自 $p$ 的观测取平均，它就是每个观测平均为真实情形提供的证据。Kullback 与 Leibler（1951）正是这样引入这个量的，将其定义为区分两个假设时每个观测提供的平均信息；第 13.3 节中的下界也按这一含义使用它。在赌博机问题中，决策者在奖励分布未知的少数几个选项之间反复选择；要在 $T$ 轮中把较差的选项与最佳选项区分开，所需的尝试次数按 $\ln T$ 除以两者奖励分布之间的散度增长。

散度在一个重要方面与距离相似，在另一方面则不同。

因此，与距离一样，散度对相同的分布为零，否则为正。但它不对称：$\KL(p \,\|\, q)$ 与 $\KL(q \,\|\, p)$ 一般不相等，而且可能相差很大。它度量的是以 $q$ 代替 $p$ 的代价，这与以 $p$ 代替 $q$ 的代价并不相同。

训练过分类器的读者已经最小化过 KL 散度，只是没有用这个名字。分类器训练时最小化的量称为交叉熵（cross-entropy），即 $-\sum_x p(x)\log q(x)$，它可以分解为

数据的熵与模型无关，因此对 $q$ 最小化交叉熵，等价于最小化从数据到模型的散度。

6.2.2 两枚硬币与两个高斯分布 #

书中后文会用到两个闭式解。对正面概率分别为 $p$ 和 $q$ 的两枚硬币，散度在赌博机文献中记作 $\mathrm{kl}(p, q)$，其表达式为

以公平硬币为参照衡量 $p = 0.6$ 的硬币，得到 $\mathrm{kl}(0.6, 0.5) \approx 0.020$ 奈特：每次抛掷只提供五十分之一奈特的证据。正因如此，要区分 0.6 的硬币与公平硬币，需要上百次量级的抛掷，这与第 2.5.2 节的发现一致。

对两个一维高斯分布，

推导见习题 6.2。由此式容易看出不对称性。均值相等时，用宽的 $q = \N(0, 2^2)$ 为窄的 $p = \N(0, 1)$ 打分，代价为 $\log 2 + \tfrac18 - \tfrac12 \approx 0.318$ 奈特；反过来用窄的为宽的打分，代价为 $-\log 2 + 2 - \tfrac12 \approx 0.807$ 奈特。过于自信的模型比过于模糊的模型受到更重的惩罚，因为它给实际发生的结果只赋予了极小的概率。

6.2.3 选择哪个方向 #

用简单分布 $q$（如高斯分布）通过最小化散度来近似复杂分布 $p$ 时，不对称性的影响最大。两个方向的要求不同。

• $\KL(p \,\|\, q)$ 对 $p$ 求平均。在 $p$ 有概率而 $q$ 几乎没有概率的地方，比值 $p/q$ 会急剧增大，因此最优的 $q$ 会铺展开来，覆盖 $p$ 覆盖的全部区域。若 $q$ 为高斯分布，最优解与 $p$ 的均值和协方差相同（习题 6.3）。这种拟合称为覆盖质量的（mass-covering）拟合。
• $\KL(q \,\|\, p)$ 对 $q$ 求平均。在 $q$ 有概率而 $p$ 几乎没有概率的地方，比值 $q/p$ 会急剧增大，因此最优的 $q$ 只停留在 $p$ 较大的区域内，哪怕因此忽略其中一部分区域。这种拟合称为寻找众数的（mode-seeking）拟合。

用 $\KL(p \,\|\, q)$ 拟合。高斯分布以两峰之间为中心，展宽以覆盖两个峰，均值和方差与 $p$ 相同。它的峰值落在 $p$ 几乎没有概率的地方，但不会遗漏 $p$ 产生的任何结果。

用 $\KL(q \,\|\, p)$ 拟合。高斯分布锁定一个峰而忽略另一个。锁定哪一个取决于 $q$ 的初始位置：把它的均值拖到另一侧，再拟合一次。反向散度在每个峰处各有一个局部极小值，优化器找到的是最近的一个。

每次拟合后比较数值。寻找众数的拟合，反向散度约为 $\log 2 \approx 0.69$ 奈特，这是忽略 $p$ 的一半所付出的代价；正向散度则超过 10 奈特，因为 $p$ 产生的许多值在这个 $q$ 下几乎不可能出现。

把两个峰移近。间距小于约 3.3 时，两个方向都倾向于单个宽的高斯分布，两者的差别几乎消失。被近似的分布偏斜或有多个峰时，方向的选择最为重要（Bishop，2006，第 10.1.2 节）。

这两种行为将在第 17 章中再次出现。变分推断（第 17.4 节）通过最小化 $\KL(q \,\|\, p)$ 拟合近似分布，因而继承了过于自信的倾向；期望传播（第 17.3 节）按 $\KL(p \,\|\, q)$ 的思路匹配矩，覆盖范围往往更大。散度还作为惩罚项出现：依据人类偏好微调语言模型时，目标函数中要加上微调后模型的分布与原模型分布之间的散度，使模型不至于为迎合学到的奖励而任意偏离（Ouyang 等，2022），详见第 35.1.2 节。

6.2.4 高斯分布的熵最大 #

利用散度的非负性，可以证明第 6.1.3 节中留待后面证明的结论。

若把 $\varphi$ 换成 $K$ 个结果上的均匀分布，同样的论证表明：$K$ 个结果上任何分布的熵都不超过 $\log K$（习题 6.1）。

6.3 互信息 #

散度比较的是同一变量上的两个分布。实验者关心的问题则不同：观测 $Y$ 之后，能了解到多少关于 $X$ 的信息？熵可以直接回答这个问题。观测之前，$X$ 的不确定性为 $H(X)$；观测到 $Y = y$ 之后，不确定性变为条件分布的熵 $H(X \given Y = y)$。对所有可能的观测取平均，得到条件熵（conditional entropy）

不确定性的期望减少量即为互信息（mutual information）

以下三条性质使互信息便于使用。

1. 对称性。由乘法规则，$p(x, y) = p(y)\,p(x \given y)$，两边取 $-\E\log$，得到链式法则 $H(X, Y) = H(Y) + H(X \given Y)$；交换两个变量的位置，又有 $H(X, Y) = H(X) + H(Y \given X)$。两式相减得 $H(X) - H(X \given Y) = H(Y) - H(Y \given X)$：$Y$ 提供的关于 $X$ 的信息，与 $X$ 提供的关于 $Y$ 的信息相等。
2. 散度形式。代入定义得 $I(X; Y) = \KL\big(p(x, y) \,\|\, p(x)\,p(y)\big)$，它衡量联合分布与两变量相互独立时的分布相差多远。由 Gibbs 不等式，$I(X; Y) \ge 0$，当且仅当 $X$ 与 $Y$ 独立时取等号：平均而言，观测不会增加不确定性。
3. 以观测的熵为上界。离散变量的条件熵非负，因此 $I(X; Y) = H(Y) - H(Y \given X) \le H(Y)$。

第三条性质有一个本书多次用到的推论。是非回答的熵至多为 1 比特，因此无论关于什么对象，它至多携带 1 比特的信息，对象可以是一枚硬币、一个阈值或一个人的效用函数。两个选项之间的比较正是这样的回答；第 16.6 节表明，一次典型的比较所携带的信息远不足 1 比特。

第四条性质与链有关。若 $Z$ 仅由 $Y$ 计算得到（计算中可以引入额外的随机性），则 $X \to Y \to Z$ 构成一条链，$Z$ 只通过 $Y$ 依赖于 $X$。此时

这就是数据处理不等式（data processing inequality）（Cover 与 Thomas，2006，第 2 章）：对观测的处理无论多么巧妙，都不能产生观测本身不含有的关于 $X$ 的信息。例如，把一个人的分级回答记录成强制的二元选择，只会损失信息；第 20.4 节据此比较不同的回答格式。

6.3.1 高斯变量的互信息 #

对于联合高斯变量，条件熵可由第 4.5 节中的条件方差得到，因此互信息有闭式解。设两个变量的相关系数为 $\rho$，则无论观测值为何，给定 $Y$ 时 $X$ 的条件方差都是 $\sigma_X^2(1 - \rho^2)$（式（4.14）），于是由式（6.4）得

相关系数为 0.8 时，互信息约为 0.51 奈特；为 0.99 时约为 1.96 奈特；完全相关时信息量为无穷大，因为此时一个连续值将被精确确定。对本书最重要的情形，是对高斯向量的带噪声观测。

对先验方差为 1 的单个值观测一次，上式等于 $\tfrac12\log(1 + \sigma_n^{-2})$；噪声标准差为 0.1 时，约为 2.31 奈特，即 3.3 比特。公式中出现了协方差和噪声水平，却没有观测值，原因已在第 4.5 节中说明：高斯模型预期获得的信息取决于观测的位置，而不取决于观测的结果。

6.4 期望信息增益 #

现在可以回答应当做哪个实验了。设 $\theta$ 为待了解的量，$\xi$ 为实验的一种选择，例如待评估的输入、待提出的问题、待展示的一对选项。每种选择都会产生一个无法准确预测的结果 $y$。Lindley（1956）提出，以 $\theta$ 的熵的期望减少量（对实验的所有可能结果取平均）度量实验提供的信息，并优先选择这一量最大的实验：

期望信息增益就是给定实验 $\xi$ 时未知量与结果之间的互信息。按这种方式选择实验是贝叶斯实验设计的核心，Chaloner 与 Verdinelli（1995）对此作了综述；MacKay（1992）将其用于为神经网络选择训练数据。

上述定义以 $\theta$ 表述，而它可能维数很高，计算其后验熵代价高昂。利用互信息的对称性，可以得到以结果表述的第二种形式，而结果通常只是一个数或一个是非回答：

第一项是结果的不确定性；第二项是已知 $\theta$ 时仍然存在的不确定性，即实验本身的噪声。信息量大的实验，其结果之所以难以预测，是因为 $\theta$ 未知，而非测量有噪声。换言之，它是使 $\theta$ 的各种合理取值分歧最大的问题。2011 年的一篇预印本以 BALD 之名，即贝叶斯分歧主动学习（Bayesian active learning by disagreement），使这一形式在分类器与偏好学习中广为使用（Houlsby 等，2011）。

6.4.1 带噪声的二十问 #

演示这一准则的最小例子是定位阈值。未知的 $\theta$ 位于 $[0, 1]$ 中某处，对任意 $x$，都可以提问“$\theta$ 是否低于 $x$？”。回答带有噪声：回答“是”的概率为 $\Phi\big((x - \theta)/s\big)$，即以第 4.1.1 节中的标准正态分布函数作为 S 形响应曲线（概率单位曲线，probit curve），噪声尺度为 $s$。因此，远离 $\theta$ 的问题能得到可靠的回答，靠近它的问题则如同抛硬币。关于 $\theta$ 的信念用 128 格的网格表示，均匀先验的熵恰为 7 比特，而一个完美的是非回答至多能消除其中 1 比特。

在最佳 $x$ 处提问几次。第一个问题位于中间，那里的回答最难预测，在默认噪声下期望携带 0.90 比特，与 1 比特的差额来自噪声。此后每个问题都位于剩余信念的中间。这就是二分法，即程序员常写的二分查找；这一准则重新发现了它。

把噪声调到最小，重新开始。此时前几个问题各携带完整的 1 比特，8 至 10 个问题即可把 $\theta$ 定位到单个格子，接近完美回答所需的 $\log_2 128 = 7$ 个。

改为在随机 $x$ 处提问。远离剩余信念的问题，其回答几乎可以确定，因此几乎不携带信息；熵会连续几个问题停滞不降。在我们的运行中，默认噪声下提出 20 个随机问题后，仍剩约 4.1 比特的不确定性；按这一准则选出 20 个问题后，只剩约 2.7 比特。

调高噪声。此时每个回答都在一定程度上如同抛硬币，最佳问题的期望增益降到远低于 1 比特。到会话后期，最佳问题都靠近 $\theta$，那里的回答最不可靠，每个问题提供的信息也更少。带噪声的回答仍然有信息量，只是需要更多的回答。

这并非玩具问题。测量知觉阈值（例如一个人能察觉的最弱对比度）是同一个问题，只是以试次代替提问；自 QUEST 以来，贝叶斯自适应方法在心理物理学中已得到广泛应用（Watson 与 Pelli，1983）。Kontsevich 与 Tyler（1999）的方法同时维护阈值与心理测量函数斜率的后验（心理测量函数给出各刺激强度下正确反应的概率），并为每个试次选择刺激，使该试次的期望信息增益最大。在他们的模拟以及一项每个试次均为二选一的实验中，不到 30 个试次即可把阈值估计到 2 dB（23%）以内，而斜率达到同样的精度约需 300 个试次。

6.4.2 这一准则的局限 #

本书每次使用这一准则，都须注意两点。

这一准则是短视（myopic）的：它每次只为一个实验打分，并假设此后不再有实验。逐个最优的实验串联起来，不一定构成最优的实验序列，不过在许多问题上（包括上面的阈值问题），两者相差不大。

从优化的角度看，更重要的一点是：关于 $\theta$ 的信息并不等于向目标的推进。优化器无须处处了解目标函数，只需知道最大值的位置。花费评估去精确了解明显较差的区域，虽有信息量，却是浪费。熵搜索更换了未知量：它关注的不是关于整个函数的信息，而是一次评估提供的关于最大值位置 $\vx^\star$ 的信息（Hennig 与 Schuler，2012；Hernández-Lobato 等，2014），或关于最大值 $f^\star$ 的信息（Wang 与 Jegelka，2017）。这些方法就是把式（6.13）中的 $\theta$ 换成其他量，第 12.7 节将详细讨论。对于比较，同样的思路给出第 19.3 节中基于信息的查询规则。

6.5 高斯过程的信息增益 #

最后一项工作是理论分析：对未知函数做 $T$ 次评估，最多能揭示多少关于它的信息？回答这个问题需要第二部分建立的模型，因此本节提前借用其中的三个概念。初次接触这些概念的读者，可以先看图，读完第 8 章后再回来看公式。

高斯过程先验（Gaussian process prior）记作 $f \sim \GP(0, k)$，其含义是：$f$ 在任意有限个输入处的值联合服从均值为零的高斯分布，两个输入 $\vx$ 与 $\vx'$ 处的值之间的协方差为 $k(\vx, \vx')$，即第 3.1.1 节中的核函数。输入集合 $A$ 的核矩阵（kernel matrix）$\mK_A$ 是这些输入处函数值的协方差矩阵。后验方差（posterior variance）$\sigma_t^2(\vx)$ 是按式（4.15）以 $t$ 个观测为条件后 $f(\vx)$ 的方差。

有了这些概念，答案就已经得到了。若在由 $T$ 个输入组成的集合 $A$ 上评估 $f$，噪声为方差 $\sigma_n^2$ 的高斯噪声，则观测仅通过这些输入处的值 $\vf_A$ 依赖于 $f$，由式（6.12）得

其中 $\mK_A$ 是所选输入的 $T \times T$ 核矩阵。第 13.4.2 节使用的正是这一信息增益，记号相同。

6.5.1 逐次评估 #

行列式背后有一个简单的序贯结构。互信息与熵满足同样的链式法则，因此 $T$ 次评估带来的信息，等于每次评估在已知此前各次评估的条件下新增信息之和。第 $t$ 次评估位于 $\vx_t$，给定前 $t - 1$ 个观测时，其预测方差为 $\sigma_{t-1}^2(\vx_t) + \sigma_n^2$；即使 $f$ 已知，其中的 $\sigma_n^2$ 依然存在。与式（6.11）相同，结果只取决于两个方差之比，于是

其中 $\sigma_{t-1}^2(\vx_t)$ 同上，是前 $t - 1$ 个观测之后 $\vx_t$ 处的后验方差（Srinivas 等，2010）。每次评估的贡献，与模型在评估位置的不确定程度的对数成正比。在模型已经很了解的输入处评估，几乎不增加信息；在模型与先验同样不确定的输入处评估，则增加完整的 $\tfrac12\log(1 + \sigma_n^{-2})$，这是先验方差为 1 时单次评估所能增加的最大值。

这个和式给出一条快速收集信息的规则：始终在后验方差最大处评估。这就是不确定性采样（uncertainty sampling）。MacKay（1992）表明，对于带有恒定方差高斯噪声的插值模型，最大化关于模型参数的期望信息，等价于在模型误差棒最大处采样。不确定性采样不考虑观测值，因而不是优化器，但它可以作为衡量可学信息多少的标尺。

6.5.2 最大信息增益 #

任意 $T$ 次评估最多能获得的关于 $f$ 的信息为

称为最大信息增益（maximum information gain），正式定义见定义 13.3。与任何固定设计的信息一样，它取决于核函数、定义域与噪声，而与观测值无关，因此是收集数据之前问题本身就具有的性质。精确计算这一最大值需要搜索所有由 $T$ 个输入组成的集合，计算上不可行。不确定性采样至少能达到最大值的 $1 - 1/e \approx 0.63$ 倍，因为信息增益具有收益递减的性质，即次模性（Srinivas 等，2010）。

6.5.3 维度与评估次数 #

$\gamma_T$ 随 $T$ 增大如何增长，描述的是长期行为。实践中关心的是前 100 次评估中的情形，而决定这一阶段的主要是输入维度。下图在五种维度下同时计算不确定性采样的式（6.16）。

读取默认设置下的结果。长度尺度为 0.2 时，1 维需 5 次评估即被覆盖，2 维需 21 次，3 维需 84 次。在 6 维和 10 维中，信息曲线在全部 100 次评估中都与虚线重合：每次评估与其他评估几乎不相关，模型只了解各个已评估的点，几乎无法推广到其他位置。

计算区域数。这些数字与 $(1/\ell)^d$ 同步变化，即单位立方体中边长为 $\ell$ 的格子数：$d = 1, 2, 3$ 时为 5、25、125，$d = 6$ 时约为 15,600。长度尺度为 $\ell$ 的模型把这些格子视为大致相互独立，必须访问其中相当一部分，才能对所有格子有所了解（推断）。表 13.1 中的渐近速率只在这一初始阶段之后才适用，而这一阶段随维度呈指数增长（推断）。

把长度尺度乘以 $\sqrt{d}$，并调到 0.3。此时不同维度的曲线趋于聚拢：在 1、2、3、6、10 维中，分别只需 4、9、13、34、68 次评估即可覆盖候选点。单位立方体中两个随机点的典型距离按 $\sqrt{d/6}$ 增长，因此与 $\sqrt{d}$ 成正比的长度尺度能使典型点之间的相关性大致不变。这正是按维度缩放长度尺度先验的思想；借助这种先验，标准贝叶斯优化在真实的高维任务上具备了竞争力（Hvarfner 等，2024）。这样做并非没有代价：更长的长度尺度意味着更强的假设，即目标函数沿每个输入都变化缓慢；假设不成立时，模型会自信地作出错误的推广。图 30.1 展示了这种缩放背后的距离，第 30 章介绍文献中的相关发现。

切换到 Matérn 5/2 核。在相同的长度尺度下，其函数比默认的径向基函数核更粗糙（第 7.5.3 节），每次评估所能代表的立方体范围更小，因此信息增长更快，覆盖立方体所需的评估也更多。

解读这幅图时需注意两点。第一，图中度量的是关于整个函数的信息，这高估了优化器的需求：优化器只需排除不可能包含最大值的区域，好的采集函数会跳过立方体的大部分。第二，在 10 维中，800 个候选点十分稀疏，覆盖它们比覆盖整个立方体容易得多。这幅图展示的是效应的方向和大致量级，而非任何具体问题的预算（推断）。含七个超参数的真实调参问题的完整演示，见第 22.4 节。

6.5.4 从信息到遗憾 #

$\gamma_T$ 出现在第 13 章的每一个界中，原因在于序贯和式式（6.16）。GP-UCB（第 12.4 节）一类的优化器在后验均值加上若干倍后验标准差最大的输入处评估。只有当模型对所选输入不确定时，这一步才可能有较大损失；而所选输入处的后验方差大，恰恰使和式中对应的项变大。对各步求和，总遗憾受所收集的总信息控制，而总信息至多为 $\gamma_T$。由此得到的定理 13.3 将 $T$ 步后的累积遗憾界定为常数乘以 $\sqrt{T\beta_T\gamma_T}$，其中 $\beta_T$ 是第 $T$ 步所用倍数的平方，决定置信界的宽度。最大信息增益增长缓慢，意味着每次失误都能带来大量信息，因此失误不会持续很久。上图展示了另一面：在高维且长度尺度较短时，$\gamma_T$ 在很长时间内都接近其最大可能值，即单次全新评估增益的 $T$ 倍；在曲线弯折之前，这个界给不出任何有用的结论。

6.6 习题 #

延伸阅读 #

• Cover 与 Thomas（2006）是标准教科书。其第 2 章讲熵、相对熵、互信息及相关不等式，第 8 章讲微分熵，第 12 章讲最大熵。
• MacKay（2003）从第 2 章起通过推断与编码介绍同样的思想，附有大量例题；该书可在网上免费阅读。
• Shannon（1948）将熵定义为消息中信息的度量，Kullback 与 Leibler（1951）将散度定义为区分两个假设的信息。
• Lindley（1956）提出以期望信息增益作为选择实验的准则；Chaloner 与 Verdinelli（1995）综述了由此发展起来的贝叶斯实验设计。
• Srinivas 等人（2010）把高斯过程的信息增益与贝叶斯优化的遗憾联系起来，第 13 章正是建立在这一联系之上。