记号

本书通篇使用同一套记号，本附录将其汇总。每个条目都注明引入该符号的小节；在那里，符号先以文字解释，再用于公式。文献中有多种约定并存时，条目注明本书采用哪一种。

以下排版规则全书通用。标量用斜体（ $x$ 、 $\sigma$ ），向量用粗体小写（ $\vx$ 、 $\vy$ ），矩阵用粗体大写（ $\mK$ 、 $\mL$ ）。转置记作 $^\T$ 。输入位于定义域 $\X$ 中，经缩放后通常为单位立方体 $[0, 1]^d$ ，其中 $d$ 是输入个数；下标遍历各个输入时（例如每个输入各有一个长度尺度），记作 $j = 1, \dots, d$ 。有限的候选输入集合同样记作 $\X$ ，含 $|\X|$ 个元素，即使书中引述的论文将其记作 $D$ 。全书约定越大越好：本书求最大值，天然需要最小化的函数（例如错误率）则取其相反数。

A.1 集合、向量与矩阵 #

表 A.1 线性代数。

符号	含义	引入位置
$\R$ , $\R^d$	实数；由 $d$ 个实数组成的向量	第 3.1 节
$d$	输入个数（ $\X$ 的维度）	第 1.2 节、第 3.1 节
$\vx$ , $x_i$	向量及其第 $i$ 个分量	第 3.1 节
$\vx^\T$ , $\mA^\T$	向量与矩阵的转置	第 3.1 节、第 3.2.3 节
$\mI$	单位矩阵	第 3.2.2 节
$\mA^{-1}$	$\mA$ 的逆矩阵（通过解方程计算，从不显式构造）	第 3.2.2 节
$\mL$	下三角 Cholesky 因子， $\mL\mL^\T = \mA$	第 3.5.3 节
$\mA \backslash \mathbf{b}$	$\mA\mathbf{z} = \mathbf{b}$ 的解 $\mathbf{z}$	第 8.4 节
$\det \mA$ , $\log\det\mA$	行列式及其对数（由 Cholesky 因子的对角元计算）	第 3.6 节、第 3.6.1 节
$\tr \mA$	迹，即对角元之和	第 6.2.2 节、第 9.4.1 节

A.2 概率 #

表 A.2 概率。

符号	含义	引入位置
$\Prob(A)$	事件的概率	第 2.1.2 节
$p(x)$ , $p(x \given y)$	密度函数或质量函数；以 $y$ 为条件	第 2.1.3 节
$X \sim p$	$X$ 服从分布 $p$	第 2.1.3 节
$\D$	观测数据	第 2.5 节
$\E[X]$ , $\E_n[\cdot]$	期望； $n$ 次观测后关于后验的期望	第 2.6.1 节、第 12.1 节
$\Var[X]$ , $\Cov[X, Y]$	方差；协方差	第 2.6.2 节、第 2.6.3 节
$\N(\mu, \sigma^2)$ , $\N(\vmu, \mSigma)$	以均值和方差为参数的高斯分布；以均值向量和协方差矩阵为参数的高斯分布	第 4.1 节、第 4.2 节
$\phi(z)$ , $\Phi(z)$	标准正态分布的密度函数与累积分布函数	第 4.1.1 节
$\operatorname{sigmoid}(z)$	逻辑函数 $1/(1 + e^{-z})$ ，即 Bradley-Terry 链接	第 16.4 节
$H(p)$ , $H(X)$	分布或随机变量的熵	第 6.1.2 节
$\KL(p \,\Vert\, q)$	Kullback-Leibler 散度	第 6.2.1 节
$I(X; Y)$	互信息	第 6.3 节
$\delta$	失效概率：以高概率成立的论断，其成立的概率至少为 $1 - \delta$	第 13.2.2 节
$R$ -次高斯	均值为零、且对所有 $\lambda$ 满足 $\E[e^{\lambda Z}] \le e^{\lambda^2 R^2/2}$ 的随机变量 $Z$ ；这里的 $R$ 不是遗憾 $R_T$	第 13.2.2 节

与多数统计学教材一样，本书 $\N(\mu, \sigma^2)$ 中的第二个参数是方差，需要时另行给出标准差 $\sigma$ 。

A.3 高斯过程 #

表 A.3 高斯过程。

符号	含义	引入位置
$f$	未知的目标函数（或潜在效用）	第 1.1 节
$\X$	输入的定义域	第 1.1 节
$\lvert\X\rvert$	定义域为有限集时的候选个数	第 12.4 节
$\GP(m, k)$	均值函数为 $m$ 、核函数为 $k$ 的高斯过程	第 7.3 节
$k(\vx, \vx')$	核函数（协方差函数）	第 3.1.1 节、第 7.1.2 节
$\ell$ , $\ell_j$	长度尺度；每个输入 $j$ 各有一个长度尺度（自动相关性确定，ARD）	第 3.1.1 节、第 9.2 节
$\sigma_f^2$	幅度的平方，对平稳核而言等于 $k(\vx, \vx)$	第 7.2.1 节
$\sigma_n^2$	观测噪声方差	第 2.6.4 节、第 8.3 节
$X$ , $\vy$	已观测的输入与观测值	第 8.1 节
$\mK$	已观测输入的核矩阵， $[\mK]_{ij} = k(\vx_i, \vx_j)$	第 7.3 节、第 8.1 节
$\vk(\vx)$	$\vx$ 与各已观测输入之间的协方差	第 8.1 节
$\mu(\vx)$ , $\mu_n(\vx)$	后验均值（ $n$ 次观测后）	第 8.1 节、第 11.2 节
$\sigma^2(\vx)$ , $\sigma_n^2(\vx)$	潜在值的后验方差（ $n$ 次观测后）	第 8.1 节、第 11.2 节
$\bm{\alpha}$	后验均值中的权重 $(\mK + \sigma_n^2\mI)^{-1}\vy$	第 3.5.1 节、第 8.2.1 节
$M$	线性模型的特征个数；对随机 Fourier 特征，指抽取的频率个数	第 7.1 节、第 10.4.3 节
$\mathcal{H}_k$ , $\langle f, g\rangle_k$ , $\lVert f\rVert_k$	$k$ 的再生核 Hilbert 空间（RKHS）及其内积与范数	第 10.2 节
$B$	RKHS 范数的上界；有的论文界定 $\lVert f\rVert_k$ ，有的界定 $\lVert f\rVert_k^2$	第 10.2.4 节
$\mathcal{K}$ , $q(\vx)$	核函数的积分算子，以及积分所用的权重密度	第 10.1.3 节
$\lambda_i$ , $\varphi_i$	$\mathcal{K}$ 的特征值与特征函数（Mercer 定理）	第 10.3 节
$s(\boldsymbol{\omega})$ , $p(\boldsymbol{\omega})$	平稳核的谱密度；归一化为概率密度后的谱密度	第 10.4 节

有一处记号冲突需要留意。不带自变量的 $\sigma_n^2$ 表示噪声方差，沿用 Rasmussen 与 Williams（2006）的写法，下标代表噪声（noise）。 $\sigma_n(\vx)$ 总是带自变量书写，表示 $n$ 次观测后的后验标准差，沿用 Srinivas 等人（2010）的写法。两者靠自变量 $(\vx)$ 区分。两者出现在同一公式中时（第 12.6 节），噪声方差记作 $\sigma_\varepsilon^2$ 。在第 10 章中，带下标的 $\lambda_i$ 表示特征值， $q$ 表示权重密度；在其他章节中， $\lambda$ 表示逆 Mills 比或失误率， $q$ 表示一次查询中的选项数。

第 A.3 节引用的文献 2

Rasmussen 与 Williams（2006）Gaussian Processes for Machine Learning
Srinivas 等人（2010）Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design

A.4 优化与偏好 #

表 A.4 优化与偏好。

符号	含义	引入位置
$\vx^\star$ , $f^\star$	某个最大值点与最大值	第 6.4.2 节、第 11.1 节
$f^*_n$	当前最优值，即 $n$ 次评估后观测到的最好值	第 12.2 节
$a_n(\vx)$	$n$ 次观测后的采集函数	第 11.2 节
$\PI$ , $\EI$ , $\UCB$	改进概率、期望改进、上置信界	第 12.2 节、第 12.3 节、第 12.4 节
$\beta$ , $\beta_t$	上置信界 $\mu_n(\vx) + \beta^{1/2}\sigma_n(\vx)$ 中的探索权重	第 11.2.1 节、第 12.4 节
$\xi$	改进概率与期望改进中的改进裕量（在第 6.4 节中另指对实验的一种选择）	第 12.2 节
$r_t$ , $R_T$	瞬时遗憾； $T$ 轮的累积遗憾	第 13.1 节
$\gamma_T$	核函数在 $T$ 次观测后的最大信息增益	第 6.5.2 节
$\vx \succ \vx'$	$\vx$ 优于 $\vx'$	第 16.3 节
$g$ 或 $f$	人的潜在效用（与高斯过程共用同一套机制时，本书记作 $f$ ）	第 18.1 节
$\sigma$ （链接函数中）	人评价单个选项时的噪声尺度	第 16.3 节
$\tau$	逻辑链接的尺度， $\operatorname{sigmoid}\big((g_i - g_j)/\tau\big)$	第 16.4 节
$\lambda(z)$	逆 Mills 比 $\phi(z)/\Phi(z)$ ，只在定义它的章节中使用	第 17.3 节、第 18.2 节
$\lambda_{\text{lapse}}$	失误率，即回答属于随机失误的概率	第 20.4.2 节
$\mW$	对数似然的负 Hessian 矩阵；对成对回答而言为加权图 Laplace 矩阵	第 17.2 节、第 18.2 节
$\EUBO(\vx_1, \vx_2)$	最优选项期望效用	第 19.4 节
$q$	一次查询展示的选项数（qEUBO）	第 19.4 节

遗憾界用 $\tilde O(\cdot)$ 表述，该记号隐去对数因子；书中的每个速率都连同其假设与遗憾单位一并给出（第 29.4 节）。

参考文献

Rasmussen, C. E., and Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press. 引用于 §A.3
Srinivas, N., Krause, A., Kakade, S. M., and Seeger, M. (2010). Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design. ICML 2010. 引用于 §A.3