记号

本书通篇使用同一套记号，本附录将其汇总。每个条目都注明引入该符号的小节；在那里，符号先以文字解释，再用于公式。文献中有多种约定并存时，条目注明本书采用哪一种。

以下排版规则全书通用。标量用斜体（ $x$ 、 $\sigma$ ），向量用粗体小写（ $\vx$ 、 $\vy$ ），矩阵用粗体大写（ $\mK$ 、 $\mL$ ）。转置记作 $^\T$ 。输入位于定义域 $\X$ 中，经缩放后通常为单位立方体 $[0, 1]^d$ ，其中 $d$ 是输入个数；下标遍历各个输入时（例如每个输入各有一个长度尺度），记作 $j = 1, \dots, d$ 。有限的候选输入集合同样记作 $\X$ ，含 $|\X|$ 个元素，即使书中引述的论文将其记作 $D$ 。全书约定越大越好：本书求最大值，天然需要最小化的函数（例如错误率）则取其相反数。

A.1 集合、向量与矩阵 #

表 A.1 线性代数。

符号	含义	引入位置
$\R$ , $\R^d$	实数；由 $d$ 个实数组成的向量	第 3.1 节
$d$	输入个数（ $\X$ 的维度）	第 1.2 节、第 3.1 节
$\vx$ , $x_i$	向量及其第 $i$ 个分量	第 3.1 节
$\vx^\T$ , $\mA^\T$	向量与矩阵的转置	第 3.1 节、第 3.2.3 节
$\mI$	单位矩阵	第 3.2.2 节
$\mA^{-1}$	$\mA$ 的逆矩阵（通过解方程计算，从不显式构造）	第 3.2.2 节
$\mL$	下三角 Cholesky 因子， $\mL\mL^\T = \mA$	第 3.5.3 节
$\mA \backslash \mathbf{b}$	$\mA\mathbf{z} = \mathbf{b}$ 的解 $\mathbf{z}$	第 8.4 节
$\det \mA$ , $\log\det\mA$	行列式及其对数（由 Cholesky 因子的对角元计算）	第 3.6 节、第 3.6.1 节
$\tr \mA$	迹，即对角元之和	第 6.2.2 节、第 9.4.1 节

A.2 概率 #

表 A.2 概率。

符号	含义	引入位置
$\Prob(A)$	事件的概率	第 2.1.2 节
$p(x)$ , $p(x \given y)$	密度函数或质量函数；以 $y$ 为条件	第 2.1.3 节
$X \sim p$	$X$ 服从分布 $p$	第 2.1.3 节
$\D$	观测数据	第 2.5 节
$\E[X]$ , $\E_n[\cdot]$	期望； $n$ 次观测后关于后验的期望	第 2.6.1 节、第 12.1 节
$\Var[X]$ , $\Cov[X, Y]$	方差；协方差	第 2.6.2 节、第 2.6.3 节
$\N(\mu, \sigma^2)$ , $\N(\vmu, \mSigma)$	以均值和方差为参数的高斯分布；以均值向量和协方差矩阵为参数的高斯分布	第 4.1 节、第 4.2 节
$\phi(z)$ , $\Phi(z)$	标准正态分布的密度函数与累积分布函数	第 4.1.1 节
$\operatorname{sigmoid}(z)$	逻辑函数 $1/(1 + e^{-z})$ ，即 Bradley-Terry 链接	第 16.4 节
$H(p)$ , $H(X)$	分布或随机变量的熵	第 6.1.2 节
$\KL(p \,\Vert\, q)$	Kullback-Leibler 散度	第 6.2.1 节
$I(X; Y)$	互信息	第 6.3 节
$\delta$	失效概率：以高概率成立的论断，其成立的概率至少为 $1 - \delta$	第 13.2.2 节
$R$ -次高斯	均值为零、且对所有 $\lambda$ 满足 $\E[e^{\lambda Z}] \le e^{\lambda^2 R^2/2}$ 的随机变量 $Z$ ；这里的 $R$ 不是遗憾 $R_T$	第 13.2.2 节

与多数统计学教材一样，本书 $\N(\mu, \sigma^2)$ 中的第二个参数是方差，需要时另行给出标准差 $\sigma$ 。

A.3 高斯过程 #

表 A.3 高斯过程。

符号	含义	引入位置
$f$	未知的目标函数（或潜在效用）	第 1.1 节
$\X$	输入的定义域	第 1.1 节
$\lvert\X\rvert$	定义域为有限集时的候选个数	第 12.4 节
$\GP(m, k)$	均值函数为 $m$ 、核函数为 $k$ 的高斯过程	第 7.3 节
$k(\vx, \vx')$	核函数（协方差函数）	第 3.1.1 节、第 7.1.2 节
$\ell$ , $\ell_j$	长度尺度；每个输入 $j$ 各有一个长度尺度（自动相关性确定，ARD）	第 3.1.1 节、第 9.2 节
$\sigma_f^2$	幅度的平方，对平稳核而言等于 $k(\vx, \vx)$	第 7.2.1 节
$\sigma_n^2$	观测噪声方差	第 2.6.4 节、第 8.3 节
$X$ , $\vy$	已观测的输入与观测值	第 8.1 节
$\mK$	已观测输入的核矩阵， $[\mK]_{ij} = k(\vx_i, \vx_j)$	第 7.3 节、第 8.1 节
$\vk(\vx)$	$\vx$ 与各已观测输入之间的协方差	第 8.1 节
$\mu(\vx)$ , $\mu_n(\vx)$	后验均值（ $n$ 次观测后）	第 8.1 节、第 11.2 节
$\sigma^2(\vx)$ , $\sigma_n^2(\vx)$	潜在值的后验方差（ $n$ 次观测后）	第 8.1 节、第 11.2 节
$\bm{\alpha}$	后验均值中的权重 $(\mK + \sigma_n^2\mI)^{-1}\vy$	第 3.5.1 节、第 8.2.1 节
$M$	线性模型的特征个数；对随机 Fourier 特征，指抽取的频率个数	第 7.1 节、第 10.4.3 节
$\mathcal{H}_k$ , $\langle f, g\rangle_k$ , $\lVert f\rVert_k$	$k$ 的再生核 Hilbert 空间（RKHS）及其内积与范数	第 10.2 节
$B$	RKHS 范数的上界；有的论文界定 $\lVert f\rVert_k$ ，有的界定 $\lVert f\rVert_k^2$	第 10.2.4 节
$\mathcal{K}$ , $q(\vx)$	核函数的积分算子，以及积分所用的权重密度	第 10.1.3 节
$\lambda_i$ , $\varphi_i$	$\mathcal{K}$ 的特征值与特征函数（Mercer 定理）	第 10.3 节
$s(\boldsymbol{\omega})$ , $p(\boldsymbol{\omega})$	平稳核的谱密度；归一化为概率密度后的谱密度	第 10.4 节

有一处记号冲突需要留意。不带自变量的 $\sigma_n^2$ 表示噪声方差，沿用 Rasmussen 与 Williams（2006）的写法，下标代表噪声（noise）。 $\sigma_n(\vx)$ 总是带自变量书写，表示 $n$ 次观测后的后验标准差，沿用 Srinivas 等人（2010）的写法。两者靠自变量 $(\vx)$ 区分。两者出现在同一公式中时（第 12.6 节），噪声方差记作 $\sigma_\varepsilon^2$ 。在第 10 章中，带下标的 $\lambda_i$ 表示特征值， $q$ 表示权重密度；在其他章节中， $\lambda$ 表示逆 Mills 比或失误率， $q$ 表示一次查询中的选项数。

第 A.3 节引用的文献 2

Rasmussen 与 Williams（2006）Gaussian Processes for Machine Learning
Srinivas 等人（2010）Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design

A.4 优化与偏好 #

表 A.4 优化与偏好。

符号	含义	引入位置
$\vx^\star$ , $f^\star$	某个最大值点与最大值	第 6.4.2 节、第 11.1 节
$f^*_n$	当前最优值，即 $n$ 次评估后观测到的最好值	第 12.2 节
$a_n(\vx)$	$n$ 次观测后的采集函数	第 11.2 节
$\PI$ , $\EI$ , $\UCB$	改进概率、期望改进、上置信界	第 12.2 节、第 12.3 节、第 12.4 节
$\beta$ , $\beta_t$	上置信界 $\mu_n(\vx) + \beta^{1/2}\sigma_n(\vx)$ 中的探索权重	第 11.2.1 节、第 12.4 节
$\xi$	改进概率与期望改进中的改进裕量（在第 6.4 节中另指对实验的一种选择）	第 12.2 节
$r_t$ , $R_T$	瞬时遗憾； $T$ 轮的累积遗憾	第 13.1 节
$\gamma_T$	核函数在 $T$ 次观测后的最大信息增益	第 6.5.2 节
$\vx \succ \vx'$	$\vx$ 优于 $\vx'$	第 16.3 节
$g$ 或 $f$	人的潜在效用（与高斯过程共用同一套机制时，本书记作 $f$ ）	第 18.1 节
$\sigma$ （链接函数中）	人评价单个选项时的噪声尺度	第 16.3 节
$\tau$	逻辑链接的尺度， $\operatorname{sigmoid}\big((g_i - g_j)/\tau\big)$	第 16.4 节
$\lambda(z)$	逆 Mills 比 $\phi(z)/\Phi(z)$ ，只在定义它的章节中使用	第 17.3 节、第 18.2 节
$\lambda_{\text{lapse}}$	失误率，即回答属于随机失误的概率	第 20.4.2 节
$\mW$	对数似然的负 Hessian 矩阵；对成对回答而言为加权图 Laplace 矩阵	第 17.2 节、第 18.2 节
$\EUBO(\vx_1, \vx_2)$	最优选项期望效用	第 19.4 节
$q$	一次查询展示的选项数（qEUBO）	第 19.4 节

遗憾界用 $\tilde O(\cdot)$ 表述，该记号隐去对数因子；书中的每个速率都连同其假设与遗憾单位一并给出（第 29.4 节）。

参考文献

Rasmussen, C. E., and Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press. doi:10.7551/mitpress/3206.001.0001. 引用于 §A.3
Srinivas, N., Krause, A., Kakade, S. M., and Seeger, M. (2010). Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design. ICML 2010. 引用于 §A.3