贝叶斯优化
第四部分：从比较中学习
EN

偏好贝叶斯优化

先看下图。图中给出两种颜色，请选出更喜欢的一种。如实作答十几次，同时观察下方的曲线：曲线是模型对各个色相受喜爱程度的估计，区间带表示模型的不确定程度，星形标出模型目前对最爱颜色的猜测。其间从未输入任何数字。每个回答都是在两个选项之间做出选择，下一次展示哪两个选项则由系统决定。

你更喜欢哪一个？A30°B210°−2−1012效用0°90°180°270°360°AB你的回答 · 0 次比较 · 最佳猜测 –°还没有回答。第一对是固定的，之后由 EUBO 选择。
你更喜欢哪一个？A30°B210°−2−1012效用0°90°180°270°360°AB你的回答 · 0 次比较 · 最佳猜测 –°还没有回答。
图 19.1 以读者为预言机的偏好贝叶斯优化。每个回答是两种色相之间的一次比较；曲线是潜在效用的后验，由第 18 章的模型学得；下一对取较优选项期望效用最高的一对（第 19.4 节）。第一对固定，此后每一对都由模型选择。切换到“随机”，可与随机选取的选项对相比较。

这一循环就是偏好贝叶斯优化。第 18 章构建了它的前一半，即用高斯过程表示效用，并从比较中学习。本章构建后一半，即选择下一次比较的规则，然后考察循环实际运行的情形。基本思路沿用第 11 章，只有一处不同，但这处不同影响很大：查询现在是一对输入，回答只有一比特。

19.1 问题 #

设定义域 X\X 上有潜在效用 gg，表示一个人对各个选项的喜爱程度。目标是找到效用高的输入，

x⋆∈arg max⁡x∈Xg(x),\vx^\star \in \argmax_{\vx \in \X} g(\vx),

但 gg 无法直接评估。能做的只是向这个人展示两个选项 x\vx 与 x′\vx'，记录其选择。按照第 16 章，回答是随机的，其概率随效用差增大而增大：

P(x≻x′)=Φ ⁣(g(x)−g(x′)2 σ),\Prob(\vx \succ \vx') = \Phi\!\left(\frac{g(\vx) - g(\vx')}{\sqrt{2}\,\sigma}\right),
(19.1)

其中 x≻x′\vx \succ \vx' 读作“x\vx 优于 x′\vx'”，Φ\Phi 是标准正态分布函数，σ\sigma 是此人评价每个选项时的噪声。Bradley-Terry 模型的逻辑链接 1/(1+e−(g(x)−g(x′))/τ)1/(1 + e^{-(g(\vx) - g(\vx'))/\tau}) 同样常用；两者之间的取舍对理论（第 21 章）的影响大于对本章循环的影响。

预算很小。一次会话中，一个人或许能回答几十次比较，之后便会疲劳，而第 32 章表明，许多真实会话结束得早得多。会话结束时，系统必须推荐一个选项，通常是后验均值效用最高的那个。

有三点使这一问题比普通贝叶斯优化更难。第一，每个回答至多携带一比特信息，远少于一个测量值。第二，回答只反映差值，不反映 gg 的绝对水平，因此效用只能在相差一个平移的意义下识别（第 18.4 节）。第三，查询的输入数量加倍，选择查询就意味着在所有选项对上搜索。

19.2 对决表述 #

“偏好贝叶斯优化”这一名称出自 González 等人（2017）。他们提出问题的方式完全绕开了潜在效用：直接对偏好函数 π(x,x′)=P(x≻x′)\pi(\vx, \vx') = \Prob(\vx \succ \vx') 建模，把它看作采用逻辑链接的高斯过程分类器，定义在由输入对构成的乘积空间 X×X\X \times \X 上；他们称这一空间为对决空间（dueling space）。

没有效用，“最优选项”就需要一个只依赖成对概率的定义。他们采用 Condorcet 赢家（Condorcet winner），即以大于二分之一的概率击败其他每个选项的选项。偏好不满足传递性时，Condorcet 赢家可能不存在，因此他们用软 Copeland（soft-Copeland）值为每个选项打分，即该选项对均匀随机选取的对手获胜的平均概率，

C(x)=1Vol⁡(X)∫Xπ(x,x′) dx′,C(\vx) = \frac{1}{\operatorname{Vol}(\X)} \int_{\X} \pi(\vx, \vx')\, \dd\vx',

并寻找其最大值点。如果偏好确实如式（19.1）那样来自某个效用，那么软 Copeland 值的最大值点就是效用的最大值点，因为对任何对手，π(x,x′)\pi(\vx, \vx') 都随 g(x)g(\vx) 增大。

他们提出了三种采集函数。纯探索（pure exploration）选择结果最不确定的对决。Copeland 期望改进（Copeland expected improvement）针对软 Copeland 值做一步前瞻。对决 Thompson 采样（dueling Thompson sampling）从偏好函数中抽取一个样本，以该样本下软 Copeland 得分最高的选项作为对决的一方，再为其配上与之对决结果最不确定的选项。实验采用一维和二维测试函数，每个维度离散化为 33 个点，先做 5 次初始对决，再做 200 次对决，重复 20 次。结果是对决 Thompson 采样始终为最佳策略；Copeland 期望改进过度利用，且计算代价过高，他们只在一个函数上运行了它；对决赌博机基线需要约 4,000 次迭代，才能接近 Thompson 采样 200 次迭代达到的水平（González 等，2017）。

对决空间使输入维度加倍，每次评估目标函数还要计算一个积分。正是部分出于这一原因，后来的大多数工作回到了 Chu 与 Ghahramani（2005）的潜在效用模型（即第 18 章阐述的模型），BoTorch 的默认实现也以该模型为基础（Balandat 等，2020）。本章其余部分采用这一模型。偏好来自某个效用时，两种观点一致；偏好并非来自效用时对决观点有何用处，第 21 章将再作讨论。

第 19.2 节引用的文献 3
  1. González 等人（2017）Preferential Bayesian Optimization
  2. Chu 与 Ghahramani（2005）Preference learning with Gaussian processes
  3. Balandat 等人（2020）BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization

19.3 选择比较对 #

有了效用的后验，接下来的问题是展示哪一对选项。好的选项对通常兼顾两项任务。一个选项应是有力的候选，使回答能细化对高效用区域的认识；另一个应是挑战者，与前者的比较结果确实不确定，这样回答才有信息量。两个明显都差的选项，或者一个有力选项配一个明显更差的选项，都会浪费一次提问。

最早的规则正是照此设计的。Brochu 等人（2007）以目前展示过的选项中后验均值最高者为第一方，以相对于它期望改进最高的选项为第二方，相当于把第 12.3 节的采集函数用于潜在效用。Fauvel 与 Chalk（2021）的最大不确定挑战（maximally uncertain challenge）保留同一擂主，选择对决结果认知方差最大的挑战者；认知方差是结果的不确定性中可由更多数据消除的部分。Takeno 等人（2023）的幻觉信念（hallucination believer）从后验中抽取潜在比较值的一个样本，将其当作数据，再对由此得到的高斯过程应用任一标准采集函数。

这些规则可以使用，但四个独立的研究组报告了期望改进这一类规则的同一缺陷：停滞。挑战者相对于已充分了解的擂主，期望改进很小，于是规则不再检验擂主，只学到挑战者之间的相对优劣，始终无从得知其中是否有选项胜过当前最优点（González 等，2017；Fauvel 与 Chalk，2021；Takeno 等，2023；Astudillo 等，2023）。这一结论是从四份报告中归纳出的推断，并非其中任何一份所证明的结果（推断）；不过，Astudillo 等人（2023）确实对批量版本证明了这种停滞，见下文。

第 19.3 节引用的文献 5
  1. Brochu 等人（2007）Active Preference Learning with Discrete Choice Data
  2. Fauvel 与 Chalk（2021）Efficient Exploration in Binary and Preferential Bayesian Optimization
  3. Takeno 等人（2023）Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes
  4. González 等人（2017）Preferential Bayesian Optimization
  5. Astudillo 等人（2023）qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization

19.4 最优选项期望效用 #

追问比较的目的，可以得到更简洁的规则。假设会话在这次查询之后立即结束，并推荐此人从两个选项中选中的那一个。如果回答可靠，此人会选择效用较高的选项，这次查询的价值就是两者中较优者的效用。由于 gg 未知，取其在后验下的期望：

EUBO⁡(x1,x2)=En ⁣[max⁡{g(x1), g(x2)}],\EUBO(\vx_1, \vx_2) = \E_n\!\left[\max\{g(\vx_1),\, g(\vx_2)\}\right],
(19.2)

这就是最优选项期望效用（expected utility of the best option，EUBO），其中 En\E_n 表示 nn 次比较之后在后验下的期望。EUBO 最初为多目标问题中的偏好探索而提出（Lin 等，2022），后推广到含 qq 个选项的查询，即 En[max⁡ig(xi)]\E_n[\max_i g(\vx_i)]，称为 qEUBO（Astudillo 等，2023）。

在第 18.2 节的 Laplace 近似下，后验值 A=g(x1)A = g(\vx_1) 与 B=g(x2)B = g(\vx_2) 服从联合高斯分布，因此式（19.2）有闭式解。

推导 EUBO 的闭式解

设 AA 与 BB 服从联合高斯分布，均值为 μA,μB\mu_A, \mu_B，方差为 vA,vBv_A, v_B，协方差为 cc。

  1. 将最大值写成一个变量与一个正部之和：max⁡{A,B}=B+max⁡{A−B, 0}\max\{A, B\} = B + \max\{A - B,\, 0\}。
  2. 差值 Δ=A−B\Delta = A - B 服从高斯分布（高斯变量的线性映射，第 4.3 节），均值为 δ=μA−μB\delta = \mu_A - \mu_B，方差为 s2=vA+vB−2cs^2 = v_A + v_B - 2c。
  3. E[max⁡{Δ,0}]\E[\max\{\Delta, 0\}] 是 Δ\Delta 相对于零的期望改进，第 12.3 节已求得其值为 δ Φ(δ/s)+s ϕ(δ/s)\delta\,\Phi(\delta/s) + s\,\phi(\delta/s)，其中 ϕ\phi 是标准正态密度。
  4. 由期望的线性性，E[max⁡{A,B}]=μB+δ Φ(δ/s)+s ϕ(δ/s)\E[\max\{A, B\}] = \mu_B + \delta\,\Phi(\delta/s) + s\,\phi(\delta/s)。
  5. 利用 μB=μBΦ(δ/s)+μBΦ(−δ/s)\mu_B = \mu_B\Phi(\delta/s) + \mu_B\Phi(-\delta/s)，上式等于 μA Φ(δ/s)+μB Φ(−δ/s)+s ϕ(δ/s)\mu_A\,\Phi(\delta/s) + \mu_B\,\Phi(-\delta/s) + s\,\phi(\delta/s)，即 Clark（1961）的公式。
EUBO⁡(x1,x2)=μA Φ ⁣(δs)+μB Φ ⁣(−δs)+s ϕ ⁣(δs).\EUBO(\vx_1, \vx_2) = \mu_A\,\Phi\!\left(\frac{\delta}{s}\right) + \mu_B\,\Phi\!\left(-\frac{\delta}{s}\right) + s\,\phi\!\left(\frac{\delta}{s}\right).
(19.3)

这一公式表明，单个表达式即可同时完成第 19.3 节中的两项任务。前两项是两个均值的加权平均，只要有一个选项好，其值就大。最后一项随 ss（即两者孰优的不确定性）增大。利用与探索出现在同一公式中，无须调节任何常数。以下三条性质值得对照下图检验：

  • 两个相同选项构成的对，价值等于单个选项：s=0s = 0，且 EUBO⁡(x,x)=μ(x)\EUBO(\vx, \vx) = \mu(\vx)。
  • 一对选项的价值从不低于其中较大的均值：由 Jensen 不等式，EUBO⁡≥max⁡{μA,μB}\EUBO \ge \max\{\mu_A, \mu_B\}。
  • 均值固定时，EUBO 随 ss 增大（习题 19.1）。
−202潜在效用0.00.20.40.60.81.0x0.00.51.0第一个选项 x₁0.00.51.0第二个选项 x₂EUBO(x₁, x₂)
−202潜在效用0.00.20.40.60.81.0x0.00.51.0第一个选项 x₁0.00.51.0第二个选项 x₂EUBO(x₁, x₂)
图 19.2 在贯穿全书的示例目标函数上经过五次对决后，所有选项对上的 EUBO。左：潜在效用的后验（蓝色）、模型正在学习的目标函数（虚线，经过缩放，因为效用只能在相差平移和尺度的意义下识别），顶部的线段表示五次对决，由落败选项指向获胜选项。右：31 × 31 网格上每一对的 EUBO，颜色越深值越高。该矩阵对称，对角线为后验均值，最大值（橙色）即下一对，左图中也标出了这一对。按“询问下一对”，以目标函数的方式作答，观察热图的变化。

热图直观地呈现了这种权衡。五次对决之后，模型无法判断 x=0.25x = 0.25 附近的宽峰与 x=0.7x = 0.7 附近的区域孰优孰劣，EUBO 提出的正是这个问题：其最大值处的选项对分别取自这两处。多按几次“询问下一对”，可以看到热图随着回答的积累逐渐清晰。

19.4.1 EUBO 的已知结果 #

EUBO 不只是看似合理的启发式方法。一次查询的一步贝叶斯最优（one-step Bayes optimal）值，是再获得一个回答之后，最终推荐所能达到的最佳期望效用；最大化这一值的采集函数就是第 12.6 节的知识梯度。Lin 等人（2022）证明了 EUBO 对偏好探索是一步贝叶斯最优的。Astudillo 等人（2023）把这一分析推广到 qq 个选项：

  • 回答无噪声时，qEUBO 的最大值点是一步贝叶斯最优的，因此 qEUBO 与知识梯度一致。
  • 在尺度为 τ\tau 的逻辑噪声下（式（16.4）），qEUBO 所选查询的一步价值至多比最优值低 τ W ⁣((q−1)/e)\tau\, W\!\left((q-1)/e\right)，其中 WW 是 Lambert W 函数，即 w↦weww \mapsto we^w 的反函数。
  • 在有限定义域上，当 q=2q = 2 且满足其他若干技术条件时，qEUBO 的贝叶斯简单遗憾比 1/n1/n 衰减得更快。
  • 在相同假设下，期望改进的一种批量版本 qEI 的简单遗憾可能对所有 nn 都有正的下界，即 qEI 不是渐近一致的。这正是第 19.3 节中的停滞，此处得到了证明。

第三个结果假设选项集有限，问题因而成为识别问题，不能与第 21 章中针对连续定义域给出的速率直接比较（推断）。在 BoTorch 中，解析形式的 EUBO 与 qEUBO 可与 PairwiseGP 模型配合使用；qEUBO 于 2024 年 2 月在 0.10.0 版中加入（Meta Platforms, Inc.，2026e）。

第 19.4 节引用的文献 4
  1. Lin 等人（2022）Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes
  2. Astudillo 等人（2023）qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization
  3. Clark（1961）The Greatest of a Finite Set of Random Variables
  4. Meta Platforms, Inc.（2026e）BoTorch CHANGELOG

19.5 完整的循环 #

将上述各部分组合起来，即得到图 19.1 中运行的算法。

算法 19.1 基于 EUBO 的偏好贝叶斯优化

输入：定义域 X\X，核函数 kk，噪声尺度 σ\sigma，预算为 NN 次比较。

  1. 在随机或空间填充的选项对上先询问几次比较。
  2. 用迄今为止的全部回答拟合第 18 章的偏好模型：求出已比较输入处效用的后验众数，以及围绕众数的 Laplace 近似。
  3. 在所有选项对上最大化式（19.3），选出下一对 (x1,x2)(\vx_1, \vx_2)：问题规模较小时在候选网格上搜索，否则从若干起始对出发做梯度上升。
  4. 展示这一对，记录回答，返回第 2 步，直至预算用完。
  5. 推荐后验均值效用最高的输入。

下图让同一循环面对一个模拟用户，其最爱色相是隐藏的，读者可以借助这一已知答案检验模型。

模拟用户被问到：A30°B210°−2−1012效用0°90°180°270°360°AB已有回答 · 0 次比较 · 最佳猜测 –°还没有回答。第一对是固定的，之后由 EUBO 选择。
模拟用户被问到：A30°B210°−2−1012效用0°90°180°270°360°AB已有回答 · 0 次比较 · 最佳猜测 –°还没有回答。
图 19.3 同一循环，改由模拟用户作答：模拟用户具有隐藏效用，按式（19.1）回答。按几次“模拟十次”，再显示其最爱。调高噪声，可以看到不够一致的回答者如何拖慢模型；切换到随机选项对，可以看到采集函数的作用。无论模拟用户的真实噪声多大，模型始终假设噪声为 σ = 0.15。

可以做以下尝试。在默认噪声下，EUBO 通常在十至十五个回答之后，把星形放在距隐藏最爱仅几度的位置。随机选项对到达这一位置更慢，也更不稳定，因为许多随机选项对比较的是两种平庸的色相。把噪声调到 0.5，曲线随之变平：模型把不一致的回答解读为很小的效用差，按照式（19.1），这正是应有的结果。在某些随机种子下，EUBO 在离最爱稍远处停下，反复询问几乎相同的一对；这就是下文的第一种失效模式。

19.5.1 多个参数 #

色相只是一个数。真实的设计有许多参数：字体有字重、字宽、对比度与倾斜度；外骨骼控制器在步态的每个阶段都有各自的时机与力矩。算法 19.1 中没有任何步骤依赖于维度，但模型需要学习的量取决于维度。下图在生成的设计上运行同一循环，设计参数为 3 个、6 个或 10 个：背景色相、圆角程度、形状大小，然后是饱和度、条纹、旋转等。

你更喜欢哪个设计？AB0 次比较 · 3 个参数最佳猜测经过最佳猜测、沿每个参数学到的效用背景色相圆角程度形状大小3 个参数6 个参数10 个参数随机对记录：最佳猜测的接近程度（24 个模拟用户的中位数）010203040比较次数0.00.51.0剩余差距
你更喜欢哪个设计？AB0 次比较 · 3 个参数最佳猜测经过最佳猜测、沿每个参数学到的效用背景色相圆角程度形状大小3 个参数6 个参数10 个参数随机对记录：最佳猜测的接近程度（24 个模拟用户的中位数）010203040比较次数0.00.51.0剩余差距
图 19.4 在 3、6 或 10 个参数的设计上做偏好贝叶斯优化。在设计 A 与 B 之间做选择；各小图显示模型对每个参数学到的结果，即其他参数固定于当前最佳猜测（橙色线）时，沿该参数的后验均值效用。下方面板是预先记录的结果，并非实时运行：24 个模拟用户各有隐藏的最爱，回答噪声为 0.1，图中给出每次比较后模型最佳猜测与最爱之间剩余差距的中位数（1 表示不优于随机设计，0 表示恰为最爱），选项对由 EUBO 选择（实线，阴影为四分位距）或随机选择（虚线）。在模拟模式下，本次会话的曲线会叠加在上面。模型即本章的模型，其长度尺度随参数个数增大，EUBO 每次查询在几百个候选设计中搜索；两者都是简化处理。

记录下的曲线中有两点值得注意。第一是维度的代价。由 EUBO 选择选项对时，四十次比较在三个参数下能缩小与最爱之间约三分之二的差距，六个参数时约 40%，十个参数时约 30%。每次比较仍然至多携带一比特，而需要在其中定位最爱的空间却随参数增加而扩大。仅凭几十次选择学习一个人在十个参数上的品味，与在一个参数上学习是两类不同的问题；第 30 章将在研究文献中继续追踪这一问题。

第二，在这一简单实现中，一旦积累了最初约二十个回答，用 EUBO 选择选项对并不比随机选择更好。三个和六个参数时，EUBO 曲线在约二十个回答后趋于平缓，随机曲线则继续下降：四十个回答之后，随机选项对在三个参数时已缩小约 87% 的差距，六个参数时约缩小一半。十个参数时，从第二十个回答起，两条中位数曲线相差都在约 0.05 以内，两种规则都缩小约 30% 的差距。观察所选的选项对，可以看出其中的机制：EUBO 总是提出两个都靠近当前最佳猜测的设计，回答只细化了一个小区域，不再检验其余部分。这正是下文失效模式中报告的 EUBO 坍缩，此处又因只在较小的候选集中搜索而进一步放大（推断）。第 25.4.1 节中模拟的照片会话呈现相反的排序，EUBO 选项对远远领先于随机选项对，但实验设置不同：对一张真实照片做六种调整，只使用相距至少 0.2 的选项对，且推荐限于已比较过的设置。两种模拟搜索的候选池都包含对最佳猜测的扰动，因此差别不在候选池；其余因素中究竟是哪一个导致了这一反转，我们尚未分离出来（推断）。这提醒我们，采集函数的理论保证只涉及模型假设下的一步，它在整个会话中能否胜过随机选项对是经验问题，而这一问题很少在真人身上检验过（第 28.9 节）。

19.6 已知的失效模式 #

上述循环与实践中实际运行的系统相当接近：采用概率单位链接和 Laplace 近似的高斯过程偏好模型，以 EUBO 或 qEUBO 选择查询。2024 至 2026 年间，几个研究组仔细检验了这一流程，发现了若干问题。这些报告大多是预印本，应视为有待确认的发现，而非定论。

EUBO 向当前最优点坍缩。Wu 与 Gardner（2026）以闭式推导出概率单位似然下的精确知识梯度，证明 EUBO 是它的下界，并在一个二维测试函数上展示：EUBO 的查询聚集在估计的最大值周围，精确知识梯度则持续探索。有噪声时，EUBO 与知识梯度不再等价，坍缩正源于二者之间的差距。

比较图支离破碎。把每个比较过的输入视为一个节点，把每个已回答的选项对视为一条边。Shao 等人（2026）观察到，EUBO 倾向于选择与先前查询没有共同输入的新选项对，于是每一对都成为一条孤立的边，Laplace 近似中似然的 Hessian 矩阵因而秩亏。第 18.5 节解释了连通性为何对任何比较模型都很重要，并报告作者提出的修正方法及其效果大小。

好的最终答案可能掩盖代价高昂的过程。在从高斯过程抽取的样本函数上，Xu 等人（2024b）报告，qEUBO 推荐的解略优于他们提出的乐观算法给出的解，但其累积遗憾（计入过程中展示过的所有选项的效用）是后者的 2.5 倍以上。哪个指标更重要，取决于此人是否必须承受展示给他的那些选项。

较早的规则也各有失效方式。维度升高时，Thompson 采样会过度探索；幻觉信念在噪声极低时表现最好，但回答有噪声时可能陷入停滞（Takeno 等，2023；Xu 等，2024b）。

第 28 章汇总了这些结果及各自的观察条件，第 27 章则讨论同一流程中推断的一面。

研究现状已定、有争议与缺失

已定。回答无噪声时，EUBO 与 qEUBO 是一步贝叶斯最优的；在逻辑噪声下接近最优。期望改进类规则可能停滞，且可以证明 qEI 不具有一致性。

有争议。EUBO 的坍缩与秩亏的 Hessian 矩阵是否会在有真人参与的任务上造成损失：现有证据来自模拟和预印本。

缺失。尚无研究在相同界面和预算下，把参与者随机分配到不同的采集函数；第 47 章列出了这一实验。

第 19.6 节引用的文献 4
  1. Wu 与 Gardner（2026）Knowledge Gradient for Preference Learning
  2. Shao 等人（2026）Adaptive KappaSharp: Condition-Number Shaping for Preferential Bayesian Optimization
  3. Xu 等人（2024b）Principled Preferential Bayesian Optimization
  4. Takeno 等人（2023）Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes

19.7 当预言机是人 #

图 19.3 中的模拟用户具有固定的效用、恒定的噪声和无限的耐心。读者并非如此，第 32 章与第 33 章所述研究中的任何参与者也不是。回到图 19.1，再回答二十个问题。是否有过与自己先前回答相反的选择？随着看到的颜色增多，喜欢的颜色是否发生了变化？开始喜欢星形所指的色相，是否部分因为系统一直在展示它？

这些担忧并非假想。在一项为期 3 个月的人在回路优化器实地部署中，549 个评价序列中有 415 个在第一次迭代就终止了（Ou 等，2022）。由优化器而非人主导搜索时，人们往往能得到更好的设计，同时报告对这些设计的能动感更低（Chan 等，2022；Niwa 等，2025）。反复比较究竟是发现了偏好，还是在一定程度上制造了偏好，这是第九部分讨论的问题；能够区分二者的实验，即随机化查询顺序并在一周后重测，见第 47.4 节。本章的算法是正确的起点；而算法所作用的人，正是本书在此之后继续展开的原因。

第 19.7 节引用的文献 3
  1. Ou 等人（2022）The Human in the Infinite Loop: A Case Study on Revealing and Explaining Human-AI Interaction Loop Failures
  2. Chan 等人（2022）Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques
  3. Niwa 等人（2025）Cooperative Design Optimization through Natural Language Interaction

19.8 习题 #

习题 19.1

证明在 μA\mu_A 与 μB\mu_B 固定时，式（19.3）对 ss 的导数为 ϕ(δ/s)\phi(\delta/s)。为什么这意味着在均值相同时，EUBO 从不偏好比较结果更确定的选项对？

解答

记 z=δ/sz = \delta/s，则 ∂z/∂s=−δ/s2\partial z/\partial s = -\delta/s^2。利用 Φ′=ϕ\Phi' = \phi 与 ϕ′(z)=−zϕ(z)\phi'(z) = -z\phi(z) 逐项求导：

∂∂s[μAΦ(z)+μBΦ(−z)+sϕ(z)]=(μA−μB) ϕ(z) ∂z∂s+ϕ(z)+s (−zϕ(z)) ∂z∂s.\frac{\partial}{\partial s}\Big[\mu_A\Phi(z) + \mu_B\Phi(-z) + s\phi(z)\Big] = (\mu_A - \mu_B)\,\phi(z)\,\frac{\partial z}{\partial s} + \phi(z) + s\,(-z\phi(z))\,\frac{\partial z}{\partial s}.

第一项为 δϕ(z)(−δ/s2)=−z2ϕ(z)\delta\phi(z)(-\delta/s^2) = -z^2\phi(z)，最后一项为 s(−zϕ(z))(−δ/s2)=z2ϕ(z)s(-z\phi(z))(-\delta/s^2) = z^2\phi(z)。二者相互抵消，剩下 ϕ(z)>0\phi(z) > 0。EUBO 随比较的不确定性严格增大，因此在均值相同的两个选项对之间，它总是偏好结果更难预测的那一对。

习题 19.2

当 x\vx 是好选项时，EUBO⁡(x,x)=μ(x)\EUBO(\vx, \vx) = \mu(\vx) 可能很大，为什么这对 EUBO 不构成问题？在怎样的后验下，EUBO 的最大值点会是由两个相同选项构成的对？这又说明搜索处于什么状态？

解答

由于 EUBO⁡≥max⁡{μA,μB}\EUBO \ge \max\{\mu_A, \mu_B\}，任何满足 x′≠x\vx' \neq \vx 的对 (x,x′)(\vx, \vx') 的价值都至少为 μ(x)\mu(\vx)，而且只要比较存在正的不确定性，其价值就严格更大（习题 19.1）。只有当涉及最优选项的每一次比较都已确定，即模型确信没有其他选项胜过它时，对角线才可能胜出。此时继续提问已无期望价值，这是自然的停止信号；不过第 46.6 节将说明，后验收敛本身并不能证明此人的偏好已经稳定。

习题 19.3

在图 19.3 中，模型假设 σ=0.15\sigma = 0.15，而模拟用户的噪声可能大得多。先预测此人的真实噪声为 0.5 时后验会如何变化，然后检验。这对固定噪声尺度而非拟合噪声尺度的做法有何启示？

解答

模型把每个回答都当作来自噪声为 0.15 的人。噪声为 0.5 的人自相矛盾的频率远高于模型的预期；在相似的选项对上两种方向的回答都出现时，模型唯一的解释是它们之间的效用差很小。因此，在回答相互冲突的地方，后验均值变平，星形随每个新回答移动得更多，最终离隐藏最爱更远。区间带并不会相应变宽，因为模型的噪声是固定的，于是模型比回答所能支持的更有信心（推断）。只有当噪声尺度大致正确时，固定它才是安全的。若可能不正确，就应拟合噪声尺度（或核函数的幅度；由第 18.4 节，二者是同一个自由度），或者像第 25.5.1 节那样，用几个重复的选项对来检验。

延伸阅读 #

参考文献

  1. Astudillo, R., Lin, Z. J., Bakshy, E., and Frazier, P. (2023). qEUBO: A Decision-Theoretic Acquisition Function for Preferential Bayesian Optimization. International Conference on Artificial Intelligence and Statistics. 引用于 §19.3 §19.4
  2. Balandat, M., Karrer, B., Jiang, D. R., Daulton, S., Letham, B., Wilson, A. G., and Bakshy, E. (2020). BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). 引用于 §19.2
  3. Brochu, E., de Freitas, N., and Ghosh, A. (2007). Active Preference Learning with Discrete Choice Data. Advances in Neural Information Processing Systems. 引用于 §19.3
  4. Chan, L., Liao, Y.-C., Mo, G. B., Dudley, J. J., Cheng, C.-L., Kristensson, P. O., and Oulasvirta, A. (2022). Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques. CHI 2022. 引用于 §19.7
  5. Chu, W., and Ghahramani, Z. (2005). Preference learning with Gaussian processes. Proceedings of the 22nd international conference on Machine learning - ICML '05. 引用于 §19.2
  6. Clark, C. E. (1961). The Greatest of a Finite Set of Random Variables. Operations Research. 引用于 §19.4
  7. Fauvel, T., and Chalk, M. (2021). Efficient Exploration in Binary and Preferential Bayesian Optimization. arXiv. 预印本引用于 §19.3
  8. González, J., Dai, Z., Damianou, A., and Lawrence, N. D. (2017). Preferential Bayesian Optimization. International Conference on Machine Learning. 引用于 §19.2 §19.3
  9. Lin, Z. J., Astudillo, R., Frazier, P., and Bakshy, E. (2022). Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes. International Conference on Artificial Intelligence and Statistics. 引用于 §19.4
  10. Meta Platforms, Inc. (2026c). Bayesian optimization with pairwise comparison data (preferential Bayesian optimization tutorial, documentation v0.18.1). botorch.org. 软件
  11. Meta Platforms, Inc. (2026e). BoTorch CHANGELOG. GitHub. 软件引用于 §19.4
  12. Niwa, R., Yoshida, S., Koyama, Y., and Ushiku, Y. (2025). Cooperative Design Optimization through Natural Language Interaction. UIST 2025. 引用于 §19.7
  13. Ou, C., Buschek, D., Mayer, S., and Butz, A. (2022). The Human in the Infinite Loop: A Case Study on Revealing and Explaining Human-AI Interaction Loop Failures. Mensch und Computer 2022. 引用于 §19.7
  14. Shao, K., Wang, J., Pei, X., and Mesbah, A. (2026). Adaptive KappaSharp: Condition-Number Shaping for Preferential Bayesian Optimization. arXiv. 预印本引用于 §19.6
  15. Takeno, S., Nomura, M., and Karasuyama, M. (2023). Towards Practical Preferential Bayesian Optimization with Skew Gaussian Processes. International Conference on Machine Learning. 引用于 §19.3 §19.6
  16. Wu, K., and Gardner, J. R. (2026). Knowledge Gradient for Preference Learning. arXiv. 预印本引用于 §19.6
  17. Xu, W., Wang, W., Jiang, Y., Svetozarevic, B., and Jones, C. (2024b). Principled Preferential Bayesian Optimization. International Conference on Machine Learning. 引用于 §19.6