贝叶斯优化
第九部分：偏好是什么？
EN

自然科学与形式科学

上一章探讨了偏好从何而来，以及系统测量偏好时会出现什么情况。本章转向用数学为选择建模的学科。这些学科能为偏好贝叶斯优化提供的，是对一个问题的阐明：一组比较能为模型提供哪些信息，又不能提供哪些信息。最有用的结果是一些工具，偏好贝叶斯优化系统现在就能将其用于自身的日志：比较图的形状决定效用能被确定到什么程度（第 43.3.1 节）；对比较数据的一种分解，可以度量其中有多少能由任何单个效用解释（第 43.3.2 节）。围绕这两项结果，本章核查了偏好学习相关文献中流传的一些形式化论断，其中有几条的出处或成立条件有误（第 43.9 节）；最后讨论隐私保护会使一次偏好会话付出什么代价。

43.1 生物学与行为生态学 #

行为生态学把动物的选择作为一种适应来研究，因而天然适合检验偏好是否稳定、是否为标量、是否可传递。它给出的回答大体是：可传递的核心，外加周围的情境效应与状态效应。15 只蜜蜂在人造花之间做二元选择，其中 3 只违反了弱随机传递性（weak stochastic transitivity）：若 aa 至少有一半时间胜过 bb，bb 至少有一半时间胜过 cc，则 aa 至少有一半时间胜过 cc。这一结论的前提，是对这些花在效用尺度上的排序所作的一个假设（Shafir，1994）。黏菌常被举作不可传递选择的例子，但在原始研究中，它们对食物选项的排序是线性的、可传递的（Latty 与 Beekman，2011）；它们违反的只是无关选项独立性（independence of irrelevant alternatives），即加入第三个选项不应改变另外两个选项之间相对偏好的原则。诱饵效应（第 37.2 节）取决于状态与设计。在椋鸟中，诱饵效应随动物的状态出现或消失（Schuck-Paim 等，2004）。在熊蜂中，奖励速率不同的诱饵如预测那样改变了偏好，糖浓度不同的诱饵则没有（Hemingway 等，2024）。一篇 2025 年的预印本（2026 年正式发表于 Ecological Entomology）发现，加入无奖励的花（另一种诱饵设计）并未提高对相邻花朵的偏好；该文还发现，早先的研究对蜜蜂诱饵效应的支持很少（Armand 等，2026）。

另有两项结果与会话的动态有关。“过度采食”（overharvesting）指在食物斑块中停留的时间超过 Charnov 的边际值定理（marginal value theorem）所规定的时长（Charnov，1976）。Harhen 与 Bornstein（2023）表明，这种行为可以源于对环境的理性推断加上按不确定性调整的折扣，人类被试的行为也与他们的模型一致。此外，演化理论预测，效用尺度本身也会适应：在选择频繁、犯错代价高的区域，效用尺度上升得最陡（Netzer，2009）。

对偏好贝叶斯优化的含义。用户在当前最优点附近“停留太久”，可能是不确定性下的理性行为；因此，停止规则应当把边际期望收益与可达水平的后验分布相比较，而不是与点估计相比较（推断；第 46.6 节）。若效用尺度在一次会话之内就会适应，偏好贝叶斯优化把查询集中在最优点附近，就会使那里的辨别更敏锐。这与 Weber 定律设定固定下限的假设相悖：按照 Weber 定律，最小可觉差随量值增大而增大（第 37.3 节）（推断）；检验方法见第 43.5 节。此外，既然核心是可传递的，在换用能表示不可传递偏好的代理模型之前，应当先在似然中加入选择集、近期历史与状态的协变量（推断）。

第 43.1 节引用的文献 8
  1. Shafir（1994）Intransitivity of preferences in honey bees: support for 'comparative' evaluation of foraging options
  2. Latty 与 Beekman（2011）Irrational decision-making in an amoeboid organism: transitivity and context-dependent preferences
  3. Schuck-Paim 等人（2004）State-Dependent Decisions Cause Apparent Violations of Rationality in Animal Choice
  4. Hemingway 等人（2024）Economic foraging in a floral marketplace: asymmetrically dominated decoy effects in bumblebees
  5. Armand 等人（2026）No evidence of a decoy effect in bees: Rewardless flowers do not increase bumblebees' preference for neighbouring flowers
  6. Charnov（1976）Optimal foraging, the marginal value theorem
  7. Harhen 与 Bornstein（2023）Overharvesting in human patch foraging reflects rational structure learning and adaptive planning
  8. Netzer（2009）Evolution of Time Preferences and Attitudes toward Risk

43.2 物理学与决策的统计力学 #

论断与核查。按照 Luce 的选择公理（choice axiom），对正的权重 ww，从集合 SS 中选出选项 xx 的概率为 w(x)/∑y∈Sw(y)w(x) / \sum_{y \in S} w(y)（Luce，1959）。令 w(x)=eβf(x)w(x) = e^{\beta f(x)}，上式即成为统计物理中的 Boltzmann 分布（Boltzmann distribution）：负效用 −f-f 相当于能量，逆温度（inverse temperature）β\beta 相当于选择的精度；温度高时选择近乎随机，温度低时近乎确定。这一恒等关系是正确的。在此基础上有一种论断：偏好贝叶斯优化的似然是 softmax，因而是 Boltzmann 分布。这一论断只在逻辑链接下成立，例如 González 等人（2017）所用的链接。Chu 与 Ghahramani 的概率单位似然，以及 BoTorch 默认的 PairwiseProbitLikelihood（Meta Platforms, Inc.，2026g），使用的是高斯累积分布函数（第 27.1 节），这一论断对它们并不成立。同样，常有人援引 Yellott（1977），称 Luce 公理与 Thurstone 的第五种情形在逻辑分布下等价，这也不正确。随机效用模型的误差服从 Gumbel（双指数）分布、因而误差之差服从逻辑分布时，得到的是 Luce 的形式；第五种情形则假设误差服从正态分布（第 16.5 节）。

精度并不固定。Lindig-León 等人（2022）在一项二选一强制选择任务中发现，被试时间充裕时依赖多个刺激特征，时间压力大时则主要依据单个特征作出决定。理性疏忽是一种经济学理论，把注意力视为代价高昂的资源（第 40.5 节），它得出了一种推广：Matějka 与 McKay（2015）证明，最优的信息获取会导出广义多项 logit 模型，其中的选择概率既取决于各选项的真实收益，也取决于决策者的先验信念。

对偏好贝叶斯优化的含义。按照理性疏忽理论，选择概率正比于先验权重与 eβ⋅utilitye^{\beta \cdot \text{utility}} 之积。对一对选项，可写作

P(x chosen over x′)=w(x) eβf(x)w(x) eβf(x)+w(x′) eβf(x′)=sigmoid⁡ ⁣(β(f(x)−f(x′))+log⁡w(x)w(x′)),\Prob(\vx \text{ chosen over } \vx') = \frac{w(\vx)\, e^{\beta f(\vx)}}{w(\vx)\, e^{\beta f(\vx)} + w(\vx')\, e^{\beta f(\vx')}} = \operatorname{sigmoid}\!\Big(\beta\big(f(\vx) - f(\vx')\big) + \log\frac{w(\vx)}{w(\vx')}\Big),
(43.1)

标准的逻辑链接是各权重相等时的特例。因此，偏好贝叶斯优化的似然可以为当前最优点或先展示的选项加入默认项或熟悉度项 log⁡w\log w（推断；Matějka 与 McKay 的摘要只确认了选择概率取决于先验，上述具体形式是一种概括）。时间压力下，有效效用可能坍缩到单个特征上，因此改变界面的作答时限，改变的不只是噪声，还有所显示的效用的结构（推断）。此外，温度刻画的是用户，应当加以估计，而不是像有时提议的那样随迭代退火；退火属于采集函数，例如 Thompson 采样的温度（第 12.5 节）（推断）。

第 43.2 节引用的文献 6
  1. Luce（1959）Individual Choice Behavior: A Theoretical Analysis
  2. González 等人（2017）Preferential Bayesian Optimization
  3. Meta Platforms, Inc.（2026g）BoTorch pairwise likelihood source code likelihoods/pairwise.py
  4. Yellott（1977）The relationship between Luce's Choice Axiom, Thurstone's Theory of Comparative Judgment, and the double exponential distribution
  5. Lindig-León 等人（2022）From Bayes-optimal to heuristic decision-making in a two-alternative forced choice task with an information-theoretic bounded rationality model
  6. Matějka 与 McKay（2015）Rational Inattention to Discrete Choices: A New Foundation for the Multinomial Logit Model

43.3 网络科学：比较图 #

2017 年以来，网络科学对偏好贝叶斯优化最有用的贡献是比较图（comparison graph）理论。比较图以被比较的选项为节点，以已回答的比较为边。第 27.6 节表明，Laplace 近似中似然的 Hessian 矩阵就是该图的 Laplace 矩阵。本节探讨图的形状如何决定效用的估计精度，以及数据中有多少能由一个效用解释。

43.3.1 比较图与估计误差 #

谱图理论（spectral graph theory）借助由图构造的矩阵（最常见的是 Laplace 矩阵）的特征值研究图。

定义 43.1 图 Laplace 矩阵、代数连通度、有效电阻

对 nn 个选项上的比较图，图 Laplace 矩阵（graph Laplacian）L\mL 定义为 (ei−ej)(ei−ej)⊤(\mathbf{e}_i - \mathbf{e}_j)(\mathbf{e}_i - \mathbf{e}_j)^\T 在所有已回答的对 (i,j)(i, j) 上的和，其中 ei\mathbf{e}_i 是第 ii 个单位向量。其特征值为 0=λ1≤λ2≤⋯≤λn0 = \lambda_1 \le \lambda_2 \le \dots \le \lambda_n，零特征值的个数等于连通分量的个数。

  • 代数连通度（algebraic connectivity）即 λ2\lambda_2。当且仅当图连通时，它为正；它越大，就越难把图切分为联系微弱的两半（Fiedler，1973）。
  • 把每次比较视为一欧姆的电阻，选项 ii 与 jj 之间的电阻即为二者之间的有效电阻（effective resistance）RijR_{ij}：Rij=(ei−ej)⊤L+(ei−ej)R_{ij} = (\mathbf{e}_i - \mathbf{e}_j)^\T \mL^{+} (\mathbf{e}_i - \mathbf{e}_j)，其中 L+\mL^{+} 是 L\mL 的伪逆。

有效电阻有直接的统计含义。

推导为什么有效电阻是效用差的方差
  1. 假设每个已回答的对 (i,j)(i, j) 给出效用差 si−sjs_i - s_j 的一次带噪声的测量，具有单位精度。这正是第 18.2 节中 Laplace 近似背后的高斯图景：每次比较贡献单位曲率，且不含先验。于是，最小二乘估计的精度（协方差的逆）等于所有对的贡献之和，按定义 43.1，即为 L\mL。
  2. 给每个效用加上同一常数不会改变任何差值，因此 L\mL 是奇异的；但同一连通分量内差值的协方差由 L+\mL^{+} 给出。所以，ii 与 jj 之差的估计方差就是 RijR_{ij}；若没有比较路径连接二者，方差为无穷大。
  3. 电阻的规则由此成为查询设计的规则。串联的比较相加：由 kk 次比较组成的链，两端之间的电阻为 R=kR = k。并联的比较按并联电阻的方式合成：同一对问两次，其电阻减半。

有三项结果使这一图景得以定量。Shah 等人证明了 Bradley-Terry 模型与 Thurstone 模型下效用估计的极小极大界：误差经由 Laplace 谱依赖于比较图的拓扑；序数数据（比较）与基数数据（数值评分）的误差速率在相差常数因子的意义下相同（Shah 等，2016）。Hendrickx 等人（2019）证明，每个被比较的对都询问多次时，估计的相对误差与有效电阻的平方根同阶，并给出了在相差对数因子的意义下与之匹配的下界。Heckel 等人（2019）则证明，根据带噪声的比较主动为选项排序时，不假设任何模型的简单计数算法在相差对数因子的意义下是最优的：Bradley-Terry 或 Thurstone 这类参数化假设，至多带来对数级的改进。

图 43.1 将这一推导具体化：12 个被比较的设计排列在圆上，读者可以选择一次会话添加比较的顺序。

已比较的设计与已回答的对当前最优点0.71∞∞∞∞∞∞∞∞∞∞与当前最优点的效用差的标准差01.6未关联比较图的代数连通度 λ₂0.00.51.01.52.0λ₂05101520已回答的比较不相交的对当前最优点对挑战者链随机对11 次比较 · 6 个连通分量 · λ₂ = 0.0010 个设计与当前最优点完全没有关联
已比较的设计与已回答的对当前最优点与当前最优点的效用差的标准差01.6未关联比较图的代数连通度 λ₂0.00.51.01.52.0λ₂05101520已回答的比较不相交的对当前最优点对挑战者链随机对11 次比较 · 6 个连通分量 · λ₂ = 0.0010 个设计与当前最优点完全没有关联
图 43.1 比较如何把效用关联在一起。左图：12 个被比较的设计，当前最优点位于顶部；连线为已回答的比较，最近一次为橙色。各设计的深浅表示其与当前最优点的效用差的标准差，没有先验时即有效电阻的平方根；虚线圆表示没有任何比较链将该设计与当前最优点相连。右图：比较图的代数连通度 λ₂ 随比较加入而变化的情况，画出了全部四种查询设计。“不相交的对”模拟从不共享输入的查询，EUBO 往往选择这类查询。使用高斯过程先验时，设计是 d 维空间中的随机点，核函数为长度尺度 0.5 的径向基函数核，接近 BoTorch 默认先验的众数。每次比较贡献单位曲率；各数值仅作示意。

可以尝试以下几点：

  • 选择“不相交的对”，比较次数为 11 时，图有 6 个连通分量，λ2=0\lambda_2 = 0：10 个设计与当前最优点完全没有关联。拖动到 24 次比较：同样的对再问一遍，每一对都关联得更紧密，λ2\lambda_2 却仍为零。
  • 切换到“当前最优点对挑战者”。图在第 11 次比较时连通，λ2\lambda_2 跃升为 1，每个设计与当前最优点之差的标准差均为 1.00；到 22 次比较时，λ2=2\lambda_2 = 2，标准差降至 0.71。
  • 切换到“链”。图同样在 11 次比较时连通，但 λ2\lambda_2 只有 0.07，最远端设计的标准差为 3.32，即 11 个串联电阻的平方根。连通并不等于关联紧密。
  • 在“不相交的对”下把先验设为“高斯过程，d = 1”。核函数把相近的设计关联起来，最大的标准差为 0.68。再提高维度：d=10d = 10 时为 1.09，d=30d = 30 时为 1.13。高维中，随机设计之间的距离相对于长度尺度很远，核函数几乎建立不起关联，能知道什么又重新取决于比较图的形状（比较第 30.1 节）。

对偏好贝叶斯优化的含义。以下均为推断。偏好贝叶斯优化的采集函数，实际上是在已评估的点上设计一张比较图，核函数的相关性则相当于额外的边。已评估点之间的代数连通度或有效电阻是一种实用的诊断指标：只经由少数比较与其余部分相连的区域，其效用锚定得很差；若核函数设定有误，后验方差并不会反映这一点。按照 Heckel 等人的结果，代理模型的收益主要来自核函数的光滑度，链接函数的选择则影响甚微（第 27.1 节）。

43.3.2 循环与 Hodge 分解 #

标量效用只能产生沿每个环路都一致的比较：若 AA 以某一差额胜过 BB，BB 又以另一差额胜过 CC，效用就把 AA 胜过 CC 的差额固定为两者之和。真实的比较数据很少如此一致。比较数据的 Hodge 分解（Hodge decomposition）（Jiang 等，2011）可以度量其偏离一致的程度，这是早于本部分所覆盖时期的一项奠基性结果。该分解把比较的差额（如 ii 胜过 jj 的对数几率）视为比较图边上的流，并把这个流分解为三个相互正交的部分：

  • 梯度（gradient）部分：为每个选项赋一个得分，取得分之差 si−sjs_i - s_j，由最小二乘求得（这一估计称为 HodgeRank）；这是标量效用所能解释的部分；
  • 旋度（curl）部分：由选项三角形上的局部循环构成；
  • 调和（harmonic）部分：由图中较大环路上的全局循环构成，这些环路无法由三角形填满。

各部分相互正交，因此某一部分大小的平方与整个流大小的平方之比，就是该部分所解释的数据份额。2017 年以来，Strang 等人（2022）用这一分解量化了锦标赛中的循环竞争；Chau 等人（2022）提出的斜对称“广义偏好核”（generalized preference kernel）则使高斯过程能够表示循环（第 27.2 节）。

图 43.2 将这一分解用于五个选项，并在其中三个选项之间加入强度可调的石头剪刀布成分；该图也展示了把分解用于真实数据时的难点。

每一对上的回答ABCDE箭头从被选中次数较多的选项指出；宽度：|对数几率|；品红色：循环残差多数偏好是传递的比较流的构成由一个效用解释 92%循环 8%各选项的效用−101ABCDE真值的传递部分HodgeRank 得分
每一对上的回答ABCDE箭头从被选中次数较多的选项指出；宽度：|对数几率|；品红色：循环残差多数偏好是传递的比较流的构成由一个效用解释 92%循环 8%各选项的效用−101ABCDE真值的传递部分HodgeRank 得分
图 43.2 一个效用能解释多少比较。五个选项的效用为 1、0.5、0、−0.5、−1，另在 A、B、C 之间加入强度为 κ 的石头剪刀布流。每一对都按 Bradley-Terry 模型回答 n 次，每条边记录经验对数几率。条形把流分为梯度部分（蓝色，由一个效用解释）与循环部分（品红色）；虚线标记表示完全可传递的人在相同 n 下仅凭偶然产生的循环比例，取 200 次模拟会话的平均。下方对比 HodgeRank 得分与真值的传递部分。这一设置仅作示意。

可以尝试以下几点：

  • 图初始使用精确的获胜概率。κ = 0.6 时，循环比例为 8%，品红色残差只出现在三角形 A、B、C 上，多数偏好仍是可传递的；多数偏好构成的循环（A 胜 B，B 胜 C，C 胜 A）要到 κ 超过 1 才出现。HodgeRank 得分精确地恢复了传递部分，因为纯循环与任何梯度都正交。
  • 把“每对的回答数”设为 100。κ = 0.6 时，第一次抽取得到的循环比例为 11%，偶然水平为 2%：循环可以检测出来。
  • 把“每对的回答数”设为 5。偶然水平升至 27%，第一次抽取得到 34%，两者过于接近，无法区分；多按几次“重新抽取回答”，可以看到这一比例的波动有多大。每对只有 1 个回答时（偏好贝叶斯优化的典型情形），完全可传递的人平均也会显示出 47% 的循环比例。

对偏好贝叶斯优化的含义。Hodge 分解可以低成本地诊断偏好贝叶斯优化日志中的不可传递性：旋度部分与调和部分在比较流中所占的份额，度量了数据中标量高斯过程效用无法解释的比例；只有这一份额很大时，才有理由使用斜对称的代理模型（推断）。如图所示，这一份额必须与仅由抽样噪声产生的份额相比较，因此，要检验不可传递性，会话中需要重复询问同一对，或把相近的设计合并为节点（推断）。

第 43.3 节引用的文献 7
  1. Fiedler（1973）Algebraic Connectivity of Graphs
  2. Shah 等人（2016）Estimation from Pairwise Comparisons: Sharp Minimax Bounds with Topology Dependence
  3. Hendrickx 等人（2019）Graph Resistance and Learning from Pairwise Comparisons
  4. Heckel 等人（2019）Active ranking from pairwise comparisons and when parametric assumptions do not help
  5. Jiang 等人（2011）Statistical ranking and combinatorial Hodge theory
  6. Strang 等人（2022）The Network HHD: Quantifying Cyclic Competition in Trait-Performance Models of Tournaments
  7. Chau 等人（2022）Learning Inconsistent Preferences with Gaussian Processes

43.4 偏好的数学 #

序的数学中有两个问题对偏好贝叶斯优化很重要：偏好何时可以用一个效用函数概括；偏好不完备时应当如何处理。

43.4.1 表示定理核查 #

偏好的效用表示（utility representation）是满足如下条件的函数 uu：xx 弱偏好于 yy 当且仅当 u(x)≥u(y)u(x) \ge u(y)。关于效用表示何时存在，通俗的说法往往过强。Debreu 定理（Debreu，1964）常被表述为对任意拓扑空间成立：连续表示存在，当且仅当偏好是完备的（任意两个选项都可以比较）、可传递的且连续的（优于和劣于任一给定选项的选项集合都是闭集）。实际上，如 Hervés‐Beloso 与 del Valle‐Inclán Cruces（2019）的综述所述，可分性（存在可数稠密子集）是必要条件；连通且可分的空间，或第二可数的空间，是充分条件；而且每个不可分的度量空间上，都存在根本没有效用表示的连续偏好序。R2\R^2 上的字典序（lexicographic order）先按第一个坐标排序，第一个坐标相同时才用第二个坐标决定先后。人们常说它没有连续的表示；其实，无论连续与否，它都不能由任何实值函数表示（Banerjee 与 Mitra，2018）。

对偏好贝叶斯优化的含义。偏好贝叶斯优化只评估有限多个点，而可数集上每个完备且可传递的关系都有效用表示，因此上述失效情形涉及的是把效用延拓到连续统上的问题。平稳且光滑的高斯过程无法表示字典序，但在任何有限点集上，都可以借助次要维度上极短的长度尺度、输入扭曲或阈值特征来逼近字典序。实际问题在于核函数的设计，而不在于效用是否存在（推断；第 9 章）。

43.4.2 不完备偏好与情境性 #

有些对，对某个人来说可能根本无法比较。多效用表示（multi-utility representation）用一组效用函数处理这种情况：只有当组内所有函数一致时，才认定 xx 优于 yy（Evren 与 Ok，2011，一篇奠基性论文）。在选择数据中，若一个人在两个选项之间各选约一半，可能是无差异（indifferent），即两个选项同样好；可能是犹豫不决（indecisive），即无法为二者排序；也可能是愿意尝试（experiment）。Ok 与 Tserenjigmid（2022）给出了识别属于哪一种情形的方法，并表明每种识别都提供了一条途径，可以从随机选择中作出确定性的福利比较。这一区分在实践中很重要。在 Cettolin 与 Riedl（2019）的实验中，约一半被试的选择方式与完备偏好加确定性独立的组合不一致（确定性独立是一条公理：把两个选项分别与同一确定结果混合，不应改变哪个更受偏好）。在这些被试中，约一半的行为与不完备偏好一致，约三分之一与偏好随机化一致；进一步的实验表明，概率加权、误差、后悔厌恶或不可传递的无差异都无法解释这一模式。

更强的论断认为，偏好在量子物理的意义上是情境性的（contextual）：即使允许每次测量直接依赖于自身的情境，也没有任何一组潜在取值能够解释全部测量。Dzhafarov 等人（2016）回顾了行为数据，发现分离出直接情境效应之后，并不存在情境性。随后，Cervantes 与 Dzhafarov（2018）首次在人类选择中清楚地展示了情境性；Basieva 等人（2019）则表明，在专门设计的任务中可以找到情境性系统，而早先关于判断中存在情境性的说法，可以用直接影响来解释。

对偏好贝叶斯优化的含义。以一组效用表示的不完备偏好，在偏好贝叶斯优化中对应于带 Pareto 支配的向量值高斯过程（第 14.5 节），与偏好探索贝叶斯优化相近；在后者中，人比较的是结果向量（Lin 等，2022）（推断）。50:50 的回答可能意味着无差异、犹豫不决或尝试，无从分辨。若界面在“差不多”之外另设“无法决定”这一回答，并将其与平局分开建模，就能区分这几种情形（推断；第 20.4 节）。多数情境效应属于直接影响，因此带有顺序、选择集与历史协变量的似然，可以在单一的全局效用之内吸收这些效应；真正的情境性只出现在专门设计的任务中（推断）。

第 43.4 节引用的文献 10
  1. Debreu（1964）Continuity Properties of Paretian Utility
  2. Hervés‐Beloso 与 del Valle‐Inclán Cruces（2019）Continuous preference orderings representable by utility functions
  3. Banerjee 与 Mitra（2018）On Wold’s approach to representation of preferences
  4. Evren 与 Ok（2011）On the multi-utility representation of preference relations
  5. Ok 与 Tserenjigmid（2022）Indifference, indecisiveness, experimentation, and stochastic choice
  6. Cettolin 与 Riedl（2019）Revealed preferences under uncertainty: Incomplete preferences and preferences for randomization
  7. Dzhafarov 等人（2016）Is there contextuality in behavioural and social systems?
  8. Cervantes 与 Dzhafarov（2018）Snow queen is evil and beautiful: Experimental evidence for probabilistic contextuality in human choices
  9. Basieva 等人（2019）True contextuality beats direct influences in human decision making
  10. Lin 等人（2022）Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes

43.5 信息论 #

一种常见的论证认为，一次成对比较至多携带一比特信息，远少于一个评分可能携带的信息，因此比较是低效的。这一上界是正确的：二元回答与效用之间的互信息（第 6.3 节）不能超过回答的熵，后者至多为 1 比特。但这并不是起决定作用的约束。序数估计与基数估计的误差速率在相差常数因子的意义下相同（Shah 等，2016）。按每次查询计，序数测量每个样本的噪声更低，收集通常更快，但携带的信息通常更少；同一研究组的一篇预印本（Shah 等，2014）量化了序数测量在哪些噪声水平下更优。一比特的论证关乎常数；相反的论证关乎速率，即认为偏好贝叶斯优化的遗憾界与标量贝叶斯优化相当，说明比较并不低效。

一次比较携带多少信息，取决于系统与人。Ghosal 等人（2023）表明：“理性系数”（rationality coefficient，即噪声尺度）应当按反馈类型分别拟合；高估人的理性会严重损害奖励学习的准确度与遗憾；人的表现远非最优时，比较比示范更有信息量。此外，第 39.4 节介绍的价值有效编码（Polanía 等，2019），会把精度分配给人预期会遇到的价值。

对偏好贝叶斯优化的含义。噪声尺度应当按人、按反馈类型拟合，而不是固定为很低的默认值（根据 Ghosal 等人的推断）。在概率单位链接或逻辑链接下，只有当预测的获胜概率接近 0.5 且噪声很小时，一次比较的期望信息才接近一比特（习题 43.2）；加入平局或分级的把握度，可使三种回答的信息上限提高到 log⁡23\log_2 3 比特，但也会增加噪声参数（推断）。偏好贝叶斯优化把候选收窄到最优点附近时，按照有效编码的预测，那里的辨别可能提高，而不会止于固定的下限；在会话前期与后期分别拟合心理测量函数的斜率，即可检验这一点（推断）。对于人的设计偏好，我们没有找到一次比较携带多少比特的直接测量。

第 43.5 节引用的文献 4
  1. Shah 等人（2016）Estimation from Pairwise Comparisons: Sharp Minimax Bounds with Topology Dependence
  2. Shah 等人（2014）When is it Better to Compare than to Score?
  3. Ghosal 等人（2023）The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types
  4. Polanía 等人（2019）Efficient coding of subjective value

43.6 博弈论与对称破缺 #

若两个选项在选择者所用的描述下完全相同，在二者之间作出的任何选择，都必须借助该描述之外的信息，如位置、历史或显著性（Schelling 焦点，focal points）。标准的偏好似然在效用相等时预测 0.5，因而把每个这样的选择都视为噪声；若对称破缺是系统性的，这就是模型设定错误。在 Mäs 与 Nax（2016）的网络协调实验中，96% 的决策是短视的最佳反应；偏离的代价越高，偏离越少见；个体之间也存在差异。此外，在本人评分相近的选项之间作选择（接近对称的情形），本身就会改变偏好：在排除了一种已知方法学伪影的 43 项自由选择研究中，Cohen's d=0.40d = 0.40（95% 置信区间 0.32 至 0.49）（Enisman 等，2021），详见第 37.2.2 节。

回答也可能带有策略性。三个或更多选项上的任何合理投票规则，都可以通过虚报来操纵（Gibbard-Satterthwaite 定理）；对三个备选项上的规则，只要它既远离独裁规则，又远离值域只含两个备选项的规则，操纵就会以不可忽略的概率成功（Friedgut 等，2011）。单个二元查询是防策略的，但在一系列查询中仍可能出现虚报。

对偏好贝叶斯优化的含义。接近无差异时，位置、显著性与默认选项会把真实的选择推向一边。平衡呈现顺序，并在似然中加入位置项或默认项（即式（43.1）中的先验权重 ww），就能把这种影响从噪声转化为模型可以估计的信号（推断）。由于选择本身会改变偏好，一次难分高下的比较会使后来的回答偏向被选中的选项，形成一种与优化器自身查询相关的漂移（第 42.2 节）；稍后重新询问一些早期难分高下的对，或在似然中加入选择历史项，可以检测到这种漂移（推断）。Mäs 与 Nax 观察到的偏离对收益敏感，这支持以概率单位误差或逻辑误差（发生率随效用差增大而下降）作为偏离的主要机制，再辅以较小的失误成分（推断）。我们没有找到关于偏好贝叶斯优化中策略性虚报的研究。

第 43.6 节引用的文献 3
  1. Mäs 与 Nax（2016）A behavioral study of“noise”in coordination games
  2. Enisman 等人（2021）Choice changes preferences, not merely reflects them: A meta-analysis of the artifact-free free-choice paradigm
  3. Friedgut 等人（2011）A Quantitative Version of the Gibbard–Satterthwaite Theorem for Three Alternatives

43.7 用户之间的影响 #

复杂性科学与网络科学也研究选择如何在群体中传播。偏好贝叶斯优化一旦涉及多个用户、共享画廊，或从早先用户那里学到的先验，这一点就变得重要。在 Macy 等人（2019）的两项“多重世界”实验（n=4,581n = 4{,}581）中，社会影响使党派分歧更大、更难预测：在不同的平行世界中，同一立场会与相反的党派绑定。Frey 与 van de Rijt（2021）发现，人们依次作出选择并能看到不断更新的累计计数时，多数意见更常出错；在困难任务上，错误的多数会自我延续，而得不到纠正。此外，同质性（homophily，相似的人建立联系）与传染（contagion，相连的人变得相似）在观察性社会网络研究中通常是混杂的（Shalizi 与 Thomas，2011）；常听到的说法是二者即使在原则上也无法区分，这只对观察数据成立。

对偏好贝叶斯优化的含义。在多用户的偏好贝叶斯优化、画廊式众包，或把早先用户的偏好模型迁移给新用户（如 Meta-PO（Li 等，2025a））的场合，应当在展示任何汇总结果之前，先收集独立的初次判断；以受社会影响的数据训练出的群体先验，含有任意的、依赖路径的成分（推断）。共享画廊的日志无法区分同质性与影响，因此补救办法在设计层面：随机决定哪些用户看到哪些早先的选择（根据 Shalizi 与 Thomas 的推断）。对单用户的偏好贝叶斯优化，这一联系很弱。

第 43.7 节引用的文献 4
  1. Macy 等人（2019）Opinion cascades and the unpredictability of partisan polarization
  2. Frey 与 van de Rijt（2021）Social Influence Undermines the Wisdom of the Crowd in Sequential Decision Making
  3. Shalizi 与 Thomas（2011）Homophily and Contagion Are Generically Confounded in Observational Social Network Studies
  4. Li 等人（2025a）Efficient Visual Appearance Optimization by Learning from Prior Preferences

43.8 差分隐私 #

偏好数据是敏感的：一个人偏好的设计，可能透露其身体、健康或品味。对随机算法，若改变一个人的数据时，任何输出的概率至多改变 eεe^{\varepsilon} 倍，则称该算法是 ε\varepsilon-差分隐私的（differentially private）（Dwork 等，2006）；ε\varepsilon 越小，隐私保护越强。本地（local）差分隐私在每个回答离开用户之前就对其随机化；中心（central）差分隐私则由可信的管理者持有原始数据，只对其发布的内容做随机化。二元回答的经典本地机制是随机响应（randomized response）（Warner，1965）：以概率 eε/(1+eε)e^{\varepsilon}/(1 + e^{\varepsilon}) 报告真实回答，否则报告相反的回答。

2023 年以来，基于成对偏好的隐私学习已有紧的理论界。在标签隐私下由 nn 次比较估计 dd 维 Bradley-Terry 奖励时，Chowdhury 等人（2024）（AISTATS 2024）表明，额外误差在本地隐私下为 Θ((1/(eε−1))d/n)\Theta\big((1/(e^{\varepsilon} - 1)) \sqrt{d/n}\big)，在中心隐私下为 Θ(poly(d)/(εn))\Theta\big(\mathrm{poly}(d)/(\varepsilon n)\big)；该界在本地隐私下是紧的，在中心隐私下对 nn 与 ε\varepsilon 是紧的。对决赌博机（第 21 章）（Saha 与 Asi，2024）与离线的基于人类反馈的强化学习（Wu 等，2025b）也有相匹配的界，不过均见于预印本。攻击方面，PREMIA（Feng 等，2025）发现，与用近端策略优化对齐的模型相比，用直接偏好优化（DPO）对齐的模型，其偏好数据更易受到成员推断攻击（第 35.3 节）。标量反馈下的隐私贝叶斯优化已有研究（Kusner 等，2015），但在 arXiv 摘要中组合搜索“preferential Bayesian optimization”与“privacy”或“private”，没有得到任何结果。

对偏好贝叶斯优化的含义。以下均为推断。对每次比较做随机响应，即满足 ε\varepsilon-本地隐私；偏好贝叶斯优化的似然可以把它作为翻转概率已知的标签噪声吸收，翻转概率为 q=1/(1+eε)q = 1/(1 + e^{\varepsilon})。报告的回答以概率 q+(1−2q) pq + (1 - 2q)\,p 偏向 x\vx，其中 pp 是未作隐私处理时的概率，因此回答概率对效用差的斜率要乘以 1−2q=tanh⁡(ε/2)1 - 2q = \tanh(\varepsilon/2)。对弱信号，即两个概率都接近二分之一时，一个回答的 Fisher 信息要乘以 tanh⁡2(ε/2)\tanh^2(\varepsilon/2)；要保持同样的信息量，查询次数须增至 1/tanh⁡2(ε/2)1/\tanh^2(\varepsilon/2) 倍：ε=2\varepsilon = 2 时约 1.7 倍，ε=1\varepsilon = 1 时约 4.7 倍，ε=0.5\varepsilon = 0.5 时约 17 倍，与上文的 1/(eε−1)1/(e^{\varepsilon} - 1) 速率一致。查询总数只有几十至几百次，这一代价很高。在单用户的偏好贝叶斯优化中，泄露偏好的是优化器的输出，即其展示的候选与最终设计；因此，与保护标签相比，保护输出更契合这一威胁。像 Meta-PO 那样在用户之间迁移偏好模型，会使早先用户的比较面临 PREMIA 所展示的那类成员推断；此时，对汇总模型施加中心隐私，比本地隐私更切实可行。这一联系很强，但截至 2026 年 9 月，我们没有找到关于隐私保护偏好贝叶斯优化的论文。

第 43.8 节引用的文献 7
  1. Dwork 等人（2006）Calibrating Noise to Sensitivity in Private Data Analysis
  2. Warner（1965）Randomized Response: A Survey Technique for Eliminating Evasive Answer Bias
  3. Chowdhury 等人（2024）Differentially Private Reward Estimation with Preference Feedback
  4. Saha 与 Asi（2024）DP-Dueling: Learning from Preference Feedback without Compromising User Privacy
  5. Wu 等人（2025b）Offline and Online KL-Regularized RLHF under Differential Privacy
  6. Feng 等人（2025）Exposing Privacy Gaps: Membership Inference Attack on Preference Data for LLM Alignment
  7. Kusner 等人（2015）Differentially Private Bayesian Optimization

43.9 常见说法核查 #

表 43.1 汇总了本章核查过的形式化论断，它们都与偏好贝叶斯优化系统的构建方式有关。

表 43.1 来自自然科学与形式科学的说法，以及文献显示的情况。
说法 文献显示的情况 节
偏好贝叶斯优化的似然是 softmax，即 Boltzmann 分布 只在逻辑链接下成立；Chu 与 Ghahramani 以及 BoTorch 的默认设置使用概率单位链接 第 43.2 节
在逻辑分布下，Luce 公理与 Thurstone 的第五种情形等价（Yellott，1977） Luce 的形式来自 Gumbel 误差，其差服从逻辑分布；第五种情形假设正态误差 第 43.2 节
黏菌的选择是不可传递的 它们的排序是线性的、可传递的 第 43.1 节
R2\R^2 上的字典序没有连续表示 它根本没有实值表示 第 43.4.1 节
每次比较只有一比特，因而比较是低效的 这一上界成立，但序数与基数的误差速率只相差常数 第 43.5 节
同质性与影响在原则上无法区分 在观察数据中二者是混杂的 第 43.7 节

43.10 已定、有争议与缺失 #

研究现状已定、有争议与缺失

已定。基于比较的估计误差取决于比较图的 Laplace 谱，相对误差与有效电阻的平方根同阶，且有在相差对数因子意义下与之匹配的下界。尽管一个二元回答至多携带一比特，序数与基数的误差速率只相差常数。比较数据可以正交分解为一个效用能解释的部分与若干循环部分。偏好贝叶斯优化的似然在逻辑链接下是 Boltzmann 分布，在概率单位链接下则不是。在相似的选项之间作选择会改变偏好（43 项研究，Cohen's d=0.40d = 0.40）。基于成对比较的隐私学习已有紧的速率（部分结果仍只见于预印本）。

有争议。真实偏好在多大程度上不可传递：动物证据大多显示，在可传递的核心之上存在情境依赖或状态依赖；蜜蜂的诱饵效应在一种设计中出现，在另一种设计中则不出现。除直接情境效应之外，日常选择中是否存在情境性。效用尺度的适应是否快到能在单次会话之内发生。

缺失。将比较图的谱界应用于基于高斯过程的偏好贝叶斯优化。对真实的偏好贝叶斯优化日志作 Hodge 分析，并与相应的偶然水平比较。用依赖先验的 logit 模型拟合偏好贝叶斯优化的成对数据。测量人的设计偏好中每次比较携带的比特数。检验辨别是否在会话后期变得更敏锐。关于偏好贝叶斯优化中策略性虚报的研究。隐私保护的偏好贝叶斯优化方法。

43.11 习题 #

习题 43.1

在图 43.1 的“当前最优点对挑战者”设计中，每个挑战者与当前最优点比较一次。利用电阻的规则，求两个挑战者之间、一个挑战者与当前最优点之间效用差的标准差。若每次比较都问两次，这两个标准差如何变化？

解答

挑战者与当前最优点之间由一个一欧姆的电阻相连：电阻为 1，标准差为 1。两个挑战者经由当前最优点，由两个串联电阻相连：电阻为 2，标准差为 2≈1.41\sqrt{2} \approx 1.41。每次比较都问两次，每个电阻减半，两个标准差分别变为 1/2≈0.71\sqrt{1/2} \approx 0.71（即图在 22 次比较时显示的值）与 1。

习题 43.2

在概率单位模型下，人以概率 p=Φ(d/σ)p = \Phi(d/\sigma) 偏好 x\vx，其中 dd 为效用差，σ\sigma 为噪声。模型对 dd 不确定：设 d=+δd = +\delta 或 −δ-\delta，二者概率相等。证明回答与 dd 之间的互信息为 1−H2(Φ(δ/σ))1 - H_2(\Phi(\delta/\sigma)) 比特，其中 H2H_2 为二元熵。互信息何时接近一比特？δ=σ\delta = \sigma 时为多少？

解答

互信息等于回答的熵减去其期望条件熵，I=H(answer)−Ed[H(answer∣d)]I = H(\text{answer}) - \E_d[H(\text{answer} \mid d)]（第 6.3 节）。由对称性，回答总体的熵为 1 比特；给定 dd 的任一符号，回答的熵为 H2(Φ(δ/σ))H_2(\Phi(\delta/\sigma))，所以 I=1−H2(Φ(δ/σ))I = 1 - H_2(\Phi(\delta/\sigma))。δ/σ\delta/\sigma 很大时，互信息接近一比特：模型不确定符号，人却几乎确定地作答。δ=σ\delta = \sigma 时，Φ(1)≈0.841\Phi(1) \approx 0.841，H2(0.841)≈0.63H_2(0.841) \approx 0.63，所以回答约携带 0.37 比特。

习题 43.3

一项研究计划让每名被试做 60 次比较，并希望每个回答都受到 ε=1\varepsilon = 1 的随机响应保护。利用第 43.8 节中的计算，大约需要多少次比较，才能携带与 60 个未受保护的回答相同的信息？在单用户会话中，隐私保护应当施加在何处？这一结果对此有何启示？

解答

每个弱信号回答的信息要乘以 tanh⁡2(1/2)≈0.4622≈0.21\tanh^2(1/2) \approx 0.462^2 \approx 0.21，因此要与 60 个未受保护的回答相当，约需 60/0.21≈28060 / 0.21 \approx 280 个受保护的回答，超过预算的四倍。单个用户既是数据主体，又是作答者，因此更经济的做法是保护系统发布的内容（向他人展示的候选、存储的模型、最终设计），而不是保护每个回答。

延伸阅读 #

参考文献

  1. Armand, M., Herrnberger, L., Jung, C., and Czaczkes, T. J. (2026). No evidence of a decoy effect in bees: Rewardless flowers do not increase bumblebees' preference for neighbouring flowers. Ecological Entomology. doi:10.1111/een.70092. 引用于 §43.1
  2. Banerjee, K., and Mitra, T. (2018). On Wold’s approach to representation of preferences. Journal of Mathematical Economics. doi:10.1016/j.jmateco.2018.08.007. 引用于 §43.4
  3. Basieva, I., Cervantes, V. H., Dzhafarov, E. N., and Khrennikov, A. (2019). True contextuality beats direct influences in human decision making. Journal of Experimental Psychology: General. 引用于 §43.4
  4. Cervantes, V. H., and Dzhafarov, E. N. (2018). Snow queen is evil and beautiful: Experimental evidence for probabilistic contextuality in human choices. Decision. 引用于 §43.4
  5. Cettolin, E., and Riedl, A. (2019). Revealed preferences under uncertainty: Incomplete preferences and preferences for randomization. Journal of Economic Theory. 引用于 §43.4
  6. Charnov, E. L. (1976). Optimal foraging, the marginal value theorem. Theoretical Population Biology. 引用于 §43.1
  7. Chau, S. L., González, J., and Sejdinovic, D. (2022). Learning Inconsistent Preferences with Gaussian Processes. International Conference on Artificial Intelligence and Statistics. 引用于 §43.3
  8. Chowdhury, S. R., Zhou, X., and Natarajan, N. (2024). Differentially Private Reward Estimation with Preference Feedback. International Conference on Artificial Intelligence and Statistics. 引用于 §43.8
  9. Debreu, G. (1964). Continuity Properties of Paretian Utility. International Economic Review. 引用于 §43.4
  10. Dwork, C., McSherry, F., Nissim, K., and Smith, A. (2006). Calibrating Noise to Sensitivity in Private Data Analysis. Theory of Cryptography (TCC 2006), Lecture Notes in Computer Science. 引用于 §43.8
  11. Dzhafarov, E. N., Zhang, R., and Kujala, J. (2016). Is there contextuality in behavioural and social systems? Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 引用于 §43.4
  12. Enisman, M., Shpitzer, H., and Kleiman, T. (2021). Choice changes preferences, not merely reflects them: A meta-analysis of the artifact-free free-choice paradigm. Journal of Personality and Social Psychology. 引用于 §43.6
  13. Evren, Ö., and Ok, E. A. (2011). On the multi-utility representation of preference relations. Journal of Mathematical Economics. 引用于 §43.4
  14. Feng, Q., Kasa, S. R., Kasa, S. K., Yun, H., Teo, C. H., and Bodapati, S. B. (2025). Exposing Privacy Gaps: Membership Inference Attack on Preference Data for LLM Alignment. International Conference on Artificial Intelligence and Statistics. 引用于 §43.8
  15. Fiedler, M. (1973). Algebraic Connectivity of Graphs. Czechoslovak Mathematical Journal. 引用于 §43.3
  16. Frey, V., and van de Rijt, A. (2021). Social Influence Undermines the Wisdom of the Crowd in Sequential Decision Making. Management Science. 引用于 §43.7
  17. Friedgut, E., Kalai, G., Keller, N., and Nisan, N. (2011). A Quantitative Version of the Gibbard–Satterthwaite Theorem for Three Alternatives. SIAM Journal on Computing. 引用于 §43.6
  18. Ghosal, G. R., Zurek, M., Brown, D. S., and Dragan, A. D. (2023). The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types. AAAI. 引用于 §43.5
  19. González, J., Dai, Z., Damianou, A., and Lawrence, N. D. (2017). Preferential Bayesian Optimization. International Conference on Machine Learning. 引用于 §43.2
  20. Harhen, N. C., and Bornstein, A. M. (2023). Overharvesting in human patch foraging reflects rational structure learning and adaptive planning. Proceedings of the National Academy of Sciences. 引用于 §43.1
  21. Heckel, R., Shah, N. B., Ramchandran, K., and Wainwright, M. J. (2019). Active ranking from pairwise comparisons and when parametric assumptions do not help. The Annals of Statistics. 引用于 §43.3
  22. Hemingway, C. T., DeVore, J. E., and Muth, F. (2024). Economic foraging in a floral marketplace: asymmetrically dominated decoy effects in bumblebees. Proceedings of the Royal Society B: Biological Sciences. 引用于 §43.1
  23. Hendrickx, J. M., Olshevsky, A., and Saligrama, V. (2019). Graph Resistance and Learning from Pairwise Comparisons. ICML. 引用于 §43.3
  24. Hervés‐Beloso, C., and del Valle‐Inclán Cruces, H. (2019). Continuous preference orderings representable by utility functions. Journal of Economic Surveys. 引用于 §43.4
  25. Jiang, X., Lim, L.-H., Yao, Y., and Ye, Y. (2011). Statistical ranking and combinatorial Hodge theory. Mathematical Programming. 引用于 §43.3
  26. Kusner, M. J., Gardner, J. R., Garnett, R., and Weinberger, K. Q. (2015). Differentially Private Bayesian Optimization. International Conference on Machine Learning. 引用于 §43.8
  27. Latty, T., and Beekman, M. (2011). Irrational decision-making in an amoeboid organism: transitivity and context-dependent preferences. Proceedings of the Royal Society B: Biological Sciences. 引用于 §43.1
  28. Li, Z., Liao, Y.-C., and Holz, C. (2025a). Efficient Visual Appearance Optimization by Learning from Prior Preferences. UIST 2025. 引用于 §43.7
  29. Lin, Z. J., Astudillo, R., Frazier, P., and Bakshy, E. (2022). Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes. International Conference on Artificial Intelligence and Statistics. 引用于 §43.4
  30. Lindig-León, C., Kaur, N., and Braun, D. A. (2022). From Bayes-optimal to heuristic decision-making in a two-alternative forced choice task with an information-theoretic bounded rationality model. Frontiers in Neuroscience. 引用于 §43.2
  31. Luce, R. D. (1959). Individual Choice Behavior: A Theoretical Analysis. Wiley. 引用于 §43.2
  32. Macy, M., Deri, S., Ruch, A., and Tong, N. (2019). Opinion cascades and the unpredictability of partisan polarization. Science Advances. 引用于 §43.7
  33. Mäs, M., and Nax, H. H. (2016). A behavioral study of“noise”in coordination games. Journal of Economic Theory. 引用于 §43.6
  34. Matějka, F., and McKay, A. (2015). Rational Inattention to Discrete Choices: A New Foundation for the Multinomial Logit Model. American Economic Review. 引用于 §43.2
  35. Meta Platforms, Inc. (2026g). BoTorch pairwise likelihood source code likelihoods/pairwise.py. GitHub. 软件引用于 §43.2
  36. Netzer, N. (2009). Evolution of Time Preferences and Attitudes toward Risk. American Economic Review. 引用于 §43.1
  37. Ok, E. A., and Tserenjigmid, G. (2022). Indifference, indecisiveness, experimentation, and stochastic choice. Theoretical Economics. 引用于 §43.4
  38. Polanía, R., Woodford, M., and Ruff, C. C. (2019). Efficient coding of subjective value. Nature Neuroscience. 引用于 §43.5
  39. Saha, A., and Asi, H. (2024). DP-Dueling: Learning from Preference Feedback without Compromising User Privacy. arXiv. 预印本引用于 §43.8
  40. Schuck-Paim, C., Pompilio, L., and Kacelnik, A. (2004). State-Dependent Decisions Cause Apparent Violations of Rationality in Animal Choice. PLoS Biology. 引用于 §43.1
  41. Shafir, S. (1994). Intransitivity of preferences in honey bees: support for 'comparative' evaluation of foraging options. Animal Behaviour. 引用于 §43.1
  42. Shah, N. B., Balakrishnan, S., Bradley, J., Parekh, A., Ramchandran, K., and Wainwright, M. (2014). When is it Better to Compare than to Score? arXiv. 预印本引用于 §43.5
  43. Shah, N. B., Balakrishnan, S., Bradley, J., Parekh, A., Ramchandran, K., and Wainwright, M. J. (2016). Estimation from Pairwise Comparisons: Sharp Minimax Bounds with Topology Dependence. Journal of Machine Learning Research. 引用于 §43.3 §43.5
  44. Shalizi, C. R., and Thomas, A. C. (2011). Homophily and Contagion Are Generically Confounded in Observational Social Network Studies. Sociological Methods & Research. 引用于 §43.7
  45. Strang, A., Abbott, K. C., and Thomas, P. J. (2022). The Network HHD: Quantifying Cyclic Competition in Trait-Performance Models of Tournaments. SIAM Review. 引用于 §43.3
  46. Warner, S. L. (1965). Randomized Response: A Survey Technique for Eliminating Evasive Answer Bias. Journal of the American Statistical Association. 引用于 §43.8
  47. Wu, Y., Thareja, R., Vepakomma, P., and Orabona, F. (2025b). Offline and Online KL-Regularized RLHF under Differential Privacy. arXiv. 预印本引用于 §43.8
  48. Yellott, J. J. I. (1977). The relationship between Luce's Choice Axiom, Thurstone's Theory of Comparative Judgment, and the double exponential distribution. Journal of Mathematical Psychology. 引用于 §43.2