构建与评估偏好优化系统

偏好贝叶斯优化请人比较选项，再用此人效用的模型拟合这些回答，以此寻找此人最喜欢的设计（第 19 章）。上一章得出两点结论：一次回答混合了稳定偏好、结构化噪声、提问引起的改变与背后并无偏好的回答，因此一次会话既是对偏好的估计，也是对偏好的干预；最大的误差则来自模型对人的假设（第 45 章）。

本章把这一分析转化为建议，供需要构建或评估偏好优化系统的读者参考：首先是判断偏好贝叶斯优化是否合适的三个问题，然后逐一讨论系统的各个部分，最后列出应当默认采用更简单方法的情形。每条建议都来自本书前文报告的证据，或来自我们据此所作的推断，而且没有一条作为整体在偏好贝叶斯优化中检验过。每张表还注明了各条建议是否依赖高斯过程与偏好贝叶斯优化的框架。不依赖框架的建议适用于任何偏好模型，包括第 46.9 节中的简单基线；依赖框架的建议只是框架内部的修补，并不说明框架本身是否选对了。

46.1 选用偏好贝叶斯优化之前的三个问题 #

遇到一个有人参与的个性化或设计新问题时，我们建议先回答三个问题，再决定是否采用偏好贝叶斯优化（推断）。

如果三个问题都指向偏好贝叶斯优化，基于 BoTorch 中 PairwiseGP 的 qEUBO 是合理的默认选择（第 19.4 节、第 18.6 节）；这一选择出于软件生态，而不是与更简单方法比较的结果。会话应当按算法 46.2 加入测量环节。观测模型与人的行为所造成的误差，超过了采集函数之间的差异（第 45.1 节）；这些附加环节既能估计这些误差，又能提供区分发现偏好与塑造偏好所需的对照（第 45.5 节）。

第 3 至 5 步的理由见第 46.2 节，第 2 步见第 46.4 节，第 4 步另见第 46.5 节，第 7、8 步见第 46.6 节，第 1、6、7、8 步见第 46.8 节。

关于维度的说明。一次比较至多携带 1 比特（第 16.6 节），因此对 20 个参数做 100 次比较，每个参数至多分到 5 比特；由于回答带有噪声、许多查询又是冗余的，实际通常远少于此（推断）。偏好贝叶斯优化在多于少数几个维度上取得成功的案例中，此人面对的维度都已通过设计降低：或降到生成式人体模型的 10 维体型空间，或降到 20 至 30 个扩散模型适配器的合并权重（Koyama 等，2020；Liu 等，2026b），或降到一个 5 维、考虑可行性的潜空间（表 46.8）。

46.2 观测模型 #

观测模型承载着最大的误差（第 45.1.3 节）。表 46.1 为它列出了五条建议，没有一条依赖高斯过程框架。

两个额外的回答。强制选择把无差异、犹豫不决与尝试（Ok 与 Tserenjigmid，2022）都变成掷硬币，模型则会把它解读为微弱的偏好；而在允许时，许多人会表示自己无法比较（表 45.2）。“差不多”这一回答有标准的模型，即最小可觉差阈值。一篇 2025 年的预印本报告，在合成基准上，一旦有 10% 至 20% 的比较是无差异的，为这一回答建模的方法就明显优于标准的偏好基线（Erarslan 等，2025）（第 20.4 节）。

安慰剂对。感官科学发现，消费者会在完全相同的样品之间报告偏好，因此把由相同样品组成的配对确立为标准的对照条件（O'Mahony 与 Wichchukit，2017）。在偏好贝叶斯优化中，可以展示两张逐像素相同的渲染图，统计此人偏好其中一张的比率；这一比率能估计有多少回答根本不带偏好，并可用来校准失误项（推断）。

结构化噪声。一篇 2024 年的预印本用一个代表性样本估计风险厌恶，发现标准的期望效用随机效用模型在所有人共用一个噪声尺度时给出失真的估计，在每人各有其尺度时则不会（Keffert 与 Schweizer，2024）。PairwiseGP 把噪声固定为 1，让核函数的幅度（BoTorch 中的输出尺度）代替噪声（第 27.5 节）。

反应时是无需额外成本的信息，反映此人感到两个选项相差多远。高斯过程模型已有结合选择与漂移扩散反应时的联合似然（Shvartsman 等，2024）；基于 EZ 扩散模型构造的损失，使线性奖励下偏好学习的误差随奖励幅度的增长由指数级降为多项式级（Sawarni 等，2025）。但在两个高价值选项之间做决定，大多更快、更准确，而不是更慢（Shevlin 等，2022）。因此在会话后期，除非模型中包含这一对的总体价值，否则快速的回答并不意味着差异大（推断）。

选择历史。当前最优点是被比较最多的选项，从选择引起的再评价中获益最多（第 45.4 节）；损失厌恶系数的元分析均值为 1.955，但在收益与损失对称且未排序时约为 1.07（表 45.1）。因此两者都应作为待估计的项进入似然，而不是取固定值。

46.3 代理模型 #

代理模型是效用函数上的先验。表 46.2 列出三条建议，其中只有最后一条纯属高斯过程框架内部的问题。

群体先验。共享的品味因领域而异（表 45.3）。在交互式设计中，用先前用户的模型预训练的先验只在第二与第三次迭代时显著更好，从第六次起，各方法表现相当（Liao 等，2026）。群体先验换来的是更好的起点，而不是更好的结果；随着此人自己的回答不断累积，它的权重应当下降（推断；第 20.5 节）。

高维。PairwiseGP 默认的长度尺度先验，远短于高维空间中设计之间的典型距离（$d = 50$ 时约为 0.52 对 2.9），因此默认模型认为，每一次比较对其他任何点几乎都不提供信息（第 27.5 节、第 30.3.2 节）。对于标量反馈，随维度缩放的先验修补了这一问题（Hvarfner 等，2024），采用球面输入映射的贝叶斯线性回归也达到了最先进水平（Doumont 等，2026）。两者都还没有在人的成对反馈上检验过，因此应当先降低此人看到的维度，这在任何模型下都有帮助。图 30.2 提供了第二个理由：在一个标量反馈的玩具问题上，80 次评估之内，采集函数的搜索方式比长度尺度先验更能决定结果（第 30.1.2 节）。

推断。在噪声很低时，Laplace 近似会把后验放错位置，期望传播则会扭曲接近 0 或 1 的对决概率（Takeno 等，2023）；对偏斜高斯过程后验的精确采样能避免这两种问题（Benavoli 等，2021c）。在人的噪声水平下这些误差有多大，尚无测量（第 27.4 节），因此这一替换对回答非常一致的人最为重要（推断）。

46.4 采集与查询设计 #

观测模型决定了一次查询记录什么，以及此人无法回答时如何处理（第 20 章）；表 46.3 汇集了关于如何选择与呈现查询的证据。

随机与平衡的查询。一项关于道德偏好引出的模拟研究发现，主动学习依赖三个前提：偏好稳定且不受查询顺序影响，模型类别正确，噪声有限。一旦这些前提不成立，主动选择的查询并不比随机查询好，甚至更差（Keswani 等，2024）。保留固定比例的、不由采集函数选择的查询，会损失一些效率，换来的是每次会话内部都有一个不受系统引导的对照组，可用来检验模型的预测（第 46.8 节）。位置也有影响：操控人们注视某个选项的时长，可使其被选中的比例升至 0.541（95% 置信区间为 0.523 至 0.560），这一效应是因果性的，但很小（Bhatnagar 与 Orquin，2022）。因此，随机安排位置、轮换由系统提议的选项，可以防止这类效应朝同一方向累积（推断）。

比较图。如果已评估的设计与已回答的配对分裂成互不相连的几块，回答就无法说明这几块之间孰优孰劣，Laplace 近似也会变得病态（第 18.5 节、图 27.1）。图的代数连通度（algebraic connectivity），即其 Laplace 矩阵的第二小特征值，恰好在图不连通时为零。EUBO 的配对往往会开启新的连通分量（Shao 等，2026）（第 19.6 节），因此这一检查是一份廉价的保险：若下一对会开启新的连通分量，就把其中一个选项换成已经比较过的设计（推断）。

排序与简单的配对。当用户之间存在模型所不知道的差异时，二元比较无法识别用户类型，至少三个选项的排序则可以（Chidambaram 等，2026）。陈述偏好研究的指南指出，选择任务的统计效率与复杂度越高，受访者的一致性越低（Johnston 等，2017）；在偏好贝叶斯优化中，复杂的任务就是同时在许多属性上不同的配对（推断）。

用语言表达目标，用比较判断外观。在两项由优化器主导设计的研究中（$N = 18$ 与 $N = 12$；第 45.3.3 节），通过自然语言引导的工作负荷低于通过显式约束引导，而在 187 条自然语言请求中，90.9% 描述的是期望的结果，而不是参数（Niwa 等，2025）。对于外观上的精细判断，比较比文字更有效：据一篇 2026 年的预印本，仅凭 8 次成对判断所做的个性化，对 12 名新用户胜过了所有基线，包括这些用户自己写下的偏好，总体胜率为 60.35%（Peng 等，2026）。读者可以在照片案例研究中，用一张图像亲自尝试比较与线搜索（第 25 章）。

46.5 非平稳性 #

偏好若在会话中发生变化，就打破了模型的核心假设。需要区分两种变化。一种是漂移（drift），即效用本身发生移动，原因可能是学习、适应、疲劳或查询引起的改变；另一种是选择规则（choice rule）的变化，即效用不变，但此人把效用转化为回答的方式变了，例如从权衡所有属性，转为只依据变得重要的那一个属性作决定（第 37.5 节）。漂移需要随时间变化的效用，选择规则的变化则需要随时间变化的噪声或链接（推断）。

重复配对。相同的道德成对问题在 3 至 5 次会话中提出时，6% 至 20% 的回答发生了翻转，对一些被试而言，拟合出的决策模型本身也发生了改变（Keswani 等，2026）。单个重复配对无法区分噪声与变化；在多个间隔下重复的配对则可以，因为噪声不依赖间隔，而漂移依赖间隔（图 46.1）。

可以尝试以下几点：

• 在默认设置下，曲线从间隔 2 个回答时的 72% 降到间隔 40 时的 61%，因为效用差在漂移；在 30 人、每个间隔 4 个重复配对的条件下，测得的点显示出这一下降。把漂移设为 0，曲线就平坦地停在 73%：噪声使人在每个间隔上与自己不一致的程度相同。
• 把“不完备”（不完备回答的比例）升到 0.4，漂移保持为 0。曲线仍然平坦，并降至 58%：除非提供“无法比较”，否则背后没有偏好的回答看起来就像额外的噪声。
• 把“不完备”调回 0，漂移保持为 0，把“引起的改变”（即查询引起的改变）设为 1。曲线再次下降，从 92% 降到 74%：在短间隔下，第一次选择使某个选项变得更有吸引力，此人便重复这一选择。下降的曲线不能区分漂移与引起的改变，只有比较不同的查询顺序才能做到（第 45.4.1 节）。
• 重置图形，然后把“人数”设为 5，把“重复次数”（每人在每个间隔上的重复配对数）设为 1。区间跨度约为 ±33 个百分点。基于重复配对的诊断，需要在每个间隔上汇总所有人，得到一百个量级的重复配对（推断）。

熟悉期。人适应设备所需的时间，长于一次典型的调节会话（在外骨骼辅助行走中，代谢消耗降低了 39%，其中约一半来自训练（Poggensee 与 Collins，2021））；在适应完成之前所做的比较，测量的是另一个人（第 24.4 节）。

变化的模型。在确实存在漂移的地方，可以用带有快、慢两个尺度的时间核，或每个参数各自漂移的状态空间模型来表示它（推断）；在以月计的时间尺度上，一个稳定成分加上随事件出现、继而衰减的偏离，比随机游走更符合证据（第 42 章）。偏好贝叶斯优化中还没有对漂移效用的建模（第 27.2 节），现有理论也只针对有限臂的情形（第 29.10 节）。

46.6 停止 #

会话应当何时结束？一个诱人的回答是：在后验已经集中的时候，即模型对最优设计很有把握，而若要求 EUBO 选出一对，它会让当前最优点与自身比较（习题 19.2）。这还不够。只要回答一致，后验就会集中，而选择引起的再评价即使在没有任何稳定偏好时，也能使回答保持一致（图 45.2、习题 45.2）。

来自标量贝叶斯优化的规则。标量规则在某个设计以至少 $1 - \delta$ 的概率达到 $\varepsilon$ 最优时停止（Wilson，2024），或在任何点的期望改进都不超过其评估成本时停止（Xie 等，2026）；两者都假定高斯过程先验设定正确（第 30.7 节、第 14.7 节）。基于偏好的奖励学习有一个针对参数化奖励模型的最优停止规则（Bıyık 等，2019）。这些规则都还没有移植到偏好贝叶斯优化的成对高斯过程似然上，而且人在每次查询上的成本并不恒定：疲劳会提高成本，熟悉任务则会降低成本。在有规则移植过来之前，算法 46.3 是可行的规则。

把反应时作为停止信号。在会话后期，回答通常会变快。这可能意味着偏好已经稳定，但当把握度的预期增益不再值得付出努力时，人也会停止深思（Bénon 等，2024）。因此，对待更快的回答，需要像对待后验集中一样谨慎（推断）。

人会自己停下。在一次为期 3 个月的现场部署中，549 个评价序列里有 415 个在第一次迭代时就停止了，其余 134 个中只有 16 个得到了令人满意的结果（Ou 等，2022）。人的“够好了”与模型已收敛的后验是不同的信号；为模型设计的停止规则，也必须经得起人自行决定退出的考验。

46.7 评测 #

一个新的偏好贝叶斯优化方法或系统应当如何评测？目前的做法很薄弱：使用标量测试函数，噪声模型与遗憾定义互不兼容，也没有共享的基准（第 45.1.4 节、第 31.4 节）。下面三条建议针对这些问题，都与框架无关；表 46.6 把它们与其他建议一并汇成一份报告清单。

强基线。交互式贝叶斯优化在设计中的正面结果，大多来自与滑块、参数面板或随机查询的比较；与熟练的手工操作或类似的优化器相比，最终质量通常没有差别。对这些系统最恰当的概括，是以更低的成本达到相同的结果（第 32.8 节）。一个方法若没有与手动调节、随机搜索和线性模型比较过，就不能声称自己是必需的。

加速因子。自驱动实验室报告加速因子，即相对于参照策略，某一策略达到目标需要多少次实验。在 42 项研究与 63 个基准中，报告的加速因子中位数为 6，范围为 1.3 至 100（Adesiji 等，2026）。有人参与的偏好贝叶斯优化研究，可以报告相对于手动搜索或随机搜索的同一指标，使结果在不同任务之间可以比较（推断）。

模拟用户。模拟用户的假设至少要在几个真人身上检验。模拟智能体与其所代替的人只在约 50% 的选择上一致（Schoinas 等，2025）（图 45.1）。一篇 2026 年的预印本发现，用语言模型模拟的用户几乎能完美复现群体层面的排序，但与个人的一致性按 Kendall $\tau$ 计只有 0.11 至 0.22，而人们自己的评分与自己的排序之间的一致性为 0.57（Kirk 等，2026）。用模拟用户得到的结果，在用真人核验之前，只是关于这一模拟的结果（第 31.7 节）。

46.8 伦理与正当性 #

系统在学习偏好的同时也在塑造偏好，因此需要规则来界定多大程度的塑造是可以接受的。第 45.5.2 节列出了候选条件；表 46.7 把它们转化为实践。

测量偏移，而不只是遗憾。只要移动用户的偏好，就能轻易实现低遗憾（第 45.2 节），因此对能影响用户的系统，单凭遗憾无法作担保。以查询随机或平衡的对照组为参照，测量偏好在会话期间移动了多远，就能使影响变得可见，进而为偏移设定界限（Carroll 等，2022）。

审查激励。基于用户反馈优化的学习器，会学会专门针对最容易被影响的用户（第 45.5.1 节），因此团队可以自问：自己的采集函数与停止规则，是否奖励回答变得更可预测。标明提议、如实显示历史、允许重置，可以使影响始终处在视野之中。一个系统如果既决定展示哪些候选，又从特定结果中获益，就处于说服经济学中发送者的位置，而发送者的偏好与用户不同（第 40.6 节）。

之前与之后。在会话之前记录此人的态度，并在延迟之后不借助系统重测，可以让先前的自我与改变后的自我都有发言权（推断；第 45.5.2 节）。对于有道德分量的决定，关于自主的证据支持这样一种系统：列出选项与权衡，把决定留给人自己（第 41.2 节）。

对于面向消费者部署的系统，这些步骤也有助于合规。欧盟《数字服务法》（Digital Services Act）第 25 条规定，在线平台的提供者不得在界面设计上实质性地扭曲或损害用户作出自由、知情决定的能力（European Union，2022b）。系统性地强化当前首选的采集函数，可能落入这一条文的范围；记录平衡的查询顺序，并以明确的认可检查结束会话，可以同时满足科学效度与这一要求（推断；这是我们对条文的解读，不构成法律意见；第 42.2.3 节）。

46.9 更简单的方法何时应当胜出 #

随机搜索完全不从自身的结果中学习，但在若干设定中，没有哪种方法能大幅胜过它（第 1 章）。表 46.8 列出更简单的方法应当作为默认选择或必需基线的情形，并注明建议来自问题本身、来自直接证据，还是来自高斯过程与偏好贝叶斯优化框架内部。

案例研究完整演示了其中几种情形：外骨骼案例重现了第一行（第 24.5 节），分类器案例展示了随机搜索在与贝叶斯优化的较量中不落下风（第 22.3 节），照片案例（第 25 章）则是最后一行的一个实例。

总的结论来自证据，而非来自框架：在有人参与的研究中，偏好贝叶斯优化相对于强而简单的基线的优势，尚未得到直接证明。因此，新的研究应当把手动调节、随机搜索或粗网格搜索、线性效用模型列为必需的对照；只与滑块或另一种偏好贝叶斯优化变体比较，无法回答偏好贝叶斯优化究竟是否必要。

46.10 已定、有争议与缺失 #

46.11 习题 #

延伸阅读 #

• Schäfer 等人（2026）最清楚地表明，在人在回路的设定中，强而简单的基线可以与算法调节相匹敌。
• Keswani 等人（2024）陈述了主动偏好引出所依赖的前提，并展示了这些前提不成立时的后果。
• O'Mahony 与 Wichchukit（2017）回顾了感官科学早在偏好贝叶斯优化出现之前几十年，就已学会处理强制选择、“无偏好”回答与安慰剂对。
• Dean 与 Morgenstern（2022）与 Carroll 等人（2022）说明了当系统能够移动其正在学习的偏好时，为什么仅有遗憾是不够的。
• Adesiji 等人（2026）阐述了加速因子与增强因子，二者使结果可以在不同任务之间比较。