贝叶斯优化
EN

贝叶斯优化

从基本原理到人类偏好

有些函数评估代价高昂,又无法写出解析式:模型训练一整天后的准确率、穿戴外骨骼行走一分钟后的舒适度、只能由人判断的设计美观程度,都属此类。贝叶斯优化能以很少的评估次数为这类函数找到好的输入。它用概率模型刻画每个尚未尝试的输入可能得到的结果,并把每一次评估安排在模型预期收获最大之处。当唯一的测量手段是由人在两个选项中做出取舍时,同样的思路便成为偏好贝叶斯优化(preferential Bayesian optimization,PBO),而做出取舍的人本身也成为被研究系统的一部分。

本书从基础讲起,不假定读者还记得学校里的概率论与线性代数;在此之上依次讲解高斯过程及其核函数背后的分析、优化循环和基于比较的学习。随后通过四个真实问题完整演示这些方法,并梳理截至 2026 年的研究:哪些结论已得到证明,这些方法用于真人时效果如何,以及心理学、经济学、神经科学与哲学如何看待偏好是否预先存在、有待发现。本书的核心论点是:算法已趋成熟,难点已转向测量,即一次比较究竟测量了什么,以及提问本身如何影响回答者。

隐藏的目标函数后验均值95% 区间下一次查询−1.0−0.50.00.51.01.5f(x)目前最优 0.69,真实最大值 0.820.000.020.040.060.00.20.40.60.81.0输入 x采集函数:期望改进
隐藏的目标函数后验均值95% 区间下一次查询−1.0−0.50.00.51.01.5f(x)目前最优 0.69,真实最大值 0.820.000.020.040.060.00.20.40.60.81.0输入 x采集函数:期望改进
一个优化器在一个它看不见的函数(虚线)上工作。蓝色是它的信念,色带是它有多不确定,橙色是它下一步要看的地方。

每一章都有可交互的图形、可逐步展开的推导,参考文献附在引用它们的小节之后。在部分图中,读者本人就是被优化的对象。

可以从第 1 章开始阅读,也可以先读前言,或从下方目录中选择感兴趣的部分。

本书在 GitHub 开源。若发现错误、与来源不符的数字或难以理解的段落,欢迎提交 issue;每一页底部也有为该页提交问题的链接。

目录 #

三种读法 #

从头开始

初学概率,或需要复习。每种工具在使用之前都会先讲清楚。

搭建系统

具备一定机器学习基础,希望在有真人参与的场景中实施偏好优化。

第一部分 基础第二部分 高斯过程第三部分 贝叶斯优化第四部分 从比较中学习第五部分 案例研究第六部分 研究前沿第七部分 人在回路第八部分 相邻计算领域第九部分 偏好是什么?第十部分 综合11. 优化写不出公式的函数22. 概率:为不确定性记账33. 不确定性的线性代数44. 高斯分布55. 贝叶斯推断66. 度量信息77. 函数上的分布88. 高斯过程回归99. 核函数与超参数1010. 核函数背后的分析1111. 贝叶斯优化循环1212. 采集函数1313. 遗憾、赌博机与理论保证1414. 贝叶斯优化实践1515. 贝叶斯优化的用武之地1616. 为什么请人做比较1717. 后验不是高斯分布时1818. 高斯过程偏好学习1919. 偏好贝叶斯优化2020. 设计提问2121. 对决赌博机与比较的理论2222. 为分类器调参2323. 优化化学反应2424. 人在回路中调节外骨骼2525. 通过比较增强照片2626. 偏好贝叶斯优化的十年2727. 观测模型、代理模型与推断2828. 采集函数、查询形式与问题扩展2929. 理论:从对决赌博机到核化偏好优化3030. 高维问题与贝叶斯优化格局的变化3131. 软件、评测方法与研究社区3232. 交互式设计与人机交互3333. 可穿戴机器人、健康与辅助技术3434. 建成环境、科学与工业3535. 偏好与大语言模型3636. 奖励学习、推荐、排序与自动化科学3737. 判断、决策与心理物理学3838. 社会、情感与发展心理学3939. 神经科学与计算认知科学4040. 经济学、决策理论与运筹学4141. 哲学与宗教传统4242. 社会科学与人文学科4343. 自然科学与形式科学4444. 设计、感官科学、艺术与健康4545. 一次比较测量什么4646. 构建与评估偏好优化系统4747. 未解决问题与判定实验点击某一章,查看它以哪些章为基础,又是哪些章的基础。
一二三四五六七八九十11. 优化写不出公式的函数22. 概率:为不确定性记账33. 不确定性的线性代数44. 高斯分布55. 贝叶斯推断66. 度量信息77. 函数上的分布88. 高斯过程回归99. 核函数与超参数1010. 核函数背后的分析1111. 贝叶斯优化循环1212. 采集函数1313. 遗憾、赌博机与理论保证1414. 贝叶斯优化实践1515. 贝叶斯优化的用武之地1616. 为什么请人做比较1717. 后验不是高斯分布时1818. 高斯过程偏好学习1919. 偏好贝叶斯优化2020. 设计提问2121. 对决赌博机与比较的理论2222. 为分类器调参2323. 优化化学反应2424. 人在回路中调节外骨骼2525. 通过比较增强照片2626. 偏好贝叶斯优化的十年2727. 观测模型、代理模型与推断2828. 采集函数、查询形式与问题扩展2929. 理论:从对决赌博机到核化偏好优化3030. 高维问题与贝叶斯优化格局的变化3131. 软件、评测方法与研究社区3232. 交互式设计与人机交互3333. 可穿戴机器人、健康与辅助技术3434. 建成环境、科学与工业3535. 偏好与大语言模型3636. 奖励学习、推荐、排序与自动化科学3737. 判断、决策与心理物理学3838. 社会、情感与发展心理学3939. 神经科学与计算认知科学4040. 经济学、决策理论与运筹学4141. 哲学与宗教传统4242. 社会科学与人文学科4343. 自然科学与形式科学4444. 设计、感官科学、艺术与健康4545. 一次比较测量什么4646. 构建与评估偏好优化系统4747. 未解决问题与判定实验点击某一章,查看它以哪些章为基础,又是哪些章的基础。
各章如何层层递进:每个部分占一行。点击某一章,可以看到它依赖哪些章、哪些章依赖它,并可打开这一章。