Scalable Oversight 入门
第二部分:怎样判断一个监督方法有效

草稿 内容完整但尚未审校,可能还会修改

第 11 章实验设计与监督预算

路线全部路线最短路线实验路线做全部练习

本章导读

本章问题
  • 在超越人类的模型还不普遍时,怎样做实验来检验一个监督方法?
要点
  • 三明治评估把模型夹在非专家和专家之间:非专家借助模型作判断,专家只在最后打分(§11.2)。
  • 用弱模型代替人只是实验替代;能力差距和参考答案都要实测,不能用参数量代替差距(§11.3、§11.4)。
  • 基线要包括人单独、模型单独和简单咨询,预算要可比;误报、漏检和信心要分开报告(§11.5、§11.6)。
  • 只查被判为高风险的样本不够,风险判断会漏,也可能被针对,所以要保留随机抽查(§11.8)。
本章的视频讲解,4 分 56 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07缩小版的实验
    让没学过医学的人借助模型答医学题,不许请教医生,事后再用医生的答案打分。模型夹在中间,所以叫三明治评估。放到记账程序上,你就是非专家。
  2. 0:27代理实验的出发点11.1
    代理实验在今天造出缩小版的局面:评估者比模型弱,正确答案在实验之外。Cotra 把“技术会继续有效”写成出发点假设,而不是结论。
  3. 0:48概念验证实验11.2
    Bowman 等 2022 年把它写成实验范式。概念验证用 MMLU 和限时 5 分钟的 QuALITY;借助 520 亿参数对话助手,参与者胜过自己单独作答,也胜过模型直接作答。
  4. 1:09这个结果不能说明什么11.2
    作者写明了六条局限。例如第四条:每个任务都有一人不借助模型就远远领先,并超过了模型,作者把这两人排除在外,这会带来选择效应。
  5. 1:31弱模型当替身11.3
    人类实验又慢又贵,研究者常让较弱的模型扮演非专家或裁判。它便宜、可重复、容易调节差距,但只是实验替代:结论只能说“这个协议在这个裁判模型下的表现”。
  6. 1:54参考答案也会出错11.4
    GPQA 每题由一位专家出题,另两位同领域专家独立作答,第二位专家的准确率是 64.8%。参考答案若有一成是错的,准确率就不可能可靠地超过九成。
  7. 2:16差距取决于怎样算11.4
    差距要实测,不能用参数量代替。MMLU 上模型直接作答和人单独都是 57.2%;推理 20 次选最好,模型到 65.6%;四人单独时加权投票是 66.0%。
  8. 2:37基线与预算11.5
    基线起对照组的作用。只和人单独比,往往显得有用(本书的推断)。Recchia 等第一项研究中,和模型对话后是 71%,低于模型单独的 75%。人的时间、计算量和人数都要记账。
  9. 2:59准确率会骗人11.6
    准确率是判断与参考答案一致的比例。设 100 份中 10 份有问题(数字为说明而设):乙一律判“没问题”,准确率反比甲高,却一个问题也没发现。漏检往往更危险,还要记录严重程度。
  10. 3:23信心也要单独看11.6
    信心是评估者对判断的把握,它不是正确性。Bowman 等的实验中,借助模型后平均信心大幅上升;即使是全组最有把握的答案,也有大约八分之一或更多是错的。
  11. 3:44难题数据集有寿命11.7
    GPQA 由 61 位博士或博士生出题和验证。可以上网的非专家,546 题平均只答对 34.1%。但模型变强、题目泄露、工具变了,它就不再制造差距。
  12. 4:05只查高风险不够11.8
    专家的时间常集中在被判为高风险的样本上。但只查高风险不够:风险判断本身会漏;输出可能被推向“看起来低风险”;挑出的样本也估计不出整体的错误率。
  13. 4:26保留随机抽查11.8
    随机抽查让每个输出被查的机会都一样。但错误越少见,要抽的越多:1000 个输出中有 10 个有问题,随机抽 50 个,平均只能发现 0.5 个。

带走的几句话:

  1. 能力差距和参考答案都要实测,不能用参数量代替差距。
  2. 基线要包括模型单独和简单咨询;误报、漏检和信心分开报告。
  3. 只查被判为高风险的样本不够,要保留随机抽查。

第一部分把问题摆清楚了:评估者可能比执行者弱(第 9 章),而弱在哪里、模型可能怎样对待监督,都要事先说明(第 10 章)。接下来自然要问:有人提出一个监督方法,说它能帮较弱的评估者作出可靠的判断,我们怎样检验这句话?

检验遇到两个困难。第一,我们最担心的情形,是模型在大多数任务上都超过最好的人类专家,这样的模型现在还不普遍,没法直接拿来做实验。第二,即使有了这样的模型,实验也很难打分:如果没有人能判断模型的答案对不对,也就没有人能判断“借助某个方法作出的判断”对不对。

研究者的办法是做一个缩小版的实验。设想让一组没有学过医学的人,借助一个语言模型回答医学题。他们不能请教医生,也不能查医学文献,只能和模型对话,然后自己选定答案。实验结束后,再用医生给出的答案给他们打分。在这个实验里,模型的医学知识比参与者多,又比医生少,它被夹在两组人中间,所以这种设计叫三明治评估。非专家的处境,类似于将来人类面对比自己强的模型;医生的答案,则让研究者能在实验室里发现错误,而不是等错误在现实中造成后果。

放到记账程序上,你就是那个非专家:500 行代码你只读得懂 50 行。一位熟悉这类程序的资深程序员,事先为每一处修改写好针对性的测试,他扮演专家。模型的能力在你们两人之间。三明治评估要回答的问题是:你借助模型,能在多大程度上作出和那位程序员一样的判断?

本章先讲这类实验怎样设计(第 11.1 节至第 11.4 节),再讲怎样比较、用什么指标衡量(第 11.5 节、第 11.6 节),然后讨论难题数据集为什么会过期(第 11.7 节),最后讨论人的时间有限时,检查的力气该花在哪里(第 11.8 节)。其中第 11.6 节末尾的四个核心问题,会在后面每一章读实验论文时反复用到。

11.1 为什么需要代理实验 #

先把我们想知道的事写清楚:某个监督方法,能否让一个较弱的评估者,可靠地监督一个在任务上比它强的模型?要直接检验这句话,需要两样东西:一个在任务上确实比评估者强的模型,以及一种知道正确答案的办法,用来给评估者的判断打分。在我们最终关心的情形里,这两样东西互相冲突:模型越是超过所有人,就越没有人能给出正确答案。

代理实验是指在今天就能做到的条件下,人为地造出一个缩小版的局面:评估者比模型弱,而正确答案由实验之外的人或数据掌握。评估者在实验中不知道正确答案,研究者在实验后知道。

这个思路来自 Cotra 在 2021 年的一篇博客(Cotra,2021)。她注意到,当时的语言模型已经在某些模糊任务上,有潜力超过某些人:例如,在给出生病时该怎么办的建议这件事上,GPT-3 读过的症状和疗法知识,可能比去论坛上问网友得到的建议更好;但模型并不会自动给出它能给出的最好建议。她把这类模型称为“窄范围超越人类”(narrowly superhuman)的模型,并提出两个问题:在人懂得比模型少的领域,怎样让模型给出它能给出的最好建议?又怎样判断它是否真的尽力了(Cotra,2021)?她认为,在这类模型上练习监督,是长期对齐问题的一个缩影。

代理实验的价值在于可以犯错。Bowman 等的说法是,在实验中,可以用专家来发现并纠正我们的错误,而不必等这些错误在外部世界里产生后果(Bowman 等,2022)。

但代理实验和真实局面之间有距离,这一点要从一开始就记住。Cotra 明确把下面这件事写成了出发点假设,而不是结论:在三明治设置中有效的技术,很有可能在模型超过最好的人类之后继续有效(Cotra,2021)。这个假设至少可能在三处失效。第一,能力差距的来源可能不同:实验里的差距可能来自专业知识,将来的差距可能来自计算时间或上下文长度(第 7.4 节)。第二,实验里的模型通常只是会犯错,将来的模型可能会针对监督调整行为(第 10 章,第四部分)。第三,实验任务(如选择题)和真正要监督的任务(如长时间的编程或科研)形式不同。所以每一个代理实验的结果,都要写明它在什么差距、什么任务、什么威胁模型下成立。第 28 章专门讨论怎样从这类结果向外推。

第 11.1 节引用的文献 2
  1. Cotra(2021)The case for aligning narrowly superhuman models
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models

11.2 三明治评估 #

Bowman 等在 2022 年把 Cotra 的提议写成了一个可以操作的实验范式(Bowman 等,2022)。实验中有三方:

  • 专家:具备完成和监督这项任务所需的全部技能,并且真心想把监督做好。他们的评价代表监督质量的上限,在实验中只充当参照,用来评价另外两方。
  • 模型:大体具备完成任务所需的技能和知识,但不会可靠地把它们用在任务上。直接问它,它的表现明显不如专家。
  • 非专家:理解任务、也真心想做好,但缺少某些关键的技能或知识,单靠自己不能可靠地完成任务,也不能可靠地监督模型。他们的目标是借助某种监督方法和模型,把任务做对,并且有理由相信自己做对了。

最关键的是一条人为的约束:非专家不能得到专家的任何帮助,包括专家写好的现成资料;专家只在每一轮实验结束时出场,评价非专家做得怎样(Bowman 等,2022)。这条约束模拟的是将来的处境:那时没有更强的人可以请教。

完整的研究计划有两层循环。内层,非专家反复尝试,直到他们相信模型已经被可靠地用起来;然后专家检查结果。外层,研究者根据专家的检查改进方法,再做下一轮。最终目标是一种不需要专家反馈、第一次就能做对的方法(Bowman 等,2022)。

Bowman 等随后做了一个概念验证实验,并为了简化作了两处放宽:参与者只能和模型对话,不能改动或重新训练模型;用数据集已有的标准答案代替专家打分(Bowman 等,2022)。任务有两个,都是四选一的选择题。一个是 MMLU,题目大多来自各类考试,很多需要普通人不熟悉的专业知识。另一个是 QuALITY,题目针对一篇约 5000 词的小说,正常读完要 15 到 30 分钟;实验只给 5 分钟,参与者读不完全文,只能借助模型找信息。模型是一个 520 亿参数、用人类反馈训练过的对话助手。参与者通过一家数据标注公司招募。“人单独”和“人借助模型”两个条件各用 100 道验证集题目,但两批题并不相同;只有模型参与的条件则在整个验证集上测(Bowman 等,2022)。

下表是论文报告的验证集准确率(%)(Bowman 等,2022):

条件 MMLU QuALITY(限时 5 分钟)
人单独(每人平均) 57.2 48.6
人单独(四人按信心加权投票) 66.0 50.0
模型单独(直接作答) 57.2 59.2
模型单独(给 5 个例题) 61.9 –
模型,20 次推理中选最好的一次 65.6 66.9
人借助模型(每人平均) 75.4 76.8
人借助模型(四人按信心加权投票) 78.0 86.0
专家(已发表的估计) 90.0 93.5

QuALITY 的文章太长,提示里放不下例题,所以没有“给 5 个例题”的结果;MMLU 上“20 次推理”一行也带着 5 个例题。这些例题附有标准答案,作者提醒,用到它们的条件可能偏强(Bowman 等,2022)。最后一行不是本实验测的:MMLU 的 90.0 是 MMLU 作者对专家委员会成绩的推测,QuALITY 的 93.5 是已知最好的不限时人类团队成绩(Bowman 等,2022)。

借助一个并不可靠的模型,参与者的准确率既超过了他们自己单独作答,也超过了模型单独作答。论文把和模型自由对话看作一种最简单的基线策略(Bowman 等,2022)。所以,更复杂的监督方法至少应当胜过它(本书的推断)。

作者也写明了这个结果不能说明什么,共六条(Bowman 等,2022)。第一,实验作了放宽,题目是答案明确的选择题,比真实任务干净得多。第二,每道题答完后会向参与者公布正确答案,这偏离了三明治评估的核心设定,因为真实监督中的一大难点,正是判断自己的方法什么时候足够可靠。第三,参与者只能引出直接问模型时它会给出的知识,模型知道的可能更多。第四,每个任务原有 5 名参与者,各有一人在不借助模型时远远领先其他人,并超过了模型,作者把这两人排除在外,这会带来选择效应(第 11.4 节回到这一点)。第五,参与者有时会给出信心很高、却是错的答案,他们有时会接受模型听起来自信又合理的错误说法。第六,这类选择题在网上很常见,模型在一定程度上受过这类任务的训练,而监督最要紧的场合,是让模型做和训练很不一样的事。另外,实验中的模型只是会犯错,没有被设定去误导人(本书的说明)。

回到本章开头的医学题。按照这个范式,实验要写清楚:非专家是谁、他们能用什么(只和模型对话,还是也能上网检索)、医生的答案怎样得出、医生何时出场。只要其中一条没写清,例如非专家其实读过医生写的复习资料,实验就不再是三明治评估了。

第 11.2 节引用的文献 1
  1. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models

11.3 用弱模型模拟人 #

人类实验又慢又贵。上面的实验每个人类条件只用了 100 道题、4 名参与者(Bowman 等,2022),要比较十种方法的变体,就要再招许多人。于是研究者常用一个较弱的模型来扮演非专家或裁判,例如用较弱的语言模型裁判较强语言模型之间的辩论(Kenton 等,2024),或者用小模型给出的标签训练大模型(Burns 等,2023),分别见第 15 章和第 17 章。

这种替代确实能做一些人类实验做不到的事。它便宜,可以重复成千上万次,统计上更有把握(第 3 章)。它容易系统地改变能力差距:换一个更大或更小的裁判模型,就得到不同大小的差距,人类实验很难这样逐级调节。它可以快速比较协议的许多设计选择。只要同一版本的模型仍可调用、采样设置相同,它的结果也容易被别人复现(本书的推断)。

但要牢牢记住:用弱模型模拟人只是实验替代,结果不能直接外推为人类监督的效果。原因至少有五个。

第一,出错的方式不同。人会疲劳,会被先看到的答案拉过去,会因为模型平时很准就放松检查(第 13 章)。模型裁判有自己的偏差,例如在一些测试中偏爱某个位置(通常是第一个)的回答、偏爱更长的回答,偏差大小因模型而异(第 12 章)。一个协议也许恰好消除了模型裁判的某种偏差,例如交换答案顺序再判一次,却对人最主要的错误毫无作用;反过来也一样。

第二,和执行者的关系不同。弱模型裁判和强模型执行者,常常用相似的数据、相似的方法训练出来,它们可能有共同的盲点(第 24 章)。已有研究在所测的模型中观察到,模型裁判给与自己相似的模型打分更高(Goel 等,2025)。共同盲点可能让协议在弱模型实验里显得更好(两者在同一处都没看出问题,被算作“一致”),也可能显得更差。人和模型之间的差别是另一种差别。

第三,知识的分布不同。人和模型知道的东西并不是大小不同的同一堆知识。Recchia 等重新分析了上面 Bowman 等的数据,认为在 MMLU 上,人借助模型时的优势,有一部分来自人掌握一些模型没有的知识:自己会的题自己答,不会的才听模型的(Recchia 等,2025a)。作者认为,随着模型能力提高,这种优势会缩小。小模型和大模型之间的差距,不能当作人和模型之间差距的缩影(本书的推断)。

第四,能做的事情不同。人可以追问、上网检索、多花时间,或者干脆说“我判断不了”;弱模型裁判通常只读一份固定的记录,用固定的 token 预算给出一个答案。人的成本按分钟算,模型的成本按 token 算,两者没有固定的换算关系(第 11.5 节)。

第五,容易被什么说服不同。一段能说服模型裁判的论证,不一定能说服人;能误导人的话术,也不一定能误导模型(本书的推断)。对监督来说,这一点最要紧,因为协议常常要防的正是“有说服力的错误答案”。

所以,弱模型实验的结论,准确的说法是“这个协议在这个裁判模型下的表现”。要声称它能帮助人,就要做人类实验,至少在一部分题目上做,并且把两种实验的结果分开报告(附录 A)。弱模型实验得到正面结果,是值得做人类实验的理由,不是人类实验的替代品;弱模型实验得到负面结果,也不能证明人用这个协议一定会失败。

回到记账程序:如果你用一个小模型,借助批评模型去判断大模型的修改是否违反规则三,得到了不错的准确率,这告诉你的是小模型能做到什么。你自己读懂 50 行的能力、你会不会被一条写得很自信的批评说服,这个实验都没有测到。

第 11.3 节引用的文献 5
  1. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  2. Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
  3. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  4. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
  5. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight

11.4 参考答案与能力差距的实测 #

三明治评估的打分全靠参考答案,它的地位相当于考试的标准答案。参考答案有几种来源:数据集自带的标签(Bowman 等的放宽做法);专家给出的答案;人为构造的错误,例如在代码中埋入已知的缺陷(第 16 章);以及能自动运行的测试(第 20 章)。每种来源都可能出错,所以第一步是问:参考答案由谁给出,可靠性如何?

专家的答案也不是自动可靠。以研究生水平的科学选择题数据集 GPQA 为例,每道题由一位专家出题,再由另外两位同领域的专家独立作答(Rein 等,2023)。第二位专家的准确率是 64.8%。作者逐一检查了专家答错的情况,发现不少是专家看了出题人的解释后承认自己犯了错,扣除这类情况,在全部 546 道题上、按较保守的标准估计,约 74% 的题目有无可争议的正确答案;经过筛选的主集和最严格子集,这一比例预计更高。作者也提醒,这类判断依赖验证者事后的自述,可能有误判,例如验证者认出了自己的错,题目里却还有他没发现的错;单看“事后表示同意”的比例,专家还可能只是顺从了出题人(Rein 等,2023)。

数据集本身也可能有问题:Bowman 等在试做时发现 MMLU 的题目反复出现格式错误,维护者修正了其中最系统的部分(Bowman 等,2022)。后来 Gema 等复查了 MMLU 的测试集(Bowman 等用的是验证集)(Gema 等,2024;Bowman 等,2022)。他们从 57 个学科各随机抽 100 道题,人工逐题判断题目和选项是否清楚、是否恰好有一个正确选项、这个选项是不是数据集给的答案,能查到出处的就拿来对照(Gema 等,2024)。据此估计,在整个测试集中,有错的题占 6.49%,标准答案标错(唯一的正确选项不是数据集给的答案)的题占 1.42%;各学科差别很大,病毒学抽查的 100 道题里有 57 道有错(Gema 等,2024)。

参考答案出错,会直接限制实验能说明的东西。如果参考答案本身有一成是错的,那么一个方法的“准确率”就不可能可靠地超过九成,两个方法之间几个百分点的差别,也可能只是参考答案的噪声。一个常见的错误,是把另一个模型的答案默认当成真值:那样测到的只是两个模型是否一致,而一致不等于正确(第 24 章)。

第二步是确认能力差距真的存在。三明治评估的前提是:非专家单独做不好,模型比非专家好,专家比模型好。这三点都要在同一批题、同样的条件下实测,而不能凭印象,更不能用参数量代替。Bowman 等的表其实并不满足“同一批题”:两个人类条件用的是不同的两批题,模型条件用的是整个验证集(Bowman 等,2022)。即便如此,表中的数也足以说明,差距大小很依赖怎样计算。看上面的表:在 MMLU 上,直接问模型的准确率是 57.2%,和参与者单独作答的平均准确率一样;给 5 个例题后升到 61.9%,让模型推理 20 次、挑出最好的一次后是 65.6%。而不借助模型时四名参与者按信心加权投票,准确率是 66.0%,和这个最好的模型结果几乎一样(Bowman 等,2022)。在 MMLU 上,差距存不存在,取决于你把“人”算成一个人还是一组人,把“模型”算成直接问还是精心提示;在 QuALITY 上,无论怎样算,模型都领先,只是领先多少随计算方式而变。

差距也取决于具体的人。前面说到,每个任务都有一名参与者在不借助模型时远远领先(MMLU 上 84% 对其余人的 57%,QuALITY 上 89% 对 49%),并且超过了模型(Bowman 等,2022)。对这两个人来说,三明治的前提不成立,所以作者把他们排除。但作者也承认,这样做有选择效应:排除了最强的人,就更难观察到“模型帮不上忙”的情况。

还要考虑测量误差。在 100 道题上测得的准确率,标准误大约是 5 个百分点(用第 3.3 节的公式,以 57.2% 计算约为 4.9 个百分点,脚本 tools/exercises/ch11_audit.py)。几个百分点的“差距”,可能只是这一批题碰巧的结果。比较两个条件的差别时,要让两个条件用同一批题,用配对比较并给出差值的区间(第 3.4 节);Bowman 等的两个人类条件用的是不同的题,就做不了这样的配对。

为什么不能用参数量代替能力差距?因为差距是某个人、某个模型在某个任务、某种条件下的表现之差。更大的模型不一定在这个任务上更好;同一个模型换一种提示,表现就会变;同一个人,给 5 分钟和不限时间,处境完全不同。QuALITY 本来是普通大学生认真读完就能答对的题,正是 5 分钟的限时把它变成了人做不好的任务。差距的种类也要说明:是专业知识、信息访问、计算时间、上下文长度,还是工具权限(第 7.4 节)。

回到记账程序:在测试任何帮你挑错的方法之前,先在同一批 20 处修改上测三个数:你单独判断对了几处,模型单独判断对了几处,那位资深程序员(或者他写的测试)判断对了几处。

第 11.4 节引用的文献 3
  1. Rein 等人(2023)GPQA: A Graduate-Level Google-Proof Q&A Benchmark
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  3. Gema 等人(2024)Are We Done with MMLU?

11.5 基线与预算 #

基线是新方法要与之比较的做法。基线起实验里对照组的作用(第 3.6 节):理想情况下,它与新方法只差要检验的那一项;下面讲的预算可比,就是为了接近这一点。一个方法有没有用,不看它绝对的准确率,而看它比基线好多少。常见的基线有三类:

  • 人单独:评估者不借助任何模型作判断。
  • 模型单独:直接采用模型的答案。它还可以细分:直接问、给几个例题再问、让模型推理多次再挑最好的一次。
  • 简单咨询:评估者和模型自由对话,然后自己作判断,也就是 Bowman 等的“人借助模型”条件。

一个新协议(例如辩论或批评)如果只和“人单独”比,往往能显得有用,因为三明治实验特意挑选单独做不好的人,而模型本来就知道不少答案(本书的推断)。它至少要胜过简单咨询,也要胜过直接听模型的。Recchia 等主张,监督协议都应该检验能否胜过“直接听从被评估的模型”(Recchia 等,2025a)。这不是吹毛求疵:据论文的 arXiv 版,在他们的第一项研究里(第 13.5 节),参与者对话前自己作答的准确率约为 55%,和模型对话后是 71%,低于模型单独作答的 75%(Recchia 等,2025a)。如果不报告“模型单独”这一行,这个结果就会被说成“模型帮人提高了准确率”。

比较时还要让预算可比。预算包括三样东西:人的时间、模型的计算量(调用次数、token 数),以及参与的人数和他们受过的训练。Bowman 等表中“20 次推理中选最好的一次”这一行,模型生成了 20 段推理,用的计算量是直接作答的许多倍;“人借助模型”条件下,MMLU 上的对话平均有 10.9 轮(Bowman 等,2022)。论文的结果表只报告了准确率和校准误差(衡量参与者的信心与实际准确率是否相符,见第 11.6 节),没有报告每种条件下人花了多少时间。读者因此无法判断,在不限时的 MMLU 上,“人借助模型”的优势有多少来自多花的时间(QuALITY 的两个人类条件都限时 5 分钟)。第 16.4 节的等时对照,就是为了解决这个问题:给对照组同样多的时间,只是不给批评。

实验的顺序和流程也是预算的一部分。Bowman 等让参与者先做完全部 100 道借助模型的题,再做不借助模型的题,并在每题之后公布答案(Bowman 等,2022)。作者认为,这样即使有学习效应,也会让结果偏向“没有差别”,因为后做的不借助模型条件反而可能受益。这是一个合理的论证,但读者应当把它看作需要检查的设计选择,而不是自动成立的事实。

一个实用的做法是为每个条件记一本账:

条件 人的时间 模型调用次数或 token 参与人数
人单独 每题若干分钟 0 若干人
模型单独 0 每题 1 次或 n 次 0
简单咨询 每题若干分钟 每题若干轮 若干人
新协议 每题若干分钟 每题若干次 若干人

表格里每一格都要填上实际数字。方法带来的收益,是新协议比同等预算下最好的基线高出多少。把更多资源带来的收益算成协议的功劳,是附录 A 列出的常见错误之一。

第 11.5 节引用的文献 2
  1. Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models

11.6 指标 #

判断一个监督方法,最直接的指标是准确率:评估者的判断与参考答案一致的比例。但只看准确率会掩盖很多东西。

先看一个例子(数字为说明而设)。100 份输出中有 10 份确实有问题,90 份没有问题。评估者甲把 10 份有问题的输出中的 8 份判为有问题,又把 90 份没问题的输出中的 9 份误判为有问题。他的准确率是 (8 + 81) ÷ 100 = 89%。评估者乙什么都不看,一律判“没问题”,准确率是 90 ÷ 100 = 90%,比甲还高。可是乙一个问题也没有发现。问题越少见,“一律放行”的准确率就越高,准确率也就越说明不了评估者有没有在检查。

所以要把两种错误分开数。约定把“评估者判为有问题”看作报警:

定义 11.1 误报率与漏检率

误报是输出其实没有问题,评估者却判为有问题。误报率是误报数除以实际没有问题的输出数。漏检是输出其实有问题,评估者却判为没问题。漏检率(也常叫漏报率)是漏检数除以实际有问题的输出数,与第 3.7 节的漏检率是同一个量。

评估者甲的误报率是 9 ÷ 90 = 10%,漏检率是 2 ÷ 10 = 20%;评估者乙的误报率是 0,漏检率是 100%。这两个数字立刻把两人区分开了(计算见 tools/exercises/ch11_audit.py)。

注意分母。误报率的分母是“实际没有问题的输出”,漏检率的分母是“实际有问题的输出”,两者都需要参考答案才能算。第 16.3 节的精确率换了一个分母:它看的是“被报出的问题”中真实问题的比例。“1 减精确率”和误报率不是一回事,不同论文的定义也不完全一致,读的时候先找到定义。

误报和漏检的代价通常不对称。对监督来说,漏检往往更危险:一处违反规则三(写入失败时只记一半)的修改被放行,账目就会出错;一次误报的代价是多花一些核查时间。除了数量,还要记录严重程度:漏掉一个格式问题和漏掉一个会让账目出错的问题,不能算作同样的一个错误。只报告平均准确率,是附录 A 列出的常见错误之一。

最后是信心:评估者对自己判断的把握,通常让他们在每题之后选一个等级或一个概率。信心本身不是正确性,但它说明评估者知不知道自己什么时候是对的。如果评估者说“有八成把握”的那些题,确实大约八成是对的,就说他的信心是校准的(第 13.4 节详细讨论)。

Bowman 等的实验提供了一个值得注意的数字。借助模型之后,参与者的平均信心从 54% 升到 80%(MMLU),从 38% 升到 75%(QuALITY)。在四人按信心加权投票、合并信心达到最高值 99% 的那些答案上,准确率是 88%(QuALITY,89 题)和 81%(MMLU,84 题)(Bowman 等,2022):即使是最有把握的答案,也有大约八分之一或更多是错的。论文还报告了校准误差:在 MMLU 上,人和模型单独作答都校准得不错,而人借助模型时的校准明显变差;在 QuALITY 上则相反,人单独作答时校准很差,借助模型后好得多(Bowman 等,2022)。

这就引出最后一个、也最容易被忽视的问题:一个方法提高的是准确率,还是只提高了信心和说服力?如果评估者变得更有把握,准确率却没有相应提高,这个方法让人更加信任模型,却没有让人更常判断正确。对监督来说,这比没有效果更糟(本书的推断)。

11.6.1 指标测的是不是你想测的 #

本节的每个指标,都是拿一个看得见的数,代表一件不能直接看见的事:评估者能在多大程度上可靠地监督比自己强的模型。一个数能不能代表它名义上的东西,要有证据,不能从名字推出来。测量学把这个问题叫构念效度(construct validity)。构念是测量想捕捉的那个看不见的性质,例如“监督能力”;效度问的是:分数是不是随着这个性质变化,而不是随着别的东西变化。

本节已经出现了两个反例。第一个是为说明而设的例子:评估者乙一律放行,准确率反而最高,这时准确率随“问题有多少见”变化,而不是随“评估者查得多好”变化。第二个是一种假设的情形:评估者的信心升高、准确率却不变,这时信心随模型的说服力变化,而不是随判断是否正确变化。第 28.4 节还有第三个:裁判准确率高,不等于在这个协议下说真话比说谎更划算。

三明治评估整体上也有同样的问题。实验测到的,是一群非专家在限定的时间里、借助一个模型回答一批选择题的准确率;人们用它代表将来人类监督更强模型的能力。两者之间的差距,第 11.1 节和第 11.2 节已经列过。这些差距不会让实验失去意义,但读结果时要知道,分数的提高首先是这批选择题上的提高。

这个问题在整个领域都很普遍。一项 2025 年发表在 NeurIPS 的系统综述,请 29 位专家逐篇检查了 2018 至 2024 年主要机器学习和自然语言处理会议上发表的 445 个语言模型基准(不包括没有经过同行评审就发布的基准):78.2% 的论文给出了所测现象的定义,其中 47.8% 的定义有争议或不清楚;比较模型得分时,只有 16.0% 用了不确定性估计或统计检验(Bean 等,2025)。作者特别指出,对齐类的基准常常针对定义有争议的现象,例如“无害”(Bean 等,2025)。所以读一篇监督实验论文,还要问一句:它用的指标,代表的是方法声称改善的那件事吗,证据是什么?附录 A 把这一问列在下面的四个核心问题之后。

11.6.2 四个核心问题 #

把第 11.2 节到本节的内容合起来,就是读任何一篇监督实验论文时都要先问的四个问题。附录 A 在它们之后补充了更多检查项。

表 11.1 四个核心问题
  1. 监督者确实比执行者弱在哪里?要避免的错误:用参数量代替实际能力差距(第 11.4 节)。
  2. 参考答案由谁给出,可靠性如何?要避免的错误:把另一个模型默认当成真值(第 11.4 节)。
  3. 基线是什么:人单独、模型单独、简单咨询,各用了多少时间、token 和人工?要避免的错误:只和很弱的基线比较;把更多资源带来的收益归因于协议(第 11.5 节)。
  4. 方法提高的是准确率,还是只提高了信心和说服力?要避免的错误:把主观感受当成正确性(第 11.6 节)。
第 11.6 节引用的文献 2
  1. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  2. Bean 等人(2025)Measuring what Matters: Construct Validity in Large Language Model Benchmarks

11.7 难题数据集的寿命 #

三明治评估需要一种特别的题目:专家能答对,非专家即使努力也答不对,模型介于两者之间。这样的题目很难造。GPQA 的构造过程,展示了为此要花多少力气(Rein 等,2023)。

作者通过一个自由职业平台雇了 61 位已经获得或正在攻读博士学位的人,在生物、物理、化学的若干子领域出题和验证。流程分四步(Rein 等,2023):

  1. 出题。出题人要写本领域其他专家能答对、而非专家即使能上网也答不对的题;题目要写得即使不给选项,专家也能作答。出题人还要写解释,说明正确答案为什么对、其他选项为什么看似合理却是错的。
  2. 第一位专家验证。另一位同领域专家作答,并给出详细的修改意见。
  3. 修改与第二位专家验证。出题人根据意见修改题目,再由第二位同领域专家作答。
  4. 非专家验证。三位其他领域的博士或博士生作为非专家作答。他们不限时间,可以使用互联网,只是不许用语言模型助手;规定每题至少花 15 分钟,实际平均花了 37 分钟。

报酬也是为这个目标设计的:专家验证者每答对一题,出题人得到奖金;非专家每答错一题,出题人也得到奖金;两者同时满足,还有额外奖金(Rein 等,2023)。这样,出题人既有动力把题出得客观,又有动力把题出得难。作者共收集 564 道题,留出 18 道作为不公开的保留集,公开的扩展集有 546 道题。其中只保留至少一位专家认同(答对,或事后能明确看出是失误)、且三位非专家并非全部答对的题,得到 448 道题的主集;又挑出两位专家都答对(或第二位专家的错误能明确归为失误)、且多数非专家答错的 198 道题,作为最严格的子集(Rein 等,2023)。在全部 546 道题上,非专家的平均准确率是 34.1%,而四选一随机猜测是 25%(Rein 等,2023)。论文摘要报告,当时最强的基于 GPT-4 的基线准确率是 39%(Rein 等,2023)。

作者还专门说明了这个数据集的用途和局限(Rein 等,2023)。用于监督实验时,模型的准确率不能太高,否则非专家只要照搬模型的答案就行了。数据集很小,主集只有 448 题,要以 80% 以上的功效(第 3.4 节)看出差别,差别必须很大(作者举的例子是从 50% 到 60%);作者也指出,准确率更高或用配对检验时,较小的差别也能看出来。非专家本身是能力很强的博士或博士生,所以以后的实验应当自己重新测量非专家的准确率。作者还在数据中放了一串特殊的标记字符串(canary string),并请大家不要在网上公开题目原文,以减少题目混进模型训练数据的风险。

这些局限说明了一件更一般的事:难题数据集有寿命。它在三种情况下会失去制造能力差距的作用。

第一,模型变强了。如果所选模型在题目上接近或超过了专家,非专家直接听模型的就能得高分,三明治的中间那层就不存在了。随着模型变强,早期的难题集迟早可能走到这一步(本书的推断),所以用之前要先实测所选模型在这些题上的准确率。到了那时,参考答案的可靠性(GPQA 在扩展集上按较保守的标准估计约 74% 的题目有无可争议的答案)反而可能成为瓶颈:模型可能比参考答案还准(本书的推断)。

第二,题目泄露了。题目和答案一旦进入模型的训练数据,模型答对可能只是记住了答案,测到的不再是它的能力。

第三,非专家的条件变了。今天的非专家可以使用的工具,比数据集构造时多得多;同样的题,非专家单独作答的准确率可能已经不同。

所以,一个难题数据集是否适用,不是数据集本身的属性,而是“这个数据集、这个模型、这群评估者、这个时间点”的属性。论文发表时测得的差距,不能证明今天的差距仍然存在。每次实验都要用你选定的模型和评估者,在同一批题上重测第 11.4 节的三个数。

第 11.7 节引用的文献 1
  1. Rein 等人(2023)GPQA: A Graduate-Level Google-Proof Q&A Benchmark

11.8 监督预算的分配 #

前面几节讨论的是怎样检验一个方法。最后一节换一个角度:实际使用时,人的时间总是有限的,检查的力气该花在哪里?

Amodei 等在 2016 年用打扫办公室的机器人说明这个问题(Amodei 等,2016)。我们真正想让机器人优化的目标,可能是“如果用户花几个小时仔细检查,他会有多满意”,但不可能对每一次打扫都做这样的检查,只能依赖便宜的近似信号,例如“地上有没有看得见的灰尘”。便宜的信号和真正的目标并不完全一致。作者提出的思路是,把少量对真实目标的昂贵检查,和大量对不完美代理信号的便宜检查结合起来(Amodei 等,2016)。他们讨论了两种分配方式:一种是让系统主动请求在最有用的那些情形上看到真实评价,类似主动学习;另一种是在随机的一部分情形上给出真实评价(Amodei 等,2016)。

分配办法大致有四种,它们可以组合使用:

  • 主动选择待标注样本。优先检查最有信息量的样本,例如模型最没有把握的、两个评估者意见不一的。
  • 按风险分配审计。先用一个便宜的风险判断给样本分级,把专家的时间集中在高风险样本上。例如,记账程序中凡是改动了写入或转账代码的修改,都标为高风险。
  • 随机抽查。不看样本的样子,按固定比例随机抽出一部分彻底检查。
  • 拒答与升级。第一层的评估者(可以是模型)可以说“我判断不了”,把样本交给更强、更贵的下一层,最终交给人。

前两种办法都依赖某种判断(“这个样本有风险”“这个样本模型没把握”)来决定查什么。这很高效,但如果只检查被判为高风险的样本,是不够的。理由有四条,它们层层递进。

第一,风险判断本身会漏。风险判断是另一个会出错的评估者。被它标为低风险的样本永远不会被检查,那里的错误就永远不会被发现。更糟的是,你甚至无法知道那里有多少错误,因为你从来没有看过。

第二,执行者可能被推向“看起来低风险”。如果执行者的输出要通过审查才被采用,或者在训练中按是否通过审查得到奖励,那么“危险却看起来低风险”的输出可能会被保留和强化,而“危险且看起来高风险”的输出会被拦下(第 8 章,第 23 章)。这不需要执行者有任何意图,只是选择和优化的结果(第 10.4 节)。放到记账程序上:风险判断只盯着名字里带“转账”“写入”的代码,那么一处破坏规则三的改动,如果出现在一次名为“调整显示格式”的修改里,就会被放行。日积月累,问题可能集中到风险判断看不到的地方。

第三,只查高风险,就估计不出整体的错误率。按风险挑出来的样本不能代表全体,从它们算出的漏检率,不能当作所有输出的漏检率。随机抽查的样本才能代表全体(第 3 章)。

第四,风险判断所依据的不确定性估计,本身也要检验。按风险分配、主动选择和拒答升级,都依赖某个模型或某个人说“我有把握”或“这个没风险”。这些说法可不可信,要拿参考答案去核对:在被判为“有把握”或“低风险”的样本中,实际的错误率是多少?要回答这个问题,同样需要在这些样本里随机抽查。

随机抽查的价值在于,每一个输出被检查的概率是固定的,不随它的样子而变。一个输出无论写得多像无害的修改,被抽中的机会都一样。所以,合理的做法是把大部分预算按风险分配,同时保留一部分固定比例的随机抽查,用它来估计整体的错误率、检验风险判断,并让“看起来无害”不能降低被检查的机会。第 26 章会在部署防御中再次用到这个思路。

随机抽查也有它的局限。错误越少见,需要的抽查量就越大。如果 1000 个输出中只有 10 个有问题,随机抽查 50 个,平均只能发现 0.5 个,至少发现一个的概率约为 40%(计算见 tools/exercises/ch11_audit.py)。抽查一个也没发现问题,也只能给出错误率的一个上界,而且只对抽查覆盖的那类输出成立(第 3.7 节)。

图 11.1 把本节的两点画在一起:随机抽查让每个有问题的输出都有被发现的机会,但问题少见时要抽很多;只查高风险的输出时,风险判断漏掉的问题,查多少个也发现不了。

随机抽查:任一个有问题的输出随机抽查:被标为低风险的问题0%20%40%60%80%100%至少发现一个的机会02004006008001000随机抽查的输出个数1000 个输出中有 10 个有问题。随机抽查 50 个,平均发现 0.5 个,至少发现一个的机会是 40%。其中 3 个看起来低风险。随机抽查时,至少发现其中一个的机会是 14%。
随机抽查:任一个有问题的输出随机抽查:被标为低风险的问题0%20%40%60%80%100%至少发现一个的机会02004006008001000随机抽查的输出个数1000 个输出中有 10 个有问题。随机抽查 50 个,平均发现0.5 个,至少发现一个的机会是 40%。其中 3 个看起来低风险。随机抽查时,至少发现其中一个的机会是 14%。
图 11.1 随机抽查能发现什么,只查高风险时漏掉什么,一个示意模型。一批输出中有几个有问题,其中一部分在风险判断看来是低风险的。随机抽查时,每个输出被抽中的机会相同,发现问题个数的平均值,以及至少发现一个的机会,都可以精确算出。横轴是随机抽查的输出个数,纵轴是至少发现一个的机会。蓝线对应任一个有问题的输出,橙线只看被风险判断标为低风险的那几个,灰色竖线是你选的抽查个数。默认 1000 个输出中有 10 个有问题,抽查 50 个:平均发现 0.5 个,至少发现一个的机会约 40%;其中 3 个看起来低风险,至少发现其中一个的机会约 14%。打开“只查高风险的输出”,多出一条贴着横轴的橙色粗线:只查高风险时,这 3 个问题不会被查到,查多少个都一样;原来的橙线变成虚线,蓝线不变,两条都是随机抽查的结果,作为对照。输出总数、问题个数和抽查个数与本节的例子相同,数字由 tools/exercises/ch11_audit.py 算出;看起来低风险的个数是为说明而设定的示意。
第 11.8 节引用的文献 1
  1. Amodei 等人(2016)Concrete Problems in AI Safety

读物 #

  • 原始提案 · 博客:Cotra《The case for aligning narrowly superhuman models》(AI Alignment Forum,2021)(Cotra,2021)。提出在“窄范围超越人类”的模型上练习监督,以及三明治评估的设想。注意作者把“这类技术会继续有效”写成了出发点假设。
  • 实验结果 · 预印本:Bowman 等《Measuring Progress on Scalable Oversight for Large Language Models》(2022)的实验部分(第 3、4 节)(Bowman 等,2022)。重点看实验条件、结果表和作者列出的六条局限。
  • 方法与工具 · 会议论文:Rein 等《GPQA: A Graduate-Level Google-Proof Q&A Benchmark》(2023;COLM 2024)中关于数据集如何构造和验证的部分(第 2、3 节和第 6 节局限)(Rein 等,2023)。看一个难题数据集怎样用奖金和多轮验证同时保证“客观”和“难”。
  • 原始提案 · 预印本:Amodei 等《Concrete Problems in AI Safety》(2016)第 5 节 Scalable Oversight 中关于利用有限监督预算的讨论(Amodei 等,2016)。看半监督强化学习、主动请求评价与随机给出评价的区别。
  • 综述 · 会议论文(选读):Bean 等《Measuring what Matters: Construct Validity in Large Language Model Benchmarks》(NeurIPS 2025)(Bean 等,2025)。读结果部分和八条建议,看 445 个基准在定义所测现象、选题和报告不确定性上各做到了什么。
本节引用的文献 5
  1. Cotra(2021)The case for aligning narrowly superhuman models
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  3. Rein 等人(2023)GPQA: A Graduate-Level Google-Proof Q&A Benchmark
  4. Amodei 等人(2016)Concrete Problems in AI Safety
  5. Bean 等人(2025)Measuring what Matters: Construct Validity in Large Language Model Benchmarks

练习 #

下面两道题使用同一组为教学构造的数据。一位评估者(可以是人,也可以是审查模型)检查了记账程序的 20 处修改,对每一处判断它是否违反需求说明(“有问题”或“没问题”),并报告信心(高或低)。参考答案来自一位资深程序员事后的逐一核查。另有一个风险判断,把每处修改标为高风险或低风险(例如是否改动了写入或转账代码)。

编号 参考答案 评估者判断 信心 风险标记
J01 没问题 没问题 高 高
J02 没问题 没问题 高 低
J03 有问题 有问题 高 高
J04 没问题 没问题 高 低
J05 没问题 有问题 低 高
J06 没问题 没问题 高 低
J07 有问题 有问题 高 高
J08 没问题 没问题 高 低
J09 有问题 没问题 高 低
J10 没问题 没问题 高 低
J11 没问题 没问题 高 低
J12 有问题 有问题 低 高
J13 没问题 没问题 高 低
J14 没问题 有问题 低 低
J15 没问题 没问题 高 低
J16 有问题 有问题 低 低
J17 没问题 没问题 高 低
J18 有问题 没问题 低 低
J19 没问题 没问题 低 低
J20 没问题 有问题 低 低

所有数字都由 tools/exercises/ch11_audit.py 算出(只用 Python 标准库)。

习题 11.1 准确率、误报率、漏检率与随机抽查

本题约定:把评估者判为“有问题”看作报警。误报指参考答案是“没问题”、评估者却判为“有问题”;漏检指参考答案是“有问题”、评估者却判为“没问题”。误报率的分母是参考答案为“没问题”的修改数,漏检率的分母是参考答案为“有问题”的修改数。评估者的“一个错误”指一个与参考答案不一致的判断,误报和漏检都算。

  1. 数出四类判断的个数:判对的“有问题”、漏检、误报、判对的“没问题”。
  2. 算出准确率、误报率和漏检率。
  3. 假设没有时间复核全部 20 个判断,只能随机抽出 5 个,请专家对照参考答案复核。平均能发现评估者的几个错误?其中平均有几个是漏检?
  4. (选做)随机抽 5 个,一个错误也没发现的概率是多少?
  5. 被报警的 7 处修改中,真实有问题的占多少?它和第 2 问的误报率为什么不同?
提示

第 3 问:随机抽 5 个,可以看作一个一个地抽。不管是第几次抽,抽中某一个特定判断的机会都相同,所以每次抽中一个“错误判断”的概率都是“错误数 ÷ 20”。5 次加起来,期望就是 5 × 错误数 ÷ 20。这种“不放回地从一堆东西里抽,数抽中几个特殊的”分布叫超几何分布,你只需要用到它的期望。第 4 问:先算“5 个全部来自判对的那些”有多少种抽法,再除以从 20 个里抽 5 个的全部抽法数。

解答
  1. 判对的“有问题”4 个(J03、J07、J12、J16);漏检 2 个(J09、J18);误报 3 个(J05、J14、J20);判对的“没问题”11 个。参考答案中有问题的共 6 个,没问题的共 14 个。
  2. 准确率 = (4 + 11) ÷ 20 = 75%。误报率 = 3 ÷ 14 ≈ 21.4%。漏检率 = 2 ÷ 6 ≈ 33.3%。
  3. 错误共 3 + 2 = 5 个。随机抽 5 个,期望发现 5 × 5 ÷ 20 = 1.25 个错误。期望不必是整数:它是许多次重复抽查的平均值。其中期望发现的漏检是 5 × 2 ÷ 20 = 0.5 个。
  4. C(15, 5) 表示从 15 个中不计顺序地取 5 个的取法数,即组合数。5 个全部来自 15 个判对的判断,抽法有 C(15, 5) = 3003 种;从 20 个中抽 5 个共有 C(20, 5) = 15504 种。一个错误也没发现的概率 = 3003 ÷ 15504 ≈ 0.194,也就是大约五次抽查中有一次会一无所获。至少有一个漏检被抽中的概率只有 1 − C(18, 5) ÷ C(20, 5) = 1 − 8568 ÷ 15504 ≈ 0.447。
  5. 被报警的 7 处中,真实有问题的有 4 处,占 4 ÷ 7 ≈ 57.1%(这是第 16.3 节的精确率)。误报率的分母是“实际没问题的 14 处”,精确率的分母是“被报警的 7 处”,回答的是不同的问题:前者问“没问题的修改有多大比例被错拦”,后者问“报警有多大比例是真的”。

计算脚本:tools/exercises/ch11_audit.py。

习题 11.2 只查高风险,还是随机抽查

仍用上面的数据。专家的时间只够复核 5 个判断。

  1. 方案甲:只复核风险标记为“高”的 5 处修改。能发现评估者的几个错误?其中有几个漏检?
  2. 方案乙:从 20 处中随机抽 5 处复核。期望发现几个错误、几个漏检?(用习题 11.1 的结果。)
  3. 两个漏检(J09、J18)都在哪一类风险标记中?如果长期只用方案甲,你能估计出评估者的漏检率吗?为什么?
  4. 按信心分组,分别算出高信心和低信心判断的准确率。哪一个漏检出现在高信心的判断里?这说明“只复核低信心的判断”有什么风险?
  5. 设想执行者的修改要通过审查才会被采用。说明为什么长期只用方案甲,可能让有问题的修改越来越多地出现在低风险标记中,以及保留一部分随机抽查为什么能缓解这一点。
解答
  1. 高风险的 5 处是 J01、J03、J05、J07、J12。其中评估者只错了 J05(误报),发现 1 个错误,0 个漏检。
  2. 期望发现 1.25 个错误、0.5 个漏检(习题 11.1)。单看错误个数,方案甲(1 个)和方案乙(平均 1.25 个)差不多;差别在于,这组数据里两个漏检都被标为低风险,方案甲永远看不到它们。
  3. 两个漏检都在低风险标记中。只用方案甲,复核的样本里没有任何低风险修改,所以完全不知道低风险修改中有多少被放行的问题,估计不出漏检率。按风险挑出的样本不代表全体(第 11.8 节)。
  4. 高信心 13 个判断中对了 12 个,准确率约 92.3%;低信心 7 个中对了 3 个,约 42.9%。J09 是一个高信心的漏检。信心确实有信息量(低信心的判断错得多),但只复核低信心的判断,会漏掉评估者很有把握、却判错了的情况,而这恰恰是最危险的一类:评估者自己不会提出复查。
  5. 评分要点:(a) 只有高风险的修改会被仔细检查,所以“有问题且看起来高风险”的修改常被拦下,“有问题却看起来低风险”的修改常被放行;(b) 被放行的修改会被采用,如果审查结果还被用作训练信号,这类修改可能被保留和强化,不需要执行者有任何意图(第 10.4 节);(c) 随机抽查使每处修改被复核的概率固定,不随风险标记而变,所以“看起来低风险”不能降低被查的机会;(d) 随机抽查的结果还能用来估计低风险部分的漏检率,检验风险判断本身。如果把 5 次复核分成 3 次给高风险、2 次从 15 处低风险中随机抽,低风险部分期望发现的漏检是 2 × 2 ÷ 15 ≈ 0.27 个:数字不大,但它不是零,而且它是有代表性的。

计算脚本:tools/exercises/ch11_audit.py。

习题 11.3 用四个核心问题读一篇论文

根据第 11.2 节至第 11.6 节对 Bowman 等实验的介绍(有兴趣可以读原文第 3、4 节)(Bowman 等,2022),逐一回答表 11.1 的四个问题,再指出至少一个没有被控制的因素,说明它可能怎样影响结论。

解答

参考答案(可以有其他合理答案):

  1. 监督者弱在哪里?MMLU 上,参与者缺少题目需要的专业知识;QuALITY 上,参与者只有 5 分钟,读不完约 5000 词的小说,弱在时间和信息访问。差距是实测的,但并不稳固:MMLU 上模型直接作答与参与者单独作答都是 57.2%,给 5 个例题后模型才领先(61.9%),20 次推理挑选后为 65.6%,而不借助模型时四人加权投票为 66.0%,与之相当;两名单独作答就远超他人的参与者被排除。
  2. 参考答案由谁给出?数据集自带的标准答案代替了专家(论文的第二处放宽)。MMLU 在试做中发现过格式错误并被部分修正,所以数据集并非完全没有问题(论文没有报告标签本身错了多少;后来对测试集的复查见第 11.4 节)。
  3. 基线是什么?有人单独、模型单独(直接作答、5 个例题、20 次推理中选最好的一次)和人借助模型。但没有报告各条件下人花的时间;“人借助模型”的对话平均 10.9 轮(MMLU),20 次推理的基线用了多得多的模型计算。
  4. 提高的是准确率还是信心?两者都提高了。准确率明显上升(MMLU 上每人平均从 57.2% 到 75.4%,约 18 个百分点),信心升得更多(从 54% 到 80%,26 个百分点),在 MMLU 上校准反而变差;信心最高的答案中仍有约一成到两成是错的。

未被控制的因素(任举一个即可):每题之后公布正确答案,参与者可能学会了何时该相信模型,这在真实监督中做不到;条件顺序固定(先做借助模型的题),没有随机化;排除两名高分参与者带来选择效应;各条件用时未报告(MMLU 不限时),无法排除“多花时间”的解释;“人单独”和“人借助模型”用的是不同的两批题,题目难度的差别会混进条件的差别;只有 4 名参与者、每个人类条件 100 道题,个人差异可能很大(第 3 章)。

本节引用的文献 1
  1. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models

学完能做到 #

  • 说出三明治评估中专家、模型、非专家三方各自的角色,以及“非专家不能得到专家帮助”这条约束为什么关键。
  • 说明用弱模型代替人做实验能得到什么、不能外推什么,并举出至少两条理由。
  • 读一篇实验论文时,回答表 11.1 的四个核心问题,并指出至少一个未被控制的因素。
  • 给定一组带参考答案的判断,算出准确率、误报率和漏检率,说清各自的分母;算出随机抽查若干个时期望发现的错误数。
  • 解释为什么只检查被判为高风险的样本不够,以及随机抽查在其中起什么作用。

参考文献

  1. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Concrete Problems in AI Safety. arXiv. 预印本引用于 §11.8
  2. Bean, A. M., Kearns, R. O., Romanou, A., Hafner, F. S., Mayne, H., Batzner, J., … Mahdi, A. (2025). Measuring what Matters: Construct Validity in Large Language Model Benchmarks. Advances in Neural Information Processing Systems 38. 引用于 §11.6
  3. Bowman, S. R., Hyun, J., Perez, E., Chen, E., Pettit, C., Heiner, S., … Kaplan, J. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本引用于 §11.1 §11.2 §11.3 §11.4 §11.5 §11.6
  4. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §11.3
  5. Cotra, A. (2021). The case for aligning narrowly superhuman models. AI Alignment Forum. 非同行评审引用于 §11.1
  6. Gema, A. P., Leang, J. O. J., Hong, G., Devoto, A., Mancino, A. C. M., Saxena, R., … Minervini, P. (2024). Are We Done with MMLU? Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). doi:10.18653/v1/2025.naacl-long.262. 引用于 §11.4
  7. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §11.3
  8. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §11.3
  9. Recchia, G., Mangat, C. S., Nyachhyon, J., Sharma, M., Canavan, C., Epstein-Gross, D., and Abdulbari, M. (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 引用于 §11.3 §11.5
  10. Rein, D., Hou, B. L., Stickland, A. C., Petty, J., Pang, R. Y., Dirani, J., Michael, J., and Bowman, S. R. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. Conference on Language Modeling, 2024. 引用于 §11.4 §11.7