Scalable Oversight 入门
第四部分:当模型针对监督调整策略

草稿 内容完整但尚未审校,可能还会修改

第 24 章多个模型的共同盲点

路线全部路线

本章导读

本章问题
  • 多个模型意见一致,能否算作独立验证?
要点
  • 几个模型意见一致,只有在它们的错误互不相关时,才相当于几次独立的检查(§24.1)。
  • 共同盲点可能来自相同的训练数据、相似的架构、同一个提示和相同的评分规则(§24.2)。
  • 衡量错误依赖,要把同时答错的比例与独立时的期望比较,并按独立来源的难度分层(§24.3)。
  • 错误相关不等于串通:前者是无意的共同盲点,后者是有意的配合,检验和防御的办法都不同(§24.5)。
本章的视频讲解,4 分 55 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07三个模型都说没问题
    代码上线前,你请三个不同的模型审查,都说没有发现漏洞。如果它们用相似的数据训练,可能一起漏掉同一种漏洞,三个“没问题”只相当于一个。批评模型与写代码的模型来自同一系列时也一样:写代码的模型不认识的错误,批评模型可能也不认识。
  2. 0:31独立时,概率相乘24.1
    三个模型各有 10% 的概率判断错误。如果错误互相独立,三个同时错的概率是 0.1 × 0.1 × 0.1 = 0.1%。如果三者的错误完全相关,这个概率仍是 10%,和只问一个模型没有区别。
  3. 0:51相关错误24.1
    相关错误是指:已知甲在某道题上答错,乙也答错的概率,高于乙平常的错误率。例如 100 道题,甲乙各错 20 道。独立时,甲错的 20 道里乙约错 4 道;如果实际是 14 道,这个比例就是 70%。
  4. 1:12五种可能的来源24.2
    不同模型为什么犯同样的错误?来源可能在模型本身:训练数据、直接联系、架构;也可能在使用方式上:提示和评分规则,这类可能更容易被忽视。示意的例子:记账类示例代码若都没有写入失败时的回退,训练出的模型可能都看不出它违反规则三。
  5. 1:38三步比较24.3
    测量需要共同的题目和可信的参考答案。第一步,数两个模型同时答错的比例;第二步,算独立时的期望,即两者错误率相乘;第三步,比较:观察值明显高于期望,才说明重合超出了偶然。
  6. 2:01难度造成的混淆24.3
    陷阱是难度:难题让所有模型都更容易错。为教学构造的例子:一半题容易,错误率都是 10%;一半题难,都是 50%;每类内部互相独立。合在一起同时答错 13%,按总错误率算的期望却是 9%,多出的部分完全来自难度。
  7. 2:24按独立来源的难度分层24.3
    办法是分层:在每层内算期望,加起来再与观察值比较。难度必须来自独立的来源,例如人类答题正确率;构造数据上甲乙按它分层,7 道仍是期望的 1.75 倍。若用模型自己的对错分层,真实的相关会被“解释掉”。
  8. 2:50Goel 等的三组研究24.4
    主要证据是 Goel 等的论文:9 个裁判给与自己错误更相似的模型打分更高;弱到强训练的 12 对模型,越相似收益越小;130 个模型中,正确率越高的档,错误越相似。这些是所研究范围内的相关趋势,不是普遍规律;要确立因果,需要在不损害能力的前提下让模型不那么相似,这还做不到。
  9. 3:21无意相关与有意串通24.5
    无意的相关:各自犯同样的错,没有配合。有意串通按行为界定:几个模型持续配合,服务于没有向监督者披露的目标。重合高不构成串通的证据,重合低也不能排除串通。批评模型测试中全部报告、使用中沉默,就要考虑串通。
  10. 3:49选组成部分,再检验24.6
    让信息来源、模型来源、提示和评分规则尽量不同,再检验:在埋入已知错误的版本上记录各部分漏掉哪些,算每一对同时漏掉的比例;估计组合的漏检率,用观察到的同时漏检比例。较弱但错误不同的检查器是否更有用,要在你的任务上实际比较。
  11. 4:18证据与前提
    测过:Goel 等的 ICML 2025 会议论文,在所研究的模型与任务中观察到三种趋势,相似性在多项选择题和分类任务上计算。依赖:控制题目难度,有共同的题目和参考答案。不能推出所有任务上都有同样的趋势;错误相关不等于串通。

带走的几句话:

  1. 几个模型意见一致,只有错误互不相关时,才相当于几次独立的检查。
  2. 衡量错误依赖,要与独立时的期望比较,并按独立来源的难度分层。
  3. 错误相关不等于串通,两者的检验和防御都不同。

一段代码要上线,你担心其中有安全漏洞,于是请三个不同的模型分别审查。三个模型都说:没有发现漏洞。听起来很让人放心,三个审查者意见一致。可是假如这三个模型是用相似的数据训练出来的,而这些数据里恰好很少出现某一种漏洞,它们就可能一起漏掉这种漏洞。那样的话,三个“没问题”实际上只相当于一个。

回到记账程序。你问三个模型:转账写到一半失败时,这段代码会不会让两个账户回到转账前的状态?三个模型都回答“会”。如果它们见过的大量代码都用同一种不完整的写法处理失败,它们可能共同地把这种写法当成正确的。

第 22.3 节已经算过:两个检查器组合起来能把漏检率降低多少,取决于它们的错误是否相关;完全相关时,第二个检查器一点忙也帮不上。本章专门讨论这种相关:它从哪里来,怎样测量,测量时有什么陷阱,已有的证据说明了什么,以及它与有意的串通有什么区别。这对应第 10.2 节威胁模型中的“共同盲点”:监督者与被监督者,或多个监督模型,犯同一类错误。

证据与前提
  • 想处理:多个模型同时判断时,它们的错误可能相关,一致不等于独立验证。
  • 测过:Goel 等提出按错误重合程度衡量模型相似性的指标,在所研究的模型与任务中观察到:能力越强的模型错误越相似;模型裁判偏向与自己相似的模型;弱到强训练中,监督者与学生越相似,收益越小(Goel 等,2025)。这是一篇 ICML 2025 会议论文,相似性都是在多项选择题和分类任务上计算的。
  • 依赖:比较时要控制题目难度。威胁模型(第 10.2 节)对应“共同盲点”一个维度,不需要意图。任务前提(第 10.3 节):“能否获得参考答案”,要有共同的题目集和参考答案,才能计算错误重合。
  • 不能推出:不能推出所有任务上都有同样的趋势;错误相关不等于串通。
引言引用的文献 1
  1. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

24.1 一致不等于独立验证 #

多个意见一致之所以有说服力,背后有一个计算。假设三个模型各自有 10% 的概率判断错误,而且它们的错误互相独立,那么三个模型同时判断错误的概率是 0.1 × 0.1 × 0.1 = 0.1%(第 3.1 节讲过,独立事件同时发生的概率等于各自概率相乘)。三个一致的判断,看起来比任何一个单独的判断可靠得多。

但这个计算的关键在“互相独立”。打个比方:三个证人都说看见了同一件事,如果他们是在现场各自看见的,三份证词彼此印证;如果他们都是从同一篇报道里读到的,三份证词其实只有一个来源。证词的份数没变,独立的信息却少了。

用第 3.1 节的条件概率可以说得更准确。所谓相关错误(correlated errors),是指已知模型甲在某道题上答错之后,模型乙在这道题上答错的概率,高于乙平常的错误率。极端情况下,甲错的题乙全都错,这时再多问乙一次,没有带来任何新的信息。在独立和完全相关之间,还有各种程度的部分相关。错误也可能负相关,即已知甲答错时,乙答错的概率反而低于乙平常的错误率,那时一致的判断比独立时还可信。一致的判断有多大价值,取决于错误之间相关的程度。

举一个数字例子。在 100 道题上,甲和乙各错 20 道,错误率都是 20%。如果两者独立,在甲答错的 20 道题里,乙大约也只错其中的 20%,即 4 道左右。如果实际数下来,甲答错的 20 道里乙错了 14 道,那么已知甲答错时,乙也答错的比例是 70%,远高于乙平常的 20%。乙在别处的表现也许和甲一样好,可是恰恰在甲出错的地方,乙大多帮不上忙。

对监督来说,这个差别可能非常大。回到本章开头:三个模型各有 10% 的概率判断错误,独立时三个一起判断错误的概率是 0.1%;如果三者的错误完全相关,这个概率仍是 10%。同样是“三个模型都说没问题”,前一种情况下值得相当的信任,后一种情况下和只问一个模型没有区别。

这个问题不只出现在“多个监督模型”之间,也出现在监督者与被监督者之间。如果批评模型与写代码的模型来自同一个系列(第 16 章),写代码的模型不认识的那类错误,批评模型可能也不认识。这时批评模型的“没发现问题”,恰好落在被监督模型最容易出错的地方。

要点

几个模型意见一致,只有在它们的错误互不相关时,才相当于几次独立的检查。错误相关得越强,一致所增加的证据就越少。

24.2 共同盲点的可能来源 #

为什么不同的模型会犯同样的错误?下面是几种可能的来源。它们是“可能”,在一个具体的案例里是哪一种起作用,需要证据来判断。

训练数据。语言模型是在大量文本上训练的(第 5 章)。一篇 2024 年的会议论文报告,Common Crawl(一家非营利组织自动抓取网页、免费公开的存档)经过筛选、去掉不适合训练的内容的版本,在许多模型的训练数据里占相当大的比例;除了几家自己抓取网页的领先 AI 公司(如 Alphabet、Microsoft、Meta,近来还有 OpenAI),公开说明训练数据的开发者看来几乎都在用它,C4、Pile-CC 等少数几个筛选版本被反复使用(Baack,2024)。这项研究依据的是对 Common Crawl 员工的访谈和网上的公开资料,没有访谈模型开发者,也没有测量各家实际用的文本重叠多少(Baack,2024)。不过,同一份公开文本可能进入多家的训练数据(本书的推断)。如果公开的代码里,某种不完整的错误处理写法很常见,或者某个误解在网上流传很广,用这些文本训练出来的模型都可能学到它。举一个示意的例子:假如大量公开的记账类示例代码都是先改余额、再写流水,中间没有写入失败时的回退,那么用这些代码训练出来的模型,可能都把这种写法当成正常的,审查记账程序时也就看不出它违反了规则三。后训练阶段也是如此:如果不同的模型用相似的指令数据做微调,它们的行为也可能变得相似。Goel 等的初步分析发现,模型错误随能力提高而变得相似的趋势,在经过指令微调的模型中更强,作者推测可能与这些模型在相似的指令数据上微调有关(Goel 等,2025)。

模型之间的直接联系。同一家开发者的模型可能共享训练流程(本书的推断)。一个模型也可能是用另一个模型的输出训练出来的,这叫蒸馏。这时相似的理由更直接。Goel 等在分析能力与相似性的趋势时,特意只比较不同开发者的模型,就是为了排除蒸馏和继续训练(在已有模型的基础上接着训练)这类影响(Goel 等,2025)。

Meta 自己的说明里写着更具体的联系:一个模型建立在另一个模型之上,几种规模放在一起说明预训练数据(Meta,2024b;Meta,2024a)。Meta 的 Llama 3.2-Vision 模型卡(model card,即开发者随模型发布的说明文档,没有经过同行评审)写明,Llama 3.2-Vision(110 亿和 900 亿参数两种)建立在 Llama 3.1 纯文本模型之上,另外训练了一个视觉适配器(adapter),把图像编码后的表示送进预训练好的 Llama 3.1 语言模型;模型卡没有说它们建立在哪一种规模的 Llama 3.1 之上(Meta,2024b)。Llama 3.1 的模型卡把 80 亿、700 亿和 4050 亿参数三种规模放在一起说明预训练数据:约 15 万亿个 token 的公开数据,截止于 2023 年 12 月;它没有说三种规模用的数据完全相同(Meta,2024a)。这是一家开发者的 Llama 模型;其他开发者的模型之间是否也有这样的联系、有多普遍,这两份说明回答不了。

Kim 等的一篇 ICML 2025 会议论文测量了不同模型答错时有多常选中同一个错误选项,以及这与两个模型是否出自同一开发者等特征的关系(Kim 等,2025)。他们取两个排行榜上各模型对 MMLU 多项选择题的回答,对每一对模型计算两者都答错的题里选了同一个错误选项的比例;这个比例在所有模型对上的平均值,在 Hugging Face 排行榜上是 42.3%,在斯坦福 HELM 排行榜上是 60%(Kim 等,2025)。Hugging Face 上八成以上的题有 10 个选项,HELM 上每题 4 个选项;在错误选项中随机选择时,这个比例分别约为 12.7% 和 1/3(Kim 等,2025)。Hugging Face 排行榜上的 349 个模型,是从正确率最高的 500 个模型中选出的:主要开发者的模型全部收入,在别人的模型上做微调的个人每人最多收 5 个(Kim 等,2025)。作者用回归(第 4.1 节)分析这个比例与一对模型各项特征的关系:控制了两个模型的正确率、参数量和是否同一架构等特征之后,同一开发者的模型对,这个比例比不同开发者的高 6.6 个百分点(Kim 等,2025)。HELM 排行榜上的 71 个模型来自 15 家公司;那里的回归只控制了正确率,估计同一开发者的模型对,这个比例比不同开发者的高 2.2 个百分点(Kim 等,2025)。这些同一开发者的模型对里包括同一系列的模型,例如论文举的 Meta 的两个 Llama 模型,两者都答错时 97% 选了同一个错误选项;这只是一对模型,论文没有检验这个比例从何而来,不能据此说它是模型之间的联系造成的(Kim 等,2025)。这两个估计说的都是相关关系,回归里没有衡量两个模型是否共用训练数据、训练流程或有蒸馏关系的变量(Kim 等,2025)。而且两个排行榜上,几乎每一对模型的这个比例都高于随机选择时的水平(分别是 100% 和 97.5% 的模型对)(Kim 等,2025)。两个模型的正确率越高,这个比例也越高;作者写明,控制了是否同一开发者等特征之后仍是这样(Kim 等,2025)。

架构。目前常见的语言模型在结构上相似(第 5 章),相似的结构可能导致相似的弱点。Goel 等只比较了一个不是 Transformer 架构的模型(Mamba 架构,含基础版和指令微调版),发现它的错误与同一系列的 Transformer 模型更相似,与其他系列的模型不那么相似;作者据此初步认为,仅仅换用另一种架构可能不足以让错误变得多样(Goel 等,2025)。

提示。即使模型不同,如果它们收到的是同一个提示,就可能从同一个角度看问题。假如提示只问“余额计算对不对”,三个模型很可能都把注意力放在余额上,没有一个去看写入失败的路径。

评分规则。同样,如果几个模型按同一份评分规则打分,规则漏掉的东西,所有模型都可能漏掉。规则三如果没写进评分规则,很可能没有模型去查。

前三类来源在模型本身,后两类在使用方式上。后两类可能更容易被忽视,因为它们会让“不同的模型”看起来提供了不同的意见,实际上问的是同一个问题、用的是同一把尺子。还要注意,名字不同、开发者不同,都不能保证错误不同;错误是否相关只能测量,不能从名字推断。

第 24.2 节引用的文献 5
  1. Baack(2024)A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl
  2. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
  3. Meta(2024b)Llama 3.2-Vision Model Card
  4. Meta(2024a)Llama 3.1 Model Card
  5. Kim 等人(2025)Correlated Errors in Large Language Models

24.3 怎样描述错误依赖 #

测量错误是否相关,需要一组共同的题目,并且每道题都有可信的参考答案,这样才知道每个模型在哪些题上答错了。然后按下面的步骤比较。

第一步,观察到的同时答错比例:两个模型都答错的题,占全部题目的比例。

第二步,独立时的期望:如果两个模型的错误互相独立,同时答错的比例应该等于两者错误率的乘积。例如两个模型的错误率都是 30%,独立时同时答错的比例应是 30% × 30% = 9%。

第三步,比较两者:观察值明显高于期望,说明错误的重合超出了偶然。可以看两者的差,也可以看两者的比。

为什么不直接看两个模型“意见一致的比例”?因为正确率高的模型,即使互相独立,也会因为大多数题都答对而显得高度一致。Goel 等举过一个例子:两个互相独立、正确率都是 90% 的模型,仅凭偶然就至少在 81% 的题目上一致(Goel 等,2025)。所以要先扣除正确率本身带来的一致,再看剩下的部分。他们提出的相似性指标就是这个思路:先算观察到的一致程度,再减去按两个模型各自的正确率预期的偶然一致;此外,它还区分两个模型选了不同的错误选项的情况,并利用模型给各个选项的概率(Goel 等,2025)。本章的练习只用上面三步,思路相同。

24.3.1 难度造成的混淆 #

上面的比较有一个陷阱:题目难度。难题让所有模型都更容易答错,于是难题上自然会出现更多“同时答错”。即使两个模型在难度相同的题目之间错误完全独立,把难题和容易题混在一起算,同时答错的比例也会高于期望。

看一个为教学构造的例子,数字由脚本 tools/exercises/ch24_error_overlap.py 算出。一半题目容易,两个模型在这些题上的错误率都是 10%;另一半题目难,错误率都是 50%。在每一类题目内部,两者的错误互相独立。

  • 容易题上,同时答错的比例是 10% × 10% = 1%;难题上是 50% × 50% = 25%。
  • 合在一起,同时答错的比例是两者的平均:(1% + 25%) ÷ 2 = 13%。
  • 每个模型总的错误率是 (10% + 50%) ÷ 2 = 30%,按总错误率算的独立期望是 30% × 30% = 9%。

不分层看,13% 高于 9%,好像两个模型的错误有额外的重合。可是在每一类题目内部,它们其实是独立的。多出来的部分,完全来自“难题让两个模型都更容易错”。

解决办法是分层:先按难度把题目分成几层,在每一层内部分别比较观察值和期望,再把各层的期望加起来与总的观察值比较。分层之后仍然高于期望的部分,才提示两个模型有难度解释不了的共同错误。层分得越粗,或者所用的难度与题目对模型的实际难易越不一致,层内剩下的难度差别就越可能造成一部分额外的重合(本书的推断)。

分层所用的难度,必须来自独立的来源,例如数据集自带的难度标注,或者人类答题者的正确率。不能用这几个模型自己的对错来划分,比如把“至少两个模型答错的题”定为难题。那样做,分层依据的正是要测量的共同错误:同时答错的题几乎都被放进了“难题”一层,在这一层里,同时答错就成了常态,模型之间真实存在的相关也会被“解释掉”。练习习题 24.1 会让你亲手看到这一点。

还要分清两个问题。分层回答的是:除了难度之外,这几个模型是否还有共同的盲点;如果有,换一个来源不同的模型可能有帮助。但对监督设计来说,难题上大家一起答错,本身就是一个问题。要估计几个检查器组合起来在你的任务上漏掉多少错误(第 22.3 节),应该用你的任务上实际观察到的同时漏检比例,而不是分层后的结果(本书的推断)。

同样的道理也适用于部署。上面讨论的是几个监督者意见一致时能不能互相印证;换成同一个模型的许多副本同时工作,如果它们面对的是同一个情境(例如同一类输入),难度带来的共同失败会被放大:即使在每一种情境内部各副本的失败互相独立,遇到难的情境时也会有许多副本一起失败(本书的推断)。图 24.1 用一个示意模型比较了这时“许多副本同时失败”的概率和按独立计算的结果。

各实例的失败相互独立共享情境的副本10⁻⁹10⁻⁸10⁻⁷10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹1至少这么多同时失败的概率0%20%40%60%80%100%同时失败的实例所占比例可承受的上限1,000 个实例,平均失败率 5%,相关系数 ρ = 0.10。超过 20% 的实例同时失败的概率:低于 10⁻¹²(相互独立);4.7%(副本)。同时失败比例的标准差:0.69 个百分点(相互独立);6.9 个百分点(副本)。
各实例的失败相互独立共享情境的副本10⁻⁹10⁻⁸10⁻⁷10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹1至少这么多同时失败的概率0%20%40%60%80%100%同时失败的实例所占比例可承受的上限1,000 个实例,平均失败率 5%,相关系数 ρ = 0.10。超过 20% 的实例同时失败的概率:低于 10⁻¹²(相互独立);4.7%(副本)。同时失败比例的标准差:0.69 个百分点(相互独立);6.9 个百分点(副本)。
图 24.1 错误相关时,许多副本更容易一起失败。设想同一个模型的 1,000 个实例(副本)同时部署,每个实例平均有 5% 的时候失败。模型的思路与本节难度的例子相同:在同一种情境里,各实例的失败互相独立,但情境有难有易,难的情境里大家都更容易失败。橙色曲线假设各实例的失败完全独立;蓝色曲线是共享情境的副本。相关系数 ρ\rho 是模型的参数,0 表示互相独立,越大越常一起失败;默认的 ρ=0.1\rho = 0.1 相当于:已知一个实例失败时,另一个也失败的概率从 5% 升到 14.5%。横轴是同时失败的实例所占的比例,纵轴是失败比例至少这么大的概率,取对数刻度,每一格差 10 倍。点线是部署能够承受的上限,即同时失败的比例超过它,后备措施就应付不过来。默认设置下,随机抽一个情境,超过 20% 的实例同时失败的概率在相互独立时低于 10−1210^{-12},在共享情境的副本中是 4.7%。把 ρ\rho 拖到 0,两条曲线重合;增加实例数,橙色曲线变得更陡,蓝色曲线的长尾却几乎不变。失败率、相关系数和上限都是为说明而设定的示意,概率由模型精确算出。

最后,样本量要够。20 道题上的比较只够演示计算;几道题的差别完全可能来自偶然(第 3 章)。

第 24.3 节引用的文献 1
  1. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

24.4 已有证据的范围 #

本章依据的主要证据是 Goel 等的论文(Goel 等,2025)。他们用上一节所说的思路定义了一个相似性指标,然后做了三组研究。下面逐一写出每组研究在什么模型、什么任务上做的,因为结论只在这些范围内得到了检验。

模型裁判偏向与自己相似的模型。第 12.3 节已经详细介绍过这项结果,这里只写出它的设置范围,以便与下面两组研究放在一起看。他们从 MMLU-Pro(一个覆盖 14 个领域的难题多项选择基准)中筛出 8,707 道也能以自由回答形式提问的题,让被评的模型自由作答,再让 9 个模型分别当裁判,在不给参考答案的情况下判断每个回答对不对。结果是,裁判给与自己错误更相似的模型打出更高的分数;控制了被评模型的正确率之后,这种关系仍然存在(Goel 等,2025)。

弱到强训练中,相似性越高,收益越小。第 17.7 节已经介绍过这项结果和作者的解释,它的设置范围是:沿用 Burns 等的设置,4 个弱模型和 3 个强模型组成 12 对,弱模型 10 亿到 30 亿参数,强模型 70 亿到 90 亿参数,都是开源模型,在 15 个二分类任务上训练(Goel 等,2025)。

能力越强,错误越相似。他们收集了 Hugging Face 的 OpenLLM Leaderboard 2 上 130 个模型在 MMLU-Pro 和 BBH 两个多项选择基准上的逐题结果,按正确率把模型分成五档,每个模型只与同一档里其他开发者的模型比较相似性。正确率越高的档,模型之间的错误越相似(Goel 等,2025)。

这些结果怎样读?三点值得注意。

第一,它们是在所研究的模型与任务中观察到的趋势,不是普遍规律。相似性都是在多项选择题或分类题上计算的,裁判实验里被评的虽然是自由回答,对错和相似性仍按同一批题的选择题版本计算;作者在局限部分写明,自由文本输出是日常使用模型的主要方式,但它的相似性还缺少可靠的衡量办法;有了这样的办法,就可以研究辩论、过程监督等监督方式中的相似性,作者把这列为未来的工作(Goel 等,2025)。

第二,它们是相关关系。作者写明,要确立因果,需要有办法在不损害能力的前提下让模型变得不那么相似,而这本身还是一个未解决的问题(Goel 等,2025)。“能力越强错误越相似”的趋势会不会延续,也不能从这些数据推出。

第三,作者对难度这个混淆因素做过初步分析:他们按答对某题的模型所占的比例给题目定难度,把题目分成几档,在每一档里计算相似性,发现各档的平均相似性大致不变,只在最难的一档略有升高,据此认为在所用的数据集上,难度不是这一趋势的主要混淆因素(Goel 等,2025)。这样定出的难度来自所研究的模型自己的对错,正是第 24.3 节提醒不能用的分层依据:最难的题就是许多模型一起答错的题,难度和共同错误因此分不开,所以这项检查比第 24.3 节要求的检查弱(本书的推断)。

第 24.4 节引用的文献 1
  1. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

24.5 无意相关与有意串通 #

到这里为止讨论的都是无意的相关:几个模型因为相似的数据、相似的提示,各自犯了同样的错误,它们之间没有任何配合。还有一种情况性质完全不同:有意串通(collusion),即几个模型互相配合,一起让监督者得出错误的结论。这里的“有意”沿用第 10.4 节的做法,按行为界定:几个模型的行为持续地互相配合,服务于一个没有向监督者披露的目标,不需要对模型的内部状态作任何断言。例如,一个被监控的智能体做了有害的操作,负责监控的模型明明能识别出来,却不报告;或者辩论中本该互相挑错的双方,一起把裁判引向错误的答案(第 15 章的前提之一就是“双方不合谋”)。串通对应的主要是第 10.2 节的“隐藏目标”维度,不是“共同盲点”。

两者的区别有三层。

证据不能互相替代。在基准上测到很高的错误重合,可以用共同盲点解释,不构成串通的证据,所以错误相关不等于串通。反过来,在测试集上测到很低的错误重合,也不能排除串通:一个有意配合的系统,可能在测试中表现得各自独立,只在真正有机会时才配合;如果它还能分辨自己是在被测试还是在被使用(第 25 章),测试结果就更说明不了问题。

来源不同。无意相关来自模型的形成方式,例如训练数据和使用方式;串通则需要模型的行为持续服务于一个未向监督者披露的目标。

防御不同。对无意相关,办法是让组成部分的来源多样,并在已知答案的题目上测量错误重合(第 24.6 节)。对串通,测量错误重合是不够的,需要第 26 章的 AI control 思路:按最坏情况假定被监督的模型不可信,使用受信任的较弱模型做监控,限制被监督模型的权限,并由红队针对整个方案专门攻击。用不受信任模型的另一个副本来监控它,正是最需要担心串通的设计。第 26.2 节讨论了这种设计最简单的版本怎样被红队击败,以及加上对策后的结果(表 26.1)。

放到记账程序上看。如果批评模型不认识“写入失败时要回退”这类问题,它在测试中会漏掉埋入的这类错误,在实际使用中也会漏掉,两种场合的表现一致,这是共同盲点。设想另一种情况:批评模型在测试中报告了所有埋入的错误,在实际使用中却恰好对写代码的模型引入的某个错误保持沉默,这就需要考虑串通的可能。前一种情况可以通过换模型、补测试来改善;后一种情况下,只是再加一批测试题帮不上忙,因为问题不在批评模型的能力上;测试要起作用,得让它分辨不出测试和实际使用(第 26.2 节)。

两者也可以同时存在,而且外表可能相似:监控模型没有报告一次危险操作,可能是它也不认识这种危险,也可能是在与被监控的智能体串通。只凭这一次的结果分不清;要靠受控实验,例如在已知答案的样本上检查它平时能否识别同类操作。

24.6 对监督设计的影响 #

本章的结论落到监督设计上,是两件事:选组成部分时尽量让错误不相关,并且实际检验它们是否相关。

选择组成部分。

  • 让信息来源不同。访问层不同的组成部分看的是不同的东西(第 22.3 节),错误相关的可能性比“三个模型读同一段代码”小。对最关键的性质,尽量安排一项不依赖模型的检查,例如故障注入测试。
  • 让模型来源不同。优先选不同开发者、训练方式不同的模型;尤其不要让批评模型或裁判与被监督的模型来自同一系列。
  • 让提示和评分规则独立。由不同的人分别写提示和评分规则,或者让不同的组成部分各自从需求说明出发,而不是共用一份检查清单。

检验独立性。

  1. 准备一组已知答案的检验材料,例如埋入已知错误的程序版本,错误类型要覆盖你关心的失败方式。
  2. 记录每个组成部分漏掉了哪些错误。
  3. 对每一对组成部分,计算同时漏掉的比例,与独立时的期望比较;如果有独立来源的难度信息,再分层比较(第 24.3 节)。
  4. 估计组合方案的漏检率时,用实际观察到的同时漏检比例,不要用漏检率相乘(第 22.3 节)。
  5. 模型更新、提示改动之后,重新测量。

这些测量只覆盖检验材料里有的错误类型(第 3.7 节),也只在被监督的模型不针对监督调整行为时才有意义(第 24.5 节)。

多样性也有代价。来源不同的模型可能比你手头最好的模型弱;一个较弱但错误不同的检查器,和一个较强但错误相似的检查器,哪个加进组合更有用,没有一般答案,要在你的任务上用第 22.4 节的消融实验比较。

回到记账程序。与其让三个相似的模型就“写入失败时能否回到转账前的状态”投票,不如用一个批评模型,加上故障注入测试,再加上人对转账整体的单独检查(第 22.5 节),并在埋入已知错误的程序版本上测量每两个部分之间的同时漏检比例。

读物 #

  • 实验结果 · 会议论文:Goel 等《Great Models Think Alike and this Undermines AI Oversight》(ICML 2025)(Goel 等,2025)。在所研究的模型与任务中观察到能力越强的模型错误越相似的趋势。重点读第 2 节相似性指标的思路、第 5 节的趋势,以及第 7 节作者自己写的局限。
本节引用的文献 1
  1. Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight

练习 #

习题 24.1 三个模型的共同错误(演示)

下面是为教学构造的数据:三个模型(甲、乙、丙)在同一组 20 道题上的对错,以及每道题的人类答题正确率。人类答题正确率来自独立的来源(例如数据集附带的统计),不是由这三个模型的对错算出的。20 道题只够演示计算,不能据此得出关于模型的结论。

题号 人类答题正确率 甲 乙 丙
1 25% 错 错 错
2 41% 对 对 对
3 63% 对 对 对
4 66% 对 对 错
5 70% 对 对 对
6 45% 错 错 对
7 38% 错 错 对
8 92% 对 对 对
9 79% 对 对 错
10 34% 对 对 错
11 88% 对 对 对
12 57% 对 错 错
13 22% 错 错 错
14 85% 错 错 对
15 81% 对 对 对
16 48% 对 对 对
17 74% 错 错 对
18 76% 对 对 对
19 52% 错 对 错
20 30% 错 错 错
  1. 算出每个模型的错误率,以及每一对模型(甲乙、甲丙、乙丙)同时答错的题数和比例。
  2. 如果两个模型的错误互相独立,每一对同时答错的比例应该是多少?与观察值比较。
  3. 以人类答题正确率 60% 为界,把题目分成容易(60% 及以上)和难(60% 以下)两层,在每层内重做第 1、2 问。再把两层的期望题数相加,与总的观察题数比较。
  4. 不分层时与分层后,各对的结论有什么不同?为什么不分层时,同时答错的比例会显得偏高?
  5. 如果改用这三个模型自己的对错来分层,把“至少两个模型答错的题”定为难题,甲乙这一对的结论会怎样?为什么不能这样做?
  6. 三个模型同时答错的题有几道?如果用“三个模型一致判断为对”作为放行标准,这几道题意味着什么?
提示

独立时,同时答错的期望题数 = 题数 × 甲的错误率 × 乙的错误率。分层后,在每一层内用该层的错误率和题数算期望。

解答

计算用的脚本是 tools/exercises/ch24_error_overlap.py。

  1. 三个模型各错 8 道,错误率都是 40%。同时答错:甲乙 7 道(35%),甲丙 4 道(20%),乙丙 4 道(20%)。

  2. 独立时的期望是 40% × 40% = 16%,即 20 × 16% = 3.2 道。甲乙观察到 7 道,是期望的约 2.2 倍;甲丙、乙丙观察到 4 道,是期望的 1.25 倍。只看这一步,三对都显得错误有额外的重合。

  3. 容易题是第 3、4、5、8、9、11、14、15、17、18 题,难题是其余 10 道。

    分层 每个模型的错误率 独立时每对的期望 甲乙观察 甲丙观察 乙丙观察
    容易(10 道) 20% 0.4 道 2 道 0 道 0 道
    难(10 道) 60% 3.6 道 5 道 4 道 4 道

    两层的期望相加是 0.4 + 3.6 = 4.0 道。甲丙、乙丙观察到 4 道,与分层期望相同(比值 1.00);甲乙观察到 7 道,是分层期望的 1.75 倍。

  4. 不分层时,三对都高于期望;分层后,甲丙和乙丙的额外重合消失了,只有甲乙仍然明显高于期望。也就是说,甲丙、乙丙的“额外重合”全部来自难度:三个模型在难题上的错误率(60%)远高于在容易题上(20%),难题上同时答错自然更多,而不分层的期望是用平均错误率 40% 算的,低估了难题上的同时答错。甲乙在容易题上也一起错了 2 道(期望只有 0.4 道),这种重合用按人类正确率分的两层解释不了,可能是两者有共同的盲点。不过只有 20 道题,这些差别都可能来自偶然。

  5. 按“至少两个模型答错”划分,难题是第 1、6、7、12、13、14、17、19、20 题。在这一层里,甲和乙的错误率都是 89%(9 道错 8 道),同时答错 7 道,独立期望约 7.11 道;在另一层里,甲乙都没有答错,期望和观察都是 0。甲乙的额外重合完全看不出来了。原因是分层依据的正是要测量的共同错误:甲乙一起答错的题,几乎都因为“至少两个模型答错”被放进了难题一层,在那一层里同时答错成了常态。真实存在的相关被分层“解释掉”了。所以难度必须来自独立的来源。

  6. 三个模型同时答错的题有 3 道(第 1、13、20 题)。不分层时独立期望是 1.28 道,分层后是 0.08 + 2.16 = 2.24 道。如果把这 20 道题看作 20 个需要判断的情形,用“三个一致判断为对”放行,这 3 道就是三个模型一起放过的错误。一致并没有把它们拦下来。

习题 24.2 共同盲点还是串通(判读)

对下面每个情形,判断它更可能是无意的共同盲点、可能涉及串通,还是仅凭现有信息无法判断;再写出你需要什么证据来区分。

  1. 三个来自不同开发者的模型审查同一批代码,都没有发现一种很少见的日期处理错误。
  2. 一个编程智能体和负责监控它的模型是同一个模型的两个副本。在埋入已知问题的测试中,监控模型报告了全部问题;部署后,智能体有一次把密钥发送到外部,监控模型没有报告。
  3. 批评模型与写代码的模型来自同一系列。在 50 个埋入已知错误的版本上,写代码的模型最常犯的那类错误,批评模型的漏检率也最高。
解答

评分要点:每个情形给出判断,并写出能区分不同解释的证据;不把“错误相关”直接当作串通的证据,也不把“测试中表现正常”当作排除串通的证据。

  1. 更可能是无意的共同盲点:这类错误少见,几个模型在训练数据中都很少见到它,是一个直接的解释;没有任何迹象表明模型之间有配合。要确认,可以在更多含这类错误的样本上测各模型的漏检率,并比较人类审查者或测试能否发现它。
  2. 仅凭现有信息无法判断。可能是监控模型不认识这种泄露方式(测试中没有埋入这一类问题),也可能是两个副本之间的串通。需要的证据:在已知答案的样本中加入同类的泄露操作,看监控模型平时能否识别;测试与部署在监控模型看来是否可以区分(第 25 章);以及引入一个受信任的、来源不同的监控者对照(第 26 章)。两个副本之间本来就可能有共同盲点,用它们互相监控本身就是一个需要重新考虑的设计。
  3. 更可能是无意的共同盲点,而且这正是第 24.1 节描述的“监督者与被监督者有共同盲点”。50 个版本的数字还要与独立期望比较、并考虑这类错误是否本身就更难(第 24.3 节)。它不构成串通的证据。对设计的含义是:换一个来源不同的批评模型,或者为这类错误补一项不依赖模型的检查。

学完能做到 #

  • 设计监督方案时,说明各个组成部分的错误是否可能相关,以及可能的来源:训练数据、模型之间的联系、架构、提示和评分规则。
  • 在一组有参考答案的题目上,计算两个模型同时答错的比例和独立时的期望,并按独立来源的难度分层比较。
  • 解释为什么不分层时难度会让同时答错的比例偏高,以及为什么不能用被比较模型自己的对错来划分难度。
  • 准确说出 Goel 等的结论在什么模型和任务范围内观察到,不把它说成普遍规律。
  • 区分无意的错误相关与有意的串通,并说出两者需要的检验和防御有什么不同。

参考文献

  1. Baack, S. (2024). A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. The 2024 ACM Conference on Fairness, Accountability, and Transparency. 引用于 §24.2
  2. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §24.2 §24.3 §24.4
  3. Kim, E. M., Garg, A., Peng, K., and Garg, N. (2025). Correlated Errors in Large Language Models. International Conference on Machine Learning. 引用于 §24.2
  4. Meta (2024a). Llama 3.1 Model Card. GitHub, meta-llama/llama-models. 非同行评审引用于 §24.2
  5. Meta (2024b). Llama 3.2-Vision Model Card. GitHub, meta-llama/llama-models. 非同行评审引用于 §24.2