草稿 内容完整但尚未审校,可能还会修改
第 17 章弱监督与强模型:三种不同的设定
路线全部路线最短路线最短路线读 17.1 至 17.6 节
本章导读
文字稿
- 0:07不完美的标签
监督信号不完美时,强模型能否超过监督者?小模型给题目打标签,有对有错;用这些标签训练大模型,再在测试题上比较两者。记账程序上:用弱模型的缺陷标注训练强模型,评分要用埋有已知缺陷的代码。 - 0:29三种设定,三个变量17.1
三种设定都有一个较强的模型,训练信号都不如理想的监督。区别在改变的变量:弱到强泛化改变监督者,易到难泛化改变任务难度,无监督引出改变监督来源。结论不能互相替代。 - 0:51三个模型17.2
弱到强实验训练三个模型。微调:在预训练好的模型上继续训练。弱老师:小模型,用真实标签微调,再给别的题打弱标签。强学生:大模型,只用弱标签微调。强参考:同样的大模型,用真实标签微调。 - 1:13学生超过老师17.2
Burns 等:学生几乎总比老师好,远不及强参考。最简单的微调下,GPT-2 级标 GPT-4,自然语言任务通常恢复差距的一半左右;ChatGPT 奖励建模通常约 10%。固定老师,国际象棋上学生越大,比例越低。 - 1:35性能差距恢复比例17.3
弱老师 60%,强参考 90%,强学生 75%。 性能差距恢复比例 PGR = (S − W) ÷ (R − W) = 15 ÷ 30 = 50%。0 表示只到老师的水平,1 表示达到强参考。比例隐藏了绝对水平:97%、98%、99% 算出来也是 50%。所以先报三个正确率,再报比例。 - 1:58先检查分母17.3
设弱老师 80%,强参考 81%,强学生 80.5%,比例是 50%。若强参考真实水平是 82%,比例变成 25%;若是 80.25%,变成 200%。先用配对比较,估计两者之差的置信区间。分母为零或为负,比例没有意义;分子为负,是要报告的失败。 - 2:22易到难泛化17.4
易到难泛化只在简单题上给可靠的监督。Sun 等在 MATH 数学题上,只用简单题训练评估模型,再用它给难题的候选解答打分。标签是对的,难的是题目。难题仍有参考答案,才能评分。 - 2:43不用外部标签17.5
Wen 等的内部一致性最大化(ICM)让模型自己打标签,找一套自洽的标签:能互相推断,也不违反简单的逻辑。GSM8K 验证和 TruthfulQA 上与参考答案训练相当,Alpaca 上优于众包人工标签。助手实验平均相当,但打分的是另一个奖励模型。 - 3:08引出,还是新学17.6
学生超过老师,可能是引出了已有能力,也可能是新学的,正确率分不开。Wen 等的反例:提到太阳的诗都标为“更好”,结果近乎随机:只能引出已有概念。Burns 等也指出,今天引出能力可能人为地容易。能力被引出,也不等于对齐。 - 3:34越相似,收益越小17.7
Goel 等用 4 个弱老师、3 个强学生组成 12 对,在 15 个二分类任务上训练:两者越相似,学生的提高越小。解释是互补知识:老师对、强模型原本错的题越少,能学的越少。这是相关,不是因果。 - 3:57负结果的三类解释17.8
比例接近 0 甚至为负,有三类解释。方法失败:学生模仿了老师的错误。设定不合适:测试集太小,差距都在误差之内。强模型没有额外能力:强参考确实只略好于老师。负结果要写清原因。 - 4:20证据与前提
测过:三类任务恢复一部分差距;数学上的易到难;不用外部标签的引出。依赖:强模型已有所需能力;只覆盖无意出错;共同盲点不严重;参考答案可靠。不能推出:获得新能力、价值上的对齐,或两者很相似时的同样收益。
带走的几句话:
- 三种设定改变监督者、任务难度、监督来源。
- 先报三个正确率,确认分母成立,再报比例。
- 学生超过老师,分不清引出还是新学,也不等于对齐。
- 负结果先分清:方法失败、设定不合适、没有额外能力。
前面三章的方法都想让评估者看得更清楚:拆分任务(第 14 章)、辩论(第 15 章)、模型批评(第 16 章)。本章换一个角度。今天的模型很大程度上是用人的判断训练出来的(第 6 章),如果人的判断有错,模型学到的就可能是“让人觉得好”(第 9 章)。本章接受监督信号就是不完美的,转而问:用这样的信号去训练一个比监督者更强的模型,它学到的是监督者的水平,还是能超过监督者?
一个最直接的实验是这样的:先用一个小模型给一批题目打上标签,这些标签有对有错;再用这些标签训练一个大模型,看大模型的正确率能不能超过给它标签的小模型。如果能,说明大模型没有全盘照抄小模型的错误,而是从不完美的标签里学到了一些更接近正确答案的东西。
回到记账程序。本章的方法不直接检查某一个程序,而是训练用来检查程序的模型。放在这个场景里,问题变成:用一个较弱的模型给许多段代码标注“有没有缺陷”,用这些标注训练一个较强的模型,强模型能否发现弱模型发现不了的缺陷?你又怎样知道它真的发现了?后一个问题同样重要:要知道强模型比弱模型好,你手里必须有一批知道正确答案的代码,比如事先埋入了已知缺陷的代码(第 16.3 节)。
读本章时要记住两个区分。第一,“学生超过老师”与“恢复了强模型本来就有的能力”是两件事:前者是实验测得的结果,后者是对这个结果的一种解释,也是这些方法的前提,需要另外的证据支持。第二,能力被引出,与模型在价值上对齐也是两件事:本章的方法至多说明前者。第 17.6 节专门讨论这两个区分。
- 想处理:监督信号比被训练的模型弱。
- 测过:Burns 等在自然语言分类、国际象棋谜题和奖励建模三类任务上,用小模型的标签微调大模型,与用真实标签微调的大模型比较,只用最简单的微调时恢复了一部分性能差距,比例因任务差别很大,奖励建模上通常只有约 10%;这是 OpenAI 对自己模型的研究(Burns 等,2023)。Sun 等在数学推理上只用简单题的监督训练评估模型,再用它帮助解难题(Sun 等,2024)。Wen 等不用外部标签:在 GSM8K 验证和 TruthfulQA 上与用参考答案训练的结果相当,在 Alpaca 奖励建模上优于用众包人工标签训练;用它训练 Claude 4 Sonnet 助手时,与用生产级人工标签训练的版本平均相当(由 Claude 4 Opus 的生产级奖励模型打分),聊天和安全上更好,数学和代码上更差(Wen 等,2025)。后一个实验是开发者对自己模型的报告。
- 依赖:强模型已经具备所需的能力,只需引出。威胁模型(第 10.2 节)只覆盖“无意出错”,并要求“共同盲点”一维不严重:弱标签的错误与强模型的错误不完全相关(第 24 章)。任务前提(第 10.3 节):“标签是否可靠”,弱标签不可靠正是研究对象本身;“能否获得参考答案”,评分用的参考答案必须可靠。
- 不能推出:不能推出这些方法能让强模型获得原本没有的能力,也不能推出价值上的对齐。也不能假定监督者与学生很相似时还有同样的收益:Goel 等在所研究的设置中观察到,弱监督者与强学生越相似,收益越小(Goel 等,2025)。
引言引用的文献 4
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
- Wen 等人(2025)Unsupervised Elicitation of Language Models
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
17.1 三种设定概览 #
本章讨论三种实验设定。它们的共同点是:都有一个能力较强的模型;用来训练它的信号都不如理想的监督;都另有一个测试集,它的参考答案只用来在最后评分,被研究的那个模型在训练中看不到这些答案。三者的区别在于,每种设定改变了一个不同的变量。
弱到强泛化(weak-to-strong generalization)改变的是监督者。给强模型提供标签的,是一个比它弱的模型。这些标签覆盖所有题目,但有一部分是错的,而且错误不是均匀的随机噪声,而是取决于具体的题目(Burns 等,2023)。
易到难泛化(easy-to-hard generalization)改变的是任务难度。监督本身是可靠的,但只在简单题上提供;模型最终要面对的是难题。这对应人能检查简单情况、检查不了复杂情况的处境。
无监督引出(unsupervised elicitation)改变的是监督来源。不用任何外部标签,而是利用模型自身各个判断之间的一致性来生成标签,再用这些标签训练模型。
| 设定 | 改变了什么 | 例子 |
|---|---|---|
| 弱到强泛化(weak-to-strong generalization) | 监督者:用弱模型的标签训练强模型 | 小模型标注,大模型学习 |
| 易到难泛化(easy-to-hard generalization) | 任务难度:只在简单题上提供监督 | 只用简单数学题训练奖励模型,再评估难题 |
| 无监督引出(unsupervised elicitation) | 监督来源:不用外部标签,利用模型自身判断之间的一致性 | 让模型对一组问题的判断互相一致,以此生成标签 |
分清三种设定,是为了读论文时不把结论搬错地方。一个方法在弱到强设定中有效,说明它能对付实验里那种“标签覆盖全部题目、但有系统性错误”的情况;错误的结构不同,结果可能很不一样(第 17.8 节)。它在“难题上根本没有标签”的情况下是否有效,要在易到难设定中另外测。无监督引出连弱标签都不用,它的成败取决于模型自身的判断里有没有可以利用的结构。
这三种设定都是第 11.1 节所说的代理实验:今天还没有普遍超过人类的模型,研究者就用小模型扮演人、用大模型扮演未来更强的系统,或者用简单题扮演人能检查的部分。第 11.3 节讲过,用弱模型模拟人只是实验的替代,小模型犯的错和人犯的错不一定是同一类,结果不能直接外推为人类监督的效果。
第 17.1 节引用的文献 1
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
17.2 弱到强泛化 #
弱到强实验要训练三个模型,每个模型的作用都不同。这里说的微调(fine-tune),是在一个已经预训练好的模型(第 5.1 节)上,用一个针对具体任务的小数据集继续训练。
- 弱老师:一个小模型,用真实标签微调。它在测试集上的正确率记为弱老师的正确率。然后让它给另一批题目打标签,这些标签就是弱标签。
- 强学生:一个大模型,只用弱标签微调。它从来没有见过真实标签。
- 强参考:同样的大模型,用真实标签微调。它表示“如果监督是完美的,这个大模型在这个任务上能做到多好”。
三个模型都在同一个测试集上评分,测试集的真实标签只在这一步使用。小模型扮演的是检查不了全部答案的人,大模型扮演的是知道得比监督者多的系统。之所以能拿到真实标签,是因为今天的实验故意选了人能评分的任务。
Burns 等用 OpenAI 自己的 GPT-4 系列预训练模型做了这个实验,任务分三类:自然语言处理中的分类任务、国际象棋谜题(预测最佳的第一步)和 ChatGPT 的奖励建模(Burns 等,2023)。他们把强学生超过弱老师的现象称为弱到强泛化。主要发现有三条。
- 学生几乎总是超过老师。在他们研究的几乎所有设置、几乎所有模型大小的组合里,用弱标签训练的强学生都比弱老师好(Burns 等,2023)。
- 但远没有达到强参考。论文报告,只用最简单的微调时,在自然语言任务上,用一个约为 GPT-2 水平的模型给 GPT-4 提供标签,通常能恢复两者差距的一半左右;在 ChatGPT 奖励建模上,通常只能恢复约 10%,即使模型大小相差不多,也几乎不超过 20%(Burns 等,2023)。国际象棋的情况更复杂:老师和学生差距小时恢复得不错,但固定老师、学生越大,恢复的比例反而越低(Burns 等,2023)。
- 学生会模仿老师的一部分错误。用最简单的方法微调时,学生与老师预测一致的比例,常常明显高于老师本身的正确率,作者据此认为学生在模仿老师的部分错误(Burns 等,2023)。
作者还提出了几种提高恢复比例的方法,但明确说它们只在部分任务上有效,是说明这个问题可以取得进展的概念验证(Burns 等,2023)。他们由此得出的判断是:只靠简单的微调,离恢复强模型的全部能力还很远,像 RLHF 这样的技术(第 6.3 节、第 6.4 节)在面对远超人类的模型时,可能需要进一步的工作才能继续有效(Burns 等,2023)。
读这项研究时还要注意一处实验细节。作者说明,在改进方法的过程中,他们多次用真实标签检查过结果,只把最大的模型和大约一半的自然语言任务一直留着不用(Burns 等,2023)。这正是第 4.4 节所说的数据泄漏风险:反复对照测试结果调整方法,测试结果就会偏乐观。留出一部分任务,是减轻这个问题的办法。
第 17.2 节引用的文献 1
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
17.3 性能差距恢复比例 #
弱到强实验需要一个数字来概括“学生走了多远”。Burns 等为此定义了性能差距恢复比例(Burns 等,2023)。
先看一个例子。弱老师的正确率是 60%,用可靠标签训练的强参考是 90%,两者相差 30 个百分点,这是“可以恢复的差距”。用弱标签训练的强学生是 75%,比老师高 15 个百分点。15 个百分点占 30 个百分点的一半,所以恢复了 50% 的差距。
记弱老师、强学生、强参考在同一测试集上的正确率分别为 、、。性能差距恢复比例(performance gap recovered,PGR)是强学生比弱老师多出的部分,占强参考比弱老师多出的部分的比例:
代入上面的例子:。比例为 0,表示学生只学到老师的水平;比例为 1(即 100%),表示学生达到了用可靠标签训练的水平。
这个比例很方便,但有几个局限,读者在每次看到它时都应该想到。
强参考只是实验基准,不一定是理论上限。强参考是“用这批真实标签、这种训练方法”得到的结果,换一种训练方法,强模型可能做得更好。所以比例可以大于 1:学生超过了这个基准。比例也可以小于 0:学生比老师还差。第 17.7 节会讲到一项研究,它说明强参考在某些题上错了、老师却对了,这部分知识学生也可能学到。
比例隐藏了绝对水平。60% 到 90% 之间恢复一半,学生是 75%;97% 到 99% 之间恢复一半,学生是 98%。两个比例相同,含义完全不同。所以报告时,先给出三个模型的实际正确率,再给比例,同时说明监督成本:弱标签有多少条、来自哪里,强参考用了多少真实标签,训练花了多少计算。比例本身不包含任何成本信息。
分母要先检查。比例的分母是强参考与弱老师之差,下面四种情况都要先处理,不能直接计算或解释比例。
- 分母为零。强参考与弱老师正确率相同,比例没有定义,不计算。
- 分母很小,在测量误差之内。正确率是在有限的测试集上测出来的,本身带有误差(第 3.3 节)。设弱老师 80%,强参考 81%,强学生 80.5%,比例是 。但如果强参考的真实水平其实是 82%,比例就变成 ;如果是 80.25%,比例就变成 200%。分母越小,一点点测量误差就会被放大成比例的巨大变化。这时比例不能解释为“恢复了多少能力”,要先确认能力差距成立:按第 3.4 节的方法,直接估计强参考与弱老师正确率之差的置信区间。三个模型在同一个测试集上评分,所以用配对比较,只看两者对错不同的那些题;只看两个正确率各自的置信区间是否重叠,不是正确的做法。差值的区间明显高于 0,才说明分母成立。
- 分子为负。强学生不如弱老师。这是有意义的失败结果:用弱标签训练不但没有超过老师,反而更差。它应当被报告,而不是被丢掉(第 17.8 节)。
- 分母为负。强参考可靠地不如弱老师,即两者之差的置信区间整个低于 0。用可靠标签训练的大模型反而不如小模型,说明实验基准本身有问题,例如强参考没有训练好,或者“强”模型在这个任务上其实并不强。此时比例的符号会颠倒,算出来的数没有意义,要先修正基准。
只报告“恢复比例 50%”,是最常见的不完整报告。读者无法知道三个正确率各是多少、分母的差距是否超出测量误差、用了多少监督成本。
第 17.3 节引用的文献 1
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
17.4 易到难泛化 #
弱到强设定里,弱标签覆盖了所有题目,只是有一部分是错的。现实中还有另一种常见的处境:人能可靠地检查简单的情况,复杂的情况根本给不出标签。易到难泛化研究的就是这种处境:只在简单题上提供可靠的监督,看模型在难题上表现如何。Burns 等也把它列为一个相关的设定,并指出它对应弱标签一类很自然的系统性错误:在简单题上做得好,在难题上做得差(Burns 等,2023)。
Sun 等在数学推理上研究了这个问题(Sun 等,2024)。他们使用的 MATH 数据集把题目分为 1 到 5 级,他们把 1 到 3 级当作简单题,4 到 5 级当作难题,只用简单题的监督来训练。他们的关键做法是区分两种模型:生成模型负责写出解答,评估模型负责给候选解答打分,这里的评估模型就是第 6 章讲过的奖励模型,其中一些按解答的每一步打分(第 19.2 节)。他们的出发点是,评估往往比生成容易,所以只在简单题上训练出来的评估模型,也许能比生成模型更好地推广到难题上。他们先用简单题训练评估模型,再用它给生成模型在难题上的多个候选解答打分,或者把它当作强化学习的奖励,帮助生成模型解难题(Sun 等,2024)。
这个设定和弱到强设定的区别值得说清楚。弱到强设定里,标签有错,模型面对的题目和训练时一样;易到难设定里,标签是对的,但模型面对的题目比训练时难。前者考验的是“能不能不照抄错误”,后者考验的是“能不能把在简单题上学到的东西用到难题上”。一个方法在一种设定下有效,不代表在另一种设定下也有效。
回到记账程序。易到难的版本是:你只能可靠地标注简单的缺陷,比如余额算错(规则一),于是只用这类缺陷训练一个检查模型,希望它也能发现难的缺陷,比如写入失败时只记了一半(规则三)。要知道它是否真的做到了,你仍然需要一批带有已知难缺陷的代码来评分。
读这类结果时要追问:“简单”和“难”是怎么划分的?在 Sun 等的实验里,难度来自数据集给定的级别;而现实中“人能检查”和“人检查不了”之间的距离,可能比 3 级题和 5 级题之间的距离大得多。实验里的难题仍然有参考答案,所以才能评分;真正没有参考答案的难题上效果如何,这类实验回答不了。
第 17.4 节引用的文献 2
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
17.5 无监督引出 #
前两种设定都还有一个外部的监督者,只是它弱,或者只覆盖简单题。无监督引出走到了极端:完全不用外部标签。如果模型对一个概念的理解有某种不依赖标签也能找到的结构,那么这部分工作就不需要监督者,监督者的错误也就不会被抄进来。
Wen 等提出的方法叫内部一致性最大化(Internal Coherence Maximization,ICM)(Wen 等,2025)。它的做法可以这样理解:给一批没有标签的题目,让预训练模型自己给它们打标签,然后用一种近似的搜索方法(受模拟退火启发,因为逐一检查所有打标签方案在计算上不可行),找一套尽量自洽的标签。自洽有两层意思。
- 相互可预测:去掉其中任何一个标签,模型能根据其余所有带标签的例子,把这个标签推断回来。这要求整套标签反映同一个概念。
- 逻辑一致:标签之间不违反简单的逻辑规则。例如判断数学解答是否正确时,同一道题的两个不同答案不能都是对的;比较两个回答时,“A 比 B 好”和“B 比 A 好”不能同时成立。
第二条用来排除一种退化的解:如果只要求相互可预测,把所有题目都标成同一个标签,就能轻易做到“可预测”(Wen 等,2025)。它的作用因任务而异:在 Alpaca 上,去掉它几乎总会出现这种退化;在 TruthfulQA 上,去掉它只让结果差一些(Wen 等,2025)。找到这样一套标签之后,再用它们去微调模型。
论文报告了两类结果,本书引用的是 2026 年 1 月修订的 v2 预印本(Wen 等,2025)。实验用了三个分类任务:GSM8K 验证(判断数学解答是否正确)、TruthfulQA(识别常见的错误说法)和 Alpaca 奖励建模(判断哪个回答更有帮助、更无害)。在 GSM8K 验证和 TruthfulQA 上,用这种方法得到的标签训练,与用参考答案训练的结果相当;在 Alpaca 上,它优于用众包的人工标签训练。这些实验用的是 Llama 3 预训练模型。另一个实验是开发者对自己模型的报告:用这种方法训练一个奖励模型,再用强化学习训练一个基于 Claude 4 Sonnet 的助手,由 Claude 4 Opus 的生产级奖励模型打分。与用生产级人工标签训练的版本相比,两者平均相当,聊天和安全上更好,数学和代码上更差(Wen 等,2025)。
读这些结果时,要注意它们比较的是什么。“与参考答案训练相当”说的是分类正确率;“与人工标签训练的助手平均相当”是由另一个奖励模型打的分,不是独立的人类评估,而且数据、模型和打分用的奖励模型都属于开发者,外部读者无法自行核查(本书的推断)。“优于众包人工标签”也要看人工标签本身的质量:在 Alpaca 任务上,作为对照的人工标签每条数据只有一个人的标注(Wen 等,2025)。
第 18.5 节会讲另一类无监督方法:不训练模型的输出,而是直接在模型内部的数值里寻找与真假有关的方向。两者都依赖同一个前提,即模型内部已经有可以利用的结构。下一节讨论这个前提。
第 17.5 节引用的文献 1
- Wen 等人(2025)Unsupervised Elicitation of Language Models
17.6 能力引出不等于价值对齐 #
本章开头提到两个区分,这里展开。
第一个区分:引出已有的能力,还是学到新的能力。Burns 等明确说,他们并不需要弱监督者教会强模型新能力,只需要弱监督者把强模型已经知道的东西引出来(Burns 等,2023)。他们把强参考的表现理解为,直观上相当于强模型在这个任务上能发挥的全部能力(Burns 等,2023)。按照这种理解,“学生超过老师”是因为强模型在预训练中已经获得了相关能力,弱标签只是告诉它“现在要做的是这个任务”,它就用上了自己原有的能力。这是作者对结果的解释,也是这类方法的前提(见本章开头“证据与前提”的“依赖”一行),而不是正确率本身能证明的:学生超过老师,也可能有一部分来自它从弱标签里学到的东西,第 17.7 节会看到这样的证据。
Wen 等的一个反面实验说明了这个前提为什么重要(Wen 等,2025)。他们故意构造了一个无监督引出不可能成功的任务:假设某人特别喜欢写到太阳的诗,于是在一组成对的诗里,凡是提到太阳的那首都被标为“更好”。模型只被告知要判断哪首诗更好。预训练模型对“诗好不好”的理解与太阳无关,它不可能知道这个人的特殊偏好。结果这个方法的表现与随机猜测差不多。论文据此说明,这种方法只能引出对预训练模型来说已经突出存在的概念(Wen 等,2025)。
怎样判断一种能力原先就存在?没有单一的检验,可以看几条线索:
- 强模型不经任务训练时的表现。不微调,只用提示或少量例子,它在这个任务上已经比弱老师好吗?Burns 等比较过只用提示和用真实标签微调:对最大的模型,给 5 个例子的提示在许多任务上能和微调相比(Burns 等,2023)。
- 在不改动强模型的情况下读出的表现。固定强模型,只在它的内部表示上训练一个简单的分类器(第 18.2 节),用少量可靠标签就能达到高正确率吗?本章实验路线练习里的强学生和强参考都是这种结构(固定的句向量加一个线性分类器),其中用可靠标签训练的强参考,正好回答这里的问题。
- 用很少的可靠标签就能接近强参考吗?如果几十条标签就够,这提示能力早已存在,标签只是指明了任务(本书的推断)。
即使这些线索都指向“能力原先就存在”,也要记住 Burns 等自己指出的一个不利因素:今天的大模型是在人写的大量文本上预训练的,这些文本里隐含着人类水平的答案,所以在今天的实验里引出强模型的能力,可能比将来引出超过人类水平的能力人为地容易,他们的结果可能因此过于乐观(Burns 等,2023)。
第二个区分:能力引出与价值对齐。引出的是一种能力,比如判断一段数学推理对不对、一段代码有没有缺陷。价值对齐关心的是另一件事:模型会不会在没有人检查时也按我们希望的方式使用这种能力,在不同目标冲突时怎样取舍。前者有参考答案可以评分,后者通常没有。Wen 等也说明,即使用无监督引出来训练模型遵循一套人写的原则,仍然需要人来核实模型是否按原意理解了这些原则(Wen 等,2025)。
回到记账程序。假设用弱标签训练出的强模型找出了更多缺陷,这说明它现在能识别这些缺陷;这种能力是预训练时就有的,还是从弱标签里学到的,正确率本身分不开。它更不说明这个模型在别的情况下会如实报告它看到的缺陷,也不说明写代码的模型和你目标一致。本章的方法至多说明“能力可以被引出”,后两件事要到第四部分讨论。
第 17.6 节引用的文献 2
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Wen 等人(2025)Unsupervised Elicitation of Language Models
17.7 监督者与学生的相似性 #
为什么弱到强的效果在不同任务上差别那么大?Goel 等从模型相似性的角度给出了一种解释(Goel 等,2025)。
他们先定义了一种衡量两个模型有多相似的指标:不看模型内部,只看两个模型在同一批题上的预测(包括给各个选项的概率)有多一致,并扣除仅仅因为两个模型正确率都高而碰巧一致的部分。然后他们按照 Burns 等的设置做弱到强实验:用 4 个 10 亿到 30 亿参数的模型作弱老师,3 个 70 亿到 90 亿参数的模型作强学生,组成 12 对,在 15 个二分类任务上训练(Goel 等,2025)。
他们观察到,弱老师与强学生(训练前)越相似,强学生从弱到强训练中得到的提高就越小;在统计上控制了两者正确率的差距之后,这个关系仍然存在(Goel 等,2025)。他们的解释是互补知识:如果弱老师在某些题上是对的,而强模型原本在这些题上是错的,那么学生就有机会从老师那里学到东西;两个模型越相似,这样的题就越少。他们还把测试题按“老师对不对”“强参考对不对”分成四类,发现在强参考答错、老师答对的那类题上,学生也答对了相当一部分。这说明学生的提高不全来自引出自己原有的能力,也有一部分来自老师的互补知识;也说明用可靠标签训练的强参考并不是真正的上限(Goel 等,2025)。
这一结果的适用条件要说清楚。“弱”和“强”是按模型大小定义的;任务是二分类;模型是 10 亿到 90 亿参数的开源模型;相似性与收益之间是在 12 对模型和 15 个任务上观察到的相关关系,不是在控制条件下证明的因果关系。论文中关于“能力越强的模型错误越相似”的发现,第 24.4 节再讨论。
这对监督意味着什么?如果监督者与被监督者是用相似的数据训练的、有相似的盲点(第 10.2 节的“共同盲点”),弱到强训练能带来的提高可能更少;而人与今天的大模型之间是否存在这样的相似性,这项研究没有测量(本书的推断)。回到记账程序:如果弱的检查模型和强模型都在相似的代码上训练,都不熟悉“写入失败时只记一半”这类问题,弱模型在这类代码上给出的标签帮不了强模型,强模型也没有自己原有的能力可以被引出。
第 17.7 节引用的文献 1
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
17.8 结果为负时怎样解读 #
做弱到强实验,可能得到令人失望的结果:恢复比例接近 0,甚至为负。Burns 等只用最简单的微调时,在国际象棋上用最小的老师,恢复比例就接近 0;在奖励建模上,通常也只恢复性能差距的约 10%(Burns 等,2023)。这不等于实验白做了。负结果有三类不同的解释,它们意味着完全不同的下一步。
方法失败。强模型确实有相关能力,但训练方法让学生把老师的错误也学了进去。Burns 等观察到,学生会模仿老师的一部分错误;弱老师的错误也不是均匀的随机噪声,而是取决于具体题目的系统性错误,这比随机噪声更难处理(Burns 等,2023)。如果学生与老师的预测一致率远高于老师的正确率,尤其是在老师答错的题上也和老师一致,就是模仿的迹象。
设定不合适。实验本身没有给出可以解释的数字。例如测试集太小,三个正确率之间的差距都在误差之内(第 17.3 节);弱老师太弱,标签接近随机;学生训练集与测试集的题目分布不一样;或者任务里弱标签的错误恰好是强模型最容易学会的那类。
强模型本来就没有额外的能力。如果强参考与弱老师之差的置信区间很窄、上端也很小,或者强模型不经训练、只读内部表示也做不好这个任务,那就没有什么可以引出的:问题不在于方法,而在于“强”模型在这个任务上并不强。这时先看分母。差值的区间明显高于 0,分母就成立,比例接近 0 是如实的结果;区间包含 0,分母不成立,就只报告三个正确率和差值的区间,不报告比例(第 17.3 节)。区间如果只是很宽,还分不清这一类和“设定不合适”。
| 解释 | 典型迹象 | 怎样检查 |
|---|---|---|
| 方法失败 | 学生与老师一致的比例高于老师的正确率;学生在老师答错的题上也跟着错 | 统计学生在老师答对、答错两类题上的正确率;换一种训练方法再试 |
| 设定不合适 | 差值的置信区间很宽;老师的正确率接近随机;训练集与测试集分布不同 | 估计各差值的置信区间(第 3.4 节);检查数据划分和样本量 |
| 强模型没有额外能力 | 强参考与弱老师之差的区间窄,而且接近 0;强模型不经训练的表现也很差 | 先确认分母成立;测强模型的零样本表现(不经训练、直接提问),或在其内部表示上训练简单分类器 |
三类解释可以同时成立,也很难只凭一个实验分开。所以报告负结果时,要写清三个正确率及差值的置信区间、做了哪些检查、哪些解释已经排除、哪些还不能排除。一个写清楚了原因的负结果,比一个原因不明的正结果更有用(本书的推断)。
回到第一类解释:弱老师的错误是什么结构,对结果影响很大。Burns 等在附录里用一个简化的合成实验检验过这一点(Burns 等,2023)。他们从 GPT-4 系列一个中等大小模型的内部表示中取出 SciQ 科学选择题的特征,只在这些特征上训练线性分类器,做弱到强实验。弱老师只用学生特征中的一部分时,学生按构造能完全模仿它。这时学生的正确率没有比老师明显提高,与老师标签的一致率却远高于老师的正确率,说明它学进了老师的错误。把正确标签随机翻转,得到正确率相同的弱标签,学生的正确率就明显超过这些弱标签。作者同时提醒,随机噪声这种容易泛化的错误结构,可能和人类监督者会犯的错误很不相像(Burns 等,2023)。
本书构造了一个更小的模型来说明其中的道理(图 17.1)。每个输入有三个互相独立的特征,正确标签由特征 1 的正负决定。学生只看得到特征 1 和特征 2。它用无限多个弱标签,在这两个特征上找一条最贴合老师标签的直线,把两种标签分开;这条直线叫分界线,就是学生学到的规则。正确标签只看特征 1,所以学生原则上能学到正确的规则。老师的正确率可以设定,出错的方式有两种:随机错误,即随机翻转一部分标签;系统性错误,即按一条偏斜了的规则打标签,这条规则不只看特征 1,还掺进了别的特征,偏斜可以朝向学生看得到的特征 2,也可以朝向它看不到的特征 3。随机错误对应上面 Burns 等随机翻转标签的设定;偏斜全朝向特征 2 时,老师的规则只用到学生看得到的特征,对应上面学生按构造能完全模仿弱老师的设定(Burns 等,2023)。偏斜部分或全部朝向特征 3,是本书加的。在这个模型里,因为样本无限多,随机翻转的标签互相抵消,学生学到的仍是正确的规则;真实训练的样本有限,随机错误也会损失一些正确率。系统性的偏斜只要朝向学生看得到的特征 2,学生就会把这部分学过去;朝向特征 3 的部分,它学不去。
第 17.8 节引用的文献 1
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
读物 #
- 原始提案 · 会议论文:Burns 等《Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision》(OpenAI,2023;ICML 2024)(Burns 等,2023)。提出弱到强的实验设定和性能差距恢复比例。
- 实验结果 · 会议论文:Sun 等《Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision》(NeurIPS 2024)(Sun 等,2024)。只用简单题训练评估模型,再用它帮助解难题。
- 实验结果 · 预印本:Wen 等《Unsupervised Elicitation of Language Models》(2025,引用的是 arXiv v2,2026 年 1 月修订)(Wen 等,2025)。不用外部标签,用模型自身判断的一致性生成标签。注意它关于“概念不突出时失败”的那一节。
- 反例与批评 · 会议论文:Goel 等《Great Models Think Alike and this Undermines AI Oversight》(ICML 2025)中关于弱监督者与强学生互补知识的部分(Goel 等,2025)。在所研究的设置中,两个模型越相似,收益越小。
本节引用的文献 4
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
- Wen 等人(2025)Unsupervised Elicitation of Language Models
- Goel 等人(2025)Great Models Think Alike and this Undermines AI Oversight
练习 #
下面四个实验各属于本章的哪一种设定?如果都不属于,说明原因。
- 只用 1 到 3 级数学题的可靠解答训练一个打分模型,再用它给 5 级题的候选解答打分。
- 一个小模型给 1 万条影评标注“正面”或“负面”,用这些标注训练一个大模型。
- 不给任何标签,让模型给一批“这个数学解答对不对”的问题打标签,要求同一道题的两个不同答案不能都被标为对,再用这些标签训练模型。
- 用 1 万条人工核对过的正确标签训练一个大模型。
解答
- 易到难泛化:监督可靠,但只在简单题上提供。
- 弱到强泛化:监督者是一个比学生弱的模型,标签有错。
- 无监督引出:没有外部标签,标签来自模型自身判断之间的一致性(这里是逻辑一致)。
- 都不属于。这是普通的监督训练,监督者没有弱于学生,也没有只覆盖简单题。它相当于弱到强实验里的“强参考”。
下面是为教学构造的数据。三个任务上,弱老师、用弱标签训练的强学生、用可靠标签训练的强参考,在各自任务的同一测试集上的正确率如下:
| 任务 | 弱老师 | 强学生 | 强参考 |
|---|---|---|---|
| 甲 | 62.0% | 71.0% | 86.0% |
| 乙 | 70.0% | 66.0% | 82.0% |
| 丙 | 75.0% | 77.0% | 76.0% |
- 手算三个任务的恢复比例。
- 任务乙的比例为负,这意味着什么?
- 任务丙的强参考只比弱老师高 1 个百分点。只凭这些正确率,能否判断强参考与弱老师之间的能力差距可靠?还需要哪些信息?为什么不能只凭“相差 1 个百分点”就判定恢复比例没有意义?
- 补充信息:任务丙的测试集有 1000 道题,强参考和弱老师的逐题结果如下。两者都对 700 题;只有强参考对 60 题;只有弱老师对 50 题;两者都错 190 题。按第 3.4 节的配对方法,两者正确率之差的 95% 置信区间约为 −1.05 到 3.05 个百分点。说明这里为什么用配对而不是不配对的方法,并据此判断任务丙的恢复比例能否解释。读过第 3.4 节的读者,可以先自己算出这个区间再对照。
- 任务甲的学生超过了老师。为什么这既不足以区分“引出了已有能力”和“学到了新能力”(对照第 17.6 节),也不能证明实现了价值对齐?
提示
第 4 问:两个模型在同一批题上评分,每道题可以记一个差:只有强参考对记 +1,只有弱老师对记 −1,其余记 0。差值的平均就是两个正确率之差,差值的标准误用这些 +1、−1、0 算。
解答
- 甲:。乙:。丙:。
- 分子为负:用弱标签训练的强学生比给它标签的弱老师还差 4 个百分点。这是有意义的失败结果,说明在这个任务上,弱到强训练不但没有引出强模型的能力,反而让它学得比老师更差,可能是学生模仿了老师的错误,又丢掉了老师答对的一部分(第 17.8 节)。要确认这个失败不是测量误差,也应当对“强学生减弱老师”做同样的配对置信区间。
- 不能。只有正确率,不知道测试集多大,也不知道两个模型是在同一批题上评分、逐题对错如何,就无法估计差值的测量误差。还需要:测试集大小;两者在同一测试集上的逐题对照(至少是两者对错不同的题数);如果条件允许,还有换随机种子重新训练时正确率的波动。不能只凭“相差 1 个百分点”下结论,是因为 1 个百分点是否可靠取决于样本量和两者意见不同的题数:在一个很大的测试集上,1 个百分点也可能是可靠的差距。例如同样的不一致比例(只有强参考对占 6%,只有弱老师对占 5%)放在 20000 道题上,差值的 95% 置信区间约为 0.54 到 1.46 个百分点,明显高于 0。
- 两者在同一测试集上评分,用配对方法。每道题记差值 :只有强参考对的 60 题记 +1,只有弱老师对的 50 题记 −1,其余 890 题记 0。平均差 个百分点。 的方差为 ,标准误为 个百分点。95% 置信区间为 ,约为 −1.05 到 3.05 个百分点。区间包含 0,也包含负数,所以能力差距没有得到确认(这不等于没有差距)。先假定分子 2 个百分点不变(分子本身也有抽样误差,比例只会更不确定),分母的真实值可能是约 3.05 个百分点(比例约 65%),可能是 0.5 个百分点(比例 400%),可能是 0(比例没有定义),也可能是负数(比例变号)。任务丙的 200% 不能解释为“强学生恢复了两倍的差距”。应当报告三个正确率和这个区间,说明分母不成立,不报告比例。如果忽略配对、把两个正确率当作独立样本,区间约为 −2.77 到 4.77 个百分点,更宽;配对方法利用了两者在 700 + 190 道题上结果相同这一信息。
- 学生超过老师,可能是因为强模型在预训练中已经具备了这个能力,弱标签只是指明了任务;也可能是学生从弱标签中学到了新东西。正确率本身分不开这两种情况,需要额外的证据,例如强模型不经训练时的表现、在其内部表示上用少量可靠标签训练简单分类器的表现。即使能力确实被引出,引出的也只是“把这个任务做对”的能力,它不说明模型在没有检查时会按我们希望的方式使用这种能力,也不涉及目标冲突时怎样取舍,所以不能证明价值对齐。
计算用的脚本是 tools/exercises/ch17_pgr.py。
本练习是低成本的教学重现,不需要 GPU,也不保证出现论文中的现象。用到的工具见第 4.7 节。
数据:scikit-learn 自带下载的 20 Newsgroups 数据集中的两个新闻组(医学与航天),做二分类。数据分成三份,事先固定:
- 老师训练集:带真实标签,只用来训练弱老师。故意取得很小(100 条),让老师弱一些。
- 学生训练集:只使用弱老师给出的标签。它的真实标签只用来训练强参考。
- 最终测试集:真实标签只用于最后评分,不能用于训练,也不能用来挑选方案或调参数。
模型:弱老师是词袋特征(每个词出现的次数)上的逻辑回归。强学生是在预先算好的预训练文本嵌入上的逻辑回归,用弱标签训练。嵌入(embedding)是一个预训练的句向量模型把每段文本变成的一串数,这里用公开的小型句向量模型 all-MiniLM-L6-v2,换成任何公开的小型句向量模型都可以。强参考是同样的强学生,用学生训练集的真实标签训练。
准备:安装 scikit-learn、numpy 和 sentence-transformers。第一次运行时要联网下载数据集和句向量模型(all-MiniLM-L6-v2 的权重约 90 MB)。
# 弱到强的教学重现(scikit-learn)。只在最后一步使用测试集的真实标签。
import numpy as np
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
SEED = 0
# 1. 读入数据:两个新闻组,医学与航天,二分类。第一次运行会下载数据集。
data = fetch_20newsgroups(subset="all", categories=["sci.med", "sci.space"],
remove=("headers", "footers", "quotes"), random_state=SEED)
texts = np.array(data.data, dtype=object)
labels = np.array(data.target)
# 2. 三份数据,事先固定,之后不再改动。
idx = np.arange(len(texts))
idx_rest, idx_test = train_test_split(
idx, test_size=0.3, stratify=labels, random_state=SEED)
idx_teacher, idx_student = train_test_split(
idx_rest, train_size=100, stratify=labels[idx_rest], random_state=SEED)
print("老师训练集", len(idx_teacher), "学生训练集", len(idx_student), "测试集", len(idx_test))
# 3. 弱老师:词袋特征上的逻辑回归,只用老师训练集的真实标签。
vectorizer = CountVectorizer(min_df=2)
teacher = LogisticRegression(max_iter=1000)
teacher.fit(vectorizer.fit_transform(texts[idx_teacher]), labels[idx_teacher])
# 弱标签:老师对学生训练集的预测。学生训练集的真实标签在这里不使用。
weak_labels = teacher.predict(vectorizer.transform(texts[idx_student]))
# 4. 预训练句向量。这一步需要安装 sentence-transformers 并下载模型。
from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
def embed(batch):
return encoder.encode(list(batch), batch_size=64, show_progress_bar=False)
E_student = embed(texts[idx_student])
E_test = embed(texts[idx_test])
# 5. 强学生:句向量上的逻辑回归,用弱标签训练。
student = LogisticRegression(max_iter=1000).fit(E_student, weak_labels)
# 6. 强参考:同样的模型和特征,用学生训练集的真实标签训练。
reference = LogisticRegression(max_iter=1000).fit(E_student, labels[idx_student])
# 7. 最后一步:在测试集上评分。
y_test = labels[idx_test]
pred_weak = teacher.predict(vectorizer.transform(texts[idx_test]))
pred_student = student.predict(E_test)
right_weak = pred_weak == y_test
right_student = pred_student == y_test
right_ref = reference.predict(E_test) == y_test
acc_weak, acc_student, acc_ref = right_weak.mean(), right_student.mean(), right_ref.mean()
print(f"弱老师 {acc_weak:.1%} 强学生 {acc_student:.1%} 强参考 {acc_ref:.1%}")
print(f"强学生与弱老师预测相同的比例 {(pred_student == pred_weak).mean():.1%}")
# 8. 配对比较(同一测试集):每题记 +1、0 或 -1,求差值的 95% 置信区间。
def paired_diff(right_a, right_b):
diff = right_a.astype(int) - right_b.astype(int)
d = diff.mean()
se = diff.std() / np.sqrt(len(diff))
return d, d - 1.96 * se, d + 1.96 * se
d, lo, hi = paired_diff(right_ref, right_weak)
print(f"强参考 - 弱老师:{d:+.1%},95% 置信区间 [{lo:+.1%}, {hi:+.1%}]")
n_d, n_lo, n_hi = paired_diff(right_student, right_weak)
print(f"强学生 - 弱老师:{n_d:+.1%},95% 置信区间 [{n_lo:+.1%}, {n_hi:+.1%}]")
# 9. 先确认分母成立,再计算恢复比例。
if hi < 0:
print("强参考可靠地不如弱老师:实验基准有问题,先检查强参考。")
elif lo <= 0:
print("强参考没有可靠地优于弱老师:能力差距没有得到确认,不计算恢复比例。")
else:
pgr = (acc_student - acc_weak) / (acc_ref - acc_weak)
print(f"性能差距恢复比例 PGR = {pgr:.1%}")
完成以下各项:
- 运行代码,报告三个正确率、两个差值的置信区间,以及恢复比例(如果分母成立)。
- 结果可能接近 0 或为负,这也是有效结果。按表 17.2 分析原因:学生与老师的一致率是否高于老师的正确率?在老师答错的测试题上,学生的正确率是多少?
- 只改一处再跑一次,例如把老师训练集从 100 条改为 20 条或 500 条,观察三个正确率和比例怎样变化。改动要在看测试结果之前决定,并说明为什么改这一处。
- 说明这个重现与 Burns 等的实验有哪些不同(模型、任务、训练方式),因而不能声称复现了论文的结论。
扩展:OpenAI 的 weak-to-strong 官方仓库(OpenAI,2023)提供了实现论文方法的代码;运行它要训练语言模型,一般需要 GPU(本书的推断)。该仓库已于 2026 年 5 月 29 日归档,只读;README 说明代码没有经过充分测试,设置与论文不完全相同。使用时固定所有依赖的版本,并以 README 中给出的预期结果作为对照。
解答
本题没有标准数字答案,评分要点如下:
- 三份数据的划分在训练前固定;测试集的真实标签只在第 7 步使用;第 3 问的改动在看结果之前决定。
- 先报告三个正确率和差值的置信区间,再报告比例;分母不成立时不报告比例,并说明原因。
- 分析负结果或接近 0 的结果时,分别讨论方法失败、设定不合适、强模型没有额外能力三类解释,并给出支持或排除每类解释的具体数字(例如学生与老师的一致率、老师答错的题上学生的正确率)。
- 注意这里的强学生是固定的句向量加一个线性分类器,相当于只读取预训练表示,没有微调整个模型。句向量本身在训练中不变,所以即使学生高于弱老师,也只能说明这些固定的特征里含有足够的信息,不能说明模型学到了新能力。
- 结论说明这是教学重现:模型、数据和训练方式都与原论文不同,只有一个数据集和一个随机种子,不能据此说明弱到强泛化是否成立。
本节引用的文献 1
- OpenAI(2023)weak-to-strong
学完能做到 #
- 说出弱到强泛化、易到难泛化和无监督引出各自改变了哪个变量:监督者、任务难度、监督来源。
- 手算一个性能差距恢复比例,并说出它的局限:强参考不是理论上限,比例隐藏了绝对水平和成本。
- 报告恢复比例之前,先给出三个实际正确率,并用配对方法估计强参考与弱老师之差的置信区间,确认分母成立。
- 区分“学生超过老师”“引出了已有能力”“学到了新能力”“价值对齐”四件事,说明一个实验支持的是哪一件。
- 面对负结果,分别检查方法失败、设定不合适、强模型没有额外能力三类解释。
参考文献
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §17.1 §17.2 §17.3 §17.4 §17.6 §17.8
- (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 引用于 §17.7
- (2023). weak-to-strong. GitHub. 软件
- (2024). Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision. Advances in Neural Information Processing Systems. 引用于 §17.4
- (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本引用于 §17.5 §17.6