草稿 内容完整但尚未审校,可能还会修改
第 22 章方法比较
路线全部路线最短路线最短路线只比较读过的方法
本章导读
文字稿
- 0:07一个任务,一笔预算
比较表列出前面八章的九种方法。真正做监督时,你面对的是一个具体任务和有限的预算。记账程序加入了转账:一个账户扣钱,另一个同时加钱。 - 0:27七个维度22.1
只问“哪个更准”不够:准确率是在特定任务、对照和前提下测的,换一个任务就可能变。所以把每种方法拆成七个维度,一项一项地对照。 - 0:47从约束出发筛选22.2
假设两个模型都只能通过接口调用,你也不训练模型。需要激活或训练的三种先排除;原则反馈、任务分解两行要打折扣。 - 1:08表不能做的事22.2
这张表帮你缩小范围,指向该细读的章,但不能用来排名:各行证据来自不同的任务、模型和对照。一格只有一两句话,原文的条件大多装不下。 - 1:30错误是否相关22.3
组合不是免费的,要和“单一方法加同样多的预算”比。两个检查器,任一方报警就拦截:错误独立时,漏检低得多,误报变高;完全相关时,第二个一点忙也没帮上。 - 1:51合并规则22.3
同一个批评模型独立审查三遍。错误纯属随机时,任一遍报警就拦截压低漏检、抬高误报;多数同意才放行,两项都比审查一遍低。三遍错得一样,和审查一遍相同。 - 2:13额外信息22.3
值得加入的部分,常常看到了别人看不到的东西。比较表的“所需访问”一列在这里很有用:测试、批评模型、监控看到的各不相同。 - 2:34逐个移除22.4
消融实验用同一批检验材料,比较完整方案和分别移除一个部分后的表现。为教学构造的例子里,单独移除 C1 或 C2 只多漏 1 到 2 个,可能只是偶然:看起来都可以省掉。 - 2:55一起移除22.4
但同时移除 C1 和 C2,漏掉的从 10 个增加到 30 个。两者高度重叠:两个都漏的有 36 个,独立时预期约 20 个。重叠的部分要一起移除再测;可以只留一个,或换成来源不同的模型。 - 3:18四类风险22.5
条件:编程智能体写代码,留下推理记录;你能运行代码,能调用来自不同开发者的批评模型,自己大约有一天。转账的风险有四类,还要防智能体改动或绕过测试。 - 3:39五个组成部分22.5
示范方案有五个部分,各管不同的失败。测试放在智能体改不到的地方,并核对跑了哪些测试;批评模型选不同来源的,减少共同盲点;抽查补上共同漏掉的。 - 4:02合并规则与发布22.5
测试失败、分解审查发现问题、监控报警,任一项发生就拦截。批评意见经人核实才拦截,因为它会报出不存在的问题。不用多数投票:某类问题往往只有一个部分看得见。 - 4:24方案不能保证什么22.5
消融实验准备两套材料,并加一个同时移除分解审查和批评模型的配置,因为两者可能重叠。方案还假定智能体不针对它调整行为。
带走的几句话:
- 比较方法要分开看七个维度;比较表只是回到各章的索引,不能用来排名。
- 组合是否值得,看错误是否相关、合并规则,以及是否带来新的信息。
- 消融实验逐个移除组成部分;彼此重叠的部分要一起移除再测。
从第 14 章到第 21 章,我们读了八章监督方法,其中第 19 章讲了三件事:过程奖励、便于检查的解答和思维链监控。下面的比较表只列其中两行(过程奖励和思维链监控),便于检查的解答没有单列,它的前提和证据见第 19.3 节,所以表中一共九种方法。每一章回答的都是同一组问题:这个方法想处理什么,实验测过什么,结论依赖什么前提,不能推出什么。这些回答分散在各章里。可是真正做监督时,你面对的不是一个方法,而是一个具体的任务和一笔有限的预算。你要决定用哪几种方法,怎样把它们的结论合在一起,又怎样知道合在一起之后确实更好。本章就做这件事。
回到第 1 章的记账程序。它后来增加了转账功能(第 10 章):一笔转账要从一个账户扣钱,同时给另一个账户加钱。需求说明的三条规则在转账上都有了新的含义。两个账户的余额都要对;同一笔转账重复提交只能执行一次;写入失败时,不能出现“一边扣了钱,另一边没收到”的情况。你手上可以有测试、批评模型,也许还有写代码的智能体留下的推理记录,再加上你自己有限的时间。哪些该用?怎样组合?组合之后,怎样知道每一部分都没有白花钱?
本章先列出比较方法的维度,给出一张比较表(第 22.1 节),再说明这张表能怎样用、不能怎样用(第 22.2 节)。然后讨论组合什么时候有价值(第 22.3 节),怎样用消融实验检验一个组合(第 22.4 节),最后为加入转账功能的记账程序设计一个组合方案(第 22.5 节)。
走最短路线的读者只读过其中四种方法:辩论、模型批评、弱到强与无监督引出、机器检查。读比较表时只看这四行,其余几行可以跳过;正文后面提到其他方法时,把它们当作“还有别的工具可选”即可,不必回去补读。
22.1 比较的维度 #
比较两种方法,不能只问“哪个更准”。准确率是在特定任务、特定对照、特定前提下测出来的,换一个任务就可能变。所以比较之前,先把每种方法拆成几个维度,一项一项地对照。本书用七个维度。
监督来源:最终的判断从哪里来。可以是人,例如任务分解里由人判断每个子任务;可以是另一个模型,例如原则反馈里按原则打分的评估模型;可以是程序,例如测试和证明检查器;也可以来自被监督模型本身,例如无监督引出利用模型各个判断之间的一致性,探针读取模型的激活。监督来源决定了误差从哪里来:人会疲劳、会被说服(第 13 章),模型裁判可能有位置和长度等偏差(第 12 章),程序只检查写进规格里的东西(第 20 章)。
所需访问:监督者需要拿到什么。最少的是只看输入和输出,通过网页或接口使用模型的人都有这一层。往上一层是推理轨迹,即模型在给出答案或采取行动之前写下的中间推理文本(第 19.1 节;能否读到它见第 19.4 节)。再往上是激活,即模型内部中间层的数值(第 18.1 节),读激活通常要拿到模型的权重。最多的是能训练模型。这一维常常是硬约束:如果你只能通过接口调用一个模型,需要激活或需要训练的方法多半用不上。
适用任务:方法要求任务有什么结构。任务分解要求任务能拆开;机器检查要求结果能被程序核对;辩论现有的正面结果,主要来自双方能引用原文、裁判看不到全文的问答。这一维对应第 10.3 节的任务前提。
关键前提:方法的结论要成立,依赖哪些假设。有的是关于任务的,例如“规格本身正确”;有的是关于模型的,例如“批评模型不隐瞒能指出的错误”“辩论双方不合谋”。后一类对应第 10.2 节的威胁模型维度。读到一个方法时,先看它的前提在你的场景里是否成立。
成本构成:成本花在哪里。本书把成本分成三类分开记:人工(标注、核查、写测试的时间),训练(训练奖励模型、探针或被监督模型所用的计算),推理(每次使用时多出来的模型调用)。分开记是因为它们的性质不同。训练和写测试多半是一次性投入;人工核查和推理调用则每用一次就付一次(第 20.3 节讲过建立检查器和运行检查器这两种成本)。
典型失败方式:各章指出的、方法容易出错的地方。知道失败方式,才知道它应该和什么搭配。
已有证据:实验在什么任务上做,和什么比较。一个方法的结论,最多只能推到它测过的任务和对照附近。
把九种方法按这七个维度排在一起,就是表 22.1。表里“所需访问”指监督者需要得到什么;“成本构成”只写成本花在哪里,不分高低,因为高低取决于具体任务。表中只做概括,条件和具体结果以各章的“证据与前提”为准。
| 方法 | 监督来源 | 所需访问 | 适用任务 | 关键前提 | 成本构成 | 典型失败方式 | 已有证据(任务与比较对象) |
|---|---|---|---|---|---|---|---|
| 任务分解(第 14 章) | 人对子任务的判断 | 用于评估只需输入输出;用于训练(证据中的做法)需要能训练模型 | 可以分解的任务 | 子任务能在必要的上下文下评估;依赖关系与合并步骤得到检查 | 主要是人判断子任务的时间;用于训练时另有训练计算 | 局部都对但整体错 | 书籍摘要,用人对分段摘要的反馈训练模型;与人写的摘要比较(Wu 等,2021) |
| 辩论(第 15 章) | 两个对立模型加裁判 | 只需输入输出 | 有可核对证据的问题 | 证据可核对;裁判能读懂论证;双方不合谋 | 每题多轮模型调用加裁判时间 | 混淆论证,即说谎方把错误藏得极深,诚实方难以指出(第 15.10 节);在没有信息不对称的任务上,相对直接问答结果不一 | 正面结果主要来自信息不对称的长文阅读问答;与单方咨询(随机指定立场)比较;Khan 等和 Kenton 等还与直接问答比较(Michael 等,2023;Khan 等,2024;Kenton 等,2024) |
| 模型批评(第 16 章) | 批评模型加人 | 只需输入输出 | 有具体错误可指出的任务 | 批评模型不隐瞒能指出的错误;人有时间核查 | 生成批评的调用加人的核查时间 | 虚构问题误导人;漏检 | 摘要与代码;与不看批评的人工审查比较(Saunders 等,2022;McAleese 等,2024) |
| 弱到强与无监督引出(第 17 章) | 弱标签或模型自身的一致性 | 需要能训练模型 | 强模型已具备相关能力的任务 | 能力可被引出;弱标签与强模型的错误不完全相关 | 主要是训练计算 | 学到监督者的系统性错误 | 分类、数学推理等;与用真实标签或人工标签训练比较(Burns 等,2023;Sun 等,2024;Wen 等,2025) |
| 内部表示(第 18 章) | 模型激活 | 需要读取激活 | 概念能明确定义、有标注数据的问题 | 读出的特征就是想测的概念 | 构建标注数据和训练探针 | 读到与标签相关的其他特征 | 是非问答,与零样本提问比较;简单真假陈述,用干预检验对输出的影响(Burns 等,2022;Marks 与 Tegmark,2023) |
| 过程奖励(第 19 章) | 步骤级标注 | 需要推理轨迹,并能训练奖励模型 | 推理能写成步骤的任务 | 步骤标注可靠;写出的步骤覆盖关键计算 | 主要是步骤标注的人工 | 遗漏步骤;DeepSeek-AI 观察到,用于大规模强化学习时容易被钻空子(第 20.2 节) | 数学题挑选解答;与结果奖励比较(Lightman 等,2023) |
| 思维链监控(第 19 章) | 读思维链的监控模型或人 | 需要推理轨迹 | 推理以文本写出的智能体任务 | 思维链与行为成因有联系;对思维链的优化压力不能过强,压力越强,可监控性越可能受损 | 运行时每次多一次监控调用 | 思维链不忠实;优化压力过强时不再写出意图 | 编程智能体的奖励作弊;与只看行动的监控比较(Baker 等,2025) |
| 机器检查(第 20 章) | 验证器、测试、外部资料 | 只需输出和执行环境 | 可形式化或可核对的任务 | 规格正确;写明检查覆盖哪些性质与情形,结论限于覆盖范围;模型不能修改检查器 | 建立检查器可能很贵;运行成本取决于检查器与任务 | 测试覆盖不全;规格错误;修改或绕过测试(如提前退出、跳过测试) | 数学与编程的规则奖励训练;搜索引擎引用的人工核查(DeepSeek-AI 等,2025;Liu 等,2023) |
| 原则反馈(第 21 章) | 按原则打分的模型 | 用于评估只需输入输出;用于训练(RLAIF)需要能训练模型 | 原则能覆盖的任务 | 评估模型判断可靠;原则冲突时有取舍规则 | 主要是模型调用;用于训练时另有训练计算 | 原则冲突;继承或放大评估模型的错误 | 无害性、摘要与对话;与人类反馈训练比较(Bai 等,2022;Lee 等,2023) |
第 22.1 节引用的文献 17
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
- Michael 等人(2023)Debate Helps Supervise Unreliable Experts
- Khan 等人(2024)Debating with More Persuasive LLMs Leads to More Truthful Answers
- Kenton 等人(2024)On scalable oversight with weak LLMs judging strong LLMs
- Saunders 等人(2022)Self-critiquing models for assisting human evaluators
- McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Sun 等人(2024)Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision
- Wen 等人(2025)Unsupervised Elicitation of Language Models
- Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
- Lightman 等人(2023)Let's Verify Step by Step
- Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
- DeepSeek-AI 等人(2025)DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning
- Liu 等人(2023)Evaluating Verifiability in Generative Search Engines
- Bai 等人(2022)Constitutional AI: Harmlessness from AI Feedback
- Lee 等人(2023)RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
22.2 比较表的读法与局限 #
这张表最适合从你的约束出发,一列一列地筛。
先看所需访问。以记账程序为例:假设写代码的模型和批评模型都只能通过接口调用,你拿不到权重,也不训练任何模型。那么“内部表示”和“弱到强与无监督引出”两行先排除,过程奖励需要训练奖励模型,也排除。思维链监控要看写代码的智能体是否留下推理记录,有就可以考虑。剩下的是任务分解、辩论、模型批评、思维链监控、机器检查和原则反馈。其中两行要打折扣。原则反馈在这里只能当作裁判来评估(第 12 章),不能像第 21 章的实验那样用来训练;任务分解只能由人分块审查,而它的已有证据来自用分解训练摘要模型的做法(第 14.5 节)。这两种用法的效果,都要在你的任务上自己检验。
再看适用任务。代码能运行,结果能核对,所以机器检查很合适;三条需求可以分开检查,所以任务分解合适;代码里的错误能具体指出位置,所以模型批评合适。辩论也可以用,但它现有的正面结果主要来自长文阅读问答,放到代码审查上没有直接证据。
然后拿关键前提对照你的威胁模型(第 10 章)。例如你担心写代码的智能体会修改测试,那么机器检查的前提“模型不能修改检查器”就不能默认成立,必须靠设置来保证:测试放在智能体改不到的地方。即使改不到测试,被测代码和测试一起运行时,智能体仍可能让测试提前退出或被跳过,所以还要把跳过和提前退出算作失败,并核对实际运行了多少个测试(第 20.4 节)。
最后看典型失败方式。挑选组成部分时,最好让它们的失败方式不同:测试漏掉的是没测到的情形,批评模型漏掉的是它不认识的错误,两者如果漏的不是同一批错误,放在一起才有意义。这正是第 22.3 节要讨论的。
这样筛下来,表的用途就清楚了:它帮你缩小范围,告诉你回到哪几章去细读。它不能做的事情同样重要。
第一,概括会丢掉条件。一个格子只有一两句话,原文的条件大多装不下。例如辩论一行写着“正面结果主要来自信息不对称的长文阅读问答”,但裁判是人还是模型、辩手有没有经过训练、和哪种对照比较、预算是否可比,这些都只能回到第 15 章去看。过程奖励一行的证据是“数学题挑选解答”,指的是用奖励模型从多个解答中挑一个,不是用它训练模型(第 19 章)。
第二,不同行的证据不能互相比较。各行的实验用的是不同的任务、不同的模型、不同的对照,做于不同的年份。表里没有任何一列能说明“辩论比模型批评好”或者反过来。要比较两种方法,需要在同一个任务、同样的预算下做对照实验。
第三,成本只写构成,不写大小。“主要是训练计算”在一个任务上可能只要几分钟,在另一个任务上可能要很多天。成本的大小只能在具体任务里估计。
第四,失败方式只列了典型的。表里没写的失败方式不等于不存在。还要记住,各章的实验大多只覆盖“无意出错”这一种威胁模型。被监督的模型如果会针对监督调整行为,表里的许多结论就要重新检验,这是第四部分的主题。
第五,表会过时。它反映的是本书写作时(2026 年)的证据。新的实验可能改变某一格的内容,所以引用时以各章写明的研究和版本为准。
从比较表里读出“某方法有效”或“某方法比另一个好”,是一种容易犯的误用。表中的每一格都只是指向某一章的线索;具体结论要回到那一章的“证据与前提”。
22.3 组合是否有价值 #
既然每种方法都有盲区,一个自然的想法是把几种方法组合起来。组合不是免费的:每多一个组成部分,就多一份成本。所以要问的不是“组合比单一方法好吗”,而是“多花的这份成本,换来的改善够不够”。更严格地说,比较对象应该是“单一方法加上同样多的额外预算”,例如把多出来的钱和时间用来让人多审查一遍。这和第 16.4 节的等时对照是同一个道理。
组合能带来多少改善,取决于三件事:各部分的错误是否相关,用什么规则把各部分的结论合起来,以及各部分是否提供了别人没有的信息。下面用为教学构造的数字说明前两件事,数字由脚本 tools/exercises/ch22_combination.py 算出。
22.3.1 错误是否相关 #
设想两个检查器检查同一批程序。检查器甲遇到真有错的程序时,有 30% 的概率没报警,即漏检率是 30%(第 3.7 节,第 11.6 节);遇到没错的程序时,有 10% 的概率误报。检查器乙的漏检率是 40%,误报率是 5%。合并规则是任一方报警就拦截。
一个有错的程序要溜过去,必须两个检查器都漏检。如果两者的错误互相独立(第 3.1 节),这个概率是两个漏检率相乘:30% × 40% = 12%,比单用甲的 30% 低得多。
但如果两者的错误完全相关,即甲漏掉的每一个错误乙也都漏掉,那么两个都漏检的概率就是 30%,和单用甲一样,乙一点忙也没帮上。
改善的代价落在误报上。一个没错的程序,只要任一方误报就被拦下。错误独立时,误报率是 1 − 0.9 × 0.95 = 14.5%,比单用甲的 10% 高;完全相关时(乙的误报都落在甲误报的那些程序里),误报率仍是 10%。
| 方案 | 漏检率 | 误报率 |
|---|---|---|
| 只用甲 | 30% | 10% |
| 只用乙 | 40% | 5% |
| 甲加乙,错误独立 | 12% | 14.5% |
| 甲加乙,错误完全相关 | 30% | 10% |
真实情况通常在这两种情形之间。错误也可能负相关,即甲漏掉的错误,乙反而更容易发现,那时两个都漏检的比例比独立时还低。要知道落在哪里,不能假定独立,必须在已知有错的样本上实际测量“两个都漏检”的比例。怎样测量、测量时要注意什么,见第 24 章。这里先记住一点:如果两种方法依赖同一个模型,或者用同样的数据训练出来,它们的错误可能相关,组合的收益就会变小。
22.3.2 合并规则 #
“任一方报警就拦截”只是合并规则的一种。另一种常见的是多数同意才放行:有三个检查器时,至少两个说“没问题”才放行。
先看一个特殊的组合:同一个方法重复执行三次。比如让同一个批评模型独立地审查三遍,每遍漏检率 30%、误报率 10%。如果每一遍的错误都只是随机的,像掷硬币一样互不影响,那么:
- 用“任一方报警就拦截”,有错的程序要三遍都漏检才溜过去,概率是 0.3 × 0.3 × 0.3 = 2.7%;没错的程序只要有一遍误报就被拦下,误报率升到 27.1%。
- 用“多数同意才放行”,有错的程序只要至少两遍漏检就能溜过去,漏检率是 21.6%;没错的程序要至少两遍误报才被拦下,误报率降到 2.8%。
两种规则相比,前者漏检低、误报高,后者正好相反。和只审查一遍比(三遍错误互相独立时),前者让漏检从 30% 降到 2.7%,代价是误报从 10% 升到 27.1%;后者两项都更低:漏检从 30% 降到 21.6%,误报从 10% 降到 2.8%。选哪一种,取决于漏检和误报各自的代价。对记账程序来说,漏掉一个“只记一半”的转账错误,代价是账目永久出错;一次误报的代价是你多花几分钟核查。这时偏向“任一方报警就拦截”是合理的。
但如果三遍的结果完全相同,例如批评模型根本不认识某一类漏洞,每一遍都漏掉同样的错误,那么无论用哪种规则,结果都和只审查一遍一样:漏检率 30%,误报率 10%。重复执行只能减少随机的那部分错误,减少不了系统性的那部分。
还有一点容易被忽略:多数投票适合重复测量同一件事,不适合覆盖不同方面的组成部分。如果三个组成部分分别检查余额计算、重复提交和测试是否被改动,那么对某一类问题,往往只有一个部分看得见。用多数投票,这个唯一看得见问题的部分就会被另外两个“没发现问题”的部分否决。
22.3.3 额外信息 #
一个组成部分之所以值得加入,常常是因为它看到了别人看不到的东西。比较表的“所需访问”一列在这里很有用:测试运行代码,看到的是程序在特定情形下的实际行为;批评模型读代码文本,能指出测试没有覆盖的路径;思维链监控读推理记录,能看到行动之前写在推理记录里的计划。Baker 等在编程智能体的强化学习中发现(第 19.4 节),对他们统计的两种作弊(让测试提前退出,或抛出异常让测试被跳过),能读思维链的监控模型发现了其中的 95%,只看行动的只发现了 60%(Baker 等,2025)。这里的百分比是召回率(第 16.3 节),即这两种作弊的实例中被发现的比例。这就是不同访问层带来的额外信息。
反过来,两个模型读同一段代码、用同一个提示,即使名字不同,提供的信息也可能高度重叠;如果它们来自同一系列,错误可能相关(第 24 章)。组合它们,可能花了两份钱,只买到接近一份的信息。
组合的价值来自三处:各部分错误中互不相关的那一部分,与代价相称的合并规则,以及各部分带来的额外信息。三者都要放在新增成本下衡量。
第 22.3 节引用的文献 1
- Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
22.4 消融实验 #
设计好一个组合之后,怎样知道每个组成部分都值得保留?办法是消融实验(ablation):用同一批检验材料,比较完整方案的表现,和分别移除一个组成部分之后的表现。移除某一部分后表现明显变差,说明它有贡献;几乎不变,说明它可能可以省掉。
检验材料要事先准备,而且要知道答案:通常是一批人为埋入已知错误的程序版本,加上一批确认没有错误的版本。前者用来数漏检,后者用来数误报。每种配置都记录三样东西:漏检、误报、成本。
下面是一个为教学构造的例子,数字由同一个脚本算出。完整方案有三个组成部分:测试(含故障注入)T,批评模型 C1,批评模型 C2;C1 和 C2 来自同一个模型系列。检验材料是 100 个埋入已知错误的程序版本,加上 100 个确认没有错误的版本。一个配置里只要有一个部分报警,就算这个配置报了警:在有错的版本上,这算发现了错误;在没有错误的版本上,这算一次误报。成本只记人工:写测试 6 小时,核查 C1 和 C2 报出的问题各 3 小时。
| 配置 | 发现的错误 | 漏掉的错误 | 误报率(100 个没有错误的版本中被报警的比例) | 人工(小时) |
|---|---|---|---|---|
| 完整方案:T + C1 + C2 | 90 | 10 | 29% | 12 |
| 移除 T | 64 | 36 | 27% | 6 |
| 移除 C1 | 88 | 12 | 25% | 9 |
| 移除 C2 | 89 | 11 | 26% | 9 |
| 同时移除 C1 和 C2 | 70 | 30 | 2% | 6 |
先看前四行。移除测试,漏掉的错误从 10 个增加到 36 个,测试的贡献很清楚。移除 C1 只多漏 2 个,移除 C2 只多漏 1 个。在 100 个样本上,1 到 2 个的差别完全可能来自偶然(第 3.4 节),看起来两个批评模型都可以省掉。
可是第五行显示,两个批评模型同时移除,漏掉的错误从 10 个增加到 30 个。原因是 C1 和 C2 高度重叠:在这 100 个错误中,C1 漏掉 43 个,C2 漏掉 46 个,两个都漏掉的有 36 个;如果两者的错误互相独立,预期只有约 20 个(0.43 × 0.46 × 100 ≈ 19.8)。每移除其中一个,另一个就把它的工作几乎全部接过去,所以单独移除哪一个都显得无关紧要。误报率一栏也是这样:在 100 个没有错误的版本中,C1 报警 24 个,C2 报警 23 个,两个都报警的有 20 个。所以单独移除一个,误报率只从 29% 降到 25% 或 26%;两个一起移除,才降到 2%。
这个例子说明了消融实验中一个容易踩的陷阱:对彼此重叠的组成部分,逐个移除会低估它们合起来的贡献。怀疑两个部分可能重叠时,还要把它们一起移除再测一次。在这个例子里,漏检代价高时宜只保留一个批评模型,省下 3 小时,误报率降 3 到 4 个百分点,代价是多漏 1 到 2 个错误;或者把 C2 换成来源不同的模型,再做一次消融实验,看它能否补上 C1 漏掉的那些错误。
消融实验还有几个需要注意的地方:
- 各配置要用同一批检验材料,否则差别可能来自材料不同。
- 结论只覆盖埋入的错误类型。如果埋入的错误里没有“转账写到一半失败”,实验就说明不了哪个部分能发现它(第 3.7 节)。所以结果最好按错误类型分开报告。
- 要同时报告误报和成本。一个部分也许不多发现错误,却可能明显增加或减少误报和人工。
- 被检查的程序不会针对检查调整。埋入的错误是固定的,不会因为某个检查器被移除就改变藏法。如果被监督的模型会针对监督方案调整行为,就需要红队,即专门扮演攻击者、设法让监督失效的一方,针对每种配置专门攻击,消融结果才有意义(第 26.6 节)。
22.5 案例 #
现在为加入转账功能的记账程序设计一个组合方案。条件是:写代码的是一个编程智能体,它会留下推理记录;你能运行代码;能调用一个与写代码的模型来自不同开发者的批评模型;你自己大约有一天的时间。下面的方案是一种示范,不是唯一答案。
转账带来的风险主要有四类:两个账户的余额算错(规则一);同一笔转账重复提交被执行两次(规则二);写入中途失败,出现一边扣了钱、另一边没收到(规则三);以及转账作为一个整体出错:两次写入都完成了,每个账户自己的流水和余额也相符,两边却对不上,例如一边扣了 100 元,另一边只加了 90 元,两个账户的总额在转账前后变了。第三类和第四类的区别是:第三类是写入中途失败、只完成了一半,第四类是两次写入都完成了却彼此不一致。两类都属于第 14 章说的“局部都对但整体错”,只看一个账户都发现不了。另外,既然写代码的是一个能运行测试的智能体,还要防它改动或绕过测试,让测试通过(第 20 章)。
| 组成部分 | 针对的失败方式 | 所需访问 | 成本构成 |
|---|---|---|---|
| 测试与故障注入(第 20 章) | 余额算错;重复提交执行两次;写入中途失败只记一半;转账前后两个账户总额改变 | 代码和执行环境;测试放在智能体改不到的地方,并核对实际运行了哪些测试 | 人工写测试,故障注入最费时;运行很便宜 |
| 分解审查(第 14 章) | 合并步骤出错:两个账户各自正确、合起来错误 | 只需代码 | 人工:按三条规则各查一遍,再单独查转账整体 |
| 模型批评(第 16 章) | 测试没有覆盖的路径,例如并发提交 | 只需代码 | 每次一轮模型调用,加人核查每条意见 |
| 思维链监控(第 19 章) | 推理记录中出现改测试或绕过检查的计划 | 智能体的推理记录 | 每次多一次监控调用,报警时人工查看 |
| 人工随机抽查(第 11.8 节) | 以上各部分都没有报警、但确实有错的地方 | 只需代码 | 人工,按比例抽取 |
几点设计理由。测试的写法是示意:给定几组收入、支出和转账,检查余额;同一笔转账提交两次,检查只执行一次;在“扣款之后、入账之前”人为让写入失败,检查两个账户都回到转账前的状态;任何一次转账前后,两个账户的余额之和不变。批评模型选与写代码的模型不同来源的,是为了减少共同盲点(第 24 章)。思维链监控只用来报警,不把它的结果加进训练智能体的奖励,否则可能出现第 23 章讨论的情况:推理记录里不再出现作弊的计划,作弊行为却没有停止。随机抽查是为了防止“只查报警的地方”留下的空档:如果只看被标出来的位置,所有组成部分共同漏掉的问题就永远没人看。
合并规则。测试失败、分解审查发现问题或监控报警,任一项发生就拦截,不发布,转人工查看。批评模型的意见不直接拦截,要经人核实确实是错误才拦截,因为批评模型会报出并不存在的问题(第 16.5 节),让它直接拦截,正确的代码也会被频繁拦下。这里不用多数投票:五个部分各管不同的失败方式,某一类问题往往只有一个部分看得见,多数投票会让它被否决(第 22.3 节)。发布的条件是:测试全部通过,分解审查(包括对转账整体的检查)没有发现问题,监控没有报警或报警已查明,批评意见逐条核实完毕,随机抽查没有发现问题。
消融实验。准备两套材料。第一套是程序版本:对上面四类失败方式,每类埋入若干个已知错误,另备一批确认正确的版本。第二套用于思维链监控,因为改测试的行为在静态代码里看不出来:让智能体在一个允许改动测试的环境里完成任务,事先写好规则来判定它有没有改测试,例如把它对测试的改动撤销后测试是否失败。然后比较完整方案,与分别移除测试、分解审查、批评模型、监控、随机抽查之后的表现,按失败类型记录漏检、误报和人工时间。分解审查和批评模型都可能发现合并步骤的错误,两者可能重叠,所以再加一个同时移除这两部分的配置。
这个方案不能保证什么。它只针对上面列出的失败方式;消融实验只覆盖埋入的错误类型;所有检验都假定智能体不会专门针对这套方案调整行为。如果担心后一种情况,需要第四部分的方法,尤其是第 26 章的红队评估。
读物 #
本章没有新的读物。比较和组合方法时,回到表 22.1 每一行所指的章节,读那一章的“证据与前提”和读物;需要判断两个组成部分的错误是否相关时,读第 24 章。
练习 #
为第 1 章的记账程序(已加入转账功能)设计一个组合方案。条件与第 22.5 节的示范不同:
- 写代码的模型只能通过接口调用,你拿不到它的推理记录;
- 你只有 3 小时的人工时间;
- 你能用的唯一一个批评模型,与写代码的模型来自同一家开发者的同一系列。
要求:
- 列出方案的每个组成部分,写出它针对的失败方式、所需访问和成本构成(人工、训练、推理分开写)。
- 说明合并规则,并解释为什么选这条规则,而不是另一条。
- 说明在什么条件下,你的方案比只用其中最好的一个组成部分更好。
- 设计一个消融实验,检验每个组成部分是否值得保留:用什么检验材料,比较哪些配置,记录哪些量。
- 写出这个方案不能保证什么。
提示
3 小时很紧,先估算每个部分要花多少人工,再决定能放进几个部分。批评模型与写代码的模型同系列,想一想它在哪类错误上最可能和写代码的模型一起出错,你能用什么不依赖模型的检查去补。
解答
本题没有唯一答案,下面是评分要点和一种可行的答案。
评分要点:
- 每个组成部分都对应至少一种具体的失败方式,没有“为了全面”而加入的部分。
- 所需访问与题目条件一致:没有用到推理记录,没有用到权重或训练。
- 成本按人工、训练、推理分开写,人工总量不超过 3 小时,并说明怎样分配。
- 合并规则与漏检、误报的代价相称,并说明为什么不用多数投票(或者在什么情况下会用)。
- 第 3 问提到错误相关:同系列的批评模型与写代码的模型可能有共同盲点,方案靠什么来降低这种风险。
- 消融实验用已知答案的材料,既数漏检也数误报,并考虑到重叠的组成部分要一起移除。
- 第 5 问至少写出:只覆盖埋入的错误类型;没有考虑模型针对方案调整行为。
一种可行的答案:
- 组成部分。(一)测试与故障注入:针对三条规则和转账总额不变;需要代码和执行环境;人工约 2 小时写测试(其中故障注入约 1 小时),运行几乎不花钱。(二)模型批评:针对测试没覆盖的路径;只需代码;推理是一轮调用,人工约 40 分钟核查意见。(三)人工随机抽查:针对前两部分都没报警的地方;只需代码;人工约 20 分钟。没有训练成本。
- 合并规则:测试失败就拦截;批评意见经人核实后拦截;抽查发现问题就拦截。不用多数投票,因为三部分覆盖不同的失败方式。
- 组合要比只用测试好,需要两个条件。一是测试与批评漏掉的错误不完全重叠;二是批评带来的改善抵得上它新增的约 40 分钟人工和一轮调用,比较对象是“只用测试,再把这 40 分钟用来多写测试或多做人工审查”,而不是只用测试(第 22.3 节)。批评模型与写代码的模型同系列,在写代码的模型自己不认识的错误类型上,批评模型可能也不认识,所以方案把最关键的规则三交给不依赖模型的故障注入测试。
- 消融实验:准备一批按四类失败方式埋入已知错误的版本和一批正确版本;比较完整方案、移除测试、移除批评、移除抽查,再加一个同时移除测试与批评的配置,共五种,按错误类型记录漏检、误报和人工分钟数。加最后一种,是因为测试与批评都可能发现第一、二条规则上的错误,两者可能重叠,只单独移除其中一个,另一个会补上一部分,两者都可能显得用处不大。
- 不能保证:未埋入的错误类型;写代码的模型针对这套检查调整行为;批评模型与写代码的模型共同的盲点中,测试也没覆盖的那部分。
下面是为教学构造的数据。在 50 个埋入已知错误的程序版本上,测试漏掉 20%,批评模型漏掉 50%。合并规则是“任一方报警就拦截”。
- 如果两者的错误互相独立,组合后预期漏掉几个错误?如果完全相关呢?
- 实际统计发现,两者都漏掉的有 8 个。组合后的漏检率是多少?两者的错误更接近独立,还是更接近完全相关?
- 在一批正确的版本上,测试的误报率是 2%,批评模型是 30%。如果两者的误报互相独立,组合后的误报率是多少?这对合并规则的设计意味着什么?
解答
计算用的脚本是 tools/exercises/ch22_combination.py。
- 测试漏掉 50 × 20% = 10 个,批评漏掉 50 × 50% = 25 个。独立时,两者都漏掉的概率是 20% × 50% = 10%,即 5 个。完全相关时,测试漏掉的 10 个批评也都漏掉,组合后仍漏掉 10 个(20%),批评模型没有带来任何改善。
- 组合后的漏检率是 8 ÷ 50 = 16%。它介于独立(10%)和完全相关(20%)之间,更接近完全相关:组合只比单用测试少漏 2 个错误。50 个样本很少,16% 和 20% 的差别也可能来自偶然(第 3 章),要下结论需要更多样本。
- 独立时,组合后的误报率是 1 − (1 − 2%) × (1 − 30%) = 31.4%,几乎全部来自批评模型。如果让批评模型的意见直接拦截,近三分之一的正确版本会被拦下。更合适的做法是让批评意见先经人核实再拦截,并把核实时间算进成本,再看批评模型带来的那 2 个错误是否值得这份成本。
学完能做到 #
- 用监督来源、所需访问、适用任务、关键前提、成本构成、失败方式和已有证据七个维度描述一种监督方法,并说出比较表的概括丢掉了哪些条件。
- 对一个新任务提出组合方案,写清每个组成部分针对的失败方式、所需访问和成本构成,以及合并规则。
- 说明组合在什么条件下比单一方法好:各部分的错误不完全相关,合并规则与漏检和误报的代价相称,各部分带来额外信息,并且改善抵得上新增的成本。
- 设计一个消融实验检验组合方案,知道彼此重叠的组成部分要一起移除再测。
参考文献
- (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本引用于 §22.1
- (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本引用于 §22.1 §22.3
- (2022). Discovering Latent Knowledge in Language Models Without Supervision. International Conference on Learning Representations, 2023. 引用于 §22.1
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §22.1
- (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 引用于 §22.1
- (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 引用于 §22.1
- (2024). Debating with More Persuasive LLMs Leads to More Truthful Answers. International Conference on Machine Learning. 引用于 §22.1
- (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. International Conference on Machine Learning, 2024. 引用于 §22.1
- (2023). Let's Verify Step by Step. International Conference on Learning Representations, 2024. 引用于 §22.1
- (2023). Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023. doi:10.18653/v1/2023.findings-emnlp.467. 引用于 §22.1
- (2023). The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets. Conference on Language Modeling, 2024. 引用于 §22.1
- (2024). LLM Critics Help Catch LLM Bugs. arXiv. 预印本引用于 §22.1
- (2023). Debate Helps Supervise Unreliable Experts. arXiv. 预印本引用于 §22.1
- (2022). Self-critiquing models for assisting human evaluators. arXiv. 预印本引用于 §22.1
- (2024). Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision. Advances in Neural Information Processing Systems. 引用于 §22.1
- (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本引用于 §22.1
- (2021). Recursively Summarizing Books with Human Feedback. arXiv. 预印本引用于 §22.1