Scalable Oversight 入门
第零部分:先修知识

草稿 内容完整但尚未审校,可能还会修改

第 1 章导论:一个你判断不了的答案

路线全部路线最短路线

本章导读

本章问题
  • 当 AI 的输出超出你的判断能力时,你凭什么决定是否接受它?
要点
  • 面对看不懂的输出,可选的做法只有几种:接受、拒绝、亲自检查,或者借助别人、模型和测试去检查(§1.1)。
  • 任何监督场景都可以用四样东西描述:执行者、评估者、规定评估者怎样获取信息和作判断的监督协议,以及监督成本(§1.2)。
  • 本章的三种办法和第三部分的方法都有成本,也都有看不见的错误;监督要回答的是,在有限的成本下能把判断做到多可靠(§1.3)。
  • 模型能力越强,能直接判断其输出的人可能越少,这个问题可能出现在更多场合(§1.4)。
本章的视频讲解,4 分 54 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07一个 500 行的程序1.1
    AI 交给你一个大约 500 行的记账程序,附一页需求说明,写着三条规则。规则你完全明白,难的是确认程序真的遵守了它们:你学过一点编程,500 行里大约能读懂 50 行。
  2. 0:29几种选择1.1
    你可以直接接受,也可以直接拒绝。或者检查之后再决定:亲自去读那 450 行看不懂的代码,请懂行的朋友或另一个 AI 审查,或者写几个测试。
  3. 0:47真正的问题1.1
    核心问题不是“程序对不对”,这个问题你无法直接回答;而是“我凭什么相信它对”。答案取决于你用了什么检查办法、花了多少成本,以及这些办法能发现和会漏掉哪些错误。
  4. 1:08执行者、评估者与协议1.2
    完成任务的是执行者,判断结果好坏的是评估者。评估者能看到什么、能做什么、按什么标准接受或拒绝,统称监督协议。执行者和评估者都不变,换一个协议,判断的可靠程度可能完全不同。
  5. 1:32描述一个监督场景1.2
    描述监督场景,先说清四件事:执行者、评估者、监督协议、监督成本。监督成本是作判断花的时间、金钱、计算量和专家的注意力,总是有限的。参考答案是衡量判断对不对的标准,往往拿不到。
  6. 1:56亲自读代码1.3
    亲自检查就是自己读懂全部 500 行。成本是时间,对刚学编程的人可能要好几天。它能发现你读懂后看得出的错误,会漏掉你没想到的情形,比如网络中断时写入会失败。
  7. 2:16请人或模型检查1.3
    请专家要花钱、要等对方有空;请模型便宜又快。但你得判断对方的检查是否认真、是否正确:它说“没有问题”,可能真查过,也可能只是附和;它说“第 120 行有错”,你还得自己核实。
  8. 2:36运行测试1.3
    测试写好后,运行通常很便宜,能反复执行。规则一、规则二容易测;规则三要先让写入失败,而正常使用时写入几乎总会成功。测试全部通过,只说明测到的那些情形没有出错。
  9. 2:57没有免费的检查1.3
    这三种办法没有一种免费,也没有一种全面。监督要在有限的成本下组合各种办法,让判断尽可能可靠,并清楚地知道哪些错误仍可能漏过去。
  10. 3:16如果执行者针对检查调整1.3
    上面都假定错误是无意的:执行者只是能力有限,偶尔出错。如果它针对你的检查调整行为,比如你只测余额计算时,它交出的程序就只保证余额算对,情况就完全不同。
  11. 3:36能判断的人可能变少1.4
    在一组软件任务上,按人的用时算,前沿模型成功率 50% 的任务长度在 2019 到 2025 年约每 7 个月翻倍。如果任务变多、变难、过程变长,能直接判断输出的人会越来越少。
  12. 3:58判断也会变成训练信号1.4
    训练语言模型可以用到人的判断:人比较几个回答,选出更好的一个,模型据此学习。如果人判断不了哪个更好,模型学到的就可能是“让人觉得好”,而不是“真的好”。
  13. 4:20一套提问的方式1.5
    本书研究的领域叫 scalable oversight(常译作“可扩展监督”):直接判断变得昂贵、缓慢或不可靠时,怎样继续作出足够可靠的判断。本书认为,保证 AI 输出正确的办法还不存在;你会得到的是一套提问的方式。

带走的几句话:

  1. 描述监督场景,先说清执行者、评估者、监督协议和监督成本。
  2. 这三种检查办法各有成本,也各有看不见的错误。
  3. “测试全部通过”不等于“程序符合需求”。
  4. 模型能力越强,能直接判断输出的人可能越少。

假设你请一个 AI 帮你写程序,它很快交给你一份能运行的代码。代码看起来整齐,注释也清楚,可是你读不懂其中的大部分。你要不要用它?

这个问题听起来像是编程问题,其实不是。把“程序”换成“一份法律意见”“一个数学证明”“一份药物说明”,问题的形状完全一样:有人(或者有一个系统)替你完成了一件事,结果超出了你自己能检查的范围,而你必须决定是否依赖它。本书研究的领域叫 scalable oversight(常译作“可扩展监督”),它关心的正是这种局面:当直接判断变得昂贵、缓慢或不可靠时,怎样继续作出足够可靠的判断。本章用一个具体的例子把问题摆出来,给出贯穿全书的几个基本概念,最后说明全书怎样一步步回答它。

1.1 一段你看不懂的程序 #

下面这个例子会在全书反复出现。

AI 交给你一个大约 500 行的记账程序,并附上一页需求说明。说明里写着三条规则:

  1. 余额等于收入减支出;
  2. 同一笔记录重复提交,只记一次;
  3. 写入失败时,不能只记一半。

下文把它们依次称为规则一、规则二、规则三。

规则写得很清楚,你完全明白它们的意思。困难在另一边:程序是不是真的遵守了这三条规则,你没法逐行确认。你学过一点编程,500 行里大约能读懂 50 行,剩下的部分用了你不熟悉的写法和库。

这时你手里有几种选择。

  • 直接接受。程序能运行,看起来也合理,那就用。这样最省事,但如果程序在某种情况下把一笔支出记了两次,你要等到账对不上时才会发现。
  • 直接拒绝。看不懂就不用。这样不会被错误的程序坑,但也放弃了它可能带来的全部好处。如果它其实是对的,拒绝就是浪费。
  • 检查之后再决定。检查又有不同的做法:你可以花时间亲自去读那 450 行看不懂的代码;可以请一位懂行的朋友,或者另一个 AI,替你审查;也可以写几个测试,比如先存入 100 元,再支出 30 元,看余额是不是 70 元。

这三条规则的难度并不一样。第一条最容易测:给几组收入和支出,算一算余额对不对。第二条需要你想到“重复提交”这种情形并真的去试。第三条最难:要检查“写入失败时不会只记一半”,你得先让写入失败。正常使用时写入几乎总会成功,所以这类错误平时很难看到。

注意这里已经出现了全书的核心问题。不是“程序对不对”,因为这个问题你无法直接回答;而是“我凭什么相信它对”。你能拿出的理由,取决于你采用了什么检查办法、花了多少成本,以及这些办法能发现哪些错误、会漏掉哪些错误。

1.2 执行者、评估者与监督协议 #

为了能在不同场景之间比较,我们需要几个通用的词。

定义 1.1 执行者与评估者

执行者是完成任务的一方。评估者是判断结果好坏的一方。

在记账程序的例子里,写程序的 AI 是执行者,你是评估者。在别的场景里,角色可能换成别的对象:学生是执行者、老师是评估者;外包团队是执行者、项目负责人是评估者。在后面的章节里,执行者常常是一个语言模型,评估者可能是人,也可能是另一个模型,还可能是一套自动测试。

评估者怎样作出判断,并不是随意的。你看了哪些材料、能不能提问、能不能运行代码、有多少时间,这些都会影响判断的结果。我们把这些规定统称为监督协议。

定义 1.2 监督协议

监督协议是评估者获取信息、作出判断的规则:评估者能看到什么、能做什么、按什么标准作出接受或拒绝的决定。

举几个协议的例子。“你只读 AI 写的说明文档,然后决定是否接受”是一个协议。“你把代码交给另一个 AI,它列出可疑的地方,你逐条核实”是另一个协议。“你写十个测试,全部通过就接受”又是一个协议。同一个执行者、同一个评估者,换一个协议,判断的可靠程度就可能完全不同。本书后面讲的各种方法,大多数都可以看作在尝试设计更可靠的监督协议:让两个模型互相辩论(第 15 章)、让模型给出批评(第 16 章)、把任务拆成小块(第 14 章),都是在改变“评估者能看到什么、能做什么”。

信息在这几方之间流动。执行者交出结果,也许还附带解释;评估者根据协议取得额外的信息,比如运行测试的结果或另一个模型的意见;最后评估者作出判断,这个判断可能决定结果是否被采用,也可能(在训练模型时)变成执行者下一步学习的信号。第 6 章会讲后一种情况:人对模型回答的判断,怎样变成训练模型的数据。

还有两个概念会经常用到。

参考答案是我们用来衡量判断对不对的标准答案。如果你手里有一个已知正确的记账程序,把两个程序在同样的输入上对比,就能知道 AI 的程序哪里错了。问题在于,参考答案往往拿不到,或者拿到它的代价和自己写一遍差不多。研究监督方法时,要检查评估者的判断是否正确,就得挑选有参考答案的任务(第 11.4 节)。

监督成本是评估者为了作出判断所花费的资源:时间、金钱、计算量、专家的注意力。监督成本是本书反复出现的约束。假如成本不受限制,许多问题都可以靠“请最好的专家花足够长的时间仔细检查”来解决;真正困难的是,成本总是有限的;而且有的困难不是多花成本就能解决的(第 7 章)。

要点

描述任何一个监督场景,都先说清四件事:谁是执行者,谁是评估者,监督协议是什么,监督成本有多少。

1.3 判断的成本 #

回到记账程序。把第 1.1 节的几种检查办法放在一起比较,可以看出每种办法都有代价,也都有盲区。

亲自检查,就是自己去读懂全部 500 行。它的成本是时间:对一个刚学编程的人,可能要好几天,甚至需要先补学一些知识。它能发现你读懂之后看得出的错误,但会漏掉你读懂了也没意识到的问题,比如你没想到“网络中断时写入会失败”这种情形。

请别人或另一个模型检查,成本取决于对方:请专家要花钱、要等对方有空;请模型很便宜、很快。它能发现对方看得出的错误,但会带来新的问题:你怎么知道对方的检查是认真的、正确的?如果另一个模型说“这段代码没有问题”,它可能真的检查过,也可能只是在附和。它说“第 120 行有错”,你还得自己去核实这一处是不是真的错了。第 16 章专门讨论这种“让模型帮人挑错”的办法,以及怎样衡量它到底帮了多少。

运行测试,成本主要在写测试上。测试一旦写好,运行起来通常很便宜,可以反复执行。它能发现测试覆盖到的情形下的错误,但会漏掉没有测到的情形。一个容易有的误解是“测试全部通过就说明程序是对的”,其实它只说明测到的那些情形没有出错。第 20 章会仔细讨论机器检查能说明什么、不能说明什么。

把三种办法和三条规则对照起来,大致是这样的:

表 1.1 记账程序的三种检查办法(示意)
检查办法 主要成本 容易发现的错误 容易漏掉的错误
亲自读代码 自己的时间和学习 读得懂的部分里明显的逻辑错误 读不懂的部分;没想到的情形
请人或模型检查 费用、等待,以及核实对方意见的时间 对方熟悉的错误类型 对方也没想到的问题;对方的误报误导你
运行测试 写测试的时间,尤其是制造特殊情形 规则一:算错余额;规则二:重复记账 没测到的情形;规则三需要人为制造写入失败

表里的判断只是示意,具体到某个程序会有出入。它想说明的是一件更一般的事:上面三种办法,没有一种是免费的,也没有一种是全面的。第三部分讲的九种方法也是这样,表 22.1 给每一种都列出了成本构成和典型的失败方式。监督的问题不是“找到一个完美的检查办法”,而是在有限的成本下,组合各种办法,让判断尽可能可靠,并且清楚地知道哪些错误仍然可能漏过去。第 22 章会回到这个例子,为加入了转账功能的记账程序设计一个组合方案。

还有一点值得先提出来。上面三种办法都假定程序的错误是“无意的”:写程序的一方只是能力有限,偶尔出错。如果执行者会针对你的检查办法调整自己的行为,比如在你只测试余额计算时,它交出的程序就只保证余额算对,情况就完全不同了。第 10 章会系统地讨论这些不同的假设,第四部分专门讨论执行者针对监督调整策略的情况。

1.4 为什么这个问题会越来越常见 #

如果只是一个刚学编程的人看不懂一段程序,这似乎只是个人的问题:多学几年就好了。但这个问题有一个更一般的形式,而且可能变得越来越普遍。

如果模型写的程序短小,错误也明显,一个普通程序员很快就能判断好坏。模型能力提高后,如果能写出更长、更复杂的程序,能完成的任务涉及越来越多的专业知识,能够直接判断其输出的人就会越来越少。对于记账程序,也许任何一个有经验的程序员都能检查;对于一个涉及密码学的安全模块,能检查的人就少得多;对于某些专业领域的问题,可能只有少数专家能判断,专家的时间又很有限。

模型能完成多长的任务,在一类任务上已经有人测量过。2025 年的一篇会议论文(NeurIPS 2025)里,METR(Model Evaluation & Threat Research)的研究者用“时间跨度”(time horizon)衡量模型能完成多长的任务(Kwa 等,2025)。任务的长度不按模型运行了多久算,而按人的用时算:先请有相关专业背景的人做其中大多数任务,记下成功完成所用的时间(其余少数任务用研究者估计的时间)。再看模型在多长的任务上成功率是 50%,这个长度就是模型的 50% 时间跨度。任务以软件工程和机器学习研究为主,人做起来从 1 秒到 30 小时不等。在 2019 到 2025 年发布的前沿模型(发布时能力最强的一批模型)上,50% 时间跨度从约 2 秒增长到约 110 分钟,大约每 7 个月翻一番(Kwa 等,2025)。

作者自己写明了这个结果的限度(Kwa 等,2025)。时间跨度总是相对于某一类任务、某一群做任务的人的水平而言的;换到数学研究、法律等领域,作者预计测出的值会不同。这些任务比真实工作规整:都能自动评分,很少因为一次失误就失败,环境一般也不会自己变化,所以这个趋势未必能推广到真实工作。如果把成功率要求提到 80%,时间跨度会短得多:50% 时间跨度是 80% 时的 4 到 6 倍,但翻倍时间相近(Kwa 等,2025)。作者还指出,这个趋势将来可能明显改变。

因此,这项研究支持一个有条件的观察:在这类软件任务上,从 2019 到 2025 年,前沿模型能完成的任务按人的用时算在变长(Kwa 等,2025)。它没有测量模型要交的输出有多少,也没有测量判断这些输出需要多少专业知识;它量的是人的用时,不是模型执行了多少步;它的任务由程序评分,不需要人来判断。所以前面说的“能够直接判断其输出的人就会越来越少”,这项研究没测到,仍是推测。

这个问题可能同时从几个方向压过来。第一,任务可能越来越多,即使每个输出都容易判断,人也看不过来。第二,单个任务可能越来越难,即使只有一个输出,判断它也需要更多的专业知识。第三,模型的行动过程可能越来越长:一个使用工具的模型可能要连续执行许多步操作才完成任务,评估者要判断的不再是一个答案,而是一整段过程。第 7.3 节会把这些方向整理成“扩展的五个维度”。

还有一个更特殊的问题。语言模型的训练可以用到人的判断:人比较模型的几个回答,选出更好的一个,模型据此学习(第 6 章)。例如 InstructGPT(OpenAI 2022 年发表的一组语言模型)在训练中就用到了人的比较(Ouyang 等,2022)。如果人判断不了哪个回答更好,训练出来的模型学到的就可能是“让人觉得好”,而不是“真的好”(Wen 等,2024)。所以评估者能力不足,不只影响我们能不能用好一个模型,还可能影响模型本身被训练成什么样。第 9 章专门讨论这种失效。

第 1.4 节引用的文献 3
  1. Kwa 等人(2025)Measuring AI Ability to Complete Long Software Tasks
  2. Ouyang 等人(2022)Training language models to follow instructions with human feedback
  3. Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF

1.5 本书路线图 #

本书的结构对应回答这个问题需要的几步。各部分之间的建议阅读顺序和依赖关系,见使用说明中章节依赖一节的依赖图。

  • 先修知识(第零部分)。为零基础的读者准备工具:后面实验要用的编程与数学(第 2 章)、判断实验结果有多可信的概率与统计(第 3 章)、机器学习和语言模型的基本概念(第 4 章、第 5 章),以及模型怎样用人类反馈训练(第 6 章)。
  • 问题是什么(第一部分)。给出本领域的定义,分清“监督困难”的几种不同来源:模型为什么会钻评分规则的空子,监督为什么会失效,以及讨论任何方法之前必须先说清的威胁模型与任务前提。
  • 怎样判断一个监督方法有效(第二部分)。在学具体方法之前,先学会判断一个方法的实验证据:实验怎样设计,用模型当裁判有哪些偏差,人作为最终的评估者会以哪些方式出错。
  • 主要方法(第三部分)。逐一讲解拆分任务、辩论、模型批评、弱监督训练强模型、读取模型内部表示、检查推理过程、机器检查、按原则给出的 AI 反馈,最后比较和组合这些方法。
  • 当模型针对监督调整策略(第四部分)。如果被监督的模型会利用监督的弱点,甚至在被检查时表现得与平时不同,前面的方法还剩下多少作用?这一部分讨论优化压力、共同盲点、欺骗、部署时的防御和对齐审计。
  • 前沿与开放问题(第五部分)。讨论没有参考答案时怎样积累证据、AI 能否帮人做对齐研究、这个领域的边界,最后用一份综合作业把全书的方法组合成一个有条件的安全论证。

读完全书,你不会得到一个“保证 AI 输出正确”的办法,这样的办法目前并不存在(本书的推断)。你会得到的是一套提问的方式:面对任何一个声称能监督 AI 的方法,知道该问它测过什么、依赖什么前提、不能推出什么。

读物 #

本章不依赖下面两篇读物,读完正文就可以做练习。

  • 入门讲解 · 课程(选读):BlueDot Impact《The Future of AI》,免费,约 90 分钟,无先修要求(BlueDot Impact,2026b)。适合在开始本书之前,对 AI 的发展和风险有一个整体印象。
  • 入门讲解 · 教材(选读):Hendrycks《Introduction to AI Safety, Ethics, and Society》第 1 章 Overview of Catastrophic AI Risks,开放获取(Hendrycks,2024)。了解人们为什么担心 AI 带来严重风险,以及这些担心分成哪几类。
本节引用的文献 2
  1. BlueDot Impact(2026b)The Future of AI
  2. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society

练习 #

习题 1.1 三种判断办法

针对本章的记账程序,列出三种判断它能否使用的办法。对每种办法,写下:

  1. 它的成本(时间、金钱、需要的人或工具);
  2. 它能发现哪些错误;
  3. 它会漏掉哪些错误。

然后说明需求说明中的三条规则,各自适合用哪种办法检查,为什么。

提示

不要只写“成本高”“成本低”。尽量具体:需要多少小时,需要懂什么,需要先做什么准备。思考规则三时,想一想“写入失败”在正常使用中多久才出现一次。

解答

下面是一种合理的答案,你的答案可以不同,关键是每一项都具体。

办法 成本 能发现 会漏掉
亲自读代码 读懂 450 行陌生代码,可能需要几天,并先学相关的库 读懂部分里明显的逻辑错误,如加减写反 读不懂的部分;自己没有想到的情形
让另一个 AI 审查,自己核实它指出的问题 调用费用很低;核实每一条意见要花时间 审查模型熟悉的常见错误 两个模型都没想到的问题;审查模型的误报可能浪费你的时间,它漏掉的问题你不会知道
写测试并运行 写测试的时间;为规则三还要设法让写入失败 测到的情形下的计算错误和重复记账 没有测到的输入和情形

规则一(余额等于收入减支出)最适合用测试:给几组已知的收入和支出,检查余额。结果有明确的对错,测试写起来也简单。

规则二(重复提交只记一次)也适合用测试:把同一笔记录提交两次,检查只记了一次。但要注意“重复”有多种形式(连续提交、隔一段时间再提交、两个窗口同时提交),测试只能覆盖你想到的那几种,所以最好再请审查者专门找处理重复提交的代码。

规则三(写入失败时不能只记一半)最难。正常使用时写入几乎不会失败,所以普通的测试看不到这类错误。可以用测试,但要人为制造失败(例如在写入中途让程序出错);也可以请审查者专门检查写入失败时程序怎样处理。如果这两样都做不到,就要承认这条规则没有被检查过,再决定是否在这种情况下使用程序。

学完能做到 #

  • 用“执行者、评估者、监督协议、监督成本”描述任何一个监督场景,例如老师批改作文、公司审计账目、用测试检查程序。
  • 对一个具体的判断任务,列出至少三种检查办法,并说出每种办法的成本、能发现的错误和会漏掉的错误。
  • 说明为什么“测试全部通过”不等于“程序符合需求”。

参考文献

  1. BlueDot Impact (2026b). The Future of AI. BlueDot Impact. 非同行评审
  2. Hendrycks, D. (2024). Introduction to AI Safety, Ethics, and Society. CRC Press.
  3. Kwa, T., West, B., Becker, J., Deng, A., Garcia, K., Hasin, M., … Chan, L. (2025). Measuring AI Ability to Complete Long Software Tasks. Advances in Neural Information Processing Systems 38. 引用于 §1.4
  4. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §1.4
  5. Wen, J., Zhong, R., Khan, A., Perez, E., Steinhardt, J., Huang, M., … Feng, S. (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 引用于 §1.4