草稿 内容完整但尚未审校,可能还会修改
第 1 章导论:一个你判断不了的答案
路线全部路线最短路线
本章导读
文字稿
- 0:07一个 500 行的程序1.1
AI 交给你一个大约 500 行的记账程序,附一页需求说明,写着三条规则。规则你完全明白,难的是确认程序真的遵守了它们:你学过一点编程,500 行里大约能读懂 50 行。 - 0:29几种选择1.1
你可以直接接受,也可以直接拒绝。或者检查之后再决定:亲自去读那 450 行看不懂的代码,请懂行的朋友或另一个 AI 审查,或者写几个测试。 - 0:47真正的问题1.1
核心问题不是“程序对不对”,这个问题你无法直接回答;而是“我凭什么相信它对”。答案取决于你用了什么检查办法、花了多少成本,以及这些办法能发现和会漏掉哪些错误。 - 1:08执行者、评估者与协议1.2
完成任务的是执行者,判断结果好坏的是评估者。评估者能看到什么、能做什么、按什么标准接受或拒绝,统称监督协议。执行者和评估者都不变,换一个协议,判断的可靠程度可能完全不同。 - 1:32描述一个监督场景1.2
描述监督场景,先说清四件事:执行者、评估者、监督协议、监督成本。监督成本是作判断花的时间、金钱、计算量和专家的注意力,总是有限的。参考答案是衡量判断对不对的标准,往往拿不到。 - 1:56亲自读代码1.3
亲自检查就是自己读懂全部 500 行。成本是时间,对刚学编程的人可能要好几天。它能发现你读懂后看得出的错误,会漏掉你没想到的情形,比如网络中断时写入会失败。 - 2:16请人或模型检查1.3
请专家要花钱、要等对方有空;请模型便宜又快。但你得判断对方的检查是否认真、是否正确:它说“没有问题”,可能真查过,也可能只是附和;它说“第 120 行有错”,你还得自己核实。 - 2:36运行测试1.3
测试写好后,运行通常很便宜,能反复执行。规则一、规则二容易测;规则三要先让写入失败,而正常使用时写入几乎总会成功。测试全部通过,只说明测到的那些情形没有出错。 - 2:57没有免费的检查1.3
这三种办法没有一种免费,也没有一种全面。监督要在有限的成本下组合各种办法,让判断尽可能可靠,并清楚地知道哪些错误仍可能漏过去。 - 3:16如果执行者针对检查调整1.3
上面都假定错误是无意的:执行者只是能力有限,偶尔出错。如果它针对你的检查调整行为,比如你只测余额计算时,它交出的程序就只保证余额算对,情况就完全不同。 - 3:36能判断的人可能变少1.4
在一组软件任务上,按人的用时算,前沿模型成功率 50% 的任务长度在 2019 到 2025 年约每 7 个月翻倍。如果任务变多、变难、过程变长,能直接判断输出的人会越来越少。 - 3:58判断也会变成训练信号1.4
训练语言模型可以用到人的判断:人比较几个回答,选出更好的一个,模型据此学习。如果人判断不了哪个更好,模型学到的就可能是“让人觉得好”,而不是“真的好”。 - 4:20一套提问的方式1.5
本书研究的领域叫 scalable oversight(常译作“可扩展监督”):直接判断变得昂贵、缓慢或不可靠时,怎样继续作出足够可靠的判断。本书认为,保证 AI 输出正确的办法还不存在;你会得到的是一套提问的方式。
带走的几句话:
- 描述监督场景,先说清执行者、评估者、监督协议和监督成本。
- 这三种检查办法各有成本,也各有看不见的错误。
- “测试全部通过”不等于“程序符合需求”。
- 模型能力越强,能直接判断输出的人可能越少。
假设你请一个 AI 帮你写程序,它很快交给你一份能运行的代码。代码看起来整齐,注释也清楚,可是你读不懂其中的大部分。你要不要用它?
这个问题听起来像是编程问题,其实不是。把“程序”换成“一份法律意见”“一个数学证明”“一份药物说明”,问题的形状完全一样:有人(或者有一个系统)替你完成了一件事,结果超出了你自己能检查的范围,而你必须决定是否依赖它。本书研究的领域叫 scalable oversight(常译作“可扩展监督”),它关心的正是这种局面:当直接判断变得昂贵、缓慢或不可靠时,怎样继续作出足够可靠的判断。本章用一个具体的例子把问题摆出来,给出贯穿全书的几个基本概念,最后说明全书怎样一步步回答它。
1.1 一段你看不懂的程序 #
下面这个例子会在全书反复出现。
AI 交给你一个大约 500 行的记账程序,并附上一页需求说明。说明里写着三条规则:
- 余额等于收入减支出;
- 同一笔记录重复提交,只记一次;
- 写入失败时,不能只记一半。
下文把它们依次称为规则一、规则二、规则三。
规则写得很清楚,你完全明白它们的意思。困难在另一边:程序是不是真的遵守了这三条规则,你没法逐行确认。你学过一点编程,500 行里大约能读懂 50 行,剩下的部分用了你不熟悉的写法和库。
这时你手里有几种选择。
- 直接接受。程序能运行,看起来也合理,那就用。这样最省事,但如果程序在某种情况下把一笔支出记了两次,你要等到账对不上时才会发现。
- 直接拒绝。看不懂就不用。这样不会被错误的程序坑,但也放弃了它可能带来的全部好处。如果它其实是对的,拒绝就是浪费。
- 检查之后再决定。检查又有不同的做法:你可以花时间亲自去读那 450 行看不懂的代码;可以请一位懂行的朋友,或者另一个 AI,替你审查;也可以写几个测试,比如先存入 100 元,再支出 30 元,看余额是不是 70 元。
这三条规则的难度并不一样。第一条最容易测:给几组收入和支出,算一算余额对不对。第二条需要你想到“重复提交”这种情形并真的去试。第三条最难:要检查“写入失败时不会只记一半”,你得先让写入失败。正常使用时写入几乎总会成功,所以这类错误平时很难看到。
注意这里已经出现了全书的核心问题。不是“程序对不对”,因为这个问题你无法直接回答;而是“我凭什么相信它对”。你能拿出的理由,取决于你采用了什么检查办法、花了多少成本,以及这些办法能发现哪些错误、会漏掉哪些错误。
1.2 执行者、评估者与监督协议 #
为了能在不同场景之间比较,我们需要几个通用的词。
执行者是完成任务的一方。评估者是判断结果好坏的一方。
在记账程序的例子里,写程序的 AI 是执行者,你是评估者。在别的场景里,角色可能换成别的对象:学生是执行者、老师是评估者;外包团队是执行者、项目负责人是评估者。在后面的章节里,执行者常常是一个语言模型,评估者可能是人,也可能是另一个模型,还可能是一套自动测试。
评估者怎样作出判断,并不是随意的。你看了哪些材料、能不能提问、能不能运行代码、有多少时间,这些都会影响判断的结果。我们把这些规定统称为监督协议。
监督协议是评估者获取信息、作出判断的规则:评估者能看到什么、能做什么、按什么标准作出接受或拒绝的决定。
举几个协议的例子。“你只读 AI 写的说明文档,然后决定是否接受”是一个协议。“你把代码交给另一个 AI,它列出可疑的地方,你逐条核实”是另一个协议。“你写十个测试,全部通过就接受”又是一个协议。同一个执行者、同一个评估者,换一个协议,判断的可靠程度就可能完全不同。本书后面讲的各种方法,大多数都可以看作在尝试设计更可靠的监督协议:让两个模型互相辩论(第 15 章)、让模型给出批评(第 16 章)、把任务拆成小块(第 14 章),都是在改变“评估者能看到什么、能做什么”。
信息在这几方之间流动。执行者交出结果,也许还附带解释;评估者根据协议取得额外的信息,比如运行测试的结果或另一个模型的意见;最后评估者作出判断,这个判断可能决定结果是否被采用,也可能(在训练模型时)变成执行者下一步学习的信号。第 6 章会讲后一种情况:人对模型回答的判断,怎样变成训练模型的数据。
还有两个概念会经常用到。
参考答案是我们用来衡量判断对不对的标准答案。如果你手里有一个已知正确的记账程序,把两个程序在同样的输入上对比,就能知道 AI 的程序哪里错了。问题在于,参考答案往往拿不到,或者拿到它的代价和自己写一遍差不多。研究监督方法时,要检查评估者的判断是否正确,就得挑选有参考答案的任务(第 11.4 节)。
监督成本是评估者为了作出判断所花费的资源:时间、金钱、计算量、专家的注意力。监督成本是本书反复出现的约束。假如成本不受限制,许多问题都可以靠“请最好的专家花足够长的时间仔细检查”来解决;真正困难的是,成本总是有限的;而且有的困难不是多花成本就能解决的(第 7 章)。
描述任何一个监督场景,都先说清四件事:谁是执行者,谁是评估者,监督协议是什么,监督成本有多少。
1.3 判断的成本 #
回到记账程序。把第 1.1 节的几种检查办法放在一起比较,可以看出每种办法都有代价,也都有盲区。
亲自检查,就是自己去读懂全部 500 行。它的成本是时间:对一个刚学编程的人,可能要好几天,甚至需要先补学一些知识。它能发现你读懂之后看得出的错误,但会漏掉你读懂了也没意识到的问题,比如你没想到“网络中断时写入会失败”这种情形。
请别人或另一个模型检查,成本取决于对方:请专家要花钱、要等对方有空;请模型很便宜、很快。它能发现对方看得出的错误,但会带来新的问题:你怎么知道对方的检查是认真的、正确的?如果另一个模型说“这段代码没有问题”,它可能真的检查过,也可能只是在附和。它说“第 120 行有错”,你还得自己去核实这一处是不是真的错了。第 16 章专门讨论这种“让模型帮人挑错”的办法,以及怎样衡量它到底帮了多少。
运行测试,成本主要在写测试上。测试一旦写好,运行起来通常很便宜,可以反复执行。它能发现测试覆盖到的情形下的错误,但会漏掉没有测到的情形。一个容易有的误解是“测试全部通过就说明程序是对的”,其实它只说明测到的那些情形没有出错。第 20 章会仔细讨论机器检查能说明什么、不能说明什么。
把三种办法和三条规则对照起来,大致是这样的:
| 检查办法 | 主要成本 | 容易发现的错误 | 容易漏掉的错误 |
|---|---|---|---|
| 亲自读代码 | 自己的时间和学习 | 读得懂的部分里明显的逻辑错误 | 读不懂的部分;没想到的情形 |
| 请人或模型检查 | 费用、等待,以及核实对方意见的时间 | 对方熟悉的错误类型 | 对方也没想到的问题;对方的误报误导你 |
| 运行测试 | 写测试的时间,尤其是制造特殊情形 | 规则一:算错余额;规则二:重复记账 | 没测到的情形;规则三需要人为制造写入失败 |
表里的判断只是示意,具体到某个程序会有出入。它想说明的是一件更一般的事:上面三种办法,没有一种是免费的,也没有一种是全面的。第三部分讲的九种方法也是这样,表 22.1 给每一种都列出了成本构成和典型的失败方式。监督的问题不是“找到一个完美的检查办法”,而是在有限的成本下,组合各种办法,让判断尽可能可靠,并且清楚地知道哪些错误仍然可能漏过去。第 22 章会回到这个例子,为加入了转账功能的记账程序设计一个组合方案。
还有一点值得先提出来。上面三种办法都假定程序的错误是“无意的”:写程序的一方只是能力有限,偶尔出错。如果执行者会针对你的检查办法调整自己的行为,比如在你只测试余额计算时,它交出的程序就只保证余额算对,情况就完全不同了。第 10 章会系统地讨论这些不同的假设,第四部分专门讨论执行者针对监督调整策略的情况。
1.4 为什么这个问题会越来越常见 #
如果只是一个刚学编程的人看不懂一段程序,这似乎只是个人的问题:多学几年就好了。但这个问题有一个更一般的形式,而且可能变得越来越普遍。
如果模型写的程序短小,错误也明显,一个普通程序员很快就能判断好坏。模型能力提高后,如果能写出更长、更复杂的程序,能完成的任务涉及越来越多的专业知识,能够直接判断其输出的人就会越来越少。对于记账程序,也许任何一个有经验的程序员都能检查;对于一个涉及密码学的安全模块,能检查的人就少得多;对于某些专业领域的问题,可能只有少数专家能判断,专家的时间又很有限。
模型能完成多长的任务,在一类任务上已经有人测量过。2025 年的一篇会议论文(NeurIPS 2025)里,METR(Model Evaluation & Threat Research)的研究者用“时间跨度”(time horizon)衡量模型能完成多长的任务(Kwa 等,2025)。任务的长度不按模型运行了多久算,而按人的用时算:先请有相关专业背景的人做其中大多数任务,记下成功完成所用的时间(其余少数任务用研究者估计的时间)。再看模型在多长的任务上成功率是 50%,这个长度就是模型的 50% 时间跨度。任务以软件工程和机器学习研究为主,人做起来从 1 秒到 30 小时不等。在 2019 到 2025 年发布的前沿模型(发布时能力最强的一批模型)上,50% 时间跨度从约 2 秒增长到约 110 分钟,大约每 7 个月翻一番(Kwa 等,2025)。
作者自己写明了这个结果的限度(Kwa 等,2025)。时间跨度总是相对于某一类任务、某一群做任务的人的水平而言的;换到数学研究、法律等领域,作者预计测出的值会不同。这些任务比真实工作规整:都能自动评分,很少因为一次失误就失败,环境一般也不会自己变化,所以这个趋势未必能推广到真实工作。如果把成功率要求提到 80%,时间跨度会短得多:50% 时间跨度是 80% 时的 4 到 6 倍,但翻倍时间相近(Kwa 等,2025)。作者还指出,这个趋势将来可能明显改变。
因此,这项研究支持一个有条件的观察:在这类软件任务上,从 2019 到 2025 年,前沿模型能完成的任务按人的用时算在变长(Kwa 等,2025)。它没有测量模型要交的输出有多少,也没有测量判断这些输出需要多少专业知识;它量的是人的用时,不是模型执行了多少步;它的任务由程序评分,不需要人来判断。所以前面说的“能够直接判断其输出的人就会越来越少”,这项研究没测到,仍是推测。
这个问题可能同时从几个方向压过来。第一,任务可能越来越多,即使每个输出都容易判断,人也看不过来。第二,单个任务可能越来越难,即使只有一个输出,判断它也需要更多的专业知识。第三,模型的行动过程可能越来越长:一个使用工具的模型可能要连续执行许多步操作才完成任务,评估者要判断的不再是一个答案,而是一整段过程。第 7.3 节会把这些方向整理成“扩展的五个维度”。
还有一个更特殊的问题。语言模型的训练可以用到人的判断:人比较模型的几个回答,选出更好的一个,模型据此学习(第 6 章)。例如 InstructGPT(OpenAI 2022 年发表的一组语言模型)在训练中就用到了人的比较(Ouyang 等,2022)。如果人判断不了哪个回答更好,训练出来的模型学到的就可能是“让人觉得好”,而不是“真的好”(Wen 等,2024)。所以评估者能力不足,不只影响我们能不能用好一个模型,还可能影响模型本身被训练成什么样。第 9 章专门讨论这种失效。
第 1.4 节引用的文献 3
- Kwa 等人(2025)Measuring AI Ability to Complete Long Software Tasks
- Ouyang 等人(2022)Training language models to follow instructions with human feedback
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
1.5 本书路线图 #
本书的结构对应回答这个问题需要的几步。各部分之间的建议阅读顺序和依赖关系,见使用说明中章节依赖一节的依赖图。
- 先修知识(第零部分)。为零基础的读者准备工具:后面实验要用的编程与数学(第 2 章)、判断实验结果有多可信的概率与统计(第 3 章)、机器学习和语言模型的基本概念(第 4 章、第 5 章),以及模型怎样用人类反馈训练(第 6 章)。
- 问题是什么(第一部分)。给出本领域的定义,分清“监督困难”的几种不同来源:模型为什么会钻评分规则的空子,监督为什么会失效,以及讨论任何方法之前必须先说清的威胁模型与任务前提。
- 怎样判断一个监督方法有效(第二部分)。在学具体方法之前,先学会判断一个方法的实验证据:实验怎样设计,用模型当裁判有哪些偏差,人作为最终的评估者会以哪些方式出错。
- 主要方法(第三部分)。逐一讲解拆分任务、辩论、模型批评、弱监督训练强模型、读取模型内部表示、检查推理过程、机器检查、按原则给出的 AI 反馈,最后比较和组合这些方法。
- 当模型针对监督调整策略(第四部分)。如果被监督的模型会利用监督的弱点,甚至在被检查时表现得与平时不同,前面的方法还剩下多少作用?这一部分讨论优化压力、共同盲点、欺骗、部署时的防御和对齐审计。
- 前沿与开放问题(第五部分)。讨论没有参考答案时怎样积累证据、AI 能否帮人做对齐研究、这个领域的边界,最后用一份综合作业把全书的方法组合成一个有条件的安全论证。
读完全书,你不会得到一个“保证 AI 输出正确”的办法,这样的办法目前并不存在(本书的推断)。你会得到的是一套提问的方式:面对任何一个声称能监督 AI 的方法,知道该问它测过什么、依赖什么前提、不能推出什么。
读物 #
本章不依赖下面两篇读物,读完正文就可以做练习。
- 入门讲解 · 课程(选读):BlueDot Impact《The Future of AI》,免费,约 90 分钟,无先修要求(BlueDot Impact,2026b)。适合在开始本书之前,对 AI 的发展和风险有一个整体印象。
- 入门讲解 · 教材(选读):Hendrycks《Introduction to AI Safety, Ethics, and Society》第 1 章 Overview of Catastrophic AI Risks,开放获取(Hendrycks,2024)。了解人们为什么担心 AI 带来严重风险,以及这些担心分成哪几类。
本节引用的文献 2
- BlueDot Impact(2026b)The Future of AI
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
练习 #
针对本章的记账程序,列出三种判断它能否使用的办法。对每种办法,写下:
- 它的成本(时间、金钱、需要的人或工具);
- 它能发现哪些错误;
- 它会漏掉哪些错误。
然后说明需求说明中的三条规则,各自适合用哪种办法检查,为什么。
提示
不要只写“成本高”“成本低”。尽量具体:需要多少小时,需要懂什么,需要先做什么准备。思考规则三时,想一想“写入失败”在正常使用中多久才出现一次。
解答
下面是一种合理的答案,你的答案可以不同,关键是每一项都具体。
| 办法 | 成本 | 能发现 | 会漏掉 |
|---|---|---|---|
| 亲自读代码 | 读懂 450 行陌生代码,可能需要几天,并先学相关的库 | 读懂部分里明显的逻辑错误,如加减写反 | 读不懂的部分;自己没有想到的情形 |
| 让另一个 AI 审查,自己核实它指出的问题 | 调用费用很低;核实每一条意见要花时间 | 审查模型熟悉的常见错误 | 两个模型都没想到的问题;审查模型的误报可能浪费你的时间,它漏掉的问题你不会知道 |
| 写测试并运行 | 写测试的时间;为规则三还要设法让写入失败 | 测到的情形下的计算错误和重复记账 | 没有测到的输入和情形 |
规则一(余额等于收入减支出)最适合用测试:给几组已知的收入和支出,检查余额。结果有明确的对错,测试写起来也简单。
规则二(重复提交只记一次)也适合用测试:把同一笔记录提交两次,检查只记了一次。但要注意“重复”有多种形式(连续提交、隔一段时间再提交、两个窗口同时提交),测试只能覆盖你想到的那几种,所以最好再请审查者专门找处理重复提交的代码。
规则三(写入失败时不能只记一半)最难。正常使用时写入几乎不会失败,所以普通的测试看不到这类错误。可以用测试,但要人为制造失败(例如在写入中途让程序出错);也可以请审查者专门检查写入失败时程序怎样处理。如果这两样都做不到,就要承认这条规则没有被检查过,再决定是否在这种情况下使用程序。
学完能做到 #
- 用“执行者、评估者、监督协议、监督成本”描述任何一个监督场景,例如老师批改作文、公司审计账目、用测试检查程序。
- 对一个具体的判断任务,列出至少三种检查办法,并说出每种办法的成本、能发现的错误和会漏掉的错误。
- 说明为什么“测试全部通过”不等于“程序符合需求”。
参考文献
- (2026b). The Future of AI. BlueDot Impact. 非同行评审
- (2024). Introduction to AI Safety, Ethics, and Society. CRC Press.
- (2025). Measuring AI Ability to Complete Long Software Tasks. Advances in Neural Information Processing Systems 38. 引用于 §1.4
- (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §1.4
- (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 引用于 §1.4