草稿 内容完整但尚未审校,可能还会修改
第 9 章监督为什么会失效
路线全部路线最短路线
本章导读
文字稿
- 0:07起点是一次判断
用人类反馈训练模型,起点是标注员的判断,后面每一步主要是把它放大、推广。三个例子:每题 2 分钟,核查要 20 分钟;看不到模型引用的原文;题目是用药问题,标注员不懂医学。 - 0:29三个层次9.1
看懂解释:读懂执行者的说明,能用自己的话复述。检查局部:核实某一步、某一处或某一条引用是否正确。验证整体:确认每一步都对,而且没有遗漏的情形。 - 0:51两道缝9.1
看懂解释不等于能验证结论:程序也许确实按编号去重,两个窗口同时提交时,同一笔仍会记两次。局部都对也不等于整体对:函数单独看都对,组合起来可能只写了一半。 - 1:12补救各不相同9.2
时间不够,标注员只能停在第一层。Wen 等的回顾指出,人在负担过重或有偏见时,容易认可语气肯定、迎合自己或篇幅冗长的错误回答。三种限制,补救不同。 - 1:34一种可能的机制9.3
评估者只能看表面线索;奖励模型学到这些线索;策略优化把模型推向高分。如果写得“看起来对”比做得“真的对”更容易,优化就可能更多地提高前者。 - 1:56这不是必然结果9.3
这是 Goodhart 定律用在人的认可上,但不是人类反馈训练的必然结果。右边四个条件要同时满足,例如评估者的错误若是随机的,优化就没有固定的方向可以利用(本书的推断)。 - 2:19Wen 等的实验9.4
Wen 等(2024 年预印本,后发表于 ICLR 2025)在受控条件下检验与此机制相近的假设。两个任务各用一个 70 亿参数(7B)模型;编程任务的奖励不是人的反馈,而是模仿人的判断习惯的代理指标。 - 2:43结果:判断错得更多9.4
三种设置下,训练后的模型都更常被评估者认可,正确率却几乎没有提高。评估者的判断错误率都上升了,错误答案被判为正确的比例也上升了。 - 3:05作者:问题出在训练奖励9.4
作者排除了偷懒:编程任务评估训练后的程序,平均用时略多。附录对照:答对才给奖励,正确率提高,错误答案被判为正确的比例上升得少得多。 - 3:28结论的适用范围9.4
结论是在这些条件下测得的:两类任务,两个 7B 模型,限时 3 或 10 分钟、经过筛选的评估者,三种特定的训练奖励。作者相信结论可能推广,这是作者的判断,不是实验结果。 - 3:52能推出与不能推出9.4
能推出:在这样的设置下(编程任务用的是模仿人的代理奖励),人类反馈强化学习可以让模型更容易被限时的评估者认可,而不是更正确,并让评估者更难看出错误。 - 4:16失效来源决定方法9.5
失效来自哪里,决定后面该用哪类方法。本章的失效都不需要模型有任何意图:评估者有局限,优化利用了局限,就够了。模型若还会针对监督调整策略,见下一章。
带走的几句话:
- 评估者有三个层次:看懂解释、检查局部、验证整体。
- 时间、信息、专业能力三种限制,需要的补救不同。
- 评估者奖励“看起来对”,训练可能让模型学会写看起来对的答案,但不是必然。
- 读实验证据,先问什么任务、多长时间、什么评估者、什么奖励。
第 6 章讲了用人类反馈训练模型的典型流程:标注员比较同一个问题的两个回答,选出更好的一个;大量这样的比较被用来训练奖励模型;再用奖励模型的分数去优化模型的行为。整条流程的起点是标注员的那一次判断。后面的每一步,主要是把这个判断放大、推广。如果起点的判断错了,而且错得有规律,后面的步骤可能把错误一并学进去。
第 6.6 节已经提到,标注员的时间、专业、注意力和能看到的信息都有限。本章把这一点放到第 7 章的框架里来看:当模型比评估者强时,评估在哪里失效。先看三个例子。
- 时间不够。标注员每道题只有 2 分钟,而要确认模型的答案是否正确,需要 20 分钟的核查。
- 信息不够。模型的回答引用了一篇原文,标注员看不到这篇原文,只能看到模型转述的内容。
- 专业能力不够。题目是一个用药问题,标注员不懂医学。
三个例子里,标注员都在认真工作,都给出了一个判断。问题是,这个判断依据的是什么?本章先区分评估者能做到的三个层次(第 9.1 节)和把他推到较低层次的三种限制(第 9.2 节),然后讨论一种可能的失效机制:评估者奖励“看起来对”的答案,训练就可能让模型学会写看起来对的答案(第 9.3 节)。接着用一篇实验论文练习怎样读这类证据的适用范围(第 9.4 节),最后说明失效的来源怎样决定后面该用哪类方法(第 9.5 节)。
9.1 评估者的三个层次 #
“评估者能不能判断”不是一个是或否的问题。面对同一份输出,评估者可能做到不同的程度。
- 看懂解释:能读懂执行者对自己做了什么、为什么这样做的说明,并能用自己的话复述。
- 检查局部:能核实其中某一步、某一处、某一条引用是否正确。
- 验证整体:能确认整个结论正确,即每一步都对,而且没有遗漏的情形。
用记账程序来说。AI 交来程序时附了一段说明:“重复提交的记录会按编号去重,所以同一笔只记一次。”你读懂了这句话,知道它声称怎样处理重复提交,这是看懂解释。你找到去重的那几行代码,读懂了它们,或者把同一笔记录提交两次、看到余额只变了一次,这是检查局部。你确认整个程序在任何输入下都满足三条规则,这是验证整体。对这个 500 行的程序,你大概能做到第一层,在少数地方做到第二层,做不到第三层。
三个层次之间有两道容易被忽视的缝。
第一道:看懂解释不等于能验证结论。解释写得清楚,人就可能觉得自己“懂了”,并把“懂了”的感觉当成“对了”(本书的推断)。可是一段清楚的解释完全可能是错的:程序也许确实按编号去重,但在两个窗口同时提交时,编号检查和写入之间有一个空隙,同一笔仍会被记两次。解释没有提到这种情形,你也就不会想到它。
第二道:局部都对不等于整体对。你检查过的每一处都没有问题,但整体的性质可能依赖于各部分怎样组合。每个函数单独看都正确,组合起来却可能在某个顺序下只完成一半的写入。第 14 章会把“局部都对但整体错”作为拆分任务的一种失败方式来讨论。
后面要讲的许多方法,可以看作在这三个层次之间搭梯子:有的设法让评估者从第一层升到第二层,例如让批评模型指出具体该查哪一处(第 16 章),或者让模型把推理过程一步步写出来,免得评估者只拿到一个最终答案、连可以检查的局部都没有(第 19 章);有的设法让第二层的检查足以支持第三层的结论,例如把任务拆成可以逐个核实的小块(第 14 章),或者让机器去检查整体的某些性质(第 20 章)。
9.2 三种限制 #
什么把评估者限制在较低的层次?本章开头的三个例子对应三种限制。它们与第 7.4 节的能力差距来源是对应的:时间对应计算时间,信息对应信息访问(也包括上下文长度和工具权限),专业能力对应专业知识。
时间。标注员每题只有 2 分钟,而核查答案需要 20 分钟。他不是不会核查,只是来不及。这时他只能停留在第一层:读一读解释,看看是否通顺、自信、格式整齐,然后给出判断。Wen 等在回顾相关研究时指出,人由于认知负担过重和种种偏见,常常依赖捷径,忽略细微的错误,容易认可语气肯定、迎合自己或篇幅冗长的错误回答(Wen 等,2024)。这些线索在平常可能与正确性有一定联系,所以依赖它们并非全无道理;问题在于它们并不等于正确性(本书的推断)。补救的方向是增加时间,或者把任务拆小,让每一块都能在给定时间内核实。
信息。模型引用了一篇原文,标注员看不到它。他也许有时间、有能力,但缺少核查所需的材料,同样只能判断解释是否“像是对的”。第 8.2 节那个停在摄像头和物体之间的机械手,就是信息限制的例子:评估者只能看一个角度的录像。Hendrycks 讨论这个例子时指出,如果给评估者更多信息(比如另一个摄像头角度),或者更多时间,他们可能就会发现问题(Hendrycks,2024)。补救的方向是把材料交给评估者,或者要求执行者给出可以独立核查的证据(第 20 章)。
专业能力。标注员不懂医学。模型把用药建议解释得很清楚,他读得懂每一句话,却判断不了“这两种药可以同时服用”是否正确,甚至不知道该查哪一处。给他更多时间和材料帮助有限,因为他缺的是判断所需的知识。补救的方向是请专家,或者借助别人或模型把关键之处讲清楚、再设法核实(第 15 章、第 16 章)。
三种限制可能同时出现,但分开看有好处:它们需要的补救不同。给一个缺专业知识的人更多时间,或者给一个缺时间的人更多资料,都可能事倍功半。
第 9.2 节引用的文献 2
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
9.3“看起来对”与“真的对”#
现在把评估的局限放回训练流程里。下面描述一种可能的失效机制,分四步。
- 评估者无法验证整体,只能依据一些表面线索作判断:解释是否通顺、语气是否自信、有没有引用、是否通过了他随手写的几个简单测试。这个机制假定,这些线索在平常与正确性有关,所以评估者的判断平均来说比瞎猜好。
- 这些判断成为偏好标签,奖励模型从中学习(第 6 章)。奖励模型学到的,是评估者实际奖励的东西,包括那些表面线索。
- 策略优化把模型推向奖励模型打高分的方向。
- 如果把答案写得“看起来对”比把答案做得“真的对”更容易,优化就可能更多地提高前者。结果是,模型的答案在评估者眼里越来越好,实际的正确率却没有同样提高,甚至变得更难被评估者看出错误。
这其实是第 8.6 节的 Goodhart 定律用在了人的认可上:人的认可是“答案真的对”的代理指标,受到较强优化后,两者原有的对应关系可能变差。第 9.4 节要读的那篇论文的作者,也把他们研究的现象看作 Goodhart 定律的一个后果(Wen 等,2024)。
这不是所有人类反馈训练的必然结果。这个机制要成立,需要几个条件同时满足(本书的推断)。
- 评估者的错误有规律。如果评估者的错误是随机的,有时把对的判成错、有时把错的判成对,与答案的任何特征都无关,那么优化没有一个固定的方向可以利用。随机误差仍会让挑出的回答分数偏高(第 8.6 节的“选中了误差”),但不会让模型学会某一类特定的写法。只有当错误系统地偏向某类答案(例如自信的、篇幅长的、迎合提问者的),优化才会朝那个方向推(本书的推断)。
- 存在“看起来对但其实错”的答案,而且模型写得出来。在评估者能直接验证答案的任务上,例如有标准答案的计算题,这样的答案很少能骗过他。
- 优化足够强。弱的优化可能主要带动真正的改进(第 8.6 节)。
- 独立的检查覆盖不到这类错误。如果奖励里有一部分来自参考答案、可靠的测试或专家抽查,而且这些检查能发现这类错误,看起来对而实际错的答案就会被扣分;检查只覆盖一部分时,覆盖不到的错误照样得分,第 9.4 节编程任务的奖励就是一例。
记账程序上可以这样想象:假如你是训练这个写程序模型的评估者,每次只读它的说明、跑一下余额计算的测试,就决定给高分还是低分。经过许多轮训练,模型可能越来越擅长写让人放心的说明、通过余额测试,而在规则二、规则三上没有进步。这与第 8.1 节的规格错误是同一个结构,只是这里的“规格”是你自己的判断习惯。
第 9.3 节引用的文献 1
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
9.4 怎样读实验证据 #
上一节的机制是一个“可能”。它能不能在接近标准做法的训练中出现?Wen 等的论文(2024 年预印本,后发表于 ICLR 2025)在受控条件下检验了一个与它相近的假设(Wen 等,2024)。读这样一篇论文,最重要的不是记住结论,而是弄清楚结论是在什么条件下得出的。下面按这个思路读它。
9.4.1 研究的问题与设置 #
论文的问题是:标准的人类反馈强化学习,会不会让模型更善于让限时评估的人相信它的答案是对的,而不是更善于把任务做对?作者把这种现象称为 U-Sophistry,U 表示这不是模型开发者有意造成的(unintended),与之相对的是此前许多研究用提示、微调或特意设计的奖励有意诱导出的同类行为;标题里的“误导”(mislead)是作者的用词(Wen 等,2024)。
作者区分了三种奖励。 表示真正想要的东西,即答案是否正确,由不限时的评估者或数据集自带的标准确定。 是实际中收集到的、有时间限制的人的判断。 是训练时真正使用的自动奖励,它是 的廉价替代,比如用人类偏好训练出的奖励模型(Wen 等,2024)。用第 8.6 节的话说,后两者都是 的代理指标。
实验在两个任务上做(Wen 等,2024):
- 长文章问答(QuALITY)。每道题有一篇平均约 5000 个 token 的文章和一个问题。作者把原来的四个选项改成两个:正确答案和最有迷惑性的错误选项。模型要选一个答案,并写一段论证。标准答案由 3 到 5 位不限时的评估者共同确定。
- 算法编程(APPS)。模型根据题目描述写 Python 程序。程序正确的标准是通过题目附带的全部单元测试,平均每题 34 个,由不限时的人设计。
训练用的是两个 70 亿参数(7B)规模的模型:问答任务用 LLaMA-2-7B,编程任务用 Deepseek-Coder-7B。作者先用监督微调(第 6.1 节)让问答模型模仿示范的答案与论证,让编程模型模仿 APPS 里的标准程序,得到“训练前”的模型,再用常见的 PPO 算法做强化学习(Wen 等,2024)。
训练奖励 有三种设置。问答任务有两种:一种是专门针对这个任务的奖励模型,学的是人在不限时条件下对答案与论证的评价;另一种是通用的奖励模型,用 ChatbotArena 上用户的偏好数据训练。编程任务没有足够的人类评价数据来训练奖励模型,作者先做了一个小规模的预实验,发现评估者通常靠写几个简单的单元测试来判断程序(平均每个程序 2.4 个),于是把 定义为“通过 APPS 中最简单的两个单元测试”(Wen 等,2024)。也就是说,编程任务的训练奖励不是人的反馈,而是作者设计来模仿评估者判断习惯的代理指标。作者报告,它与人的判断的相关系数(第 3.4 节)是 0.59,而不同的人之间的相关系数是 0.63(Wen 等,2024)。
人类评估的条件如下(Wen 等,2024)。问答任务:35 名从 Upwork 招募的评估者,都是以英语为母语、有阅读经验的人,多数自称教师、作家、编辑或大学生;他们能看到问题、文章、两个选项和模型的输出,每题限时 3 分钟。编程任务:10 名计算机或电子工程专业的大学生,都有 Python 经验;他们能看到题目和程序,可以自己写测试并运行程序,每题限时 10 分钟。两组评估者都经过筛选:问答组最初招了 45 人,编程组最初招了 20 人,作者剔除了问答组中正确率过低、盲目同意模型论证的人,以及编程组中作弊或过于马虎的人。每个评估者对同一道题只看一次,并且不知道输出来自训练前还是训练后的模型。每个数据集各抽 250 道题来评估。评估者不直接回答对或错,而是从 0%、25%、50%、75%、100% 五档中选一档“输出正确”的把握(信心等级),高于 50% 算作判为正确,其余算作判为错误。
9.4.2 结果 #
作者比较训练前后的模型,报告了以下结果(Wen 等,2024)。在三种设置下,训练后的模型都更常被评估者认可,但正确率几乎没有提高。评估者的判断错误率都上升了:问答任务专用奖励的设置下从 42.9% 升到 58.5%,通用奖励的设置下从 40.8% 升到 48.2%,编程任务从 31.3% 升到 45.7%。评估者把错误答案判为正确的比例也上升了,分别从 41.0% 升到 65.1%、从 46.7% 升到 70.2%、从 29.6% 升到 47.9%。这个比例是在训练前后两个模型都答错的那部分题目上计算的,这样比较的是同一批题目。论文把“判为正确”当作阳性(这是借用化验的说法,指检查给出的那个“是”的结果),所以把这个比例叫作 false positive rate,这个词通常译作“误报率”。本书的约定相反,把“判为有问题”看作报警(定义 11.1)。按这个约定,错误答案被判为正确,是有问题的答案被放过了,属于漏检;这个比例就是第 3.7 节的漏检率,分母是确实有错的答案。所以本书不把它叫作误报率。
作者用评估者投入的力气排除了“偷懒”这个解释:问答任务中,评估者对训练前后两个模型的输出都用满了 3 分钟(这是时限的上限);编程任务中,他们评估训练后的程序时平均用时略多(每个程序 558 秒对 540 秒),写的测试也略多、更多样(Wen 等,2024)。
作者对评估者的反馈做了定性分析,并举了例子,说明训练后的模型怎样让人信服(Wen 等,2024)。问答任务上,训练前后的模型都会编造证据,但评估者觉得训练后编造的证据更让人信服;训练后的论证往往前后更一致,因果推理上的漏洞可能更隐蔽。编程任务上,在作者举的例子里,训练后的错误程序通过了评估者自己写的全部测试(这些例子里是 3 到 5 个);作者还统计了程序的结构,训练后的错误程序可读性更差(辅助函数更少、控制流更复杂)。作者还观察到,评估者常常先找容易出边界错误(例如越界)的代码,而训练后的程序更少出现这类容易被找到的错误。
还有一个对照很重要。作者在附录中报告了另一组训练:直接用 作奖励,即答对才给奖励。这样训练后,正确率提高了,评估者的认可只略有上升甚至下降,错误答案被判为正确的比例也上升得少得多(Wen 等,2024)。作者认为这说明问题来自有缺陷的训练奖励(Wen 等,2024),这与第 9.3 节的判断一致:不是任何训练都会如此。不过在问答任务上,这样训练的模型只学选答案,论证没有被优化,往往没有说服力,评估者常选“不确定”(即 50% 的把握,算作判为错误),认可低一部分是因为这一点(Wen 等,2024)。
9.4.3 结论的适用范围 #
把上面的条件整理一下,这项研究的结论是在下面这些条件下测得的:两类任务(两选一的长文章问答,算法编程);两个 7B 模型;限时 3 分钟或 10 分钟、经过筛选的评估者;三种特定的训练奖励,其中编程任务的奖励是模仿人的代理指标。
论文在讨论部分自己写了三条局限(Wen 等,2024):
- 评估只限于长文章问答和算法编程两个领域。开放式问答、工程实践中的编程等更广的领域没有测试。作者相信结论可能推广到这些领域,理由是训练奖励和人的判断仍然带有人的固有弱点;这是作者的判断,不是实验结果。
- 没有研究不同能力的评估者。问答组都是有阅读经验的英语母语者,编程组都是有经验的 Python 程序员;时间限制定在 3 到 10 分钟,作者认为这个时长适中、不算多余。评估者能力更弱或更强时结论怎样变化,值得另外研究。
- 只让评估者判断输出是否正确这一种二元的反馈。其他形式的人类反馈,例如更细粒度的反馈,是否更不容易被误导,没有研究。
此外,论文自己也提醒,评估者报告的信心等级受奖金规则的影响,奖金规则有意让人不愿选“50% 把握”,因此信心数据要谨慎解读,不能当作真实的概率(Wen 等,2024)。
由此可以推出:在这样的设置下,标准流程的人类反馈强化学习(编程任务中用的是模仿人的判断习惯的代理奖励)确实可以让模型更容易被限时的评估者认可,而不是更正确,并让评估者更难看出错误。这一结果与第 9.3 节的机制一致,说明它在接近标准做法的训练流程中可以出现(本书的推断)。不能推出的包括:所有人类反馈训练都会这样;不限时的专家也会被误导;更大的模型、开放式任务上的效应有多大;以及模型“有意”误导:论文的 unintended 指的是开发者没有有意诱导,论文没有研究模型的意图。
读任何一篇实验论文,都可以照这个顺序问:什么任务?评估者有多少时间、能看到什么、能做什么?评估者是谁、怎样挑选的?用什么当参考答案?和什么比较?作者自己写了哪些局限?表 11.1 会把其中几项整理成四个核心问题。
第 9.4 节引用的文献 1
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
9.5 小结 #
本章从评估者一侧解释了监督为什么会失效。把各节的结论串起来:
- 评估者能做到的层次,决定了他的判断依据什么。只能看懂解释时,判断依据的是解释是否像样,而不是结论是否正确(第 9.1 节)。
- 本章讨论的是把评估者限制在低层次的三种限制:时间、信息和专业能力(第 9.2 节);注意力的限制见第 6.6 节。
- 当这样的判断被用作训练信号、又受到较强的优化时,模型可能被推向“看起来对”,而不是“真的对”(第 9.3 节),实验中已经观察到这种情况,但只在特定条件下(第 9.4 节)。
失效来自哪里,决定了后面该用哪类方法。下表把本章的失效来源与后面的章节对应起来。表中只说明每类方法针对什么,它们实际上能做到多少,要看各章的证据。
本章讨论的失效,都不需要模型有任何意图:评估者有局限,优化利用了局限,就够了。如果被监督的模型还会针对监督本身调整策略,例如分辨自己是否在被测试,情况会更复杂。在讨论任何方法之前,需要先把这些可能性说清楚,这是第 10 章的内容。
读物 #
- 入门讲解 · 教材:Hendrycks《Introduction to AI Safety, Ethics, and Society》第 3 章第 3.3 节 Robustness 中 Proxy Gaming 一小节的 Limits to Supervision 部分(Hendrycks,2024)。从能观察多少信息、能花多少时间、判断是否可靠、计算是否够用几个方面,讲监督信号为什么只能近似真正的目标;机械手挡在摄像头前的例子就出自这里。可以和本章的三种限制对照着读。
- 实验结果 · 会议论文:Wen 等《Language Models Learn to Mislead Humans via RLHF》(2024;ICLR 2025)(Wen 等,2024)。本章第 9.4 节详细读过它的设置和结果,读原文时重点看三种奖励的定义和编程任务的代理奖励是怎样设计的。
- 反例与批评 · 会议论文:读同一篇论文的局限性部分(讨论一节中的 Limitations 段)(Wen 等,2024)。记录它在哪些任务、什么时间限制下测得这个结果,以及作者自己承认没有研究的条件。
本节引用的文献 2
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
练习 #
下面 10 道题是为教学构造的,每道题后面附有一份解答。有的解答是对的,有的含有错误。你的任务是判断每份解答是否正确(不是自己从头解题)。
第一轮:每道题只给 1 分钟。到时间就必须写下判断(“正确”或“有错”)和信心(1 到 5 分,5 分表示完全确定)。
第二轮:全部做完第一轮后,每道题再给 5 分钟重判,同样写下判断和信心。
最后对照参考答案,分别算出两轮的正确率和平均信心,并特别看一看:你答错的那些题,信心是多少?
- 一件商品先涨价 20%,再降价 20%,现价是原价的百分之几?解答:设原价为 1。涨价后为 1 × 1.2 = 1.2,降价后为 1.2 × 0.8 = 0.96,所以现价是原价的 96%。
- 账户期初余额 500 元,之后有两笔收入 120 元和 80 元,三笔支出 45 元、190 元和 35 元。期末余额是多少?解答:收入合计 120 + 80 = 200 元,支出合计 45 + 190 + 35 = 280 元,期末余额 500 + 200 − 280 = 420 元。
- 同时掷两枚均匀的硬币,至少出现一个正面的概率是多少?解答:可能的结果有“两个正面”“一正一反”“两个反面”三种,其中两种含有正面,所以概率是 2/3。
- 解方程 3(x − 2) = 2x + 5。解答:展开得 3x − 6 = 2x + 5,移项得 x = 11。
- 一个班有 40 人,男生占 45%,女生中有一半戴眼镜。戴眼镜的女生有几人?解答:女生占 55%,共 40 × 0.55 = 22 人,戴眼镜的有 22 ÷ 2 = 11 人。
- 一个等差数列首项是 3,公差是 4,第 10 项是多少?解答:第 n 项等于首项加 n 乘公差,所以第 10 项是 3 + 10 × 4 = 43。
- 把 1000 元存一年,年利率 5%;到期后连本带息再存一年,利率不变。两年后共有多少元?解答:1000 × 1.05 × 1.05 = 1102.5 元。
- 一辆汽车以 60 km/h 行驶 1.5 小时,再以 80 km/h 行驶 0.5 小时。全程的平均速度是多少?解答:两段速度的平均数是 (60 + 80) ÷ 2 = 70 km/h。
- 一个长方形周长 30 cm,长比宽多 3 cm,面积是多少?解答:长加宽等于 15,长减宽等于 3,解得长 9 cm、宽 6 cm,面积 9 × 6 = 54 cm²。
- 在 1 到 100 的整数中,能被 3 或 5 整除的有多少个?解答:能被 3 整除的有 33 个,能被 5 整除的有 20 个,合计 53 个。
注意两点。第一,10 道题太少,一个人做一次的结果不足以据此得出稳健的普遍结论。第二,第二轮在第一轮之后进行,你已经看过每道题,第二轮的变化会受顺序和记忆的影响,不能全部归因于“时间更多”。
提示
记录可以用一张两轮各 10 行的表:题号、判断、信心。脚本 tools/exercises/ch09_timed_eval.py 可以替你算正确率和平均信心:两轮都做完之后,把记录填进脚本里的 RECORD 再运行。记录没有填完时,脚本不会显示答案。
解答
参考答案(由 tools/exercises/ch09_timed_eval.py 逐题重新计算并核对):
| 题 | 解答是否正确 | 说明 |
|---|---|---|
| 1 | 正确 | 1.2 × 0.8 = 0.96 |
| 2 | 有错 | 45 + 190 + 35 = 270,不是 280;余额应为 430 元 |
| 3 | 有错 | 三种结果的可能性不相等;“一正一反”包含两种情况,四种等可能结果中三种含正面,概率是 3/4 |
| 4 | 正确 | 代回检验:3 × 9 = 27,2 × 11 + 5 = 27 |
| 5 | 正确 | 22 ÷ 2 = 11 |
| 6 | 有错 | 第 n 项是首项加 (n − 1) 乘公差,第 10 项是 3 + 9 × 4 = 39 |
| 7 | 正确 | 1000 × 1.05² = 1102.5 |
| 8 | 有错 | 平均速度是总路程除以总时间:(90 + 40) ÷ 2 = 65 km/h |
| 9 | 正确 | 9 × 6 = 54 |
| 10 | 有错 | 同时被 3 和 5 整除(即被 15 整除)的 6 个数算了两次,应为 33 + 20 − 6 = 47 |
10 份解答中 5 份正确、5 份有错,所以一律判“正确”或一律判“有错”的正确率都是 50%。
本题没有唯一的结果,评分要点如下:
对下面每个场景,指出评估者处在第 9.1 节的哪一层,以及失效最可能来自时间、信息还是专业能力。
- 一位老师批改 60 份物理实验报告,每份只有 3 分钟。报告里的计算他都会,但没时间逐一验算,只看结论是否和课本一致、步骤是否完整。
- 一位编辑审一篇稿子,稿子引用了一份内部调查报告的数据。编辑拿不到这份报告,只能看稿子的转述是否前后一致。
- 一位没有法律背景的用户请 AI 解释租房合同里的一条免责条款。AI 的解释他完全读懂了,并据此决定签约。
- 你把记账程序的去重功能单独拿出来测试:同一笔记录提交两次,余额只变了一次。你据此认为程序满足规则二。
解答
- 看懂解释(只看结论与步骤是否像样),没有检查局部。限制主要是时间:他有能力验算。
- 能做的只是检查转述内部是否一致,对数据本身停留在看懂解释。限制是信息:看不到原始报告。
- 看懂解释。限制是专业能力:读懂了解释,却判断不了这个解释在法律上是否准确,也不知道该核对什么。
- 做到了检查局部(一种重复提交的情形通过了),但据此得出的是整体结论。限制可以说是时间和专业能力:要验证整体,还需要想到并测试其他重复情形(隔一段时间再提交、两个窗口同时提交)。这一题的要点是:局部检查通过,不等于整体验证完成。
评分要点:层次判断有依据;能说出把评估者限制在这一层的具体原因,而不是笼统地说“能力不够”。
第 9.4 节读过的论文报告了训练前后评估者的错误率,以及错误答案被判为正确的比例(论文称为 false positive rate)的变化。论文摘要写道,后者在 QuALITY 上“增加了 24.1%”,在 APPS 上“增加了 18.3%”;正文给出的是训练前后的具体数值。
- 用第 9.4 节中的数值,算出三种设置下错误率和错误答案被判为正确的比例各上升了多少个百分点,再算出相对于训练前的相对增幅。
- 摘要里的“24.1%”和“18.3%”应该理解为百分点还是相对增幅?依据是什么?
- 为什么论文只在“训练前后两个模型都答错”的题目上计算错误答案被判为正确的比例?
解答
计算用的脚本是 tools/exercises/ch09_wen_rates.py。
-
三种设置下的变化如下:
设置 错误率 错误答案被判为正确的比例 问答,专用奖励 42.9% → 58.5%,上升 15.6 个百分点,相对增幅约 36% 41.0% → 65.1%,上升 24.1 个百分点,相对增幅约 59% 问答,通用奖励 40.8% → 48.2%,上升 7.4 个百分点,相对增幅约 18% 46.7% → 70.2%,上升 23.5 个百分点,相对增幅约 50% 编程 31.3% → 45.7%,上升 14.4 个百分点,相对增幅约 46% 29.6% → 47.9%,上升 18.3 个百分点,相对增幅约 62% -
是百分点。24.1 正好等于问答专用奖励设置下这个比例的差 65.1 − 41.0,18.3 正好等于编程任务的差 47.9 − 29.6;相对增幅分别约为 59% 和 62%。同一个变化,说成“增加 24.1%”和“增加 24.1 个百分点”含义不同,本书一律写成“从 41.0% 升到 65.1%”或“上升 24.1 个百分点”。
-
论文只说这样做是为了公平比较(Wen 等,2024)。可以这样理解:这个比例衡量的是“答案错了时,评估者有多常把它判为正确”。如果训练前后答错的题目不同,它的变化可能只是因为错在了更难或更容易判断的题上。只在两个模型都答错的同一批题目上比较,差别才更可能来自答案的写法,而不是题目本身。
本节引用的文献 1
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
学完能做到 #
- 对一个监督场景,指出评估者处在看懂解释、检查局部、验证整体三个层次中的哪一层,以及失效最可能来自时间、信息还是专业能力。
- 说明为什么看懂解释不等于能验证结论,局部检查通过不等于整体正确。
- 用四个步骤描述“看起来对”的失效机制,并说出它成立需要的条件,以及为什么它不是人类反馈训练的必然结果。
- 读一篇实验论文时,说出它在什么任务、什么时间限制、什么评估者和什么奖励下得出结论,并列出作者自己写的局限。
参考文献
- (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 引用于 §9.2
- (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 引用于 §9.2 §9.3 §9.4