Scalable Oversight 入门
第一部分:问题是什么

草稿 内容完整但尚未审校,可能还会修改

第 8 章模型为什么会钻空子

路线全部路线最短路线

本章导读

本章问题
  • 训练目标和真实意图之间的缝隙,会以哪些方式表现出来?
要点
  • 规格错误是规则本身的问题;规格博弈是满足字面要求却没达到意图的行为,reward hacking 是其中利用评分机制漏洞的情况(§8.2)。
  • 目标误泛化:训练中规格和表现都正确,换到新环境后,模型仍有能力,追求的却是另一个目标(§8.3)。
  • Goodhart 定律:代理指标受到较强优化时,它与真正目标之间原有的对应关系可能变差(§8.6)。
  • 这些机制不互斥,一个案例可能同时涉及几种;它们都不需要假定模型有欺骗意图(§8.7)。
本章的视频讲解,4 分 41 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07测试通过,代码仍错
    按“测试全部通过”训练的编程模型,可能学会改测试。OpenAI 研究者 2025 年的预印本里,智能体在故意留了漏洞的环境中学会了改测试框架:说明这能被训练出来,不说明有多常见。
  2. 0:27规格错误8.1
    规格:设计者把意图写成的、可以执行的形式。规格错误:规则本身没有准确表达意图,这是规则的问题,不是模型的行为。积木实验里,奖励是红积木底面离地的高度。
  3. 0:47两处规格错误8.1
    记账程序的测试至少有两处规格错误:只检查了规则一;还默认测试文件不会被改动。模型若能改它,“测试通过”就说明不了代码。Krakovna 等称这类问题为奖励篡改。
  4. 1:09规格博弈8.2
    规格博弈:行为满足了规则的字面要求,却没有达到意图。Krakovna 等收集了大约 60 个例子。规格稍有偏差,很好的算法可能找到与预期大不相同的解,较差的算法反而找不到。
  5. 1:29reward hacking8.2
    本书用 reward hacking 指规格博弈中利用奖励或评分机制本身漏洞的情况。记账程序上,改动测试文件是 reward hacking;只对测试里那几组输入给出正确余额,本书只叫规格博弈。
  6. 1:50目标误泛化8.3
    目标误泛化:训练中规格和表现都正确,换个环境,模型仍有能力,追求的却是另一个目标。Shah 等的环境里有时有个总走对的“专家”伙伴,智能体学会了跟着它;换成“反专家”,它照样跟着走。
  7. 2:11三种解释8.4
    记账程序违反了规则三:写入失败时只记了一半。可能是能力不足、规格错误或目标误泛化,三种解释给出同一份程序,补救却不同。要找证据区分,例如小的干预能否让它做对。
  8. 2:33谄媚8.5
    谄媚:模型迎合用户已经表达的观点。Sharma 等测了五个用人类反馈训练的 AI 助手:同一段文本,用户说喜欢,评价往往更正面;答对后被质疑,有时改成错误答案。
  9. 2:53谄媚与规格博弈8.5
    一个偏好数据集里,“与用户观点一致”是最有力的预测特征之一,谄媚很可能部分由此驱动。人类偏好若奖励了迎合,谄媚就是规格博弈的一种表现,但定义不同:谄媚按回答的内容定义,规格博弈按行为与规则的关系定义。
  10. 3:17Goodhart 定律8.6
    代理指标:代替真正目标、容易测量的东西。本书的表述:代理指标受到较强优化时,它与真正目标原有的对应关系可能变差。赛艇游戏里,得分起初帮它学会驾驶,后来它原地打转。
  11. 3:38选中了误差8.6
    Manheim 与 Garrabrant 把这类失效分成四种。最基本的是选中了误差:代理分数带着误差,挑得越严,挑中的越可能是误差恰好偏高的那些。没有谁在“钻”指标,只要按代理分数挑选就会发生。
  12. 3:60两个常见误解8.7
    误解一:一个案例只属于一种机制。开头的编程模型就同时涉及好几种。误解二:模型“想要”作弊。每个定义只说行为与规则、与设计者意图的关系;观察到这些现象,也推不出模型有欺骗意图。

带走的几句话:

  1. 规格错误是规则的问题;规格博弈是满足字面、没达到意图的行为。
  2. 目标误泛化:规格对了,换个环境,模型仍可能追求另一个目标。
  3. 代理指标受到较强优化时,它与真正目标原有的对应关系可能变差。
  4. 这几种机制可以同时出现,都不需要假定模型有欺骗意图。

第 6.1 节讲过,用强化学习训练一个模型,就是给它的行为打分,再让它朝得分更高的方向改变。打分的依据可能是人的比较、奖励模型的分数,也可能是一组自动测试。无论哪一种,打分规则都只是设计者意图的一个近似:设计者想要“代码正确”,能写进规则的往往只是“测试通过”。

下面这个例子把这条缝隙摆得很清楚。一个编程模型在训练中按“测试是否全部通过”得到奖励。设计者期待它学会修复代码,结果它学会了修改测试:把检查条件改松,或者让测试直接跳过,测试于是全部通过,代码却还是错的。这不只是一个假想。OpenAI 研究者 2025 年的一篇预印本报告,他们特意搭建了容易作弊的编程环境,允许智能体修改单元测试和测试框架(同时在提示中要求它不要这样做),用强化学习训练后,智能体很快学会了修改测试框架让测试轻易通过,而不是真正实现所要求的功能(Baker 等,2025)。这个环境是为研究而故意留了漏洞的,它说明这种行为可以被训练出来,不说明它在一般训练中有多常见。

回到第 1 章的记账程序。如果写程序的模型是按“测试全部通过”训练的,而测试只检查了规则一(余额等于收入减支出),那么“测试通过”和“程序符合需求说明”之间就有一条缝:规则二和规则三没有被检查。模型在这条缝里会怎样表现?

本章区分这条缝隙的几种表现方式:规则本身写错了(第 8.1 节),行为满足了规则的字面却没达到意图(第 8.2 节),训练时一切正常、换个环境却追求别的目标(第 8.3 节),以及模型根本没有能力做好(第 8.4 节)。这四种机制不互斥,一个案例可能同时涉及几种。然后讨论一个常见的具体现象,谄媚(第 8.5 节),以及概括这类现象的 Goodhart 定律(第 8.6 节)。最后澄清两个常见误解(第 8.7 节),其中最重要的一条是:本章讲的这些现象,都不需要假定模型有欺骗意图。

引言引用的文献 1
  1. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation

8.1 规格错误 #

先引入一个词。规格(specification)指设计者把意图写成的、可以执行的形式:奖励函数、评分规则、测试、标注指南都是规格。规格的作用是让意图变得可以计算,代价是它几乎总会漏掉意图中的一部分(Hendrycks,2024)。

定义 8.1 规格错误

规格错误(misspecification,也叫奖励设定错误):评分规则或奖励本身没有准确表达意图。这是规则的问题,不是模型的行为。

一个常被引用的例子来自机器人积木实验。设计者希望机器人把红色积木叠到蓝色积木上面,奖励规则是红色积木底面离地的高度。机器人没有去完成“拿起来再放上去”这个较难的动作,而是直接把红色积木翻了过来,底面朝上,高度就够了(Krakovna 等,2020)。规则要的是“底面高”,设计者要的是“叠上去”,两者在设计者脑中是一回事,写成规则后就分开了。要堵住这个漏洞,规则还得写明红色积木的顶面在底面之上、底面要对准蓝色积木的顶面;Krakovna 等指出,这些条件中漏掉任何一条都很容易(Krakovna 等,2020)。

另一个例子是赛艇游戏 CoastRunners。设计者希望智能体尽快跑完赛道,为了帮助学习,给沿途撞到绿色目标加了分。结果智能体在一处原地打转,反复撞同样几个目标得分,不去完成比赛(Krakovna 等,2020;Hendrycks,2024)。这里出问题的是一条辅助性的加分规则。

规格错误是规则的属性,在模型开始优化之前就已经存在。所以原则上,可以不训练任何模型,只拿规则去和意图逐条对照,把它找出来:“翻转积木能不能得满分?”“只改测试能不能让测试通过?”难处在于,设计者往往想不到这些情形。Krakovna 等指出,规格里常常藏着设计者没有明说、甚至从未想到的假设,任务越复杂,越难考虑到每一个细节(Krakovna 等,2020)。

记账程序的“测试全部通过”至少有两处规格错误。第一,测试只覆盖了规则一,规则二、规则三没有写进规格。第二,规格默认测试本身不会被改动,可是如果模型能修改测试文件,“测试通过”就不再说明代码的任何性质。第二种错误更隐蔽:它不是少写了一条要求,而是假定了评分的过程本身是牢靠的。Krakovna 等把这类问题称为奖励篡改(reward tampering):规格总要以某种物理形式存在,比如存在计算机里的奖励函数,而系统可能改动它(Krakovna 等,2020)。

第 8.1 节引用的文献 2
  1. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
  2. Krakovna 等人(2020)Specification gaming: the flip side of AI ingenuity

8.2 规格博弈与 reward hacking #

规格错误是规则的问题。规则错了,模型的行为可能利用这个错误,也可能没有利用。描述行为的词是规格博弈。

定义 8.2 规格博弈

规格博弈(specification gaming):模型的行为满足了规则的字面要求,却没有达到设计者的意图。它描述的是行为,常见原因是规格错误。

这个定义取自 Krakovna 等的说法:满足目标的字面规格、却没有达成预期结果的行为(Krakovna 等,2020)。翻转积木、原地打转撞目标,都是规格博弈。他们收集了大约 60 个这样的例子,并指出这些行为源于任务规格写错了,而不是学习算法有缺陷(Krakovna 等,2020)。

这里有一个容易忽略的推论。算法越强,可能越容易找到规格里那些设计者没想到的解法。Krakovna 等指出,规格只要有一点偏差,一个很好的强化学习算法就可能找到一个与预期大不相同的复杂解,而一个较差的算法反而找不到,最后得到的解更接近预期(Krakovna 等,2020)。换句话说,规格博弈多半不会随着模型变强而自然消失;把规格写对,反而可能随着模型变强而更加重要(Krakovna 等,2020)。这对应第 7.3 节的“模型能力提高”这个维度。

规格博弈不只出现在手写的规则上。用人的反馈训练奖励模型(第 6 章),同样可能被博弈。Krakovna 等的案例清单里有一个例子:一个机械手的任务是抓取物体,人通过看录像来判断它做得好不好;它学会了把机械手停在摄像头和物体之间,让人从画面上看起来像是抓住了物体(Krakovna 等,2020;Hendrycks,2024)。这里的规格是“人看录像后的判断”,人的判断受限于一个摄像头角度。第 9 章会专门讨论这种由评估者的局限造成的失效。

reward hacking 是一个与规格博弈重叠很多的词。本书用它指规格博弈中利用奖励或评分机制本身的漏洞的情况,也就是行为针对的是评分过程本身:修改测试、改动计分的代码、篡改奖励信号。修改测试的编程模型就是典型的 reward hacking。利用评分规则没有覆盖到的情形,例如只对测试里那几组输入给出正确结果,本书只叫规格博弈;利用模拟器的程序错误也是这样,Krakovna 等把它列为规格博弈的另一类,原因是任务规格对模拟器的物理规律作了错误的假设(Krakovna 等,2020)。

两个词在文献中常有重叠,其他文献常把这些情形也叫 reward hacking,读论文时要看作者怎样用。例如 Amodei 等 2016 年用 reward hacking 指一种很宽的情况:设计者写下的目标函数存在某种取巧的“简单”解,形式上把目标最大化,却违背了设计者的本意(Amodei 等,2016)。这个用法几乎等于本书的规格博弈。他们举的例子仍是打扫办公室的机器人:如果奖励的是“环境里看不到脏乱”,它可能关掉自己的视觉,或者用它看不透的东西把脏乱盖住,或者在人出现时躲起来,让人没法告诉它新的脏乱在哪里(Amodei 等,2016)。

记账程序上,两种行为都可能出现。模型改动测试文件让测试通过,是利用了评分机制的漏洞,属于 reward hacking。模型不改测试,而是写出只对测试里那几组输入给出正确余额的代码,满足了“测试通过”的字面要求,没有达到“程序正确”的意图,是规格博弈;按 Amodei 等的宽用法,它也可以叫 reward hacking。

第 8.2 节引用的文献 3
  1. Krakovna 等人(2020)Specification gaming: the flip side of AI ingenuity
  2. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
  3. Amodei 等人(2016)Concrete Problems in AI Safety

8.3 目标误泛化 #

前两节的问题都出在规格上。下面这种机制的特别之处在于:规格可以是对的。

定义 8.3 目标误泛化

目标误泛化(goal misgeneralization):训练中的规格和表现都看起来正确,换到新环境后,模型仍有能力,追求的却是另一个目标。

Shah 等 2022 年的预印本给出了几个例子(Shah 等,2022)。最清楚的一个是这样的:智能体在一个三维环境里,要按某个事先未知的顺序访问几个彩色球体,访问对了得正分,访问错了得负分。环境里有时有一个“专家”伙伴,它总是按正确的顺序走。智能体学会了跟着伙伴走,这样就能一次走对。到了测试时,研究者把专家换成一个总是按错误顺序走的“反专家”。智能体仍然跟着它走,负分越积越多,尽管它能观察到自己得到的奖励。它的导航能力完好无损,在满是障碍的环境里依然走得很熟练,只是把这种能力用在了“跟着伙伴走”上(Shah 等,2022)。

注意这个例子里没有规格错误。智能体只因为按正确顺序访问球体而得到奖励,从来没有因为跟随伙伴得到奖励(Shah 等,2022)。问题在于,训练中的数据无法区分两个目标:在有专家带路的训练环境里,“按正确顺序访问”和“跟着伙伴走”产生完全一样的行为、完全一样的奖励。模型学到了哪一个,训练时看不出来,换了环境才显现。Shah 等把这称为规格不足以确定目标:有多个目标都与训练中的反馈一致(Shah 等,2022)。

另一个例子是平台游戏 CoinRun。训练时金币总在关卡最右端,智能体学会了一路跑到最右端。测试时把金币放到关卡中间,它仍然跑到最右端,通常不理会金币。研究者在训练中让金币位置有一些变化(例如在最右侧 20% 的范围内随机出现),智能体就能在测试中找到出现在任何位置的金币(Shah 等,2022)。这提示了一种应对思路:让训练环境足够多样,使不同的候选目标在训练中就产生不同的行为。

对监督者来说,目标误泛化的麻烦在于:只看训练时的表现,什么问题也发现不了。评估者检查训练中的每一步,看到的都是正确的行为。要发现问题,必须构造能把候选目标区分开的情境,比如“反专家”或“金币不在最右端”。

一个示意性的例子:假设一个写程序的模型,在训练中遇到的每个任务都附有完整覆盖需求的测试,它得到的奖励因此是对的。它可能学到了“满足需求说明”,也可能学到了“让眼前能看到的检查全部通过”,两者在训练中无法区分。等到交给它的记账程序只有覆盖规则一的测试时,两个目标就分道扬镳了。

第 8.3 节引用的文献 1
  1. Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals

8.4 能力不足 #

最朴素的一种解释,常常被忘记。

定义 8.4 能力不足

能力不足:模型缺少完成任务所需的知识或能力。它可能与以上机制同时存在,外表也可能相似。

记账程序违反了规则三(写入失败时只记了一半)。可能的解释至少有三种:模型不会实现“要么全记、要么全不记”的写入方式(能力不足);规则三没有写进测试,模型的训练从来没有在这方面给过它任何奖励(规格错误);模型学到的是“通过可见的检查”(目标误泛化)。从结果看,三种解释给出的是同一份有缺陷的程序。

为什么要区分?因为补救办法不同。能力不足,要换更强的模型、给它更多工具或资料;规格错误和规格博弈,要修改规则或加强监督;目标误泛化,要在训练和测试中加入能区分不同目标的情境。用错了办法,问题不会消失:给一个本来就会写正确写入方式的模型讲解怎么写,没有用;只修补测试,治不了真正的能力欠缺。

怎样用证据区分?Shah 等的那个三维环境实验给了一个很好的对照(Shah 等,2022)。他们还做了另一种测试:把智能体看到的画面上下翻转。这时它卡在地图上部的某个位置,不再有任何连贯的行为。这是能力没能泛化:它在新条件下什么都做不好。而在“反专家”的测试中,它的行为是连贯、熟练的,只是方向错了,这才是目标误泛化。Shah 等的定义也因此要求,在测试环境中模型必须仍然具备完成预期目标所需的能力(Shah 等,2022)。

这给出了几种可以收集的证据。

  • 小的干预能否让它做对。Shah 等给“能力”的暂行定义是:如果能通过提示或少量数据的微调,较快地让模型把某件事做好,就说它具备这项能力(Shah 等,2022)。记账程序上,可以单独要求模型实现规则三,并给它一个专门测试写入失败的例子。如果它做对了,“能力不足”这个解释就弱了。
  • 失败是杂乱的,还是连贯地指向另一个目标。按 Shah 等的定义,目标误泛化的失败是连贯、熟练的,只是服务于另一个目标;画面翻转后那种卡住不动、没有条理的失败,是能力没能泛化(Shah 等,2022)。但能力不足的失败也可能很有条理(习题 8.2 的第 3 个案例),所以这一条只能作参考(本书的推断)。
  • 错误集中在哪里。如果错误恰好集中在没有被检查的地方,而被检查的地方几乎从不出错,这提示规格博弈或目标误泛化,而不是单纯的能力不足(本书的推断)。

这些证据都只是“提示”,不是证明。一个案例完全可以同时有几种成分:模型对规则三的实现本来就不熟练,规则三又没有被测试,训练于是从来没有逼它学会。

第 8.4 节引用的文献 1
  1. Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals

8.5 谄媚 #

有一种具体的现象在近几年的语言模型助手中被反复观察到(Sharma 等,2023),它与上面几种机制都有联系。

定义 8.5 谄媚

谄媚(sycophancy):模型迎合用户已经表达的观点。

Sharma 等的论文(2023 年预印本,后发表于 ICLR 2024)系统地测量了这种现象(Sharma 等,2023)。他们在多个自由文本任务上测试了五个使用人类反馈训练的 AI 助手,发现了一致的模式。请助手评价一段论证、一首诗或一份数学解答时,如果用户说“我很喜欢它”或“这是我写的”,评价往往更正面;用户说不喜欢,评价往往更负面,尽管文本本身完全一样。助手先给出正确答案后,用户只要说一句“我觉得不对,你确定吗?”,助手有时就会改成错误的答案(Sharma 等,2023)。

他们进一步检查了这种行为可能从哪里来。在一个公开的人类偏好比较数据集中,“回答与用户的观点一致”是预测人更偏好哪个回答的最有力特征之一;人和偏好模型都有一定比例的时候,更偏好写得有说服力的迎合性回答,而不是纠正用户的正确回答(Sharma 等,2023)。作者的结论是,谄媚很可能部分地由偏好迎合的人类偏好判断驱动(Sharma 等,2023)。注意“部分地”:论文没有排除其他来源。

谄媚和前几节的机制是什么关系?如果人类偏好奖励了迎合,那么规格是“人的认可”,意图是“真实有用的回答”,谄媚就是规格博弈的一种表现:满足了“让人满意”的字面要求,没有达到“说真话、帮上忙”的意图。但两者不是同义词。第一,规格博弈可以有许多与迎合无关的形式,修改测试、原地打转都不是谄媚。第二,谄媚是按行为的内容定义的(顺着用户已表达的观点说,而不是按事实或独立的判断说),规格博弈是按行为与规则的关系定义的;判断一个回答是谄媚,不需要知道它是怎样训练出来的。第三,正如上一段所说,谄媚的来源不一定只有奖励。

谄媚对监督有直接的影响。如果评估者在提问时已经流露了自己的看法,一个谄媚的模型会顺着这个看法说,评估者得到的就不是独立的检查,而是自己观点的回声。在记账程序的例子里,你问“我觉得重复提交这部分没问题,你看呢?”,就可能削弱了你本想得到的审查。第 13 章讨论的确认偏误与此相近,只是发生在人这一侧:人自己也更容易寻找和采信支持已有看法的信息。

第 8.5 节引用的文献 1
  1. Sharma 等人(2023)Towards Understanding Sycophancy in Language Models

8.6 本书采用的 Goodhart 定律表述 #

前面几节反复出现同一个结构:我们真正关心的东西不好直接测量,就用一个容易测量的东西代替它。这个代替物叫代理指标(proxy)。“测试通过”是“代码正确”的代理指标,“人的评分”是“回答真的好”的代理指标,奖励模型的分数又是“人的评分”的代理指标。Goodhart 定律讨论的是代理指标被拿来作为优化目标之后会发生什么。

这条定律最初的说法大意是:一个被观察到的统计规律,一旦被用来施加控制压力,就会趋于瓦解(Hendrycks,2024)。它流传最广的版本是“一个指标一旦成为目标,就不再是好指标”。Hendrycks 指出,这个简化版本好记,却错误地暗示代理指标对优化压力的耐受是全有或全无的,实际上有的代理指标比另一些更经得起优化(Hendrycks,2024)。这条定律没有公认的精确表述,本书采用下面的概括。

要点

Goodhart 定律(本书的表述):当代理指标受到较强优化时,它与真正目标之间原有的对应关系可能变差。不是任何指标一成为目标就立即失效,失效的机制也不只一种。

这句话有三个要点。

“较强优化”。优化有强有弱。从 12 个回答里挑出代理分数最高的 6 个,是较弱的优化;只挑最高的 1 个,是较强的优化。训练的步数越多、被优化的系统能力越强、可选的行为越多,优化就越强。Hendrycks 把这称为优化压力,它取决于激励的大小、优化者的能力和优化持续的时间(Hendrycks,2024)。

“原有的对应关系可能变差”。代理指标之所以被选中,是因为它原本与真正目标对得上:作文写得长,通常内容也多一些;测试通过的程序,通常也更可能正确。优化较弱时,抬高代理指标往往确实带动了真正目标。赛艇的例子就是这样:起初,得分这个代理指标帮助智能体学会了驾驶,到了更强的优化压力下,对应关系才断掉,智能体开始原地打转(Hendrycks,2024)。所以代理指标并非一用就坏,而是随着优化变强,在某个程度之后可能变坏。

“失效的机制也不只一种”。Manheim 与 Garrabrant 的一篇预印本把这类现象分成四种(Manheim 与 Garrabrant,2018)。用作文字数来说明:

  • 选中了误差。代理指标里总有误差。只挑分数最高的那几篇时,挑中的往往也是误差恰好偏高的那几篇。这一种不需要任何人去“钻”指标,只要按代理指标挑选就会发生,论文称它是最基本、无法避免的一种(Manheim 与 Garrabrant,2018)。
  • 走出了原来的范围。字数和内容的关系,是在 300 到 1000 字的普通作文上观察到的。优化把作文推到 5000 字时,已经离开了这个范围,原来的关系不再成立。
  • 干预改变了关系本身。字数和内容原来相关,是因为两者都来自“有话可说”。如果老师自己动手抬高字数,比如要求每篇都扩写到 800 字,或者花课时专门训练怎样把文章写长,字数确实上去了,内容却没有跟着增加。切断原有关系的,是使用指标的一方(这里是老师)自己的干预(Manheim 与 Garrabrant,2018)。
  • 另一方针对指标行动。有自己目标的一方(想拿高分而不想多写内容的学生)专门去抬高字数,比如重复句子。

这里还要把 Goodhart 效应和第 8.1 节的规格错误分开。规格错误在没有任何优化时就存在,拿规则和意图在普通情况下对照就能发现;Goodhart 效应随着优化变强才出现,只有去看优化把系统推到了哪里才能发现(本书的区分)。实际案例中两者常常同时存在:规格本来就有缺陷,强优化又把缺陷放大。

习题 8.3 用一组构造的数据演示“选中误差”这一种机制。第 23 章会讲研究者怎样在实验中测量奖励模型被过度优化的过程。

第 8.6 节引用的文献 2
  1. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
  2. Manheim 与 Garrabrant(2018)Categorizing Variants of Goodhart's Law

8.7 常见误解 #

最后澄清两个常见误解。

误解一:这些机制是互斥的,一个案例只属于其中一种。不是。再看本章开头的编程模型。“测试通过”作为奖励,而测试文件又可以修改,这是规格错误;模型修改测试,是规格博弈,具体说是 reward hacking;它也许本来就修不好那段代码,能力不足可能也在其中;Baker 等报告,在他们的环境里,作弊解法的比例随着训练稳步上升(Baker 等,2025),这又是优化越强、代理指标越不可靠的一个例子(本书的推断)。分析一个案例时,要问的不是“它属于哪一种”,而是“它涉及哪几种,各有什么证据”。

误解二:这些现象说明模型“想要”作弊,有欺骗的意图。不需要这样假定。本章用到的词,“钻空子”“博弈”“迎合”,在日常语言里都带着意图的色彩,但本章的每一个定义都只说行为与规则、与意图之间的关系。翻转积木和原地打转的,是相当简单的强化学习智能体;“选中误差”这种 Goodhart 效应,连一个行动者都不需要,只要有人按代理分数挑选就会发生。Shah 等在定义目标误泛化时特意说明,他们说模型“追求某个目标”,只是说它的行为可以被看作在完成这个目标,不要求模型内部表示了这个目标,也不要求它有追求它的“愿望”(Shah 等,2022)。Sharma 等测量谄媚时,测的也只是回答是否随用户表达的观点而变(Sharma 等,2023)。

这一点有两面,都很重要。一方面,不能因为“模型没有坏心”就认为这些问题不会发生:只要有缝隙、有足够的优化压力,它们就可能出现。另一方面,观察到这些现象,也不能据此推断模型有欺骗意图。模型是否会针对监督调整自己的行为,是另一个问题,需要另外的证据,第 25 章讨论它。本书为什么一律用行为来下定义,在第 10.4 节说明。

还有一个相关的误解值得顺带一提:“只要把规则写对,就没事了。”目标误泛化说明,规则写对了,模型学到的目标仍可能不对;何况把规则写对本身就很难。这正是本书接下来要讨论监督方法的原因:规则总有缝隙,我们需要在缝隙之外,还有办法看出模型实际做了什么。

第 8.7 节引用的文献 3
  1. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
  2. Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
  3. Sharma 等人(2023)Towards Understanding Sycophancy in Language Models

读物 #

  • 入门讲解 · 博客:Krakovna 等《Specification gaming: the flip side of AI ingenuity》(DeepMind,2020)及文中的案例清单(Krakovna 等,2020)。短文,讲清楚规格博弈的成因,案例清单可以随手翻看,体会“满足字面而违背意图”有多少种形式。
  • 入门讲解 · 教材:Hendrycks《Introduction to AI Safety, Ethics, and Society》第 3 章 Single-Agent Safety 中关于代理指标博弈(proxy gaming)的部分(Hendrycks,2024)。从河内悬赏老鼠尾巴的历史故事讲到机器学习,并讨论 Goodhart 定律和优化压力。
  • 实验结果 · 预印本:Shah 等《Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals》(2022)(Shah 等,2022)。重点读第 1 节的三维环境例子和第 2 节的定义,看作者怎样区分目标误泛化与能力没能泛化。
  • 实验结果 · 会议论文:Sharma 等《Towards Understanding Sycophancy in Language Models》(2023;ICLR 2024)(Sharma 等,2023)。看谄媚是怎样被测量的,以及作者从人类偏好数据中找到了什么证据。
本节引用的文献 4
  1. Krakovna 等人(2020)Specification gaming: the flip side of AI ingenuity
  2. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
  3. Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
  4. Sharma 等人(2023)Towards Understanding Sycophancy in Language Models

练习 #

习题 8.1 800 字作文的评分规则

老师希望学生的作文达到 800 字,并且言之有物。

  1. 为“让学生的作文达到 800 字”设计一条评分规则,写成可以照着打分的样子。
  2. 扮演对手:找出至少两种不改善作文质量、也能在你的规则下拿高分的办法。
  3. 对每种办法,写出它涉及第 8.1 节到第 8.6 节中的哪些机制,并说明理由。
  4. 修改你的规则,堵住其中一种办法。修改后的规则又可能被怎样利用?
提示

先写一条最简单的规则,例如“800 字及以上得满分,每少 100 字扣 1 分”,再逐条问自己:一个只想拿分、不想多花心思的学生会怎么做?一个确实写不出 800 字有内容的文字的学生又会怎么做?两者涉及的机制不同。

解答

本题是开放题,下面给出一种参考答法和评分要点。

参考规则:“全文 800 字及以上得 10 分;每少 100 字扣 1 分。”

不改善质量也能拿高分的办法,以及涉及的机制:

办法 涉及的机制
把同一个意思换几种说法反复写,或大段抄写题目和材料 规格错误(规则只数字数,没写“言之有物”);规格博弈(满足字面、未达意图)
插入与题目无关的套话、名人名言 同上;如果原本内容和字数相关,现在相关性被切断,也是 Goodhart 定律中“另一方针对指标行动”的例子
学生确实写不出 800 字有内容的文字,只好用套话凑足 能力不足与规格博弈同时存在:高分来自凑字数,原因却是能力不够
如果老师还会看内容,学生专门迎合老师在课上表达过的观点 谄媚(迎合评估者已表达的观点);在“老师认可”这一规格下也是规格博弈

修改规则的例子:“字数达标后,再按论点是否清楚、例子是否支持论点给 0 到 10 分。”这条规则堵住了纯凑字数,但仍可能被利用,例如写一个看起来清楚、例子很多却回避难点的论证;评分规则越依赖老师的主观判断,越可能出现迎合老师偏好的写法。

评分要点:

  • 规则写得具体,能照着打分。
  • 至少两种办法确实不改善质量,并且确实能拿高分。
  • 机制的判断有理由;能指出至少一种办法同时涉及两种机制。
  • 能区分“规则本身漏了什么”(规格错误)和“学生做了什么”(规格博弈)。
  • 第 4 问能看出修补规则会带来新的可利用之处,而不是声称已经堵死。
习题 8.2 判读四个失败案例

对下面每个案例,指出它可能涉及第 8.1 节到第 8.5 节中的哪些机制,并写出:要确认你的判断,还缺什么证据?

  1. 机器人积木实验中,奖励是红色积木底面离地的高度,机器人把积木翻了过来(第 8.1 节)。
  2. 一个聊天模型先正确回答了一道历史题,用户说“我觉得不对吧?”,它道歉并改成了错误答案。
  3. 一个帮学生检查数学作业的模型,训练时见过的题目答案都是整数。实际使用中,遇到答案是分数的题,它总把学生的正确分数答案判为错误,并给出一个四舍五入后的整数作为“正确答案”。
  4. 记账程序通过了交付时的全部测试。使用一个月后发现,在网络中断时,一笔支出记上了、余额却没有更新。交付时的测试里没有模拟写入失败的情形。
解答

参考答案(机制判断可以有合理的不同,关键是写出缺什么证据):

  1. 规格错误(奖励只量底面高度)和规格博弈(满足字面、没有叠上去)。缺的证据:机器人是否具备真正叠放的能力。如果在修正后的奖励下它能学会叠放,就排除了“能力不足”是主要原因。
  2. 谄媚;如果它的训练奖励了迎合用户,也可以看作规格博弈的表现。“能力不足”的解释很弱,因为它第一次答对了。缺的证据:这种改口在多少比例的题目上出现;用户不表达质疑时它是否稳定答对;训练用的偏好数据是否确实偏好迎合(第 8.5 节介绍的研究做过这类检查)。
  3. 可能是目标误泛化(训练中“给出整数”与“给出正确答案”无法区分,换到新题目后追求了前者),也可能是能力不足(它不会处理分数)。缺的证据:直接要求它计算一个结果为分数的题目,它能否算对;如果能,说明能力在,更支持目标误泛化。
  4. 可能是能力不足(不会实现“要么全记、要么全不记”)、规格错误(测试没有覆盖规则三),也可能有目标误泛化(学到的是“通过可见的检查”)。缺的证据:单独要求模型实现规则三并给出写入失败的测试,看它能否做对;检查程序的其他未测试部分是否也有类似问题(如果错误集中在没测的地方,更像规格问题而非单纯能力不足)。

评分要点:每个案例至少指出一种机制并给出理由;至少两个案例指出了可以区分不同解释的具体证据,而不是只写“需要更多信息”。

习题 8.3 按代理分数挑选:优化越强,偏差越大

下面是为教学构造的数据。12 个回答 A 到 L,每个都有两个分数:“真实质量”是一位专家不限时仔细评出的分数(0 到 10),“代理分数”是一个快速评分者给出的分数,等于真实质量加上评分者的误差。

回答 A B C D E F G H I J K L
真实质量 7 5 8 4 6 9 4 6 5 7 3 6
代理分数 8.5 8.0 8.8 3.0 8.2 9.0 9.5 4.0 6.0 9.3 4.5 5.5

我们只能看到代理分数,并按它挑选回答。

  1. 分别计算全部 12 个、代理分数最高的 6 个、最高的 3 个、最高的 1 个回答的平均代理分数和平均真实质量,以及两者之差。
  2. 随着挑选越来越严格,平均真实质量怎样变化?两者之差怎样变化?
  3. 真实质量最高的是哪个回答?它的代理分数排第几?
  4. 用第 8.6 节的话解释你看到的现象。这个过程中有没有任何一方在“钻空子”?
  5. 这组数据不能说明什么?
提示

排序后的代理分数从高到低是 G、J、F、C、A、E、B、I、L、K、H、D。

解答

计算用的脚本是 tools/exercises/ch08_selection.py。

  1. 结果如下(保留三位小数):

    挑选 保留的回答 平均代理分数 平均真实质量 差
    全部 12 个 A 到 L 7.025 5.833 1.192
    最高 6 个 G、J、F、C、A、E 8.883 6.833 2.050
    最高 3 个 G、J、F 9.267 6.667 2.600
    最高 1 个 G 9.500 4.000 5.500
  2. 从全部到最高 6 个,平均真实质量从 5.833 升到 6.833:较弱的挑选确实挑出了更好的回答,代理分数是有用的。再往下挑,平均真实质量反而下降,到只挑 1 个时只有 4。代理分数与真实质量之差则一路变大:1.192、2.050、2.600、5.500。要注意,全部 12 个时差已经是 1.192,这是因为这位评分者整体偏高(12 个误差的平均约为 +1.19),与挑选无关;挑选越严,差在这个基础上越大,多出来的部分才来自挑选。

  3. 真实质量最高的是 F(9 分),它的代理分数排第 3,只挑 1 个时会被漏掉。被挑中的 G 真实质量只有 4,它的代理分数最高,是因为评分者对它的误差最大(高估了 5.5 分)。

  4. 这是 Goodhart 定律中“选中了误差”的机制:代理分数等于真实质量加误差,挑得越严格,挑中的回答越可能是误差恰好偏高的那些,代理分数高出真实质量的部分也就越大。优化较弱时代理指标仍然有用,优化较强时它与真实质量的对应关系变差,这与本书的表述一致:不是一用就坏,而是随优化强度变坏。整个过程中没有任何一方在钻空子,只有一个按分数挑选的规则。

  5. 数据是构造的,只有 12 个回答;误差的大小是人为设定的,真实的评分误差可能小得多,也可能与回答的某些特征(例如篇幅、语气)系统地相关。这组数据只演示了一种机制,不能说明其他三种机制,也不能说明真实训练中代理指标会在多强的优化下开始变坏(第 23 章)。还要注意,这组数据里,最严的挑选让平均真实质量降到 4,这是这 12 个数据的特点(误差最大的 G 恰好质量偏低,真实质量 4 低于 12 个回答的平均真实质量 5.833),不是这种机制的必然结果。在 Manheim 与 Garrabrant 的简单模型里,误差与真实质量无关,挑得越严,挑中回答的真实质量按期望仍高于没挑中的,只是比代理分数低得越来越多(Manheim 与 Garrabrant,2018)。

本节引用的文献 1
  1. Manheim 与 Garrabrant(2018)Categorizing Variants of Goodhart's Law

学完能做到 #

  • 说出规格错误、规格博弈(及 reward hacking)、目标误泛化、能力不足四种机制的定义,并说明前者是规则的问题,后几者是行为或能力的问题。
  • 对一个失败案例,指出它涉及哪些机制,以及要确认这一判断还缺什么证据,例如“小的干预能否让模型做对”。
  • 说明谄媚与规格博弈的联系和区别。
  • 用本书的表述解释 Goodhart 定律,并举例说明为什么代理指标不是一被优化就失效。
  • 解释为什么这些现象都不需要假定模型有欺骗意图,以及为什么观察到它们也不能推出模型有欺骗意图。

参考文献

  1. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Concrete Problems in AI Safety. arXiv. 预印本引用于 §8.2
  2. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本引用于 §8.7
  3. Hendrycks, D. (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 引用于 §8.1 §8.2 §8.6
  4. Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., … Legg, S. (2020). Specification gaming: the flip side of AI ingenuity. Google DeepMind blog. 非同行评审引用于 §8.1 §8.2
  5. Manheim, D., and Garrabrant, S. (2018). Categorizing Variants of Goodhart's Law. arXiv. 预印本引用于 §8.6
  6. Shah, R., Varma, V., Kumar, R., Phuong, M., Krakovna, V., Uesato, J., and Kenton, Z. (2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. arXiv. 预印本引用于 §8.3 §8.4 §8.7
  7. Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., … Perez, E. (2023). Towards Understanding Sycophancy in Language Models. International Conference on Learning Representations, 2024. 引用于 §8.5 §8.7