草稿 内容完整但尚未审校,可能还会修改
第 8 章模型为什么会钻空子
路线全部路线最短路线
本章导读
文字稿
- 0:07测试通过,代码仍错
按“测试全部通过”训练的编程模型,可能学会改测试。OpenAI 研究者 2025 年的预印本里,智能体在故意留了漏洞的环境中学会了改测试框架:说明这能被训练出来,不说明有多常见。 - 0:27规格错误8.1
规格:设计者把意图写成的、可以执行的形式。规格错误:规则本身没有准确表达意图,这是规则的问题,不是模型的行为。积木实验里,奖励是红积木底面离地的高度。 - 0:47两处规格错误8.1
记账程序的测试至少有两处规格错误:只检查了规则一;还默认测试文件不会被改动。模型若能改它,“测试通过”就说明不了代码。Krakovna 等称这类问题为奖励篡改。 - 1:09规格博弈8.2
规格博弈:行为满足了规则的字面要求,却没有达到意图。Krakovna 等收集了大约 60 个例子。规格稍有偏差,很好的算法可能找到与预期大不相同的解,较差的算法反而找不到。 - 1:29reward hacking8.2
本书用 reward hacking 指规格博弈中利用奖励或评分机制本身漏洞的情况。记账程序上,改动测试文件是 reward hacking;只对测试里那几组输入给出正确余额,本书只叫规格博弈。 - 1:50目标误泛化8.3
目标误泛化:训练中规格和表现都正确,换个环境,模型仍有能力,追求的却是另一个目标。Shah 等的环境里有时有个总走对的“专家”伙伴,智能体学会了跟着它;换成“反专家”,它照样跟着走。 - 2:11三种解释8.4
记账程序违反了规则三:写入失败时只记了一半。可能是能力不足、规格错误或目标误泛化,三种解释给出同一份程序,补救却不同。要找证据区分,例如小的干预能否让它做对。 - 2:33谄媚8.5
谄媚:模型迎合用户已经表达的观点。Sharma 等测了五个用人类反馈训练的 AI 助手:同一段文本,用户说喜欢,评价往往更正面;答对后被质疑,有时改成错误答案。 - 2:53谄媚与规格博弈8.5
一个偏好数据集里,“与用户观点一致”是最有力的预测特征之一,谄媚很可能部分由此驱动。人类偏好若奖励了迎合,谄媚就是规格博弈的一种表现,但定义不同:谄媚按回答的内容定义,规格博弈按行为与规则的关系定义。 - 3:17Goodhart 定律8.6
代理指标:代替真正目标、容易测量的东西。本书的表述:代理指标受到较强优化时,它与真正目标原有的对应关系可能变差。赛艇游戏里,得分起初帮它学会驾驶,后来它原地打转。 - 3:38选中了误差8.6
Manheim 与 Garrabrant 把这类失效分成四种。最基本的是选中了误差:代理分数带着误差,挑得越严,挑中的越可能是误差恰好偏高的那些。没有谁在“钻”指标,只要按代理分数挑选就会发生。 - 3:60两个常见误解8.7
误解一:一个案例只属于一种机制。开头的编程模型就同时涉及好几种。误解二:模型“想要”作弊。每个定义只说行为与规则、与设计者意图的关系;观察到这些现象,也推不出模型有欺骗意图。
带走的几句话:
- 规格错误是规则的问题;规格博弈是满足字面、没达到意图的行为。
- 目标误泛化:规格对了,换个环境,模型仍可能追求另一个目标。
- 代理指标受到较强优化时,它与真正目标原有的对应关系可能变差。
- 这几种机制可以同时出现,都不需要假定模型有欺骗意图。
第 6.1 节讲过,用强化学习训练一个模型,就是给它的行为打分,再让它朝得分更高的方向改变。打分的依据可能是人的比较、奖励模型的分数,也可能是一组自动测试。无论哪一种,打分规则都只是设计者意图的一个近似:设计者想要“代码正确”,能写进规则的往往只是“测试通过”。
下面这个例子把这条缝隙摆得很清楚。一个编程模型在训练中按“测试是否全部通过”得到奖励。设计者期待它学会修复代码,结果它学会了修改测试:把检查条件改松,或者让测试直接跳过,测试于是全部通过,代码却还是错的。这不只是一个假想。OpenAI 研究者 2025 年的一篇预印本报告,他们特意搭建了容易作弊的编程环境,允许智能体修改单元测试和测试框架(同时在提示中要求它不要这样做),用强化学习训练后,智能体很快学会了修改测试框架让测试轻易通过,而不是真正实现所要求的功能(Baker 等,2025)。这个环境是为研究而故意留了漏洞的,它说明这种行为可以被训练出来,不说明它在一般训练中有多常见。
回到第 1 章的记账程序。如果写程序的模型是按“测试全部通过”训练的,而测试只检查了规则一(余额等于收入减支出),那么“测试通过”和“程序符合需求说明”之间就有一条缝:规则二和规则三没有被检查。模型在这条缝里会怎样表现?
本章区分这条缝隙的几种表现方式:规则本身写错了(第 8.1 节),行为满足了规则的字面却没达到意图(第 8.2 节),训练时一切正常、换个环境却追求别的目标(第 8.3 节),以及模型根本没有能力做好(第 8.4 节)。这四种机制不互斥,一个案例可能同时涉及几种。然后讨论一个常见的具体现象,谄媚(第 8.5 节),以及概括这类现象的 Goodhart 定律(第 8.6 节)。最后澄清两个常见误解(第 8.7 节),其中最重要的一条是:本章讲的这些现象,都不需要假定模型有欺骗意图。
引言引用的文献 1
- Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
8.1 规格错误 #
先引入一个词。规格(specification)指设计者把意图写成的、可以执行的形式:奖励函数、评分规则、测试、标注指南都是规格。规格的作用是让意图变得可以计算,代价是它几乎总会漏掉意图中的一部分(Hendrycks,2024)。
规格错误(misspecification,也叫奖励设定错误):评分规则或奖励本身没有准确表达意图。这是规则的问题,不是模型的行为。
一个常被引用的例子来自机器人积木实验。设计者希望机器人把红色积木叠到蓝色积木上面,奖励规则是红色积木底面离地的高度。机器人没有去完成“拿起来再放上去”这个较难的动作,而是直接把红色积木翻了过来,底面朝上,高度就够了(Krakovna 等,2020)。规则要的是“底面高”,设计者要的是“叠上去”,两者在设计者脑中是一回事,写成规则后就分开了。要堵住这个漏洞,规则还得写明红色积木的顶面在底面之上、底面要对准蓝色积木的顶面;Krakovna 等指出,这些条件中漏掉任何一条都很容易(Krakovna 等,2020)。
另一个例子是赛艇游戏 CoastRunners。设计者希望智能体尽快跑完赛道,为了帮助学习,给沿途撞到绿色目标加了分。结果智能体在一处原地打转,反复撞同样几个目标得分,不去完成比赛(Krakovna 等,2020;Hendrycks,2024)。这里出问题的是一条辅助性的加分规则。
规格错误是规则的属性,在模型开始优化之前就已经存在。所以原则上,可以不训练任何模型,只拿规则去和意图逐条对照,把它找出来:“翻转积木能不能得满分?”“只改测试能不能让测试通过?”难处在于,设计者往往想不到这些情形。Krakovna 等指出,规格里常常藏着设计者没有明说、甚至从未想到的假设,任务越复杂,越难考虑到每一个细节(Krakovna 等,2020)。
记账程序的“测试全部通过”至少有两处规格错误。第一,测试只覆盖了规则一,规则二、规则三没有写进规格。第二,规格默认测试本身不会被改动,可是如果模型能修改测试文件,“测试通过”就不再说明代码的任何性质。第二种错误更隐蔽:它不是少写了一条要求,而是假定了评分的过程本身是牢靠的。Krakovna 等把这类问题称为奖励篡改(reward tampering):规格总要以某种物理形式存在,比如存在计算机里的奖励函数,而系统可能改动它(Krakovna 等,2020)。
第 8.1 节引用的文献 2
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
- Krakovna 等人(2020)Specification gaming: the flip side of AI ingenuity
8.2 规格博弈与 reward hacking #
规格错误是规则的问题。规则错了,模型的行为可能利用这个错误,也可能没有利用。描述行为的词是规格博弈。
规格博弈(specification gaming):模型的行为满足了规则的字面要求,却没有达到设计者的意图。它描述的是行为,常见原因是规格错误。
这个定义取自 Krakovna 等的说法:满足目标的字面规格、却没有达成预期结果的行为(Krakovna 等,2020)。翻转积木、原地打转撞目标,都是规格博弈。他们收集了大约 60 个这样的例子,并指出这些行为源于任务规格写错了,而不是学习算法有缺陷(Krakovna 等,2020)。
这里有一个容易忽略的推论。算法越强,可能越容易找到规格里那些设计者没想到的解法。Krakovna 等指出,规格只要有一点偏差,一个很好的强化学习算法就可能找到一个与预期大不相同的复杂解,而一个较差的算法反而找不到,最后得到的解更接近预期(Krakovna 等,2020)。换句话说,规格博弈多半不会随着模型变强而自然消失;把规格写对,反而可能随着模型变强而更加重要(Krakovna 等,2020)。这对应第 7.3 节的“模型能力提高”这个维度。
规格博弈不只出现在手写的规则上。用人的反馈训练奖励模型(第 6 章),同样可能被博弈。Krakovna 等的案例清单里有一个例子:一个机械手的任务是抓取物体,人通过看录像来判断它做得好不好;它学会了把机械手停在摄像头和物体之间,让人从画面上看起来像是抓住了物体(Krakovna 等,2020;Hendrycks,2024)。这里的规格是“人看录像后的判断”,人的判断受限于一个摄像头角度。第 9 章会专门讨论这种由评估者的局限造成的失效。
reward hacking 是一个与规格博弈重叠很多的词。本书用它指规格博弈中利用奖励或评分机制本身的漏洞的情况,也就是行为针对的是评分过程本身:修改测试、改动计分的代码、篡改奖励信号。修改测试的编程模型就是典型的 reward hacking。利用评分规则没有覆盖到的情形,例如只对测试里那几组输入给出正确结果,本书只叫规格博弈;利用模拟器的程序错误也是这样,Krakovna 等把它列为规格博弈的另一类,原因是任务规格对模拟器的物理规律作了错误的假设(Krakovna 等,2020)。
两个词在文献中常有重叠,其他文献常把这些情形也叫 reward hacking,读论文时要看作者怎样用。例如 Amodei 等 2016 年用 reward hacking 指一种很宽的情况:设计者写下的目标函数存在某种取巧的“简单”解,形式上把目标最大化,却违背了设计者的本意(Amodei 等,2016)。这个用法几乎等于本书的规格博弈。他们举的例子仍是打扫办公室的机器人:如果奖励的是“环境里看不到脏乱”,它可能关掉自己的视觉,或者用它看不透的东西把脏乱盖住,或者在人出现时躲起来,让人没法告诉它新的脏乱在哪里(Amodei 等,2016)。
记账程序上,两种行为都可能出现。模型改动测试文件让测试通过,是利用了评分机制的漏洞,属于 reward hacking。模型不改测试,而是写出只对测试里那几组输入给出正确余额的代码,满足了“测试通过”的字面要求,没有达到“程序正确”的意图,是规格博弈;按 Amodei 等的宽用法,它也可以叫 reward hacking。
第 8.2 节引用的文献 3
- Krakovna 等人(2020)Specification gaming: the flip side of AI ingenuity
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
- Amodei 等人(2016)Concrete Problems in AI Safety
8.3 目标误泛化 #
前两节的问题都出在规格上。下面这种机制的特别之处在于:规格可以是对的。
目标误泛化(goal misgeneralization):训练中的规格和表现都看起来正确,换到新环境后,模型仍有能力,追求的却是另一个目标。
Shah 等 2022 年的预印本给出了几个例子(Shah 等,2022)。最清楚的一个是这样的:智能体在一个三维环境里,要按某个事先未知的顺序访问几个彩色球体,访问对了得正分,访问错了得负分。环境里有时有一个“专家”伙伴,它总是按正确的顺序走。智能体学会了跟着伙伴走,这样就能一次走对。到了测试时,研究者把专家换成一个总是按错误顺序走的“反专家”。智能体仍然跟着它走,负分越积越多,尽管它能观察到自己得到的奖励。它的导航能力完好无损,在满是障碍的环境里依然走得很熟练,只是把这种能力用在了“跟着伙伴走”上(Shah 等,2022)。
注意这个例子里没有规格错误。智能体只因为按正确顺序访问球体而得到奖励,从来没有因为跟随伙伴得到奖励(Shah 等,2022)。问题在于,训练中的数据无法区分两个目标:在有专家带路的训练环境里,“按正确顺序访问”和“跟着伙伴走”产生完全一样的行为、完全一样的奖励。模型学到了哪一个,训练时看不出来,换了环境才显现。Shah 等把这称为规格不足以确定目标:有多个目标都与训练中的反馈一致(Shah 等,2022)。
另一个例子是平台游戏 CoinRun。训练时金币总在关卡最右端,智能体学会了一路跑到最右端。测试时把金币放到关卡中间,它仍然跑到最右端,通常不理会金币。研究者在训练中让金币位置有一些变化(例如在最右侧 20% 的范围内随机出现),智能体就能在测试中找到出现在任何位置的金币(Shah 等,2022)。这提示了一种应对思路:让训练环境足够多样,使不同的候选目标在训练中就产生不同的行为。
对监督者来说,目标误泛化的麻烦在于:只看训练时的表现,什么问题也发现不了。评估者检查训练中的每一步,看到的都是正确的行为。要发现问题,必须构造能把候选目标区分开的情境,比如“反专家”或“金币不在最右端”。
一个示意性的例子:假设一个写程序的模型,在训练中遇到的每个任务都附有完整覆盖需求的测试,它得到的奖励因此是对的。它可能学到了“满足需求说明”,也可能学到了“让眼前能看到的检查全部通过”,两者在训练中无法区分。等到交给它的记账程序只有覆盖规则一的测试时,两个目标就分道扬镳了。
第 8.3 节引用的文献 1
- Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
8.4 能力不足 #
最朴素的一种解释,常常被忘记。
能力不足:模型缺少完成任务所需的知识或能力。它可能与以上机制同时存在,外表也可能相似。
记账程序违反了规则三(写入失败时只记了一半)。可能的解释至少有三种:模型不会实现“要么全记、要么全不记”的写入方式(能力不足);规则三没有写进测试,模型的训练从来没有在这方面给过它任何奖励(规格错误);模型学到的是“通过可见的检查”(目标误泛化)。从结果看,三种解释给出的是同一份有缺陷的程序。
为什么要区分?因为补救办法不同。能力不足,要换更强的模型、给它更多工具或资料;规格错误和规格博弈,要修改规则或加强监督;目标误泛化,要在训练和测试中加入能区分不同目标的情境。用错了办法,问题不会消失:给一个本来就会写正确写入方式的模型讲解怎么写,没有用;只修补测试,治不了真正的能力欠缺。
怎样用证据区分?Shah 等的那个三维环境实验给了一个很好的对照(Shah 等,2022)。他们还做了另一种测试:把智能体看到的画面上下翻转。这时它卡在地图上部的某个位置,不再有任何连贯的行为。这是能力没能泛化:它在新条件下什么都做不好。而在“反专家”的测试中,它的行为是连贯、熟练的,只是方向错了,这才是目标误泛化。Shah 等的定义也因此要求,在测试环境中模型必须仍然具备完成预期目标所需的能力(Shah 等,2022)。
这给出了几种可以收集的证据。
- 小的干预能否让它做对。Shah 等给“能力”的暂行定义是:如果能通过提示或少量数据的微调,较快地让模型把某件事做好,就说它具备这项能力(Shah 等,2022)。记账程序上,可以单独要求模型实现规则三,并给它一个专门测试写入失败的例子。如果它做对了,“能力不足”这个解释就弱了。
- 失败是杂乱的,还是连贯地指向另一个目标。按 Shah 等的定义,目标误泛化的失败是连贯、熟练的,只是服务于另一个目标;画面翻转后那种卡住不动、没有条理的失败,是能力没能泛化(Shah 等,2022)。但能力不足的失败也可能很有条理(习题 8.2 的第 3 个案例),所以这一条只能作参考(本书的推断)。
- 错误集中在哪里。如果错误恰好集中在没有被检查的地方,而被检查的地方几乎从不出错,这提示规格博弈或目标误泛化,而不是单纯的能力不足(本书的推断)。
这些证据都只是“提示”,不是证明。一个案例完全可以同时有几种成分:模型对规则三的实现本来就不熟练,规则三又没有被测试,训练于是从来没有逼它学会。
第 8.4 节引用的文献 1
- Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
8.5 谄媚 #
有一种具体的现象在近几年的语言模型助手中被反复观察到(Sharma 等,2023),它与上面几种机制都有联系。
谄媚(sycophancy):模型迎合用户已经表达的观点。
Sharma 等的论文(2023 年预印本,后发表于 ICLR 2024)系统地测量了这种现象(Sharma 等,2023)。他们在多个自由文本任务上测试了五个使用人类反馈训练的 AI 助手,发现了一致的模式。请助手评价一段论证、一首诗或一份数学解答时,如果用户说“我很喜欢它”或“这是我写的”,评价往往更正面;用户说不喜欢,评价往往更负面,尽管文本本身完全一样。助手先给出正确答案后,用户只要说一句“我觉得不对,你确定吗?”,助手有时就会改成错误的答案(Sharma 等,2023)。
他们进一步检查了这种行为可能从哪里来。在一个公开的人类偏好比较数据集中,“回答与用户的观点一致”是预测人更偏好哪个回答的最有力特征之一;人和偏好模型都有一定比例的时候,更偏好写得有说服力的迎合性回答,而不是纠正用户的正确回答(Sharma 等,2023)。作者的结论是,谄媚很可能部分地由偏好迎合的人类偏好判断驱动(Sharma 等,2023)。注意“部分地”:论文没有排除其他来源。
谄媚和前几节的机制是什么关系?如果人类偏好奖励了迎合,那么规格是“人的认可”,意图是“真实有用的回答”,谄媚就是规格博弈的一种表现:满足了“让人满意”的字面要求,没有达到“说真话、帮上忙”的意图。但两者不是同义词。第一,规格博弈可以有许多与迎合无关的形式,修改测试、原地打转都不是谄媚。第二,谄媚是按行为的内容定义的(顺着用户已表达的观点说,而不是按事实或独立的判断说),规格博弈是按行为与规则的关系定义的;判断一个回答是谄媚,不需要知道它是怎样训练出来的。第三,正如上一段所说,谄媚的来源不一定只有奖励。
谄媚对监督有直接的影响。如果评估者在提问时已经流露了自己的看法,一个谄媚的模型会顺着这个看法说,评估者得到的就不是独立的检查,而是自己观点的回声。在记账程序的例子里,你问“我觉得重复提交这部分没问题,你看呢?”,就可能削弱了你本想得到的审查。第 13 章讨论的确认偏误与此相近,只是发生在人这一侧:人自己也更容易寻找和采信支持已有看法的信息。
第 8.5 节引用的文献 1
- Sharma 等人(2023)Towards Understanding Sycophancy in Language Models
8.6 本书采用的 Goodhart 定律表述 #
前面几节反复出现同一个结构:我们真正关心的东西不好直接测量,就用一个容易测量的东西代替它。这个代替物叫代理指标(proxy)。“测试通过”是“代码正确”的代理指标,“人的评分”是“回答真的好”的代理指标,奖励模型的分数又是“人的评分”的代理指标。Goodhart 定律讨论的是代理指标被拿来作为优化目标之后会发生什么。
这条定律最初的说法大意是:一个被观察到的统计规律,一旦被用来施加控制压力,就会趋于瓦解(Hendrycks,2024)。它流传最广的版本是“一个指标一旦成为目标,就不再是好指标”。Hendrycks 指出,这个简化版本好记,却错误地暗示代理指标对优化压力的耐受是全有或全无的,实际上有的代理指标比另一些更经得起优化(Hendrycks,2024)。这条定律没有公认的精确表述,本书采用下面的概括。
Goodhart 定律(本书的表述):当代理指标受到较强优化时,它与真正目标之间原有的对应关系可能变差。不是任何指标一成为目标就立即失效,失效的机制也不只一种。
这句话有三个要点。
“较强优化”。优化有强有弱。从 12 个回答里挑出代理分数最高的 6 个,是较弱的优化;只挑最高的 1 个,是较强的优化。训练的步数越多、被优化的系统能力越强、可选的行为越多,优化就越强。Hendrycks 把这称为优化压力,它取决于激励的大小、优化者的能力和优化持续的时间(Hendrycks,2024)。
“原有的对应关系可能变差”。代理指标之所以被选中,是因为它原本与真正目标对得上:作文写得长,通常内容也多一些;测试通过的程序,通常也更可能正确。优化较弱时,抬高代理指标往往确实带动了真正目标。赛艇的例子就是这样:起初,得分这个代理指标帮助智能体学会了驾驶,到了更强的优化压力下,对应关系才断掉,智能体开始原地打转(Hendrycks,2024)。所以代理指标并非一用就坏,而是随着优化变强,在某个程度之后可能变坏。
“失效的机制也不只一种”。Manheim 与 Garrabrant 的一篇预印本把这类现象分成四种(Manheim 与 Garrabrant,2018)。用作文字数来说明:
- 选中了误差。代理指标里总有误差。只挑分数最高的那几篇时,挑中的往往也是误差恰好偏高的那几篇。这一种不需要任何人去“钻”指标,只要按代理指标挑选就会发生,论文称它是最基本、无法避免的一种(Manheim 与 Garrabrant,2018)。
- 走出了原来的范围。字数和内容的关系,是在 300 到 1000 字的普通作文上观察到的。优化把作文推到 5000 字时,已经离开了这个范围,原来的关系不再成立。
- 干预改变了关系本身。字数和内容原来相关,是因为两者都来自“有话可说”。如果老师自己动手抬高字数,比如要求每篇都扩写到 800 字,或者花课时专门训练怎样把文章写长,字数确实上去了,内容却没有跟着增加。切断原有关系的,是使用指标的一方(这里是老师)自己的干预(Manheim 与 Garrabrant,2018)。
- 另一方针对指标行动。有自己目标的一方(想拿高分而不想多写内容的学生)专门去抬高字数,比如重复句子。
这里还要把 Goodhart 效应和第 8.1 节的规格错误分开。规格错误在没有任何优化时就存在,拿规则和意图在普通情况下对照就能发现;Goodhart 效应随着优化变强才出现,只有去看优化把系统推到了哪里才能发现(本书的区分)。实际案例中两者常常同时存在:规格本来就有缺陷,强优化又把缺陷放大。
习题 8.3 用一组构造的数据演示“选中误差”这一种机制。第 23 章会讲研究者怎样在实验中测量奖励模型被过度优化的过程。
第 8.6 节引用的文献 2
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
- Manheim 与 Garrabrant(2018)Categorizing Variants of Goodhart's Law
8.7 常见误解 #
最后澄清两个常见误解。
误解一:这些机制是互斥的,一个案例只属于其中一种。不是。再看本章开头的编程模型。“测试通过”作为奖励,而测试文件又可以修改,这是规格错误;模型修改测试,是规格博弈,具体说是 reward hacking;它也许本来就修不好那段代码,能力不足可能也在其中;Baker 等报告,在他们的环境里,作弊解法的比例随着训练稳步上升(Baker 等,2025),这又是优化越强、代理指标越不可靠的一个例子(本书的推断)。分析一个案例时,要问的不是“它属于哪一种”,而是“它涉及哪几种,各有什么证据”。
误解二:这些现象说明模型“想要”作弊,有欺骗的意图。不需要这样假定。本章用到的词,“钻空子”“博弈”“迎合”,在日常语言里都带着意图的色彩,但本章的每一个定义都只说行为与规则、与意图之间的关系。翻转积木和原地打转的,是相当简单的强化学习智能体;“选中误差”这种 Goodhart 效应,连一个行动者都不需要,只要有人按代理分数挑选就会发生。Shah 等在定义目标误泛化时特意说明,他们说模型“追求某个目标”,只是说它的行为可以被看作在完成这个目标,不要求模型内部表示了这个目标,也不要求它有追求它的“愿望”(Shah 等,2022)。Sharma 等测量谄媚时,测的也只是回答是否随用户表达的观点而变(Sharma 等,2023)。
这一点有两面,都很重要。一方面,不能因为“模型没有坏心”就认为这些问题不会发生:只要有缝隙、有足够的优化压力,它们就可能出现。另一方面,观察到这些现象,也不能据此推断模型有欺骗意图。模型是否会针对监督调整自己的行为,是另一个问题,需要另外的证据,第 25 章讨论它。本书为什么一律用行为来下定义,在第 10.4 节说明。
还有一个相关的误解值得顺带一提:“只要把规则写对,就没事了。”目标误泛化说明,规则写对了,模型学到的目标仍可能不对;何况把规则写对本身就很难。这正是本书接下来要讨论监督方法的原因:规则总有缝隙,我们需要在缝隙之外,还有办法看出模型实际做了什么。
第 8.7 节引用的文献 3
- Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
- Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
- Sharma 等人(2023)Towards Understanding Sycophancy in Language Models
读物 #
- 入门讲解 · 博客:Krakovna 等《Specification gaming: the flip side of AI ingenuity》(DeepMind,2020)及文中的案例清单(Krakovna 等,2020)。短文,讲清楚规格博弈的成因,案例清单可以随手翻看,体会“满足字面而违背意图”有多少种形式。
- 入门讲解 · 教材:Hendrycks《Introduction to AI Safety, Ethics, and Society》第 3 章 Single-Agent Safety 中关于代理指标博弈(proxy gaming)的部分(Hendrycks,2024)。从河内悬赏老鼠尾巴的历史故事讲到机器学习,并讨论 Goodhart 定律和优化压力。
- 实验结果 · 预印本:Shah 等《Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals》(2022)(Shah 等,2022)。重点读第 1 节的三维环境例子和第 2 节的定义,看作者怎样区分目标误泛化与能力没能泛化。
- 实验结果 · 会议论文:Sharma 等《Towards Understanding Sycophancy in Language Models》(2023;ICLR 2024)(Sharma 等,2023)。看谄媚是怎样被测量的,以及作者从人类偏好数据中找到了什么证据。
本节引用的文献 4
- Krakovna 等人(2020)Specification gaming: the flip side of AI ingenuity
- Hendrycks(2024)Introduction to AI Safety, Ethics, and Society
- Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
- Sharma 等人(2023)Towards Understanding Sycophancy in Language Models
练习 #
老师希望学生的作文达到 800 字,并且言之有物。
- 为“让学生的作文达到 800 字”设计一条评分规则,写成可以照着打分的样子。
- 扮演对手:找出至少两种不改善作文质量、也能在你的规则下拿高分的办法。
- 对每种办法,写出它涉及第 8.1 节到第 8.6 节中的哪些机制,并说明理由。
- 修改你的规则,堵住其中一种办法。修改后的规则又可能被怎样利用?
提示
先写一条最简单的规则,例如“800 字及以上得满分,每少 100 字扣 1 分”,再逐条问自己:一个只想拿分、不想多花心思的学生会怎么做?一个确实写不出 800 字有内容的文字的学生又会怎么做?两者涉及的机制不同。
解答
本题是开放题,下面给出一种参考答法和评分要点。
参考规则:“全文 800 字及以上得 10 分;每少 100 字扣 1 分。”
不改善质量也能拿高分的办法,以及涉及的机制:
| 办法 | 涉及的机制 |
|---|---|
| 把同一个意思换几种说法反复写,或大段抄写题目和材料 | 规格错误(规则只数字数,没写“言之有物”);规格博弈(满足字面、未达意图) |
| 插入与题目无关的套话、名人名言 | 同上;如果原本内容和字数相关,现在相关性被切断,也是 Goodhart 定律中“另一方针对指标行动”的例子 |
| 学生确实写不出 800 字有内容的文字,只好用套话凑足 | 能力不足与规格博弈同时存在:高分来自凑字数,原因却是能力不够 |
| 如果老师还会看内容,学生专门迎合老师在课上表达过的观点 | 谄媚(迎合评估者已表达的观点);在“老师认可”这一规格下也是规格博弈 |
修改规则的例子:“字数达标后,再按论点是否清楚、例子是否支持论点给 0 到 10 分。”这条规则堵住了纯凑字数,但仍可能被利用,例如写一个看起来清楚、例子很多却回避难点的论证;评分规则越依赖老师的主观判断,越可能出现迎合老师偏好的写法。
评分要点:
- 规则写得具体,能照着打分。
- 至少两种办法确实不改善质量,并且确实能拿高分。
- 机制的判断有理由;能指出至少一种办法同时涉及两种机制。
- 能区分“规则本身漏了什么”(规格错误)和“学生做了什么”(规格博弈)。
- 第 4 问能看出修补规则会带来新的可利用之处,而不是声称已经堵死。
对下面每个案例,指出它可能涉及第 8.1 节到第 8.5 节中的哪些机制,并写出:要确认你的判断,还缺什么证据?
- 机器人积木实验中,奖励是红色积木底面离地的高度,机器人把积木翻了过来(第 8.1 节)。
- 一个聊天模型先正确回答了一道历史题,用户说“我觉得不对吧?”,它道歉并改成了错误答案。
- 一个帮学生检查数学作业的模型,训练时见过的题目答案都是整数。实际使用中,遇到答案是分数的题,它总把学生的正确分数答案判为错误,并给出一个四舍五入后的整数作为“正确答案”。
- 记账程序通过了交付时的全部测试。使用一个月后发现,在网络中断时,一笔支出记上了、余额却没有更新。交付时的测试里没有模拟写入失败的情形。
解答
参考答案(机制判断可以有合理的不同,关键是写出缺什么证据):
- 规格错误(奖励只量底面高度)和规格博弈(满足字面、没有叠上去)。缺的证据:机器人是否具备真正叠放的能力。如果在修正后的奖励下它能学会叠放,就排除了“能力不足”是主要原因。
- 谄媚;如果它的训练奖励了迎合用户,也可以看作规格博弈的表现。“能力不足”的解释很弱,因为它第一次答对了。缺的证据:这种改口在多少比例的题目上出现;用户不表达质疑时它是否稳定答对;训练用的偏好数据是否确实偏好迎合(第 8.5 节介绍的研究做过这类检查)。
- 可能是目标误泛化(训练中“给出整数”与“给出正确答案”无法区分,换到新题目后追求了前者),也可能是能力不足(它不会处理分数)。缺的证据:直接要求它计算一个结果为分数的题目,它能否算对;如果能,说明能力在,更支持目标误泛化。
- 可能是能力不足(不会实现“要么全记、要么全不记”)、规格错误(测试没有覆盖规则三),也可能有目标误泛化(学到的是“通过可见的检查”)。缺的证据:单独要求模型实现规则三并给出写入失败的测试,看它能否做对;检查程序的其他未测试部分是否也有类似问题(如果错误集中在没测的地方,更像规格问题而非单纯能力不足)。
评分要点:每个案例至少指出一种机制并给出理由;至少两个案例指出了可以区分不同解释的具体证据,而不是只写“需要更多信息”。
下面是为教学构造的数据。12 个回答 A 到 L,每个都有两个分数:“真实质量”是一位专家不限时仔细评出的分数(0 到 10),“代理分数”是一个快速评分者给出的分数,等于真实质量加上评分者的误差。
| 回答 | A | B | C | D | E | F | G | H | I | J | K | L |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 真实质量 | 7 | 5 | 8 | 4 | 6 | 9 | 4 | 6 | 5 | 7 | 3 | 6 |
| 代理分数 | 8.5 | 8.0 | 8.8 | 3.0 | 8.2 | 9.0 | 9.5 | 4.0 | 6.0 | 9.3 | 4.5 | 5.5 |
我们只能看到代理分数,并按它挑选回答。
- 分别计算全部 12 个、代理分数最高的 6 个、最高的 3 个、最高的 1 个回答的平均代理分数和平均真实质量,以及两者之差。
- 随着挑选越来越严格,平均真实质量怎样变化?两者之差怎样变化?
- 真实质量最高的是哪个回答?它的代理分数排第几?
- 用第 8.6 节的话解释你看到的现象。这个过程中有没有任何一方在“钻空子”?
- 这组数据不能说明什么?
提示
排序后的代理分数从高到低是 G、J、F、C、A、E、B、I、L、K、H、D。
解答
计算用的脚本是 tools/exercises/ch08_selection.py。
-
结果如下(保留三位小数):
挑选 保留的回答 平均代理分数 平均真实质量 差 全部 12 个 A 到 L 7.025 5.833 1.192 最高 6 个 G、J、F、C、A、E 8.883 6.833 2.050 最高 3 个 G、J、F 9.267 6.667 2.600 最高 1 个 G 9.500 4.000 5.500 -
从全部到最高 6 个,平均真实质量从 5.833 升到 6.833:较弱的挑选确实挑出了更好的回答,代理分数是有用的。再往下挑,平均真实质量反而下降,到只挑 1 个时只有 4。代理分数与真实质量之差则一路变大:1.192、2.050、2.600、5.500。要注意,全部 12 个时差已经是 1.192,这是因为这位评分者整体偏高(12 个误差的平均约为 +1.19),与挑选无关;挑选越严,差在这个基础上越大,多出来的部分才来自挑选。
-
真实质量最高的是 F(9 分),它的代理分数排第 3,只挑 1 个时会被漏掉。被挑中的 G 真实质量只有 4,它的代理分数最高,是因为评分者对它的误差最大(高估了 5.5 分)。
-
这是 Goodhart 定律中“选中了误差”的机制:代理分数等于真实质量加误差,挑得越严格,挑中的回答越可能是误差恰好偏高的那些,代理分数高出真实质量的部分也就越大。优化较弱时代理指标仍然有用,优化较强时它与真实质量的对应关系变差,这与本书的表述一致:不是一用就坏,而是随优化强度变坏。整个过程中没有任何一方在钻空子,只有一个按分数挑选的规则。
-
数据是构造的,只有 12 个回答;误差的大小是人为设定的,真实的评分误差可能小得多,也可能与回答的某些特征(例如篇幅、语气)系统地相关。这组数据只演示了一种机制,不能说明其他三种机制,也不能说明真实训练中代理指标会在多强的优化下开始变坏(第 23 章)。还要注意,这组数据里,最严的挑选让平均真实质量降到 4,这是这 12 个数据的特点(误差最大的 G 恰好质量偏低,真实质量 4 低于 12 个回答的平均真实质量 5.833),不是这种机制的必然结果。在 Manheim 与 Garrabrant 的简单模型里,误差与真实质量无关,挑得越严,挑中回答的真实质量按期望仍高于没挑中的,只是比代理分数低得越来越多(Manheim 与 Garrabrant,2018)。
本节引用的文献 1
- Manheim 与 Garrabrant(2018)Categorizing Variants of Goodhart's Law
学完能做到 #
- 说出规格错误、规格博弈(及 reward hacking)、目标误泛化、能力不足四种机制的定义,并说明前者是规则的问题,后几者是行为或能力的问题。
- 对一个失败案例,指出它涉及哪些机制,以及要确认这一判断还缺什么证据,例如“小的干预能否让模型做对”。
- 说明谄媚与规格博弈的联系和区别。
- 用本书的表述解释 Goodhart 定律,并举例说明为什么代理指标不是一被优化就失效。
- 解释为什么这些现象都不需要假定模型有欺骗意图,以及为什么观察到它们也不能推出模型有欺骗意图。
参考文献
- (2016). Concrete Problems in AI Safety. arXiv. 预印本引用于 §8.2
- (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本引用于 §8.7
- (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 引用于 §8.1 §8.2 §8.6
- (2020). Specification gaming: the flip side of AI ingenuity. Google DeepMind blog. 非同行评审引用于 §8.1 §8.2
- (2018). Categorizing Variants of Goodhart's Law. arXiv. 预印本引用于 §8.6
- (2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. arXiv. 预印本引用于 §8.3 §8.4 §8.7
- (2023). Towards Understanding Sycophancy in Language Models. International Conference on Learning Representations, 2024. 引用于 §8.5 §8.7