草稿 内容完整但尚未审校,可能还会修改
第 14 章拆分任务:分解、迭代放大与递归奖励建模
路线全部路线
本章导读
文字稿
- 0:07判断一份全书摘要
要判断一份 300 页小说的摘要准不准,最可靠的是读完全书,可你没有时间。换个做法:模型为每章写摘要,你只拿一章原文对照这一章的摘要;再拿各章摘要对照全书摘要。 - 0:26拆开不一定更省时14.1
假设读完整本书要 10 个小时;30 章每章核对 15 分钟,共 7.5 个小时,相差不多。好处在别处:小判断可分给多人,每次可能更可靠,训练时能反复用。 - 0:47拆成一棵倒过来的树14.2
任务分解:把问题拆成子问题,使答案合起来能回答原问题,或帮人判断原问题的答案。可按结构、要求或步骤拆,太大就再拆。叶子要小到评估者有时间、有材料、懂得判断。 - 1:07局部都对但整体错14.2
记账程序的三条规则拆成三个子检查。加了转账,三个子检查都通过;可第一次写入成功、第二次失败,就只记了一半,违反规则三。保留依赖的三种做法里,这要靠单独检查合并。 - 1:29迭代放大14.3
迭代放大(Christiano 等,2018)每轮三步。放大:人把问题拆成子问题,交给当前模型 X 的几份副本,再根据子答案作答。蒸馏:训练新模型直接给出这个答案。重复:新模型替换 X。 - 1:48论文的实验很有限14.3
作者只测了 5 个玩具算法任务,程序代替人分解。迭代放大学得和监督学习几乎一样快,专家给的样本少得多。作者写明,这不能说明人能否分解真实世界里有意义的任务。 - 2:11递归奖励建模14.4
Leike 等(2018)假设:许多任务上,评价比做出正确的行为容易。它用训练好的模型帮人评价更难的任务:人借助 A1 评价 A2,A2 再帮人评价 A3。条件是评价拆得完整:漏掉的方面,下一层可能朝任意方向优化。 - 2:33三个概念放在一起14.4
作者把递归奖励建模看作迭代放大的一个实例。迭代放大让模型模仿“人加副本”的答案;递归奖励建模只要人评价结果,拆开的是评价,不是任务本身。 - 2:55递归书籍摘要14.5
Wu 等(2021,OpenAI)为整本小说写摘要:程序把书切成段,同一个模型逐层摘要。标注员每次只判断一份摘要相对于它的直接输入写得好不好:一段原文,或下一层的几份摘要。 - 3:14约 5% 的书相当14.5
测试用 40 本 2020 年的热门书,参考标准来自读完全书的人。约 5% 的模型摘要评分与人写的相当,平均明显不如。这不是“分解在 5% 的情况下有效”:它说明能不读全书来训练,不说明局部判断能代替整体判断。 - 3:36依赖丢失与证据遗漏14.6
依赖关系丢失:有人请主角把 hand(手)交给他,整章读是邀她跳舞,只看一小段被概括成求婚。关键证据遗漏:散落各处的小细节,每处都不值得写进章摘要,合起来却是重要主题。 - 3:57误差逐层累积14.6
上一层看不到原文,错误只会被继承。Wu 等发现全书摘要的评分低于任何一层子任务。假设每层以 90% 的概率保住一个关键事实,各层互不影响,三层后只剩 0.9³ ≈ 0.73。 - 4:17证据与前提
测过:Wu 等用人对分段摘要的反馈训练整本小说的递归摘要,约 5% 的书与人写的相当,平均明显不如。依赖:任务能分解,依赖能保留,叶子有原文可看、判断可靠;只覆盖无意出错。不能推出:依赖很强的任务上有效;模型针对分解方式调整行为时仍有效。
带走的几句话:
- 分解把大问题拆成人能判断的子问题,要保留依赖、单独检查合并。
- 迭代放大蒸馏人加模型的组合;递归奖励建模拆开的是评价。
- 每一部分都对,合起来仍可能错。
第二部分讲了怎样判断一个监督方法有没有用。从本章开始,逐一介绍具体的方法。第一种方法的想法最朴素:人判断不了整体,就一块一块地判断。用第 9.1 节的话说,评估者往往能“检查局部”,却做不到“验证整体”;拆分任务想用许多次局部检查,换来对整体的判断。
先看一个例子。你要判断一份 300 页小说的摘要写得准不准。最可靠的办法是读完整本书再对照摘要,可你没有这个时间。换一种做法:把书按章拆开,让模型为每一章写一份摘要,你只拿一章原文对照这一章的摘要,几分钟就能判断;然后模型把各章摘要合成全书摘要,你再对照各章摘要检查这一份。你始终没有读完整本书,却对全书摘要的每一部分都做过检查。
回到第 1 章的记账程序。500 行代码你读不懂,但需求说明的三条规则可以拆成三个子检查:余额计算对不对,重复提交是否只记一次,写入失败时会不会只记一半。每个子检查都比“整个程序对不对”小得多。后来程序增加了转账功能(第 10 章),一笔转账要同时改动两个账户。三个子检查分别看都通过了,合在一起仍可能出错:从 A 账户扣了钱,给 B 账户加钱时写入失败,钱就凭空少了。所以合并这一步本身也要单独检查。本章要回答的是:一块一块地判断,什么时候能代替对整体的判断,什么时候不能。
- 想处理:人无法一次判断整体,但能判断各个部分。
- 测过:Wu 等在整本书的摘要任务上,用人对分段摘要的反馈训练递归摘要模型,再与人写的摘要比较:少数书(约 5%)的摘要评分与人写的相当,平均明显不如(Wu 等,2021)。
- 依赖:部分之间的依赖关系能在分解中保留。威胁模型只覆盖“无意出错”一个维度(第 10.2 节)。任务前提(第 10.3 节):“任务能否分解”;“有没有独立于模型陈述的证据”,即叶子任务有评估者看得到的原文,更高层的评估者只能以下一层的模型摘要为依据,Wu 等的实验就是这样(Wu 等,2021),这是误差累积的一个来源(第 14.6 节);“标签是否可靠”,即子任务评估者的判断可靠。
- 不能推出:不能推出在部分之间依赖很强的任务上仍然有效。实验没有测试被监督的模型针对分解方式调整行为的情况。
引言引用的文献 1
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
14.1 分而治之的直觉 #
“分而治之”在生活中很常见。老师批改一份实验报告,会分别看实验设计、数据记录和结论;审计一家公司,会按部门逐一核账;审查一大段代码改动,会按文件一个个看。共同点是:整体太大,一个人一次装不进脑子里,但拆开之后的每一块,都落在一个人判断得了的范围内。
拆开之后,评估者要判断的东西变了。原来的问题是“这份全书摘要对不对得上整本书”,要回答它,必须知道整本书写了什么。拆开之后,问题变成两类:“这一章的摘要对不对得上这一章原文”,以及“全书摘要对不对得上各章摘要”。两类问题都只需要看一小段材料。
要注意,拆分不一定让总工作量变少。假设读完整本书要 10 个小时;书有 30 章,对照一章原文检查一份摘要要 15 分钟,30 章就是 7.5 个小时,相差并不多。拆分的好处在别处。第一,每一次判断变小了,可以分给许多人同时做,也可以只抽查其中一部分(第 11.8 节)。第二,每一次判断更可靠:盯着 10 页原文核对一段摘要,比凭记忆核对一份 300 页的摘要容易得多(本书的推断)。第三,用于训练时,同一类小判断可以反复使用,模型从大量“章摘要对不对”的判断中学习,而不需要有人为每本书读完全书。Wu 等估计,如果不分解,每条训练数据都要有人读完整本书(平均 12 小时以上)再写摘要,所用时间是完成分解后一个子任务的 50 倍以上(Wu 等,2021)。这里比的是每条训练数据的用时,不是检查一本书的总时间。
这种做法背后有一个希望:如果每一块都判断对了,合并的方式也对,整体就对。这个希望要成立,至少需要两个条件。一是每一块确实落在评估者能判断的范围内;二是各块之间的联系没有在拆分时丢掉,合并这一步也被检查过。下一节讲怎样拆才能满足这两个条件;第 14.3 节和第 14.4 节讲怎样把拆分用于训练模型;第 14.6 节讲条件不满足时会出什么问题。
第 14.1 节引用的文献 1
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
14.2 任务分解 #
任务分解(task decomposition)是把一个问题拆成若干个子问题,使得子问题的答案合起来能回答原问题,或者能帮助人判断原问题的答案。
怎样拆。常见的拆法有三种。按结构拆:一本书按章,一个程序按文件或函数。按要求拆:记账程序的需求说明有三条规则,就拆成三个子检查。按步骤拆:一道应用题的解答有五步推理,就逐步检查。同一个问题可以有多种拆法,拆法不同,后面暴露的问题也不同。
拆分可以一层层进行:子问题还太大,就再拆。拆出来的结构像一棵倒过来的树,最上面是原问题,最下面的“叶子”是可以直接判断的小问题。书籍摘要就是这样一棵树:原文段落是叶子,几段的摘要合成一章,几章合成一部分,最后合成全书(这是示意;Wu 等的实验由程序按长度切段,切分点不一定落在章与章之间,见第 14.5 节)。
拆到什么程度。拆到每个叶子都落在评估者的能力范围之内。第 9.2 节讲过评估者的三种限制:时间、信息和专业能力。叶子的大小要同时照顾这三样:评估者有足够的时间看完它,手里有判断它所需的材料,也懂得判断它所需的知识。对一个刚学编程的人来说,“这两行代码哪一行先执行”是叶子;“这个函数在多人同时使用时是否安全”就不是。所以同一个问题,换一个评估者,树的形状也要变。也不是拆得越细越好。拆得越细,合并的步骤越多,子问题之间的联系也越多,每一处联系都可能在拆分时丢失。
依赖怎样保留。子问题往往不是彼此独立的;Wu 等也指出,分解假定各部分可以独立完成,这对书籍摘要未必成立(Wu 等,2021)。小说后半部分的一句话,可能只有读过开头几章才看得懂;转账功能里,扣款和加款两次写入必须一起成功或一起失败。保留依赖可以有三种做法。
- 传递上下文。每个子任务除了自己的那一块,还拿到理解它所需的前文。Wu 等在书籍摘要中就是这样做的:为后面的段落写摘要时,模型能看到同一层前面已经写好的摘要(模型的上下文放得下多少就放多少)(Wu 等,2021)。
- 写明依赖。每个子答案写清楚它依赖哪些前提,例如“本章摘要假定主角已经离开了家乡”。合并时,检查者核对这些前提是否被其他子答案支持。
- 单独检查合并。把“各部分合在一起是否成立”本身当成一个子问题,交给评估者判断。
第三种做法为什么必要,看转账的例子。下面是一种可能的写法,是示意代码,不是记账程序的原文:
# 示意代码:转账功能的一种写法
def transfer(from_acct, to_acct, amount):
save(from_acct, -amount) # 第一次写入:从转出账户扣钱
save(to_acct, +amount) # 第二次写入:给转入账户加钱
假设三个子检查都做了,而且都做对了。余额检查:每个账户各自的余额都等于收入减支出。重复提交检查:同一笔转账提交两次,每个账户只记一次。写入失败检查:save 这一次写入失败时,不会只写一半。三个检查都通过。可是如果第一次 save 成功、第二次 save 失败,转出账户扣了钱,转入账户没加钱,这笔转账恰好“只记了一半”,违反了规则三。每个子检查都只看一次写入或一个账户,问题出在两次写入的组合上,不在任何一个子检查的视野里。只有加上一个合并检查,问“一笔转账作为一个整体,是否满足三条规则”,才能发现它。
一个分解是否可靠,看两件事:每个叶子评估者确实判断得了;子问题之间的依赖和合并这一步也被检查了。
第 14.2 节引用的文献 1
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
14.3 迭代放大 #
上一节的分解是一次性的:人拆开问题,检查每一块,得出一个判断。迭代放大把分解用在另一件事上:训练模型,而且反复进行。
迭代放大(Iterated Amplification)由 Christiano、Shlegeris 和 Amodei 在 2018 年的一篇预印本中提出(Christiano 等,2018)。Cotra 同年写了一篇入门讲解,把它称为 Iterated Distillation and Amplification(迭代蒸馏与放大),并用 AlphaGo Zero 的训练方式作类比(Cotra,2018)。设 是人, 是当前的模型。每一轮有三步。
- 放大(amplification)。人回答一个问题时,先想出几个有用的子问题,交给当前模型 的几份副本去回答,再根据这些子答案得出最终答案。“人加上几份模型副本”组成的系统,记作 。作者假定它能比 单独回答得好,这是迭代放大的关键假设(Christiano 等,2018)。叫“放大”,是因为模型副本放大了人的能力。
- 蒸馏(distillation)。训练一个新模型,让它直接给出放大系统会给出的答案,不必再经过人和许多副本。放大系统慢而贵,蒸馏后的单个模型快而便宜。在 Christiano 等的实验里,这一步就是用监督学习,让模型去预测放大系统的输出(Christiano 等,2018)。
- 重复。蒸馏出的新模型替换 ,进入下一轮。因为副本变强了,下一轮的放大系统也更强。
把一轮写成式子,就是新模型等于“把人借助旧模型组成的系统蒸馏成一个模型”:
论文描述了训练怎样一步步推进(Christiano 等,2018)。开始时模型的回答是随机的,人问子问题也得不到有用的回答,放大系统基本等于人自己。人能独立回答一些简单问题,模型先学会照搬这些答案。模型会回答简单问题之后,人就能把稍难的问题拆成简单的几块,模型又学会回答稍难的问题。如此往复,人的角色逐渐从“自己回答”变成“协调许多模型副本”。在每个时刻,放大系统都比模型单独强一点,模型追赶的是一个不断前移的目标。作者指出,只要多个智能体合作解决问题能比一个智能体做得更好,放大系统就能提供有用的训练信号(Christiano 等,2018)。
迭代放大不是“把任务拆开交给模型去做”。拆分只用来产生训练数据,而且每一轮只拆一层;训练出来的模型不必按人的拆法去解题,可能学到一种整体处理问题的方式(Christiano 等,2018)。为了减轻人的负担,论文还训练了一个模型来模仿人“怎样拆、怎样合并”的决定,用它代替人参与大部分放大(Christiano 等,2018)。Cotra 强调,放大和蒸馏这两步都要保持系统与人的意图一致(Cotra,2018)。如果某一轮蒸馏引入了偏差,下一轮放大用的就是带着偏差的副本(本书的推断)。
论文的实验很有限。作者在 5 个玩具算法任务上测试,例如对一个排列反复作用多次、在一个 64 个顶点的有向图里求两点距离,并用一段写好的程序代替人来做分解(Christiano 等,2018)。与直接用正确答案做监督学习相比,迭代放大学得几乎一样快,只是训练步数略多,每个问题的计算量约为监督学习的两倍(Christiano 等,2018)。两边数的样本不是同一种东西:监督学习需要几千万个带正确答案的样本,作者说如果这些样本要由外部专家提供,代价就高得无法承受;迭代放大需要的是专家(这里是那段程序)回答的分解询问,每个任务只有几千到两万多次,作者也说在真实任务上这个数会大得多(Christiano 等,2018)。作者自己写明,这些实验不能说明人能否分解真实世界里有意义的任务(Christiano 等,2018)。
放到记账程序上,第一轮里,你问“这个程序满足三条规则吗”,把它拆成三个子问题交给模型副本,再根据子答案下结论;模型学会直接回答“这个程序满足某条规则吗”。下一轮,你就可以问更大的问题,例如“转账功能满足三条规则吗”,把它拆成“扣款和加款是否一起成功或一起失败”等子问题,交给已经变强的副本。
第 14.3 节引用的文献 2
- Christiano 等人(2018)Supervising strong learners by amplifying weak experts
- Cotra(2018)Iterated Distillation and Amplification
14.4 递归奖励建模 #
第 6.3 节讲过奖励模型:一个被训练来预测人会怎样评价模型输出的模型,再用强化学习让模型的输出得到更高的预测分数。这套做法要求人能评价输出。人评价不了的时候怎么办?
Leike 等在 2018 年的一篇预印本里提出了一个研究方向(Leike 等,2018)。他们的出发点是一个假设:对许多任务来说,评价结果比做出正确的行为容易。他们也指出了反例:结果只有“是”或“否”的问题,看结果本身判断不了对错,除非还要求附上解释,因为评价一个解释通常比写出它容易(Leike 等,2018)。还有一些结果,人直接评价起来很难:领域高度专业(如机器码),系统非常复杂,或者后果要很久以后才出现(Leike 等,2018)。
递归奖励建模(recursive reward modelling)的办法是:用已经训练好的模型帮人评价更难任务的结果,以此训练下一层的奖励模型。先在较简单、较窄的任务上用奖励建模训练出智能体 ;人在 的帮助下评价 在更难任务上的结果,这些评价用来训练 的奖励模型; 训练好后,又帮人评价 ,依此类推。论文举的例子是训练一个写奇幻小说的智能体。要评价一部小说,人得读完全书。于是让助手智能体帮忙:提取情节梗概、检查拼写和语法、总结人物的变化、评估行文是否流畅。每一项都比写小说简单:只关注书的一个方面,要写的字也少得多;而这些助手本身也是用奖励建模训练出来的(Leike 等,2018)。
作者把递归奖励建模看作迭代放大的一个实例,区别在于用奖励建模代替了监督学习或模仿学习(Leike 等,2018)。换句话说,迭代放大让模型模仿“人加副本”给出的答案;递归奖励建模只要求人评价结果,拆开的是评价这件事,不是任务本身。
作者也写明了这条路的两个条件(Leike 等,2018)。第一,评价的分解必须完整:如果漏掉了结果的某个方面,下一层的智能体可能在这个方面朝任意方向优化。这正是第 8 章所说的规格博弈的一种来源。第二,误差会不会逐层累积,即上一层智能体的小错误会不会在训练下一层时变成大错误,是一个开放问题。
回到记账程序。你要训练一个写代码的模型来实现转账功能,但你看不懂它写的代码。你可以借助一个已经训练好的助手模型,它能用白话解释每一处改动做了什么,也能为改动写测试。你在它的帮助下打分,这些分数训练写代码模型的奖励模型。如果助手只解释余额怎样计算、从不检查写入失败时的处理,写代码的模型在规则三上就得不到任何信号,它在这方面怎么写都不会被扣分。
三个概念容易混在一起,下表把它们放在一起比较。
| 任务分解 | 迭代放大 | 递归奖励建模 | |
|---|---|---|---|
| 拆开的是什么 | 一个问题或一次检查 | 一个问题,由人和模型副本一起回答 | 对结果的评价 |
| 人做什么 | 判断每个子问题,检查合并 | 选子问题,根据子答案作答 | 在助手帮助下评价结果 |
| 模型怎样学习 | 不一定训练模型 | 模仿放大系统的输出(蒸馏) | 从人的评价学奖励模型,再用强化学习优化 |
| 是否多轮 | 不必 | 是,每轮模型变强 | 是,每层的助手来自上一层 |
第 14.4 节引用的文献 1
- Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
14.5 实验证据 #
把分解用在一个真实任务上的代表性实验,是 OpenAI 的 Wu 等 2021 年的一篇预印本(Wu 等,2021)。下面按第 10.5 节证据框的写法,看它在什么任务上做、和什么比较、观察到什么、不能推出什么。
任务与做法。任务是为整本小说写概括式的摘要,即用自己的话概括情节和主题,而不是摘抄原句。分解是固定的:一个事先写好的程序把书切成若干段,模型为每一段写摘要;几段摘要拼起来,再写一份摘要;如此一层层往上,直到得到全书摘要。每一层用的是同一个模型。为后面的段落写摘要时,模型能看到同一层前面的摘要(Wu 等,2021)。模型是在 GPT-3 上微调的:先用人写的示范做监督学习,再用人对模型摘要的比较训练奖励模型并做强化学习,正是第 6.3 节的流程(Wu 等,2021)。关键在于,标注员每次只判断一份摘要相对于它的直接输入写得好不好,直接输入是一段原文,或者下一层的几份摘要,而不是整本书(Wu 等,2021)。作者说,这种做法可以看作迭代放大的一个特例(分解固定,从叶子开始训练),也可以看作一种递归奖励建模,前提是把下层模型写的摘要看作帮人评价上层摘要的工具(Wu 等,2021)。
和什么比较。测试用的是 40 本 2020 年出版的热门书,模型在训练中没有见过它们,其中 6 本是非虚构类(Wu 等,2021)。每本书请两位标注员读完全书、各写一份摘要,再让他们按 1 到 7 分给模型的摘要和另一位标注员的摘要打分(Wu 等,2021)。注意,训练时标注员不必读完全书,但最后检验效果时,参考标准仍然来自读完全书的人。
观察到什么。论文正文写,最好的模型写的摘要中,超过 5% 在 1 到 7 分里得了 6 分,这个分数人写的摘要有时也会得到;论文摘要把它概括为约 5% 的书的模型摘要与人写的相当(Wu 等,2021)。平均而言,模型摘要明显不如人写的(Wu 等,2021)。6 本非虚构类书的模型摘要,评分明显高于小说,作者说这不是强证据(Wu 等,2021)。作者还报告,全书摘要的评分明显低于分解后任何一层子任务的评分,他们把这归因于每一层的误差都累积到了全书摘要里(Wu 等,2021)。从具体的摘要看,模型能写出书中的重要事件,但常常漏掉重要细节,或者没有把握住更大的背景(Wu 等,2021)。
用表 11.1 的四个核心问题检查一遍。监督者弱在哪里?主要是时间:训练时标注员没有读完全书,每次只看局部。参考答案是什么?读完全书的标注员写的摘要和打的分;两位标注员对模型摘要相对好坏的判断,一致的比例接近 80%,但打分仍带有主观性(Wu 等,2021)。基线是什么?人写的摘要,以及只用示范训练、不做强化学习的模型。提高的是什么?摘要的质量评分,而不是评估者的信心。
不能推出什么。第一,Wu 等选小说,正是因为认为它最难概括(Wu 等,2021),实验里也出现了依赖丢失的例子(第 14.6 节);部分之间依赖很强的任务,例如前面的引理在后面才被用到的数学证明,或者多个模块相互调用的程序,没有测过。第二,分解方式是研究者固定的,模型只负责写摘要,实验没有测试模型知道分解方式后会不会针对它调整行为。第三,实验只考虑了模型无意犯错的情形,威胁模型只覆盖“无意出错”(第 10.2 节)。第四,这是开发者对自己模型的一项研究,只有一个任务。
“约 5% 的书与人写的摘要相当”不是“分解在 5% 的情况下有效”;论文同时报告,平均而言模型摘要明显不如人写的。这项研究说明分解能让人在不读全书的情况下训练摘要模型,不说明分解后的局部判断能代替对整本书的判断。
第 14.5 节引用的文献 1
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
14.6 失败方式 #
把分解可能失败的方式整理成四类。它们在上面的研究、设想和例子里都出现过。
局部都对但整体错。每个子问题都答对了,整体判断仍然错。第 14.2 节的转账就是例子:三个子检查都通过,两次写入的组合却违反了规则三。凡是性质落在“组合”上的,例如总数是否守恒、几处改动是否前后一致、操作的先后顺序,都容易出现这种情况(本书的推断)。习题 14.1 让你自己构造一个。
依赖关系丢失。一个子任务需要的信息在另一个子任务里,拆开之后它看不到。Wu 等举过一个例子:《傲慢与偏见》中有一段,有人请主角把 hand(手)交给他。放在整章里读,这显然是邀她跳舞;模型只看到这一小段,就把它概括成了求婚(Wu 等,2021)。作者认为,每份摘要只根据局部内容写出,这是他们训练设置的普遍弱点(Wu 等,2021)。作者还担心,前面的细节要到后面才显出重要性的情形可能很难发现,例如推理小说(Wu 等,2021)。
关键证据遗漏。每一层摘要都会删掉在局部看来不重要的东西,但有些东西只有在整体上才重要。Wu 等设想过这样一种情形:有些信息稀疏地散落在书的许多部分,例如一点点积累的爱慕或怨恨,每个细节都小到不值得写进一章的摘要,合起来却是全书的重要主题;他们认为改为学习分解方式也未必能解决(Wu 等,2021)。按这个设想,这类信息在第一层就会被删掉,后面的层次再好也找不回来(本书的推断)。
误差逐层累积。每一层都可能引入一点小错误,上一层只能看到下一层的摘要,看不到原文,于是错误只会被继承,很难被纠正。Wu 等观察到全书摘要的评分低于任何一层子任务,并归因于误差的累积(Wu 等,2021);Leike 等也把“误差会不会逐层累积”列为开放问题(Leike 等,2018)。假设每一层以 90% 的概率保住某个关键事实,并且各层互不影响,经过三层只剩 ,习题 14.2 会进一步算这个例子。
这四类失败有一个共同点:它们在模型“没有理由骗人”时就已经存在。如果被监督的模型知道人会怎样拆分检查,它可能把问题放在任何一个子检查都看不到的地方,例如两个子问题的交界处,或者合并这一步(本书的推断)。现有实验没有测试这种情况。辩论中的混淆论证问题可以看作同一类弱点的一个具体形式(本书的推断)。Barnes 认为它可能是迭代放大和辩论共同的一个重要的定量限制,限制的是能可靠核查的论证有多大(Barnes,2020),第 15.10 节会讲它。第四部分系统讨论模型针对监督调整策略的情况。
能做的补救也对应着这四类失败:为合并单独设检查;把必要的上下文传给每个子任务;允许检查者在拿不准时回到原文,Wu 等在附录中讨论过这种设计,但因为当时模型的上下文长度有限,也因为这会让基础设施更复杂、标注员的任务更难一些,没有采用(Wu 等,2021);再对整体做一部分随机抽查(第 11.8 节),用来发现分解本身漏掉的问题。
第 14.6 节引用的文献 3
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
- Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
- Barnes(2020)Debate update: Obfuscated arguments problem
读物 #
- 入门讲解 · 博客:Cotra《Iterated Distillation and Amplification》(AI Alignment Forum,2018)(Cotra,2018)。用 AlphaGo Zero 作类比讲解放大、蒸馏、重复三步,适合在读原始论文之前先建立直觉。
- 原始提案 · 预印本:Christiano、Shlegeris、Amodei《Supervising strong learners by amplifying weak experts》(2018)(Christiano 等,2018)。迭代放大的原始论文,注意作者自己列出的实验简化。
- 原始提案 · 预印本:Leike 等《Scalable agent alignment via reward modeling: a research direction》(2018)(Leike 等,2018)。重点读递归奖励建模一节,以及作者关于“评价比行为容易”的假设和误差累积的讨论。
- 实验结果 · 预印本:Wu 等《Recursively Summarizing Books with Human Feedback》(2021)(Wu 等,2021)。把分解用于整本书摘要的实验,读结果时留意作者在局限部分举出的分解失败的例子。
本节引用的文献 4
- Cotra(2018)Iterated Distillation and Amplification
- Christiano 等人(2018)Supervising strong learners by amplifying weak experts
- Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
练习 #
把“判断一篇 3 页论文的结论是否成立”拆成 5 个子问题。要求每个子问题都能在半小时内由一个没有专业背景的人判断。
然后找出一种情况:5 个子问题都答对了,对“结论是否成立”的整体判断仍然是错的。说明错误出在哪里,属于第 14.6 节的哪一类失败,以及应该怎样修改你的分解。
提示
不要去找“某个子问题答错了”的情况,那不符合题意。想一想每个子问题各自看的是论文的哪一部分材料,有没有一件事需要把两部分材料放在一起才能看出来。
解答
一种参考分解,适用于一篇报告实验结果的论文:
- 结论回答的是不是论文开头提出的问题?
- 第 2 节描述的分组方法是不是随机分配?
- 结果表里的平均数和差值算得对不对?
- 结果表有没有写明每组的人数和成绩的波动范围(例如标准差)?
- 结论句的措辞是否超出了结果表,例如把相关说成因果,或者夸大了数字?
下面是一个为教学构造的例子。一篇 3 页的论文研究一款复习软件,结论是“使用这款软件让期末成绩平均多提高 8 分”。第 2 节写明:200 名学生用掷硬币分成两组,各 100 人,一组使用软件四周,一组不用。表 1 报告:软件组平均提高 12 分,对照组平均提高 4 分,相差 8 分。
逐个检查,5 个子问题都答对了:结论回答的正是论文的问题;第 2 节的分组确实是随机的;按表 1 里的人算,12 减 4 等于 8 没有算错;表 1 写明了每组的人数和标准差;结论句与表 1 一致。
整体判断仍然错,因为表 1 只包括坚持用满四周的 60 名学生,中途放弃的 40 人没有列入,而他们也参加了期末考试,平均只提高了 3 分。放弃的学生多半是觉得软件对自己没用的人。随机分组保证的是“两组的 100 人彼此可比”,而不是“坚持下来的 60 人与对照组的 100 人可比”。按随机分出的整组计算,软件组平均提高 (60 × 12 + 40 × 3) ÷ 100 = 8.4 分,比对照组多 8.4 − 4 = 4.4 分。这是随机分组能支持的数字,回答的是“被分到软件组”平均多提高多少;论文报告的 8 分比它多 3.6 分,而且不是随机分组的比较。
错误出在子问题 2 和子问题 3 之间:子问题 2 看的是第 2 节随机分出的 200 人,子问题 3 看的是表 1 里的 160 人,两个回答各自都对;子问题 4 只问表 1 写没写人数,不拿这些人数与第 2 节对照,答“写明了”也是对的。没有任何一个子问题问过“这两处说的是不是同一批人”。这属于“局部都对但整体错”,原因是依赖关系丢失。修改的办法是加一个合并检查:“表 1 里的人是不是第 2 节随机分出的全部学生?”更一般的教训是,再加一个子问题也只能堵住这一个漏洞,分解是否完整本身需要检查(第 14.4 节)。
计算用的脚本是 tools/exercises/ch14_decomposition.py。
评分要点(你的答案可以与此不同):5 个子问题都能由非专业的人在有限时间内判断;反例中每个子问题的回答确实是对的;错误来自子问题之间或子问题之外,并说清是哪一类失败;给出的修改针对这个漏洞。
下面的设定是为教学构造的简化模型。一本书有 10 章,每章有一个关键事实。摘要树有三层:章原文到章摘要,章摘要到部分摘要,部分摘要到全书摘要。假设每一层都以 0.9 的概率保住一个关键事实,各个事实、各层之间互不影响。
- 一个关键事实保留到全书摘要的概率是多少?
- 10 个关键事实中,期望有几个保留到全书摘要?
- 全书的某个结论需要同时用到其中 3 个特定的事实。这 3 个事实都保留下来的概率是多少?
- 要让一个关键事实保留到全书摘要的概率达到 0.9,每一层的保留率至少要多高?
- 这个模型的哪些假设与第 14.6 节描述的情况不符?
解答
- 。
- 个。
- 。需要几部分信息同时到场的结论,比单个事实脆弱得多,这是依赖关系让分解更难的一个原因。
- 每层保留率 满足 ,。层数越多,对每一层的要求越高。
- 至少有三处不符。第一,保留率不是固定的:散落在许多章里的小细节(第 14.6 节的“关键证据遗漏”)在第一层被删掉的概率远高于显眼的情节。第二,各层并非互不影响:一层写错的内容会被上一层当作事实继承下来,错误之间是相关的。第三,模型只算了“丢失”,没有算“写错”,例如依赖关系丢失导致的误读,它会把错误的事实带到全书摘要里。
判断下面四个场景分别属于任务分解、迭代放大还是递归奖励建模,说明理由。
- 老师把一份长报告拆成 5 部分,请 5 位助教各查一部分,自己再检查各部分的结论能否拼在一起,最后给出总评。
- 研究者先训练一个模型,让它能用白话总结代码改动;然后请人借助这些总结,给另一个写代码的模型的输出打分,用这些分数训练写代码模型的奖励模型。
- 人回答一个问题时,把它拆成子问题交给当前模型的几份副本,再根据子答案作答;然后训练一个新模型直接给出这个过程的最终答案,并用新模型重复这一过程。
- Wu 等的递归书籍摘要。
解答
本节引用的文献 1
- Wu 等人(2021)Recursively Summarizing Books with Human Feedback
学完能做到 #
- 区分任务分解、迭代放大和递归奖励建模:分别说出拆开的是什么、人做什么、模型从哪里得到训练信号。
- 为一个检查任务设计分解,说明叶子为什么在评估者的能力范围内,并单独列出合并这一步的检查。
- 举出一种分解失败的方式(局部都对但整体错、依赖关系丢失、关键证据遗漏、误差逐层累积),并给出一个具体例子。
- 读到一个分解实验时,说出它在什么任务上做、和什么比较、观察到什么,以及为什么不能推出在部分之间依赖很强的任务上同样有效。
参考文献
- (2020). Debate update: Obfuscated arguments problem. AI Alignment Forum. 非同行评审引用于 §14.6
- (2018). Supervising strong learners by amplifying weak experts. arXiv. 预印本引用于 §14.3
- (2018). Iterated Distillation and Amplification. AI Alignment Forum. 非同行评审引用于 §14.3
- (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本引用于 §14.4 §14.6
- (2021). Recursively Summarizing Books with Human Feedback. arXiv. 预印本引用于 §14.1 §14.2 §14.5 §14.6