Scalable Oversight 入门
第一部分:问题是什么

草稿 内容完整但尚未审校,可能还会修改

第 7 章定义:scalable oversight 研究什么

路线全部路线最短路线

本章导读

本章问题
  • 这个领域到底要解决什么问题?
要点
  • scalable oversight 研究:直接人工评估昂贵、缓慢或不可靠时,怎样继续提供足够可靠的监督(§7.2)。
  • 困难沿五个维度扩展,能力差距有五种来源;降低标注成本不等于弥补监督者能力不足(§7.3、§7.4)。
  • “没有标准答案”分三种:核查昂贵、结果未出现、没有唯一正确选择,各需不同的办法(§7.5)。
  • 监督、训练、评估、部署控制是四个环节,在一个环节有效的方法不能直接搬到另一个环节(§7.6)。
本章的视频讲解,4 分 48 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07同一个审查任务
    公司让 AI 写代码,人审查后合并。同一个审查任务,可能以三种方式出问题:修改太多,看不过来(成本);认真审要两周,等不了(延迟);看不懂加密算法(能力)。三种问题,办法不同。
  2. 0:282016:评估太贵7.1
    Amodei 等 2016 年的预印本设想:人能评估,只是太贵,只能偶尔进行。打扫办公室的机器人该扔掉糖纸、收好手机,问办公室里的人就能检查。办法:少量真实评估配上大量便宜的代理信号。
  3. 0:502018 与 20227.1
    2018 年起,难处变成人评估不了。辩论、迭代放大、递归奖励建模都让模型帮人判断。2022 年,Bowman 等的预印本用三明治评估,让这件事今天就能做实验。三种侧重都属于本领域。
  4. 1:12本书的定义7.2
    scalable oversight(常译作“可扩展监督”)研究的问题是:当直接人工评估变得昂贵、缓慢或不可靠时,怎样利用有限的人类判断、模型和其他工具,继续提供足够可靠的监督。
  5. 1:32放在记账程序上7.2
    直接人工评估,就是你亲自读完 500 行代码。对记账程序,三种情况同时存在:要读好几天;等你读完,可能已经要用它记账了;你只读得懂 50 行。“足够可靠”不是完美:多可靠才够,取决于判错的后果。
  6. 1:54扩展的五个维度7.3
    “可扩展”指任务变多、变难、模型变强时,方法仍然有效。困难沿五个维度变大。它们可以同时出现,但是不同的困难,解决一个不等于解决另一个。
  7. 2:16降低成本不等于补上能力7.3
    降低标注成本的方法,不一定能解决监督者能力不足。抽查 1% 帮不了没人看得懂的证明;辩论这类方法为能力不足设计,却可能比抽查更费人工。读到一个方法,先问它针对哪个维度。
  8. 2:40强在哪里7.4
    强在哪里,决定了该用什么办法补。差距有五种来源。不会做不代表判断不了:检查数独比解出它容易。你和写记账程序的 AI 之间,差距主要在专业知识和上下文长度。
  9. 3:04三种“没有标准答案”7.5
    “没有标准答案”可能是三种情况。记账程序属于第一种:程序要么遵守规则,要么不遵守。第三种不是等一个更聪明的裁判去找出真值。三种情况也决定了实验能做什么。
  10. 3:28四个环节7.6
    监督产生的判断用在四个环节。监督(这里取狭义):产生判断。训练:把判断变成学习信号。评估:测量监督方法是否有效。部署控制:模型被使用时,拦截危险的行动。
  11. 3:49为什么搬不过去7.6
    一个环节有效,不代表别的环节有效。判断成了训练的优化目标,就可能变得不可靠;实验有参考答案,实际使用时没有,只能外推;部署控制要在行动生效之前判断。读论文要问:它在哪个环节测的?
  12. 4:12几个相近的术语7.7
    Amplified oversight 是 Google DeepMind 的相近术语,侧重单个情境。Superalignment 目标更广,本书把本领域看作它的一部分。AI control 不假定模型已经对齐,按最坏情况设定,与本领域在监控上有交集。

带走的几句话:

  1. 本领域研究:直接人工评估昂贵、缓慢或不可靠时,怎样继续提供足够可靠的监督。
  2. 降低标注成本不等于弥补能力不足:先问方法针对哪个维度。
  3. 监督、训练、评估、部署控制四个环节,方法不能直接从一处搬到另一处。

第 1 章用一个记账程序提出了全书的问题:AI 交来的结果超出了你能检查的范围,你凭什么决定是否接受它。第 6 章又说明,今天的语言模型在很大程度上是靠人的判断训练出来的。把这两件事放在一起,就是本章要定义的研究领域。在给出定义之前,先看一个例子。

设想一家公司让 AI 写代码,再由人审查之后合并进产品。同一个代码审查任务,可能以三种不同的方式出问题。第一种,AI 每天交来几千处修改,每一处都不难看懂,但审查的人看不过来。这是成本问题。第二种,修改不多,可是认真审一遍要两周,而产品等不了两周。这是延迟问题。第三种,修改涉及审查者不熟悉的加密算法,他读得很仔细,仍然看不出对错。这是能力问题。

三种情况需要的办法不同。成本问题可以靠抽查,或者先用便宜的自动检查筛一遍,人只看可疑的部分。延迟问题需要先作一个暂时的判断,等更完整的检查结果出来再修正。能力问题则不是多花钱、多等几天就能解决的:给一个看不懂加密算法的人再多两周,他多半仍然判断不了,他需要别人或别的工具帮他看懂。把三种情况混为一谈,就容易用错办法。

本章先回顾这个领域的问题是怎样被提出的(第 7.1 节),然后给出本书的定义(第 7.2 节),再把笼统的“监督很难”拆成几个可以分别讨论的部分:困难沿哪些方向变大(第 7.3 节),评估者比执行者弱在哪里(第 7.4 节),“没有标准答案”指的是哪一种情况(第 7.5 节),监督的判断用在哪个环节(第 7.6 节)。最后整理几个容易混用的术语(第 7.7 节)。

7.1 历史表述的变化 #

scalable oversight 这个词在十年里被不同的研究者用来指称侧重不同的问题。了解这些差别,读文献时才知道作者关心的是哪一种困难。

2016 年:评估代价太高。Amodei 等 2016 年的一篇预印本列出了 AI 系统可能出事故的五个具体研究问题,scalable oversight 是其中之一(Amodei 等,2016)。论文设想的情形是:设计者知道正确的目标,或者至少有办法评估它,例如在某个情境下直接去问人;但这样评估代价太高,不能在训练中频繁进行(Amodei 等,2016)。论文的例子是一个打扫办公室的机器人。它应该扔掉显然没人要的东西,比如糖纸,但要收好可能有人要的东西,比如手机。去问办公室里的人有没有丢东西,就能检查机器人做得对不对,可这种询问只能偶尔进行。问题于是变成:只能偶尔得到可靠的评估时,怎样仍然让系统表现正确。论文提出的一个方向,是把少量对真实目标的评估,和大量便宜但不完美的代理信号结合起来,更有效地利用有限的监督预算(Amodei 等,2016)。在这个表述里,人能够评估,只是评估太贵。

2018 年起:人无法直接评估。两年后,问题的重心移动了。2018 年的三项提案,即辩论(Irving 等,2018)、迭代放大(Christiano 等,2018)和递归奖励建模(Leike 等,2018),针对的是另一种情况:任务复杂到人无法直接判断。辩论和迭代放大两篇论文的摘要都写明,让人示范或评判的训练方法,在任务复杂到人无法直接评估时可能失效(Irving 等,2018;Christiano 等,2018)。递归奖励建模的论文列举了人难以直接评估结果的几种原因:领域高度技术化,系统高度复杂,数据维度极高,后果延迟出现,或者在其他方面对人来说很陌生(Leike 等,2018)。三项提案的共同思路,是让模型帮助人作判断。辩论让两个模型就同一个问题各持一方,由人当裁判(第 15 章);迭代放大把难任务拆成人能判断的小任务,递归奖励建模用已经训练好的模型帮人评估更难的任务(第 14 章)。在这个表述里,困难从“评估太贵”变成了“人评估不了”。

2022 年起:可以测量的实验范式。第二种表述带来一个实际的难题:如果研究对象是比人强的系统,而这样的系统还不普遍,实验怎么做?Bowman 等 2022 年的预印本把 scalable oversight 描述为监督那些在任务相关的大多数技能上可能超过我们的系统的问题,并给出了一个今天就能做的实验设计(Bowman 等,2022)。这个设计来自 Cotra 提出的三明治评估(sandwiching):选一类任务,模型在上面比普通人强、又比专家弱,模型的能力就被“夹”在两组人之间。非专家借助模型完成任务,过程中不能求助专家;专家只在最后出场,评判非专家做得怎样(Bowman 等,2022)。这样,研究者在今天就能检验一种监督方法能否让较弱的一方可靠地用好较强的模型。实验的细节在第 11 章讲。与 2022 年以前相比,此后的研究更多地讨论怎样监督可能在任务上超过人的系统(本书的推断)。

这三种侧重并不互相取代,它们都属于本领域。有的论文研究怎样少花人工(2016 年的侧重),有的研究人看不懂时怎么办(2018 年的侧重),有的研究怎样用实验检验方法是否有效(2022 年的侧重)。读一篇自称研究 scalable oversight 的论文,先看它关心的是哪一种。

第 7.1 节引用的文献 5
  1. Amodei 等人(2016)Concrete Problems in AI Safety
  2. Irving 等人(2018)AI safety via debate
  3. Christiano 等人(2018)Supervising strong learners by amplifying weak experts
  4. Leike 等人(2018)Scalable agent alignment via reward modeling: a research direction
  5. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models

7.2 本书的定义 #

把三种侧重合在一起,本书采用下面的定义。

定义 7.1 scalable oversight

scalable oversight(常译作“可扩展监督”)研究的问题是:当直接人工评估变得昂贵、缓慢或不可靠时,怎样利用有限的人类判断、模型和其他工具,继续提供足够可靠的监督。

这里的监督(oversight),指评估者对执行者的输出或行动作出判断,并据此给出反馈或拦截行动。下面逐个短语看这个定义说了什么。

“直接人工评估”是比较的起点:一个人看完输出,自己作出判断。在记账程序的例子里,就是你亲自读完 500 行代码,判断它是否遵守三条规则。

“昂贵、缓慢或不可靠”对应本章开头的三种情况。昂贵是成本问题,缓慢是延迟问题,不可靠则包括能力不足,也包括人在疲劳、匆忙或先入为主时判断出错(第 13 章)。只要其中一种出现,直接人工评估就不够用了。对记账程序,三种情况同时存在:读完全部代码要好几天,等你读完可能已经需要用它记账了,而且你只读得懂其中 50 行。

“有限的人类判断、模型和其他工具”是可用的资源。人的判断仍然是最终的依据,但人的时间有限,也就是第 1.2 节说的监督成本有上限。模型可以替人挑错、互相辩论、给出评分;其他工具包括测试、证明检查器、检索系统。怎样把这些资源组合起来,就是在设计第 1.2 节说的监督协议。

“继续提供”说明了“可扩展”的含义:方法不仅要在今天的任务上有效,还要在任务变多、变难、模型变强时仍然有效。一个只在评估者完全看得懂时才有效的方法,解决不了本领域的问题。

“足够可靠”说明目标不是完美。多可靠才算够,取决于判断错了的后果:推荐一首歌和批准一项医疗决定,要求不同。所以“足够可靠”必须说清楚是对什么任务、用什么指标衡量的(第 11 章)。

最后,这个定义有意没有说什么。它不规定什么样的输出才算“好”:是事实正确、遵守用户指令、符合某份原则,还是对所有相关者有益,是另一个问题,第 30.1 节讨论它。它也不承诺监督好了,模型就一定可靠;它研究的是判断本身能做到多可靠。

7.3 扩展的五个维度 #

“可扩展”说的是随着某样东西变大,方法仍然有效。第 1.4 节提到困难会从几个方向同时压过来,这里把它们整理成五个维度。

  1. 任务数量增加。每个输出都不难判断,但数量太多,人看不过来。例如一个网站每天有 100 万条新评论需要审核。
  2. 单个任务变难。即使只有一个输出,判断它也需要更多专业知识或更长时间。例如一篇新的数学证明,能读懂的专家很少。
  3. 模型能力提高。任务没有变,但执行者变强了,它犯的错误可能更隐蔽,评估者的相对位置也就变差了(本书的推断)。今天能看出模型错误的人,明天可能看不出来(第 9 章)。
  4. 行动过程变长。模型不再只交一个答案,而是连续执行许多步操作:读文件、改代码、运行程序、发送消息。评估者要判断的是一整段过程,风险可能跨越多个步骤(第 26 章)。
  5. 监督预算受限。监督预算是能花在监督上的全部资源,即第 1.2 节说的监督成本的上限:人的时间、钱、算力。即使前四个维度都不变,预算一减少,同样的问题也会出现。

五个维度可以同时出现,但它们是不同的困难,解决一个不等于解决另一个。最需要记住的一点是:降低标注成本的方法,不一定能解决监督者能力不足。假设有一个方法,让一个便宜的模型先把 100 万条评论分好类,人只抽查其中 1%。它在任务数量和监督预算两个维度上很有用。可是把它用在那篇数学证明上,帮不上忙:问题不在证明太多,而在没有人看得懂它。反过来,辩论这类为能力不足设计的方法,每个问题要多轮模型调用,再加上裁判读论证的时间(表 22.1);用在 100 万条评论上,花的人工和计算可能比抽查 1% 多(本书的推断)。所以读到一个方法时,要先问它针对的是哪个维度。

把记账程序放到五个维度上看。它只是一个程序,任务数量不成问题;500 行对一个熟练的程序员不算难,但对你已经太难;写它的 AI 比你熟悉这些写法,这是模型能力的维度;如果 AI 是经过几十步修改、运行、再修改才交出最终版本,而你只看到最终版本,行动过程的维度也出现了;你只有几个晚上可以花在检查上,这是监督预算。同一个例子在不同读者手里,占的维度也不同:对一位资深程序员,困难主要只剩预算一项。

7.4 能力差距从哪里来 #

“模型比评估者强”是一句笼统的话。强在哪里,决定了该用什么办法补。本书区分五种来源。

  • 专业知识。评估者缺少判断所需的领域知识。不懂医学的人判断不了一份用药建议,不懂密码学的人判断不了一段加密代码。
  • 信息访问。执行者看过评估者没看到的材料。模型读完了一篇长文章再回答问题,评估者只看到它的回答和引用的两句话。
  • 计算时间。执行者能花的计算远多于评估者能花的时间。模型可以试几百种情况、反复推演,评估者只有几分钟。
  • 上下文长度。执行者能同时“看着”的材料比评估者多。模型可以把一个不大的代码库整个放进上下文,人一次只能记住其中一小部分。
  • 工具权限。执行者能用的工具,评估者用不了。模型能运行代码、查询数据库、搜索网页,而评估者的审查界面只能看文字。

这五种来源对应不同的补救方向。缺信息,可以把原文给评估者看;缺工具,可以让评估者也能运行代码;缺时间,可以把任务拆小或增加预算;缺专业知识,就需要有人或模型把关键之处讲给他听,再设法核实讲的是不是真的。

还要注意一点:会解题不等于会判断别人的解题过程。一个学生能用自己的方法解出一道题,却可能看不出另一个人用陌生方法写的解答哪一步错了。反过来,有些任务判断比解决容易得多:填好的数独,检查每一行、每一列、每个小九宫格有没有重复就行(第 20 章会讨论这种结构)。所以能力差距要按“判断”来衡量,不能按“解题”来衡量:评估者自己不会做,不代表他判断不了;他自己会做,也不代表他判断得了。

回到记账程序。你和写程序的 AI 之间的差距,主要来自专业知识(你不熟悉程序用的写法和库)和上下文长度(500 行你记不住)。如果你能运行程序、自己写测试,工具权限这一项差距就缩小了。之后每一章讲一种方法时,都要说明它讨论的是哪一种差距;读者也可以把这五项当作检查清单。

7.5 三种“没有标准答案”#

第 1.2 节说过,要知道判断对不对,需要参考答案。困难的场景里常常没有现成的参考答案,但“没有标准答案”指的可能是三种完全不同的情况。

表 7.1 三种“没有标准答案”
情况 例子 主要困难
有答案,但核查昂贵 一个大型程序是否存在缺陷 验证资源不足
结果尚未出现 一项科研预测是否成立 反馈延迟
没有唯一正确选择 怎样权衡隐私与便利 价值分歧与目标选择

第一种,有答案,但核查昂贵。一个程序有没有缺陷,是一个确定的事实,只是要查清楚需要大量的时间、专业知识或计算。这时努力的方向是让核查变便宜:写测试,把程序拆成小块分别检查,请模型先指出可疑的地方。记账程序属于这一种:三条规则写得很清楚,程序要么遵守,要么不遵守。

第二种,结果尚未出现。一项科研预测,例如“这种新材料在高温下会保持稳定”,到实验做完才知道对不对。答案将来会有,现在没有。困难在于反馈延迟:训练和决策都等不了那么久。这时能做的,是根据现在能检查的东西作判断,等结果出来再检验当初的判断准不准。

第三种,没有唯一正确选择。一项城市政策要在隐私和便利之间权衡,不同的人有不同的看法,各有道理。这里的困难不是信息不够或核查太贵,而是价值有分歧,要选择以什么为目标。第三种情况不是等一个更聪明的裁判去找出真值。监督方法可以帮人看清各种选择的后果,却不能替人决定该重视什么。这条边界在第 30 章讨论。

真实的任务常常同时包含几种情况,分析时要拆开。以一项在公共场所安装人脸识别摄像头的政策为例:方案的技术文件有没有安全漏洞,是第一种;安装之后犯罪率会不会下降,是第二种;为此让渡多少隐私是否值得,是第三种。前两项可以用本书讲的监督方法帮忙,第三项需要另外的程序,例如公开讨论和民主决策。

三种情况还决定了实验能做什么。第一种情况下,研究者可以一次性付出高昂的核查成本,例如请专家不限时地给一批题目定出答案,再用这批答案检验各种便宜的监督方法(第 11 章)。第二种情况下,可以先记录判断,等结果出现后再回头打分,只是要等。第三种情况下没有可以用来打分的真值,实验能测量不同评估者是否一致,却不能测量谁对谁错。所以本书讨论的实验证据,大多来自第一种情况,而且是研究者付得起核查成本的那一部分。把结论推到核查成本付不起的场合,或推到第二种情况,需要额外的论证(第 28 章);第三种情况的困难不在外推,而在选择目标(第 30 章)。

7.6 四个环节 #

监督产生的判断会被用在不同的地方。本书区分四个环节。注意第一项“监督”取的是狭义,只指产生判断这一步;第 7.2 节定义的监督是总称,还包括据此给出反馈或拦截行动。

  • 监督:产生判断。评估者看一个输出,决定它好不好、能不能用。
  • 训练:把判断变成学习信号。第 6 章讲过,人的成对比较被用来训练奖励模型,再用奖励模型去优化模型的行为。
  • 评估:测量一个监督方法是否有效。研究者在有参考答案的任务上做实验,看用了这个方法之后判断是否更准(第 11 章)。
  • 部署控制:在模型被使用时拦截行动。模型执行一个操作之前或之后,由监控者检查,发现危险就阻止或交给人处理(第 26 章)。

一个方法在一个环节有效,不代表在其他环节仍然有效。原因在于四个环节的条件不同。

从监督到训练,多了优化压力。即使一个批评模型帮人挑错时很好用,一旦把它的意见当作奖励去训练模型,模型也可能被推向批评模型看不出问题的那些写法。判断成了优化的目标,原来的可靠程度就可能变差(第 8 章的 Goodhart 定律,第 23 章)。

从评估到实际使用,少了参考答案。实验里能知道方法有没有效,是因为研究者手里有标准答案;真正使用时没有,只能靠实验结论外推,而外推需要单独的证据(第 28 章)。

从训练到部署控制,要求变了。训练用的判断可以事后慢慢给,偶尔错一次,影响可能被大量其他样本冲淡;部署控制必须在行动生效之前作出判断,漏掉一次危险操作,后果就已经发生了(本书的推断)。此外,模型在部署时面对的情况,可能与训练和测试时不同(第 4.5 节);模型甚至可能分辨得出自己是在被测试还是在被实际使用(第 10.2 节)。

用记账程序看同一套测试在四个环节里的样子。监督:运行测试,全部通过就接受程序。训练:把“测试通过”当作奖励训练写程序的模型,第 8 章开头会讲这样做可能带来什么。评估:在程序里事先埋入已知的错误,看一种审查方法能找出其中几个,这是习题 16.1 的做法。部署控制:让一个 AI 智能体直接替你修改账目文件,每次改动生效之前,先在一份副本上运行这套测试,不通过就拦下来交给你看。同样是“测试”,在四个环节里承担的作用、需要的条件和可能的失败方式都不一样。读论文时要问:它是在哪个环节测的,结论能不能搬到你关心的环节。

7.7 术语与检索 #

查文献时会遇到几个意思相近的词。它们的关系如下表。

表 7.2 几个容易混用的术语
术语 准确含义 检索时的用途
Scalable oversight 一个研究问题及其方法集合 主检索词
Amplified oversight Google DeepMind 使用的相近术语,明确侧重提高对单个情境的判断,不一定包括扩展到大量场景的监控 查 DeepMind 的工作
Superalignment(超级对齐) 更广的超级智能对齐目标;本书把 scalable oversight 看作其组成部分之一,此外还有泛化、验证等问题(本书的推断) 查 OpenAI 早期工作和中文文献
AI control 在不依赖模型已经对齐的前提下,限制其造成伤害的方法 查部署防御,见第 26 章

几点补充说明。

Amplified oversight。Google DeepMind 的研究团队在 2024 年的工作总结里说明了这个词指什么:他们的目标是,对任何一个单独的情境,提供尽可能接近这样一个人所能给出的监督:他完全理解 AI 为什么给出这个输出;他们也指出,研究界常把这叫作 scalable oversight,但他们的用法不一定包括像监控那样扩展到大量场景(Shah 等,2024)。换成本章的话说,amplified oversight 侧重第 7.3 节的“单个任务变难”和“模型能力提高”,不侧重“任务数量增加”(本书的推断)。

Superalignment。OpenAI 的弱到强泛化研究(第 17 章)出自其 Superalignment 团队,这篇论文的 arXiv 版把 superalignment 说成对齐远超人类的模型这一挑战,ICML 2024 的会议论文讲的是同一个挑战,但没有这样称呼它(Burns 等,2023)。本书把 superalignment 看作比 scalable oversight 更宽的目标,监督之外还有泛化、验证等问题(本书的推断)。中文文献常用“超级对齐”这个译名。

AI control。scalable oversight 的许多方法默认被监督的模型不会针对监督调整自己的行为(第三部分各章的证据框写明了各自覆盖的威胁模型,多数只覆盖第 10.2 节的“无意出错”),AI control 不作这个假定。Greenblatt 与 Shlegeris 主张,安全措施应当在模型没有对齐、甚至有意破坏这些措施时,仍能防止不可接受的后果(Greenblatt 与 Shlegeris,2024)。两个领域有交集:AI control 的协议里大量使用监控,也就是监督;区别在于它按最坏情况设定模型的行为。第 10 章会把“模型可能怎样对待监督”拆成几个维度,第 26 章专门讲 AI control。

检索时可以把四个词都用作检索词,再按上表判断一篇文献属于哪个侧重。附录里的术语对照(附录 B)和教材与课程入口(附录 C)也列出了这些词。

第 7.7 节引用的文献 3
  1. Shah 等人(2024)AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work
  2. Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
  3. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled

读物 #

  • 原始提案 · 预印本:Amodei 等《Concrete Problems in AI Safety》(2016)第 5 节 Scalable Oversight(Amodei 等,2016)。看这个问题早期怎样被提出:目标可以评估,但评估太贵,只能偶尔进行。
  • 原始提案 · 预印本:Bowman 等《Measuring Progress on Scalable Oversight for Large Language Models》(2022)第 1 到 2 节(Bowman 等,2022)。看三明治评估的三方角色,以及作者为了先做出实验而放宽了哪些条件。
  • 入门讲解 · 博客:Google DeepMind《AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work》(2024)中的 Amplified Oversight 一节(Shah 等,2024)。看一个研究团队怎样界定自己的术语,以及它与 scalable oversight 的区别。
本节引用的文献 3
  1. Amodei 等人(2016)Concrete Problems in AI Safety
  2. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  3. Shah 等人(2024)AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work

练习 #

习题 7.1 给六个场景定位

下面是六个为练习构造的监督场景,场景里的数字也是构造的。对每个场景,写出:

  1. 它主要涉及第 7.3 节的哪些扩展维度(可以多选);
  2. 如果评估者比执行者弱,差距来自第 7.4 节的哪些来源(可以多选,也可以是“没有明显的能力差距”);
  3. 它属于表 7.1 的哪一种情况(可以不止一种,但要说明是哪一部分属于哪一种)。
  • 场景 A:一个视频网站每天新增 100 万条评论,要找出其中违反社区规则的评论。每位审核员每天能看大约 2000 条。
  • 场景 B:一位研究者提交了一篇 40 页的数学证明,声称解决了一个公开问题。全世界能读懂它的专家只有十几位。
  • 场景 C:一座城市要决定是否在公共场所安装人脸识别摄像头。市民在隐私和安全之间看法不一,市政府请一个 AI 系统起草政策方案。
  • 场景 D:一个模型预测某种新药在三年后完成的临床试验中是否有效。
  • 场景 E:一个编程智能体在一个大型代码库里连续执行了 300 步操作(读文件、改代码、运行测试、提交)来完成一个功能。审查者只看到最后的代码改动。
  • 场景 F:一个模型根据一份 300 页的合同回答“这份合同是否允许提前解约”。标注员每题只有 3 分钟,只看得到模型的回答和它引用的两句原文。
提示

先问“如果有无限的时间和最好的专家,这个问题有没有确定的答案”。有,就是第一种或第二种;答案要等将来才出现,是第二种;有了全部信息和时间,理性的人仍然会有不同选择,是第三种。能力差距一栏不必硬填:一个任务可能只是量太大,评估者并不比执行者弱。

解答

参考答案如下。维度和差距来源有合理的多种答法,关键是理由说得通。

场景 扩展维度 能力差距来源 属于哪种情况
A 评论审核 任务数量;监督预算 单条评论通常没有明显的能力差距;少数涉及专门知识或外语的评论有专业知识差距 大多数评论有答案、核查昂贵(贵在总量);规则边界上的少数评论涉及怎样划线,带有第三种的成分
B 数学证明 单个任务难度;模型能力(如果证明由 AI 写成) 专业知识;计算时间(逐行核对需要很长时间) 有答案,但核查昂贵
C 城市政策 单个任务难度 不是主要问题;起草方案时模型可能查阅了评估者没看过的资料(信息访问) 政策文本有没有漏洞是第一种;实施后效果如何是第二种;隐私与安全怎样权衡是第三种
D 新药预测 单个任务难度 没有明显的执行者与评估者之间的差距,困难在于反馈要等结果出现;评估模型的药理推理时可能有专业知识差距 结果尚未出现
E 编程智能体 行动过程长度;单个任务难度;模型能力 上下文长度(300 步的记录);工具权限(如果审查者没有重新运行的环境);信息访问(只看到最终改动) 有答案,但核查昂贵
F 合同问答 监督预算(每题 3 分钟);单个任务难度 信息访问(只看到两句原文);上下文长度(300 页);计算时间 有答案,但核查昂贵

几个容易出错的地方:场景 A 的困难主要是量,把它说成“能力差距大”是混淆了维度;场景 C 不能只填第三种,政策中有事实部分可以核查;场景 F 的标注员如果能看到全文、有足够时间,大多能自己判断,所以差距主要来自信息和时间,而不是专业知识。

习题 7.2 读一篇论文时先定位

下面三段是对三项研究的简要描述。对每一项,说出它研究的是哪个扩展维度、哪种能力差距、哪个环节(第 7.6 节)。

  1. Bowman 等(2022)让参与者在两个多选题数据集上答题:一个是覆盖多个专业学科的考试题(MMLU),一个是限时 5 分钟回答的长文章问题(限时 QuALITY)。文章通常要读 15 到 30 分钟,时间短到读不完全文,只能借助模型。参与者可以通过聊天向一个并不总是正确的语言模型助手提问。答案用数据集自带的标准答案评分。他们报告,借助模型的参与者比模型单独作答和参与者自己独立作答都好得多(Bowman 等,2022)。
  2. 一家公司让一个便宜的模型先给每天 100 万条评论分类,人工只随机抽查其中 1%,抽查发现的错误用来改进分类模型。(这是为练习构造的场景。)
  3. 一项研究在一个长文章问答任务上,用人类偏好数据训练出的奖励模型对一个语言模型做强化学习,再请限时评估的人判断训练前后模型的答案是否正确,比较人被错误答案说服的比例(Wen 等,2024),第 9 章会详细读这项研究。
解答
  1. 维度:单个任务难度(专业考试题、长文章)。差距:MMLU 主要是专业知识;限时 QuALITY 主要是计算时间和信息访问(时间不够读完全文)。环节:评估,即在有参考答案的任务上测量一种最简单的监督方式(和模型对话)能让非专家做到多好;参与者作答本身也是一次监督判断。
  2. 维度:任务数量;监督预算。差距:没有明显的能力差距,困难在量。环节:日常的审核是监督(也可以看作部署控制,在评论发布前后拦截);用抽查结果改进模型是训练。
  3. 维度:最接近“模型能力提高”里“犯的错误可能更隐蔽、评估者的相对位置也就变差”那一部分,但要注意,训练后模型的任务正确率几乎没有提高,变化的是错误答案更难被识破(Wen 等,2024),严格说任务能力没有提高;另有监督预算(评估限时)。差距:计算时间,以及评估者能否核对原文等信息访问条件。环节:研究的问题出在训练环节(人的判断变成训练信号),测量用的是评估环节的方法(有参考答案,比较训练前后)。

评分要点:每项都要同时说出三样东西;第 3 项要能区分“问题出在哪个环节”和“用哪个环节的方法测量”,也不能把“更会说服”当成“任务能力提高”。

本节引用的文献 2
  1. Bowman 等人(2022)Measuring Progress on Scalable Oversight for Large Language Models
  2. Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF

学完能做到 #

  • 用一句话说出本书对 scalable oversight 的定义,并解释“昂贵、缓慢、不可靠”分别对应什么情况。
  • 说出 2016 年、2018 年、2022 年三种表述各自侧重什么困难。
  • 拿到一篇论文或一个监督场景,说出它研究的是哪个扩展维度、哪种能力差距、哪个环节。
  • 判断一个“没有标准答案”的问题属于核查昂贵、结果未出现,还是没有唯一正确选择,并说明为什么第三种不能靠更强的裁判解决。
  • 举例说明为什么一个方法在监督环节有效,搬到训练或部署控制环节时可能失效。

参考文献

  1. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Concrete Problems in AI Safety. arXiv. 预印本引用于 §7.1
  2. Bowman, S. R., Hyun, J., Perez, E., Chen, E., Pettit, C., Heiner, S., … Kaplan, J. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本引用于 §7.1
  3. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §7.7
  4. Christiano, P., Shlegeris, B., and Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv. 预印本引用于 §7.1
  5. Greenblatt, R., and Shlegeris, B. (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审引用于 §7.7
  6. Irving, G., Christiano, P., and Amodei, D. (2018). AI safety via debate. arXiv. 预印本引用于 §7.1
  7. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本引用于 §7.1
  8. Shah, R., Farquhar, S., and Dragan, A. (2024). AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work. GDM Alignment Research Blog. 非同行评审引用于 §7.7
  9. Wen, J., Zhong, R., Khan, A., Perez, E., Steinhardt, J., Huang, M., … Feng, S. (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025.