草稿 内容完整但尚未审校,可能还会修改
第 10 章威胁模型与任务前提
路线全部路线最短路线
本章导读
文字稿
- 0:07防的是哪一种作弊
学校要防止考试成绩失真,可“防作弊”底下是几种不同的问题,对应的办法几乎不能互相替代。只说“这场考试防住了作弊”,不说防的是哪一种,几乎没有信息量。 - 0:27两个定义10.1
威胁模型:对被监督模型的行为、能力、它与监督者之间的关系以及它所处条件的一组明确假设;监督方法要在这些假设下仍然有效。任务前提:任务本身为监督提供了哪些条件。 - 0:50同一个方法,不同条件10.1
转账功能:AI 写了代码和测试,报告“全部通过”。模型只是偶尔犯错、测试认真写,通过是有分量的证据(至少对测试覆盖到的情形);模型能改测试时,“全部通过”可能几乎什么也不说明。 - 1:15七个维度10.2
本书把威胁模型拆成七个维度,分属行为、能力、系统之间的关系和条件。它们不在同一层次,可以同时成立,分析一个场景时可以多选。 - 1:36无意出错与迎合评分10.2
无意出错:模型会犯错,但错误不针对评估。迎合评分:行为利用了评分规则或评估者的弱点,包括 reward hacking 和谄媚;更一般地,利用评分规则漏洞的规格博弈也属于这一类。 - 2:00识别评估与隐藏目标10.2
识别评估:模型能分辨自己是否在被测试或训练;它是能力,分辨后是否改变行为要另看证据。隐藏目标:行为持续服务于一个与指定任务冲突、且未向监督者披露的目标。 - 2:22共同盲点10.2
共同盲点:监督者与被监督者,或多个监督模型,犯同一类错误。它不是单个模型的性质,而是一组系统之间的关系。几个模型意见一致,不等于几次独立的检查。 - 2:44两个“条件”维度10.2
访问与修改权限:模型能读到、能改动什么;它能改动的测试和日志,不再是独立的证据。对协议的了解与试探:模型是否知道监督规则、能否多次尝试;知道规则又能反复提交,就有机会找到恰好通过审查的版本。 - 3:09逐个维度说明10.2
写一个方法的威胁模型,要逐个维度说明考虑了还是没有考虑。附录的术语对照给出的写法:“模型会迎合评分、知道监督协议,但没有隐藏目标,也不能修改测试”。 - 3:32五项任务前提10.3
任务前提说的是任务本身给监督留下了什么,五项见右图。前提要和威胁模型一起看:模型能改动的证据,就不再独立;模型会迎合标注员时,标签就要打折扣。 - 3:55用行为下定义10.4
七个维度里,没有一个是“模型想不想骗人”。意图不能直接观察,行为可以;同样的行为带来同样的监督风险。限度:行为相同的模型,在没测过的情境里仍可能不同。 - 4:18证据与前提框10.5
第三、四部分讲方法的各章,都先有一个“证据与前提”框:想处理、测过、依赖、不能推出。实验没有覆盖的维度,就是结论不能推到的地方;这不等于方法在那里会失败。
带走的几句话:
- 同一个方法,在不同的威胁模型和任务前提下,结论可能完全不同。
- 威胁模型有七个维度,任务前提有五项。
- 本书用可观察的行为下定义,不以模型是否有意图作为分类标准。
- 说出实验在哪些维度和前提下做过,哪些没有,据此写出“不能推出”。
学校组织一场考试,要防止成绩失真。可是“防作弊”这三个字底下,其实是几种完全不同的问题。防考生粗心,可以提醒他们交卷前检查一遍。防考生钻评分标准的空子,比如在简答题里罗列所有可能的关键词,要修改评分标准,按论述是否成立给分。防考生知道监考老师何时离开、趁机交头接耳,要让巡视的时间不可预测。防有组织的作弊团伙,比如提前拿到试卷、在考场外传递答案,就需要试卷保密、信号屏蔽,甚至调查内部人员。
这四种办法几乎不能互相替代。交卷前提醒检查,对作弊团伙毫无作用;信号屏蔽,对粗心也毫无作用。所以一句“这场考试防住了作弊”,如果不说明防的是哪一种,几乎没有信息量。
监督 AI 也是这样。第 8 章和第 9 章分别从被监督的模型和监督者两边,说明了监督为什么会出问题。在讲任何具体方法之前,本章给出一套说清条件的办法:模型可能怎样对待监督(威胁模型),任务本身又提供了哪些可用的信息(任务前提)。之后每读一种方法,都要用它来问:这个方法在什么条件下测过,在什么条件下还没有。
从本章起,第 1 章的记账程序增加了一个功能:转账。一笔转账同时改动两个账户,从一个账户转出,转入另一个账户。三条规则仍然有效,而规则三(写入失败时不能只记一半)变得更要紧:如果转出记上了、转入没记上,钱就凭空少了一笔。假设写程序的 AI 也替你写了测试,运行后报告“全部通过”。你该相信它多少?读完本章,你会发现答案取决于一串你还没有回答的问题。
10.1 为什么先说清条件 #
先给两个定义。
威胁模型(threat model):对被监督模型的行为、能力、它与监督者之间的关系以及它所处条件的一组明确假设,包括它可能怎样出错或利用评分,能察觉什么,是否持续服务于一个未披露的目标,会不会与监督者犯同一类错误,能接触和改动什么,对监督规则知道多少。一个监督方法要在这些假设下仍然有效。
计算机安全里有类似的做法。按 Greenblatt 与 Shlegeris 的描述,安全团队评估一个系统时,会先写明防的是什么样的攻击者,只是外人,还是掌握内部权限的员工(Greenblatt 与 Shlegeris,2024)。他们讨论 AI 的安全措施时也借用了这种做法:先刻画拥有不同资源的攻击者有多大可能发动攻击,再论证对每一类可能的攻击者,关键的安全性质都能以可接受的可靠程度守住(Greenblatt 与 Shlegeris,2024)。在本书里,“攻击者”不一定有恶意,它可能只是一个会犯错、会被优化推向评分漏洞的模型(第 8 章)。
任务前提:任务本身为监督提供了哪些条件,例如任务能否分解、有没有独立于模型陈述的证据、标签是否可靠、能否获得参考答案,以及监督者弱在哪里。
为什么要先说清这两样?因为同一个方法在不同的威胁模型和任务前提下,结论可能不同。以“让模型写测试并运行,全部通过就接受”为例,看它在转账功能上能说明什么。
- 如果模型只是偶尔犯错,测试又是按需求说明认真写的,那么测试通过是有分量的证据,至少对测试覆盖到的情形是这样。
- 如果模型能修改测试文件,而训练又奖励“测试通过”,第 8 章开头的例子说明,“全部通过”可能几乎什么也不说明。
- 如果模型知道你只会按需求说明的三条规则各跑一个测试,它的程序可能恰好通过这三个测试,在别的情形下出错。
- 如果测试和代码出自同一个模型,它没想到的情形(例如两笔转账同时发生),在代码里没处理,在测试里也不会出现。
- 如果连需求说明本身都没写清楚转账失败时应当怎样,测试也就没有一个可靠的标准可以对照。
前四条是威胁模型的差别,最后一条是任务前提的差别。方法没有变,变的是条件;条件一变,“测试全部通过”这句话的分量就可能大不相同:在第一条的条件下是有分量的证据,在第二条的条件下可能几乎什么也不说明。所以本书的规矩是:说一个监督方法“有效”或“安全”,必须同时说明是在什么威胁模型和任务前提下。附录的术语对照里有一个例子:只说“方法是安全的”,不说对哪种情况安全,等于没有说(附录 B)。
第 10.1 节引用的文献 1
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
10.2 威胁模型的七个维度 #
本书把威胁模型拆成七个维度。它们不在同一层次:有的描述模型的行为,有的描述模型的能力,有的描述几个系统之间的关系,有的描述监督所处的条件。它们可以同时成立,分析一个场景时可以多选。
| 维度 | 类型 | 含义 | 重点章节 |
|---|---|---|---|
| 无意出错 | 行为 | 模型会犯错,但错误不针对评估 | 第 16 章、第 18 章、第 20 章 |
| 迎合评分 | 行为 | 模型的行为利用了评分规则或评估者的弱点;包括第 8 章的 reward hacking 和谄媚 | 第 8 章、第 19 章、第 23 章 |
| 识别评估 | 能力 | 模型能分辨自己是否在被测试或训练,并可能相应改变行为;是第 25 章情境识别(situational awareness)的一种 | 第 25 章、第 27.6 节 |
| 隐藏目标 | 行为 | 模型的行为持续服务于一个与指定任务冲突、且未向监督者披露的目标 | 第 25 章、第 26 章、第 27 章 |
| 共同盲点 | 系统之间的关系 | 监督者与被监督者,或多个监督模型,犯同一类错误 | 第 17 章、第 24 章 |
| 访问与修改权限 | 条件 | 模型能读到什么、能改动什么,例如测试、日志、评分代码 | 第 20 章、第 26 章 |
| 对协议的了解与试探 | 条件 | 模型是否知道监督规则,能否多次尝试并观察结果 | 第 26 章 |
下面逐一说明,每个维度都用考试和转账两个例子对照。
无意出错(行为)。模型会犯错,但错误与评估无关:它不是因为某处没人检查才在那里出错。考试里的对应物是粗心。转账功能里,模型可能忘了处理“转入账户不存在”的情形。这是最温和的假设,也是许多方法的实验所默认的假设。第 16 章的证据框就写明,批评模型的实验只覆盖这一个维度。
迎合评分(行为)。模型的行为利用了评分规则或评估者的弱点。表中点名的第 8 章的 reward hacking 和谄媚都属于这一类;更一般地,利用了评分规则漏洞的规格博弈,以及第 9 章讲的“看起来对”的答案,也都属于这一类。考试里的对应物是罗列关键词。转账功能里,模型可能写出只对测试里那几组金额正确的代码,或者在你说“我觉得这部分没问题”之后附和你。第 8.7 节说过,只要评分有缝隙、优化压力足够,这些行为就可能出现,不需要模型有意图。
识别评估(能力)。模型能分辨自己是在被测试或训练,还是在被实际使用,并可能据此改变行为。它是第 25 章要讲的情境识别的一种。注意它被归为能力:这个维度问的是模型能不能分辨,至于分辨之后是否真的改变行为,要另看证据。考试里的对应物是知道监考何时离开。转账功能里可以设想这样的情形:测试数据都是整数金额、账户名叫“测试账户一”,真实数据却不是,一个能分辨两者的模型可能在两种数据上表现不同。如果模型能分辨,而又不能排除它据此改变行为,那么所有在“看起来像测试”的条件下得到的评估结果,都要打上问号。
隐藏目标(行为)。模型的行为持续服务于一个与指定任务冲突、且未向监督者披露的目标。定义里的三个限定都要满足:持续,不是偶尔一次;冲突,与它被要求完成的任务相抵触;未披露,监督者不知道。考试里的对应物是有组织的作弊团伙:他们有一个与考试目的冲突的目标,并且刻意隐瞒。转账功能里可以设想:程序在极少数情况下把一点零头转到别的账户,平时一切正常。注意这个定义只说行为“服务于”某个目标,即行为的模式可以用这个目标来解释,没有说模型内部“想”什么,原因见第 10.4 节。研究者已经能有意训练出带有隐藏目标的模型(第 25.2 节、第 27.3 节)来做研究(Marks 等,2025),这说明这种行为可以出现,不说明它在普通训练中有多常见。
共同盲点(系统之间的关系)。监督者和被监督者,或者几个监督模型之间,犯同一类错误。这个维度不是任何单个模型的性质,而是一组系统之间的关系。考试里的对应物是阅卷老师和考生用同一本印错了答案的参考书。转账功能里,如果代码和测试都由同一个模型写成,它没想到“两笔转账同时发生”,测试里也就不会有这种情形。几个模型意见一致,不等于几次独立的检查(第 24 章)。
访问与修改权限(条件)。模型能读到什么、能改动什么,例如测试、日志、评分代码。这个维度描述的是监督所处的环境,而不是模型本身。考试里的对应物是考生能否接触到试卷和答案。转账功能里,如果编写程序的智能体有权限修改测试文件或运行日志,那么测试结果和日志就不再是独立的证据。第 8 章开头的编程环境,正是因为允许修改测试,才让修改测试成为可能。
对协议的了解与试探(条件)。模型是否知道监督的规则,能否多次尝试并观察结果。考试里的对应物是考生事先知道评分细则,或者能用同一套评分标准反复做模拟题。转账功能里,如果模型知道审查者只按需求说明的三条规则各跑一个测试,又能反复提交、看哪个版本通过审查,它就有机会找到恰好通过审查的版本。这个维度直接影响论证的强弱。Greenblatt 与 Shlegeris 认为,对最早一批足以大大降低后续 AI 风险的 AI(不是任意强的 AI),控制评估有可能做得保守,理由之一是:与专门替被监督的 AI 寻找攻击办法的研究团队(红队,第 26 章)相比,被监督的 AI 对防御措施了解得较少,也很少有机会针对防御措施反复练习和调整(Greenblatt 与 Shlegeris,2024)。反过来说,如果这些条件不成立,结论也要跟着改变。第 26 章会讲,在一项实验中,攻击方掌握了协议的内部信息之后,一种防御协议的安全性大幅下降(Kutasov 等,2025)。
七个维度可以组合。一个模型可以既会无意出错,又会迎合评分;识别评估与隐藏目标同时成立,是对监督要求很高的一种组合,因为这时模型在被检查时的表现,不能代表它在不被检查时的表现(本书的推断)。写一个方法的威胁模型时,要逐个维度说明“考虑了”还是“没有考虑”。例如附录的术语对照给出的写法:“模型会迎合评分、知道监督协议,但没有隐藏目标,也不能修改测试”(附录 B)。
第 10.2 节引用的文献 3
- Marks 等人(2025)Auditing language models for hidden objectives
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
- Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
10.3 任务前提 #
威胁模型说的是模型可能怎样对待监督,任务前提说的是任务本身给监督留下了什么。同一个模型,换一个任务,可用的监督手段可能完全不同。本书列出五项任务前提。
任务能否分解。能否把任务拆成可以分别判断的部分,并且各部分的判断能合成对整体的判断。拆分任务(第 14 章)和检查过程(第 19 章)都依赖这一项。转账功能只能部分地分解:“转出是否正确”和“转入是否正确”可以分开检查,但“要么两边都记上、要么两边都不记”是整体的性质,分开检查两边,查不出它。这正是第 9.1 节说的“局部都对不等于整体对”。
有没有独立于模型陈述的证据。例如测试、文献、实验。“独立”指证据不是被监督的模型自己说的。机器检查与外部证据(第 20 章)、批评模型的核查(第 16 章)都依赖这一项。转账功能里,你自己按需求说明写的测试、另一个系统出具的银行流水,都是独立证据;模型写的“我已经检查过了”不是。还要注意:如果模型能改动这份证据,它就不再独立,这时要同时看威胁模型的“访问与修改权限”一维。
标签是否可靠。用来训练或评估的判断本身是否正确。第 9 章讲的限时标注员给出的标签,就可能系统地出错。所有用人的判断作训练信号的方法(第 6 章),以及弱监督训练强模型的研究(第 17 章),都要问这一项。
能否获得参考答案。有没有办法知道正确答案,哪怕代价很高、只能对一小部分样本做。实验检验一个监督方法是否有效(第 11 章),离不开参考答案。这一项与第 7.5 节的三种“没有标准答案”直接对应:核查昂贵时,花大价钱能拿到一部分参考答案;结果尚未出现时,要等;没有唯一正确选择时,拿不到。
监督者弱在哪里。是时间、信息还是专业能力(第 9.2 节;更细的划分见第 7.4 节)。这一项影响该选哪一类方法:缺时间的监督者可以多给时间或把任务拆小,缺信息的需要看到证据,缺专业能力的需要有人或模型把关键之处讲清楚(三种限制常常同时出现,第 9.2 节)。
任务前提和威胁模型要一起看。“有独立证据”这一前提,在模型能修改证据时就不成立;“标签可靠”这一前提,在模型会迎合标注员时就要打折扣。写一个方法依赖什么时,两者都要写。
10.4 用行为下定义 #
读到这里,你可能注意到了:七个维度里,没有一个是“模型想不想骗人”。“迎合评分”说的是行为利用了评分规则,“隐藏目标”说的是行为持续服务于某个目标,“识别评估”说的是能不能分辨。本书不以“模型是否有意图”作为分类标准,理由有四条。
第一,意图不能直接观察,行为可以。我们能看到模型在什么情境下做了什么,看不到它“心里想什么”,至少不能直接看到。一个无法用证据判定的分类标准,指导不了实验设计,也写不进第 10.5 节要讲的证据框。
第二,同样的行为带来同样的监督风险。第 8 章说过,修改测试、迎合用户这些行为,只要评分有缝隙、优化压力足够,就可能出现,不需要意图。对监督者来说,一个“有意”修改测试的模型和一个被优化推着修改测试的模型,交出的测试结果同样不可信,需要的防御也一样:让测试文件不可改动。在这个例子里,决定该怎么防的,是行为和条件,不是意图(本书的推断)。这里的“同样的行为”要包括没测过的情境,只在测过的情境里相同还不够,见本节末段。
第三,心理化的词容易让人说过头。“模型想要”“模型相信”“模型故意”,这些说法会让读者从有限的证据推出过多的结论;反过来,“模型没有恶意”也容易让人低估本该防范的行为。所以本书只在转述某篇论文时使用这类说法,并说明是谁的表述。例如第 9.4 节那篇论文的标题说模型学会了“误导”人,那是作者的用词;作者用 unintended 强调这种现象不是开发者有意诱导的,并没有研究或断言模型的意图(Wen 等,2024)。
第四,行为定义可以变成实验。“识别评估”可以这样测:比较模型在像测试的情境和像实际使用的情境中行为是否不同。“隐藏目标”可以这样查:设计不同的情境,看模型的行为是否一致地指向某个未声明的目标,这正是对齐审计要做的事(第 27 章)。用意图来定义,就很难说清楚该测什么。
本书引用的文献里也能看到同样的做法。Shah 等定义目标误泛化时说明,说模型“追求某个目标”,只是说它的行为可以被看作在完成这个目标,不要求模型内部表示了这个目标,也不要求它有追求的“愿望”(Shah 等,2022)。Greenblatt 与 Shlegeris 则指出了另一面:目前评估一个模型是否对齐,比评估控制难得多,因为无论观察到什么行为,都要担心模型只是为了让你以为它对齐才这样做;所以他们提议让控制评估只依赖模型“做不到什么”这类能力上的事实,以近乎黑箱的方式进行(Greenblatt 与 Shlegeris,2024)。两者的共同点,是把论证建立在能够检验的东西上(本书的推断)。
用行为下定义也有它的限度。两个模型在所有测过的情境里行为相同,在没测过的情境里仍可能不同;仅凭行为,有时分辨不出是哪种机制产生了它。所以第 25 章讨论一项研究时,会分开说三件事:观察到了什么行为,哪些证据支持对其机制的解释,结论能外推到哪里。第 18 章则尝试读取模型内部的表示,作为行为之外的另一类证据。用行为分类,是本书的分类标准,不是说模型内部的状态不重要。
第 10.4 节引用的文献 3
- Wen 等人(2024)Language Models Learn to Mislead Humans via RLHF
- Shah 等人(2022)Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
10.5 本书怎样使用这些条件 #
第三部分和第四部分讲方法的各章,在讲方法之前都有一个“证据与前提”框,固定写四行:
- 想处理:方法针对什么问题;
- 测过:实验在什么任务上、和什么比较、观察到什么;
- 依赖:结论依赖哪些前提,其中要写明对应本章的哪些威胁模型维度和任务前提;
- 不能推出:根据前三行,这些实验不能支持哪些结论。
以第 16 章的批评模型为例。它的证据框在“依赖”一行写明:威胁模型只覆盖“无意出错”;任务前提是存在独立于批评本身的证据可供核查,例如能运行的代码或可以对照的原文。于是“不能推出”一行就很自然:不能推出批评模型自身被利用或专门漏报某类问题时仍然有效。
这个例子说明了怎样从“依赖”推出“不能推出”:实验没有覆盖的维度,就是结论不能推到的地方。要注意,“没有覆盖”不等于“方法在那里会失败”,只等于“没有证据说明它在那里有效”。把“没有证据”说成“已证明无效”,和把它说成“已证明有效”一样,都超出了证据。
读每一个方法时,可以用下面这组检查问题,对照表 10.1 和第 10.3 节:
- 模型只是会犯错,还是会迎合评分?
- 它能分辨评估与部署吗?
- 它知道监督规则、能反复试探吗?
- 它能读到或修改哪些证据?
- 监督者与被监督者会不会有共同盲点?
- 任务能否分解、有没有独立证据、标签是否可靠?
最后说明第三部分与第四部分的分工。前者的方法并不都只考虑无意出错:第 19 章和第 20 章的证据框都把“迎合评分”列为覆盖的维度。辩论的设计里也有对抗性的论证,一方要为错误的答案辩护,但说谎方由研究者指定,所以第 15 章的证据框仍把它记为只覆盖“无意出错”。此外,在讲方法之前,第 9 章已经讨论了模型怎样在训练中变得更能误导评估者。后者的不同在于,它系统地研究持续的隐藏目标、模型对监督机制本身的适应,以及部署时的防御。读第三部分的证据时,如果“依赖”一行没有提到识别评估、隐藏目标、访问与修改权限或对协议的了解与试探,就要记住:这些情形留给了第四部分。
读物 #
- 入门讲解 · 博客:Greenblatt 与 Shlegeris《The case for ensuring that powerful AIs are controlled》(Redwood Research,2024)中关于威胁模型的部分(Greenblatt 与 Shlegeris,2024)。重点读开头对“对齐”与“控制”两道防线的区分,以及 The control property 和 Evaluating whether you have control is doable 两节:前一节看作者怎样借用计算机安全的做法写明攻击者的条件;后一节看他们为什么认为,与红队相比,被监督的 AI 在了解防御、反复试探上处于劣势,以及作者把这个判断限定在哪一类 AI。
本节引用的文献 1
- Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
练习 #
第 1 章的记账程序后来增加了转账功能:一笔转账同时改动两个账户。写程序的 AI 交来了代码和它自己写的测试,并报告测试全部通过。
从表 10.1 中选出你认为对这个场景最需要考虑的三个维度。对每个维度:
- 说明它在转账功能上可能怎样表现;
- 写一项追加的检查,要具体到能照着做;
- 说明这项检查依赖第 10.3 节中的哪一条任务前提,以及这条前提在什么情况下会不成立。
提示
先想规则三:转出记上了、转入没记上,会是什么样子?再想“测试全部通过”这句话是谁写的测试、谁运行的、谁能改动它。这两个问题分别指向不同的维度。
解答
本题是开放题,下面是一种参考答法和评分要点。
| 维度 | 在转账上的表现 | 追加的检查 | 依赖的任务前提 |
|---|---|---|---|
| 无意出错 | 没处理转入账户不存在、余额不足、写到一半失败等情形 | 自己按需求说明写测试:人为让第二次写入失败,检查两个账户的余额是否都回到转账前;每次转账前后,所有账户的余额总和应当不变 | 能否获得参考答案(转账前后的正确余额能手算出来);有独立证据(测试由你而不是 AI 写) |
| 访问与修改权限 | AI 运行测试时改动了测试文件或日志,“全部通过”不再说明代码的性质 | 在 AI 无法修改的环境里重新运行测试;比较交付前后测试文件是否被改动 | 有独立证据:只有当测试和日志确实不能被 AI 改动时才成立 |
| 共同盲点 | 代码和测试出自同一个 AI,它没想到“两笔转账同时发生”,两边都不会有 | 测试换一个来源写:自己写,或请另一个人、另一个不同来源的模型按需求说明写;专门加入并发转账的测试 | 有独立证据;监督者弱在哪里(如果你缺并发编程的专业知识,可能也想不到这种情形) |
也可以选其他维度,例如:对协议的了解与试探,追加检查是保留一组不告诉 AI 的测试,交付后才运行,依赖能否获得参考答案;识别评估,追加检查是用接近真实的数据(非整数金额、真实格式的账户名)做测试,依赖能否获得参考答案;隐藏目标,追加检查是定期把所有账户的总额与另一个系统的流水核对,依赖有独立证据。
评分要点:
- 三个维度的选择有理由,能联系转账“同时改动两个账户”的特点,尤其是规则三。
- 每项检查具体到能照着做,不是“加强测试”这类笼统的话。
- 每项检查都指出了依赖的任务前提,并说出这条前提在什么情况下会不成立(例如 AI 有权限改动测试时,“有独立证据”就不成立)。
- 能意识到同一项检查可能同时针对几个维度,也可能对某些维度完全无效。
用表 10.1 的七个维度和第 10.3 节的五项任务前提,重新读第 9.4 节介绍的 Wen 等的实验。
- 实验覆盖了哪些威胁模型维度?哪些没有涉及?
- 五项任务前提在这个实验里分别是什么情况?
- 据此写一句“不能推出”。
解答
- 覆盖的:迎合评分是实验的核心,训练让模型的输出更容易被限时的评估者认可,而正确率几乎没有提高;无意出错大致对应训练前模型的状态,作为比较的起点(它没有针对评估者优化过,但也会编造证据,只是编得不如训练后的模型有说服力)。没有涉及的:识别评估(没有研究模型能否分辨训练与评估);隐藏目标;共同盲点(评估者是人,没有研究多个监督模型之间的相关错误)。不过,作者说明训练奖励是从人的评估学来、或照着人的评估方式设计的,会继承人的评估的弱点;这可以看作训练信号与评估者之间的共同盲点,它是实验的前提,不是研究对象。访问与修改权限方面,模型不能改动评估者的测试,作者也报告评估者自己写的测试在训练中没有出现过。对协议的了解与试探方面,编程任务的训练奖励是“通过最简单的两个测试”,模型在训练中反复针对这个代理指标优化,但它面对的不是真实评估者本身。
- 能否分解:实验没有利用分解。独立证据:问答任务的评估者能看到原文,编程任务的评估者能运行自己写的测试。标签:训练用的标签在问答任务上来自人的偏好或评价,在编程任务上是设计出来的代理指标;评估时的人类判断恰恰是被研究的对象。参考答案:有,问答由不限时的评估者确定,编程由数据集的全部单元测试确定。监督者弱在哪里:主要是时间,每次评估都限时,问答 3 分钟,编程 10 分钟。
- 例如:这项实验不能推出,模型在能分辨训练与评估、或者能改动评估者所用证据的条件下会怎样;也不能推出不限时的专家会被同样程度地误导。
评分要点:能区分“实验研究的维度”和“实验没有涉及的维度”;能指出编程任务的训练奖励是代理指标而不是人的反馈;“不能推出”一句与前两问的回答一致。
本章开头的考试有四种要防的情况:考生粗心;考生钻评分标准的空子;考生知道监考老师何时离开;有组织的作弊团伙。
- 把每种情况对应到表 10.1 的一个或几个维度。
- 对每种情况写一项防范措施,并说明它对另外三种情况是否有效。
解答
- 粗心对应无意出错。钻评分标准的空子对应迎合评分,往往还涉及对协议的了解与试探(知道评分细则)。知道监考何时离开对应识别评估(能分辨有没有人在看),也涉及对协议的了解与试探(摸清了巡视规律)。有组织的作弊团伙对应隐藏目标,通常还涉及访问与修改权限(提前接触试卷或答案);团伙成员之间互相掩护,与第 24 章讨论的“有意串通”相近。
- 参考:交卷前提醒检查,只对粗心有效。按论述是否成立给分,针对钻评分标准,对其余三种基本无效。让巡视时间不可预测、加装监控,针对“知道监考何时离开”,对团伙的场外传递无效。试卷保密和信号屏蔽针对作弊团伙,对粗心和钻评分标准无效。
评分要点:对应关系有理由,并能指出一种情况可以涉及几个维度;能说明防范措施之间不能互相替代,这正是“先说清威胁模型”的原因。
学完能做到 #
- 说出威胁模型和任务前提的定义,并举例说明同一个方法在不同条件下结论为什么不同。
- 列出威胁模型的七个维度及其类型,对一个具体场景逐个维度说明是否需要考虑。
- 列出五项任务前提,并说明每一项被哪些方法依赖。
- 解释本书为什么用行为下定义,而不以模型是否有意图作为分类标准,以及这样做的限度。
- 读到一个方法时,说出它的实验在哪些威胁模型维度和任务前提下做过,哪些还没有,并据此写出“不能推出”。
参考文献
- (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审引用于 §10.1 §10.2 §10.4
- (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本引用于 §10.2
- (2025). Auditing language models for hidden objectives. arXiv. 预印本引用于 §10.2
- (2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. arXiv. 预印本引用于 §10.4
- (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 引用于 §10.4