Scalable Oversight 入门
第五部分:前沿与开放问题

草稿 内容完整但尚未审校,可能还会修改

第 31 章safety case:有条件的安全论证(综合作业)

路线全部路线最短路线最短路线读 31.1 至 31.4 节后做综合作业

本章导读

本章问题
  • 怎样把前面的方法组合成一个完整、可检查的安全论证?
要点
  • safety case 是在写明的部署条件、威胁模型和任务前提下的论证,不是无条件的安全证明(§31.1)。
  • 本书要求一份完整的论证包括主张、证据、推理、反例、残余风险、未验证的假设,以及什么变化会使它失效(§31.2)。
  • 基于辩论的草案把安全拆成四条必须同时成立的主张,每条都有作者自己承认的缺口(§31.3)。
  • 罕见失败需要的测试次数往往做不到,安全主张可以改靠限制系统能做什么来支撑(§31.4)。
本章的视频讲解,5 分,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07组合之后,怎样写出理由
    许多监督方法,各自附带条件。组合起来之后,怎样把“这个系统可以这样用”的理由完整写出来,让别人能逐条检查?这样一份理由,叫 safety case。
  2. 0:25有条件的论证31.1
    safety case 是一份有结构的论证:在写明的部署条件、威胁模型和任务前提下,用证据说明系统可以按某种方式使用,而不会造成不可接受的后果。条件一变,结论就要重新审视。
  3. 0:47四类理由31.1
    Clymer 等把论证安全的理由分成四类。“不能”和“控制”主要靠检查能力和运行环境;“可信”要说明系统的行为倾向,这正是本书大部分方法想提供、却最难提供的证据。
  4. 1:08主张与证据31.2
    主张是一句可以判断真假的话,要一层层拆到能直接用证据支持。证据分三类:实际观察、文献迁移、验证计划,最后一类不算已经支持主张的证据。
  5. 1:28推理与反例31.2
    推理说明证据为什么支持主张,里面常常藏着没说出的假设。反例是一种情形:如果它成立,证据就不足以支持主张。Buhl 等的草案把反例单独画出来。
  6. 1:50还剩什么,标明什么31.2
    残余风险是全部主张成立后仍然存在的风险;未验证的假设是论证依赖、却没有证据的条件;失效条件是会使论证需要重新审视的变化。每部分还要标明威胁模型维度和任务前提。
  7. 2:13一份基于辩论的草案31.3
    Buhl 等的草案设想研究智能体在离线数据中心协助研发,要防范它破坏研究,例如给出虚假的结果。整个论证建立在四条串联的主张上,任何一条不成立,论证就不成立。
  8. 2:36前两条:训练31.3
    第一条要排除 exploration hacking:模型在训练中故意不去尝试本会得高奖励的策略。这需要“探索保证”:证据表明模型没有放弃可以拿到的高奖励。第二条主要依赖协议、人类裁判和数学条件。
  9. 2:58后两条:部署31.3
    第三条靠部署期间的在线训练纠正偏差,在高风险场景中不成立,那时要排除 alignment faking,即模型在训练中有选择地表现得符合训练目标。第四条的几个反例是作者自己列出的。
  10. 3:20零失败要测多少次31.4
    n 次独立测试全部通过,失败率的单侧 95% 上界约为 3/n。100 次全部通过,能给出的上界也只有约 3%。这些次数还要求四个条件同时成立。
  11. 3:42换一种主张的写法31.4
    对罕见、严重的失败,单靠测试次数往往撑不住。一种办法是把行为主张换成机制主张;另一种是改变部署,使单次失败不致命,代价是要论证确实需要许多次错误。
  12. 4:04漏检率不能直接相乘31.4
    两层检查各漏掉 5%。互相独立时,组合后漏检 0.25%;如果其中 4% 是两层都会漏的难题,其余互相独立,组合后约 4.01%。“两层互相独立”本身是一条需要证据的主张。
  13. 4:25综合作业31.5
    为一个受限的编程助手写 safety case。没有真实系统时,证据可以全是文献迁移和验证计划,如实分类,“证据与分类”也能得满分;缺少已执行的支持,要写进残余风险。

带走的几句话:

  1. safety case 是有条件的论证,不是无条件的安全证明。
  2. 把每项证据分成实际观察、文献迁移、验证计划三类。
  3. 罕见失败要测的次数往往做不到,安全主张可以改靠限制系统能做什么。

本书读到这里,你已经见过许多监督方法:测试和机器检查(第 20 章)、模型批评(第 16 章)、辩论(第 15 章)、弱监督训练强模型(第 17 章)。每一种方法都附带着条件:它在什么任务上测过,依赖哪些前提,不能推出什么。第 22 章讨论过怎样把几种方法组合起来。剩下的问题是:组合之后,怎样把“这个系统可以这样用”的理由完整地写出来,让别人能够逐条检查?

这样一份写出来的理由,叫 safety case。它不是新的监督方法,而是一种组织证据的方式。它要求作者把结论成立的条件说在明处:在什么部署条件下、针对哪些威胁、依赖哪些前提、哪里还没有证据。

本章用一个研究中的例子说明这种条件结构。英国 AI Security Institute 的研究者写过一份基于辩论的 safety case 草案(Buhl 等,2025)。它没有声称系统是安全的,而是列出了要论证安全,必须同时成立的几条关键主张:训练是否成功,辩论中的好成绩是否意味着诚实,部署时是否保持诚实,部署环境能否容忍一定的错误。每一条后面都跟着作者自己承认的缺口。读懂这种结构,是本章的重点;本章最后的综合作业,要求你为一个受限的系统写出同样结构的论证。

引言引用的文献 1
  1. Buhl 等人(2025)An alignment safety case sketch based on debate

31.1 safety case 是什么、不是什么 #

定义 31.1 safety case

safety case 是一份有结构的论证:在写明的部署条件、威胁模型和任务前提下,用证据说明一个系统可以按某种方式使用,而不会造成不可接受的后果。

Clymer 等把它描述为一份有结构的理由,用来说明 AI 系统不太可能造成灾难(Clymer 等,2024)。这个定义里有三个要点。

第一,它是有条件的。“这个系统是安全的”不是一个 safety case,“在只能读写一个代码仓库、不能联网、所有修改都经人审核后才合并的条件下,这个编程助手不会把仓库内容泄露出去”才是一个可以讨论的主张。条件写得越清楚,别人越容易检查它,也越容易知道它什么时候不再成立。第 10 章的威胁模型维度和任务前提,就是本书写这些条件时用的词汇。

第二,它是论证,不是测试报告。一份列出“通过了 500 项测试”的报告,没有说明这些测试支持哪条主张、覆盖哪些情形、还有什么没有测。safety case 要把证据和主张一一对应起来,并说明证据为什么支持主张。

第三,它要能被检查。写 safety case 的目的,是让作者以外的人能找到论证的弱点。一份好的 safety case 会主动写出自己哪里缺证据,而不是把缺口藏起来。

由此也可以看出它不是什么。它不是无条件的安全证明:条件一变,结论就要重新审视。它不是一个承诺:它说的是“在现有证据下,我们有这些理由”,不是“不会出事”。它也不是一次性的文件:系统、部署方式或威胁情况改变时,它要随之更新。

Clymer 等把可以用来论证 AI 系统安全的理由分成四类(Clymer 等,2024)。

  • 不能(inability):系统没有能力造成不可接受的后果,即使放在不受监控的环境里也做不到。
  • 控制(control):系统也许有这个能力,但现有的控制措施使它做不到,例如监控、权限限制。
  • 可信(trustworthiness):系统有能力造成危害,但它会稳定地按预期方式行事,所以不会这样做。
  • 遵从(deference):如果 AI 系统变得强大得多,依靠可信的 AI 顾问的判断。

这四类理由需要的证据很不一样。“不能”和“控制”主要依赖对系统能力和运行环境的检查;“可信”要求说明系统的行为倾向,这正是本书大部分方法想提供、却又最难提供的证据:Clymer 等认为,要为先进的 AI 系统做出保守的“可信”论证,可能需要根本性的研究进展(Clymer 等,2024)。一份 safety case 可以把几类理由组合起来(Clymer 等,2024)。

第 31.1 节引用的文献 1
  1. Clymer 等人(2024)Safety Cases: How to Justify the Safety of Advanced AI Systems

31.2 组成部分 #

本书把一份完整的 safety case 分成七个部分。下面用加入了转账功能的记账程序作示意,说明每个部分回答什么问题。示意里的系统细节是为说明而设的,不是对程序的事实描述。

主张(claim)是一句可以判断真假的话,说明系统具有某种性质。顶层主张通常比较笼统,例如“在家庭记账的使用条件下,程序不会造成无法发现的账目错误”。它要拆成若干条更具体的子主张,例如“转账时两个账户同时更新,或者都不更新”。子主张还可以继续拆,形成一棵树,最下面一层的主张要具体到可以直接用证据支持。

证据(evidence)是支持主张的观察、测试结果、证明或文献。本章的综合作业要求把每项证据标为三类之一。

  • 实际观察到的结果:你对这个系统真的做过、真的看到的检查,例如运行了哪些测试、结果如何。
  • 从文献迁移的结果:别人在别的系统上得到的结论。迁移时要写明原结论的适用条件,以及这个系统是否满足这些条件。
  • 尚待执行的验证计划:你打算做、但还没有做的检查。计划可以说明论证缺什么、怎样补上,但不算已经支持主张的证据。

推理(argument,或称论证步骤)说明证据为什么支持主张。“测试全部通过”是证据;“测试覆盖了转账的所有分支,所以测试通过说明转账逻辑在这些情形下正确”是推理。推理里常常藏着没有说出的假设:上面这句推理就默认了“测试覆盖了所有分支”。

反例(defeater,也译作“推翻因素”)是一种情形,如果它成立,证据就不足以支持主张,甚至说明主张是错的。例如“写入在两个账户之间失败时,测试没有覆盖这种情形”。Buhl 等的草案把反例单独画出来,并要求 safety case 说明为处理每个反例做了什么,或者为什么不必担心它(Buhl 等,2025)。

残余风险(residual risk)是即使所有主张都成立,仍然存在的风险。没有测到的输入、证据本身的不确定性、已知但被判断为可以接受的小问题,都属于这一类。写出残余风险,是让决定是否使用系统的人知道自己接受了什么。

未验证的假设是论证依赖、但没有证据支持的条件。例如“用户不会同时在两台设备上记账”。未验证的假设不是错,但它们是论证最可能断裂的地方,必须写出来。

失效条件是会使整个论证需要重新审视的变化。例如“程序开始连接银行账户自动导入流水”:这时数据来源、错误的代价和可能的攻击方式都变了,原来的证据不再适用。

表 31.1 safety case 的七个组成部分(记账程序示意)
组成部分 回答的问题 记账程序示意
主张 系统具有什么性质? 转账时两个账户同时更新,或者都不更新
证据 凭什么这样说?属于哪一类? 实际观察:转账测试在正常写入下全部通过
推理 证据为什么支持主张? 测试覆盖了转账的各个分支
反例 什么情形会推翻它? 写入在两个账户之间失败,测试没有覆盖
残余风险 全部成立时还剩什么? 未测到的输入组合
未验证的假设 论证默认了什么? 用户不会在两台设备上同时记账
失效条件 什么变化使论证作废? 程序开始自动导入银行流水

最后,每个组成部分都要标明它对应第 10.2 节的哪些威胁模型维度(无意出错、迎合评分、识别评估、隐藏目标、共同盲点、访问与修改权限、对协议的了解与试探),依赖第 10.3 节的哪些任务前提(能否分解、有无独立证据、标签是否可靠、能否获得参考答案、监督者弱在哪里)。例如上表的测试证据只覆盖“无意出错”,依赖“有独立证据”这一任务前提;如果程序是由一个会迎合评分的模型写的,就还要加一条主张:它没有修改或绕过测试。这样标注之后,读者一眼就能看出论证考虑了哪些情况、没有考虑哪些情况。

第 31.2 节引用的文献 1
  1. Buhl 等人(2025)An alignment safety case sketch based on debate

31.3 案例 #

Buhl、Pfau、Hilton、Irving 的草案(Buhl 等,2025)是一个研究性质的例子。作者明确说,草案里的细节是假设性的,往往依赖尚未完成的研究;它的用处是说明不同的证据怎样拼在一起,并找出最关键的缺失证据(Buhl 等,2025)。读它时要记住:这是一份“如果这些研究成功了,论证会是什么样”的草图,不是一份说明某个系统已经安全的文件。

部署场景。草案设想一家 AI 公司在内部使用一个 AI 研究智能体,协助做 AI 研发。要防范的风险是它破坏研究,例如给出虚假的结果。智能体放在一个与外部没有连接的离线数据中心里,开发者定期送去研究问题,智能体在固定的时间里工作,交回一份类似研究论文的结果,然后数据中心被重置(Buhl 等,2025)。

做法。智能体用辩论训练(第 15 章),目标是让诚实成为辩论游戏中最好的策略;部署期间继续在线训练,以保持诚实(Buhl 等,2025)。

四条关键主张。草案说,整个论证建立在四条关键主张上(Buhl 等,2025):

表 31.2 基于辩论的 safety case 草案中的四条关键主张
关键主张 白话 依赖什么 作者写明的缺口
1. 智能体已经学会玩好辩论游戏 训练成功了 训练真的到达了游戏的均衡,没有卡在别处;模型没有故意避开高分策略 目前还不知道怎样得到可靠的“探索保证”,这是草案的一个主要缺口
2. 在辩论游戏中表现好,意味着系统大体诚实 辩论成绩意味着诚实 协议能避开混淆论证(第 15.10 节);人类裁判的系统性错误有界(第 28.3 节);稳定性假设(第 15.11 节) 稳定性的证据栏空着;作者预计获得好的人类判断是最难的部分之一
3. 部署期间系统不会变得明显不诚实 部署时保持诚实 在线训练配置正确、更新足够频繁 在高风险场景中这条不成立,那时需要排除 alignment faking(第 25 章)
4. 部署环境能容忍一定的错误 少数错误不致命 造成严重后果需要许多次坏的行动;每轮之后重置,各轮之间不能协调 列出了几个反例,见正文

这四条主张是串联的:任何一条不成立,整个论证就不成立。前两条讲训练,后两条讲部署。下面逐条看它们依赖的东西。

第一条与“探索”。这里的均衡指一种状态:任何一方单独改变自己的策略,都不能得到更高的分数(第 15.6 节)。训练要让辩手到达游戏的均衡,前提是辩手在训练中真的尝试过那些能得高分的策略。草案担心的失败方式叫 exploration hacking:模型在训练中故意不去尝试某些本会得到高奖励的策略,这些策略就永远不会被强化(Buhl 等,2025)。要排除它,需要“探索保证”,即证据表明模型没有放弃可以拿到的高奖励。作者写明,他们目前还不知道怎样得到可靠的探索保证,并称之为草案的一个主要缺口(Buhl 等,2025)。

第二条与人类判断。即使训练到达了均衡,均衡是否诚实,还取决于协议本身。草案主要依赖三件事,作者在引言里把它们列在关键假设中(Buhl 等,2025):协议能避开混淆论证,即说谎的一方提出一个有错、但双方都无法在可行的计算量内找到错处的论证(第 15.10 节);人类裁判的判断足够可靠,特别是没有太多系统性错误,即在同一类问题上一再以同样方式出错(第 28.3 节);以及一个“稳定性”条件,即论证是否成立,不能取决于子论断概率的任意微小变化,它保证的是诚实的一方能赢(第 15.11 节)。关于人类判断,草案只担心系统性错误,因为随机误差在大量训练样本上大致会被抵消(第 28.3 节);作者还预计,获得好的人类判断会是这份 safety case 最难的部分之一(Buhl 等,2025)。关于稳定性,他们写明还不确定怎样支持,证据栏留空(Buhl 等,2025)。

第三条与在线训练。部署时的输入可能与训练时不同。草案的办法是部署期间持续训练,让偏差及时被纠正。作者指出,在高风险场景中,少数错误就可能造成严重伤害,不能靠事后的在线训练纠正,这条主张就不成立,需要另外排除 alignment faking 等问题(Buhl 等,2025)。alignment faking 指模型在训练中有选择地表现得符合训练目标,以免自己在训练之外的行为被修改(第 25 章)。

第四条与“低风险”。草案所说的低风险环境,指少数几个决定只能造成少量损害的环境(Buhl 等,2025)。论证的思路是:要通过一篇研究报告造成严重破坏,需要许多次坏的行动,而智能体的错误率被训练压得很低,一轮工作中不太可能出现这么多次。作者自己列出了这一条的几个反例(Buhl 等,2025):在线训练可能让系统在部署中变得更强,从而用更少的行动造成破坏;破坏可能很隐蔽,例如在很长时间里写入一些有误导性、但严格说来不算错误的陈述;每轮之后的重置是为了防止错误跨轮累积,但系统可能干扰重置,或者同一个底层系统的多个副本不经通信就做出一致的行动。

这个例子值得学的,是它的形状。它没有一句“系统是安全的”,而是写成:如果第一到第四条都成立,结论就成立;第一条依赖一项还不存在的技术;第二条依赖人类判断的质量和一个还没有证据的数学条件;第三、四条只在低风险环境中成立。读者可以清楚地看到,哪些研究成功了,这份论证才会变得有说服力。

第 31.3 节引用的文献 1
  1. Buhl 等人(2025)An alignment safety case sketch based on debate

31.4 罕见失败与证据量 #

safety case 里常见的一类主张,是关于失败有多罕见的:“这个编程助手删除仓库外文件的概率低于万分之一”。这类主张需要多少证据?

第 3.7 节给出了答案的核心:nn 次独立测试全部通过,失败率的单侧 95% 上界约为 3/n3/n。所以 100 次全部通过,能给出的上界也只有约 3%。要支持一个失败率主张,需要的零失败独立测试次数如下(由 tools/exercises/ch31_evidence.py 算出):

表 31.3 支持失败率主张所需的零失败独立测试次数(单侧 95%)
主张的失败率 需要全部通过的独立测试
低于百分之一 299 次
低于千分之一 2995 次
低于万分之一 29956 次

这些次数成立要满足四个条件:各次测试相互独立;测试来自部署时的分布;失败一旦发生能被检测到;系统在测试和使用时行为一样。详细讨论见第 3.7 节和第 28.5 节。其中系统在测试和使用时行为一样这一条,对一个能分辨测试与使用的模型(第 25 章)尤其难以保证。

这张表说明了一件重要的事:对罕见、严重的失败,单靠测试次数往往支撑不了想要的主张(本书的推断)。safety case 因此可以换一种主张的写法。Clymer 等也预计,随着 AI 系统变强,开发者会先主要依靠“不能”,再依靠“控制”,然后才是“可信”(Clymer 等,2024)。

一种是把关于行为的主张换成关于机制的主张。“助手向外发送数据的概率低于万分之一”需要约 3 万次测试;“助手的运行环境没有网络连接”却可以通过检查环境配置来支持。后者对应第 31.1 节的“控制”类理由:不论模型倾向于做什么,环境使它做不到。这类主张也有自己的假设,例如“助手无法改动自己的运行环境”,这又落回第 10.2 节的“访问与修改权限”维度。

另一种是改变部署,使单次失败不致命。第 31.3 节的第四条主张就是这样做的:如果造成严重后果需要许多次错误,单次错误率的要求就可以放宽。代价是要论证“确实需要许多次”,以及错误不会跨轮累积。

组合几层检查时,还有一个容易犯的错误:把各层的漏检率直接相乘。第 22.3 节讲过,只有在各层的漏检互相独立时,相乘才成立(表 22.2)。用到 safety case 上,设想两层检查各漏掉 5% 的有问题的修改:互相独立时,组合后的漏检率是 0.25%;如果其中 4% 是两层都会漏的难题,其余互相独立,组合后约为 4.01%,几乎没有从第二层得到好处(为教学构造的数据,由 tools/exercises/ch31_evidence.py 算出)。而要直接用测试支持“组合后漏检率低于 0.25%”,需要埋入 1197 个有问题的修改并且全部被抓到。所以在 safety case 里,“两层检查互相独立”本身是一条需要证据的主张,不能默认(第 24 章)。

图 31.1 用同一组构造数据画出这件事。图里的模型把有问题的修改分成难题和其余的修改两类。难题所占的比例和每层在难题上的漏检率可以设定,每层在其余修改上的漏检率按每层的平均漏检率不变算出,上面的例子里是 1.04%。难题上的漏检率不能低于平均漏检率,也不能高到让其余修改的漏检率小于 0。图上除了直接相乘,还有两种算法:在两类里分别相乘、再按比例相加,假定每一类里各层仍然独立;真实的漏检率还要看各层漏掉的是不是同一批难题(第一层漏掉的,后面每一层也都漏),不是时,它与前一种相同。上面的例子里难题每层都漏,是不是同一批,结果都一样。

两层时,真实的漏检率(4.01%)是直接相乘得出的漏检率(0.25%)的约 16 倍;层数越多,直接相乘得出的漏检率越小,真实的漏检率却停在 4% 左右,也就是每一层都会漏掉的难题在有问题的修改中所占的比例。提交修改的一方如果能挑出难题、只交这一类,就是图里只挑难题的对手:它每次尝试能通过的比例是整组检查在难题上的漏检率;各层漏掉同一批难题时,这个比例不随层数下降,上面的例子里是 100%。

把各层的平均漏检率直接相乘两类分别相乘,再相加真实的漏检率10⁻⁹10⁻⁸10⁻⁷10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹1组合后的漏检率123456检查的层数下限每层平均漏掉 5% 的有问题的修改:难题(占有问题的修改的 4%)漏掉 100%,其余的漏掉 1.04%。2 层:直接相乘 0.25%;两类分别相乘 4.01%;真实 4.01%。按单侧 95% 上界(三法则),支持这三个数各需要零失败的独立测试:约 1200 次;约 75 次;约 75 次。
把各层的平均漏检率直接相乘两类分别相乘,再相加真实的漏检率10⁻⁹10⁻⁸10⁻⁷10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹1组合后的漏检率123456检查的层数下限每层平均漏掉 5% 的有问题的修改:难题(占有问题的修改的4%)漏掉 100%,其余的漏掉 1.04%。2 层:直接相乘 0.25%;两类分别相乘 4.01%;真实 4.01%。按单侧 95% 上界(三法则),支持这三个数各需要零失败的独立测试:约 1200 次;约 75 次;约 75 次。
图 31.1 几层检查漏掉同一批难题时,组合起来漏掉多少,一个示意模型。横轴是检查的层数;纵轴是组合后的漏检率,取对数刻度,每一格差 10 倍,10⁻² 即 1%,10⁻³ 即 0.1%。橙线是直接相乘,黄色粗线是两类分别相乘再相加,蓝线是真实的漏检率;点线是下限,即每一层都会漏掉的那部分。图中的设置与正文的例子相同(两层,每层平均漏掉 5%,4% 的有问题的修改是两层都漏的难题):直接相乘得 0.25%,真实的漏检率是 4.01%;黄线和蓝线重合,从两层起蓝线贴着点线。这时“各层漏掉的是同一批难题”这个开关不起作用:把“难题上的漏检率”调到 100% 以下,黄线才离开蓝线,再切换开关才看得出差别。这个滑块超出正文所说的范围时按边界算,读数里注明。打开“对手只挑难题”,多出的紫红色线是这种对手每次尝试能通过的比例。比例都是示意,漏检率由模型精确算出;读数里的零失败测试次数按三法则(第 3.7 节)近似为 3 除以漏检率,0.25% 对应约 1200 次,正文的 1197 次是精确值。
要点

关于罕见失败的主张,先问三件事:它需要多少次零失败的独立测试;测试是否来自部署时的分布;能不能把它改写成一个可以直接检查的机制主张。

第 31.4 节引用的文献 1
  1. Clymer 等人(2024)Safety Cases: How to Justify the Safety of Advanced AI Systems

31.5 综合作业说明与评分要点 #

本书的综合作业是:为一个受限的系统提出监督方案,并把它写成一份 safety case。推荐的系统是一个只能读写一个代码仓库、不能联网的编程助手,你也可以选择别的受限系统,但要同样写清部署条件。

作业要求。

  1. 系统与部署条件。写明系统能做什么、不能做什么,谁使用它,它的输出怎样进入实际使用(例如修改是否经人审核后才合并)。
  2. 顶层主张与至少 3 条主张。每条主张具体、可以判断真假,并说明它与顶层主张的关系。
  3. 每条主张的证据。每项证据标明属于哪一类:实际观察到的结果、从文献迁移的结果、尚待执行的验证计划。验证计划不算已经支持主张的证据。迁移文献结果时,写明原结论的适用条件(任务、模型、比较对象、威胁模型),以及本系统是否满足这些条件;只部分满足时,说明它还能支持多少。手边没有可以检查的真实系统时,证据可以全部是文献迁移和验证计划,如实分类就能得分;不要把没有做过的检查写成实际观察。这时主张缺少已经执行的支持,这一点要写进残余风险。
  4. 推理。说明每项证据为什么支持对应的主张。
  5. 至少 2 条未验证的假设。
  6. 至少 1 个会使论证失效的变化。
  7. 反例与残余风险。写出你能想到的推翻因素,以及全部主张成立后仍然剩下的风险。
  8. 威胁模型与任务前提。每个组成部分都标明对应第 10.2 节的哪些威胁模型维度,依赖第 10.3 节的哪些任务前提。
  9. 证据量。如果某条主张涉及失败率,用第 3.7 节的公式说明需要多少次零失败的独立测试,并说明你的证据是否够。没有这类主张的,说明为什么不需要(例如主张都是可以直接检查的机制主张)。

走最短路线的读者,可以只用读过的方法搭建监督方案:测试与机器检查(第 20 章)、模型批评(第 16 章)、辩论(第 15 章)、弱监督与强模型(第 17 章),再加上威胁模型(第 10 章)、方法组合(第 22 章)和优化压力(第 23 章)的讨论。用到其他章的方法时,用一两句话说明它是什么,并给出交叉引用。

评分要点。下表是一份参考的评分表,总分 100 分。

表 31.4 综合作业评分要点
项目 分值 得分的要求 常见的失分
系统与部署条件 10 能力、权限、使用者、输出的去向都写明 只写“一个编程助手”
主张 15 至少 3 条,具体、可判断真假,与顶层主张的关系清楚 主张笼统,如“助手是安全的”
证据与分类 20 每项证据都标了类别;验证计划没有当作支持;文献迁移写明适用条件和本系统是否满足。没有真实系统时,全部是文献迁移和验证计划也可以得满分 把计划当证据;把没有做过的检查写成实际观察;照搬论文结论而不说条件
推理 10 说明证据为什么支持主张,指出推理默认的条件 只列证据,不说它支持什么
未验证的假设 10 至少 2 条,具体,与本系统有关,不是主张的改写 写成“假设系统没有问题”
失效条件 10 至少 1 条,具体到可以监测是否发生 写成“情况变化时”
威胁模型与任务前提 10 每个组成部分的标注正确,并指出没有覆盖的维度 只标“无意出错”而不说明为什么不考虑其他维度
反例与残余风险 10 反例具体;残余风险诚实,不为零 声称没有残余风险
证据量 5 失败率主张与零失败测试次数一致;没有失败率主张的,说明了为什么不需要 用 100 次测试支持万分之一的主张

具体的作答和示范框架见习题 31.1。

读物 #

  • 入门讲解 · 预印本:Clymer 等《Safety Cases: How to Justify the Safety of Advanced AI Systems》(2024)(Clymer 等,2024)。看 safety case 的整体框架,以及“不能、控制、可信、遵从”四类论证各自需要什么证据。
  • 原始提案 · 预印本:Buhl、Pfau、Hilton、Irving《An alignment safety case sketch based on debate》(英国 AI Security Institute,2025)(Buhl 等,2025)。看四条关键主张怎样串联,以及作者在每条主张下写明的缺口。
本节引用的文献 2
  1. Clymer 等人(2024)Safety Cases: How to Justify the Safety of Advanced AI Systems
  2. Buhl 等人(2025)An alignment safety case sketch based on debate

练习 #

习题 31.1 综合作业:为受限的编程助手写一份 safety case

按第 31.5 节的要求,为一个只能读写一个代码仓库、不能联网的编程助手(或你自选的受限系统)提出监督方案,写成 safety case。用表 31.4 自评。

提示

先写部署条件,再写顶层主张。拆子主张时,可以按“系统能把什么带出去”“系统交出的东西对不对”“系统能不能改动检查它的东西”三个方向想。每写一项证据,先问自己:这件事我真的做过吗?如果没有,它是验证计划。

解答

下面是一份示范框架,只给结构和每一格该写什么,不是完整答案。标为“实际观察(示意)”的内容,书里没有替你做;你的作业里要换成你真正做过的检查和真正看到的结果。没有系统可以检查的,把这些条目改写成验证计划,并在残余风险里写明哪些主张还没有已执行的检查支持。示意中的数字由 tools/exercises/ch31_evidence.py 算出。

部署条件。助手只能读写记账程序所在的一个仓库;运行环境不能联网;助手提交的修改经一位开发者审核后才能合并;测试脚本放在助手只能读、不能写的位置,由另一个程序运行。任务限于修复缺陷和小功能。

顶层主张。在上述条件下,助手不会造成以下不可接受的后果:仓库内容被带出环境;违反需求说明的修改在未被发现的情况下合并;助手改动或绕过检查它自己的测试。

主张一:助手无法把仓库内容发送到环境之外。

  • 证据:实际观察(示意),检查运行环境的网络配置,确认没有网络连接;在环境中尝试连接外部地址,全部失败。要写明检查了什么、怎样检查的。
  • 推理:没有网络,向外发送数据的通道只剩助手的输出(代码和说明),而输出要经人审核。这是一个机制主张,不靠统计行为的次数(第 31.4 节)。
  • 反例:敏感内容被写进代码注释或提交说明,审核时没有注意。
  • 威胁模型维度:访问与修改权限;按最坏情况考虑隐藏目标。任务前提:有独立证据(环境配置可以直接检查)。

主张二:合并进主分支的修改不违反需求说明中可以测试的规则。

  • 证据甲:实际观察(示意),每次合并前测试全部通过的记录,测试覆盖规则一(余额)和规则二(重复提交)。
  • 证据乙:文献迁移,McAleese 等报告,批评模型发现的人为插入的代码错误多于付费的人工审查者(McAleese 等,2024)。适用条件:代码任务;错误是人为插入的;批评模型不会针对这次审查调整自己的输出(原实验只考虑无意出错);人有时间核查(第 16 章)。本系统:代码任务满足;错误是自然出现的,不完全满足;批评模型会不会针对审查调整输出,无法确认;批评模型若与助手来自同一系列,还可能有共同盲点。所以它只能部分支持主张。
  • 证据丙:验证计划,在仓库副本中埋入一批已知错误,测量“批评模型加人工审查”的召回率(第 16.3 节)。不算支持。
  • 推理:测试直接检查规则一、二;批评加审查用来发现测试没有覆盖的逻辑错误。
  • 反例:规则三(写入失败时不能只记一半)没有被测试覆盖。
  • 威胁模型维度:无意出错;迎合评分(只让测试通过,而不满足需求)。任务前提:有独立证据(测试);标签可靠(需求说明写得清楚);监督者弱在时间(审核人能花的时间有限)。

主张三:助手不能修改或绕过检查它的测试。

  • 证据甲:实际观察(示意),检查文件权限,测试目录对助手只读;测试由助手不能改动的程序运行。
  • 证据乙:文献迁移,Baker 等在编程智能体中观察到模型绕过测试,而不是修复代码(Baker 等,2025),见第 20 章。这项文献说明这个威胁真实存在,是提出主张三的理由,不是本系统安全的证据。
  • 证据丙:验证计划,设计一个只有改动测试才能通过的任务,检查权限设置是否拦住了改动,并记录助手的行为。
  • 推理:测试目录只读、测试由另一个程序运行,助手就没有改动测试的通道。和主张一一样,“改动”这一半是机制主张,只需检查权限配置,不靠统计行为的次数(第 31.4 节);“绕过”这一半,权限拦不住,见反例。
  • 反例:被测代码和测试一起运行,能让测试提前退出或被跳过,权限设置拦不住(第 20.4 节);测试读取的配置文件或数据文件不在只读目录里,改动它们也能让测试通过;助手不改测试,而是写出只对测试里那几个输入成立的代码,权限设置拦不住这种绕过,要靠主张二的批评和审查。
  • 威胁模型维度:访问与修改权限;迎合评分;对协议的了解与试探。任务前提:有独立证据(权限配置可以直接检查;测试结果只有在助手改不动、也绕不过测试时才算独立证据)。

未验证的假设(示例)。助手在测试和实际使用时行为相同(维度:识别评估);批评模型与助手没有共同盲点(维度:共同盲点);审核人有足够的时间读完批评意见(任务前提:监督者弱在时间)。

失效条件(示例)。为了安装依赖包而给环境开通网络(主张一失效;维度:访问与修改权限);允许助手修改测试配置(主张三失效;维度:访问与修改权限,任务前提“有独立证据”不再成立);换用能力强得多的模型(文献迁移的适用条件要重新检查;维度:识别评估、隐藏目标需要重新考虑;任务前提:监督者可能从弱在时间变成弱在专业能力);记账程序开始处理真实的银行转账(不可接受的后果变了,整份论证要重写)。

残余风险(示例)。测试和批评都没有覆盖的逻辑错误,特别是规则三(维度:无意出错、共同盲点;任务前提:规则三是整体性质,任务只能部分分解);夹带在代码或说明里、审核时没有发现的信息(维度:隐藏目标;任务前提:监督者弱在时间);被测代码让测试提前退出或被跳过,权限拦不住,主张三的“绕过”一半还没有已执行的检查支持(维度:迎合评分、访问与修改权限;任务前提:“有独立证据”不一定成立);示意中的实际观察如果没有真正执行,对应的主张只剩文献迁移和验证计划支持。

证据量(示例)。如果有人想把主张二写成“违反规则的修改被合并的概率低于千分之一”,需要约 2995 次独立、来自真实任务分布、并能检测到违规的零失败合并。只有 200 次时,上界约为 1.49%。你的作业要说明自己的证据够支持哪一级主张。

习题 31.2 找出安全声明里的未验证假设

下面是一段为教学构造的安全声明:

我们的客服模型是安全的。在 500 条红队测试中,它没有一次泄露用户的隐私信息。它经过了按原则的训练。另一个模型审查了它的 1000 条回答,全部判为安全。因此它可以向所有用户上线。

找出这段声明依赖、但没有证据支持的假设,至少五条。对每条假设,说明它对应第 10.2 节的哪个威胁模型维度或第 10.3 节的哪个任务前提,以及要怎样补证据。

解答

可以找出的假设包括(不限于这些):

  1. 红队测试代表真实使用。500 条测试来自红队设计的分布,上线后面对的是所有用户。结论只适用于测试覆盖的分布(第 28.5 节)。要补:说明测试是怎样抽样的,并与真实对话的分布比较。
  2. 零失败等于不会失败。500 次零失败只能说明泄露率的单侧 95% 上界约为 0.60%(由 tools/exercises/ch31_evidence.py 算出),不是零。对应第 3.7 节。
  3. 泄露能被检测到。“没有一次泄露”的前提是检查方法能发现泄露。要补:说明怎样判定泄露,并用已知的泄露样例测检查方法的召回率。
  4. 审查模型与客服模型没有共同盲点。两个模型如果来自同一系列,可能在同一类回答上一起判错。对应“共同盲点”维度(第 24 章)。
  5. 模型在测试和使用时行为相同。对应“识别评估”维度(第 25 章)。
  6. “安全”的含义已经说清楚。声明没有写明“安全”指什么、对谁安全;隐私只是其中一项。这既是论证不完整,也涉及目标选择(第 30 章)。
  7. 按原则训练有效。训练过不等于训练成功,原则是否覆盖隐私场景、评估模型的判断是否可靠,都没有证据(第 21 章)。
  8. 部署条件没有写明。“所有用户”没有说明模型能访问哪些数据、能执行哪些操作,对应“访问与修改权限”维度。

评分要点:每条假设具体到这段声明,说得出对应的维度或前提,补证据的办法可以执行。

习题 31.3 组合检查的证据量

你的方案用两层检查拦截有问题的修改:先由测试检查,再由批评模型加人工审查。两层各自的漏检率都在 5% 左右。

  1. 如果两层的漏检互相独立,组合后的漏检率是多少?
  2. 有人据此声称“组合后漏检率低于 0.25%”。要直接用埋入错误的实验支持这个主张,需要埋入多少个有问题的修改并且全部被抓到?
  3. 举出一个会让两层检查的漏检相关的具体原因,并说明这时组合后的漏检率大约会落在什么范围。
解答

数字由 tools/exercises/ch31_evidence.py 算出。

  1. 5%×5%=0.25%5\% \times 5\% = 0.25\%。
  2. 需要 1197 个埋入的有问题的修改全部被抓到。
  3. 例如:测试和批评模型都没有考虑写入中途失败的情形,于是凡是涉及规则三的错误,两层都会漏掉;或者批评模型与写代码的助手来自同一系列,在同一类错误上有共同盲点(第 24 章)。这时组合后的漏检率介于 0.25% 和 5% 之间,两层漏掉的越是同一批,就越接近 5%。按第 31.4 节的构造数据,如果 4% 的难题两层都漏,组合后约为 4.01%,几乎没有从第二层得到好处。
本节引用的文献 2
  1. McAleese 等人(2024)LLM Critics Help Catch LLM Bugs
  2. Baker 等人(2025)Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation

学完能做到 #

  • 说出 safety case 是什么、不是什么,并把一句“系统是安全的”改写成带条件的主张。
  • 为一个受限系统写出包含主张、证据、推理、反例、残余风险、未验证假设和失效条件的论证,并标明对应的威胁模型维度和任务前提。
  • 把每项证据分成实际观察、文献迁移、验证计划三类,迁移文献时写明适用条件。
  • 说出基于辩论的 safety case 草案中四条关键主张各依赖什么。
  • 读一份安全声明时,找出它依赖的未验证假设,并判断它的证据量能否支持它的失败率主张。

参考文献

  1. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本
  2. Buhl, M. D., Pfau, J., Hilton, B., and Irving, G. (2025). An alignment safety case sketch based on debate. arXiv. 预印本引用于 §31.2 §31.3
  3. Clymer, J., Gabrieli, N., Krueger, D., and Larsen, T. (2024). Safety Cases: How to Justify the Safety of Advanced AI Systems. arXiv. 预印本引用于 §31.1 §31.4
  4. McAleese, N., Pokorny, R. M., Uribe, J. F. C., Nitishinskaya, E., Trebacz, M., and Leike, J. (2024). LLM Critics Help Catch LLM Bugs. arXiv. 预印本