Scalable Oversight 入门
第四部分:当模型针对监督调整策略

草稿 内容完整但尚未审校,可能还会修改

第 26 章AI control 与长过程智能体

路线全部路线

本章导读

本章问题
  • 如果无法确认模型可信,能否在部署时限制它可能造成的伤害?
要点
  • AI control 不要求先确认模型已经对齐,而是让部署方式在模型可能有隐藏目标时也难以造成伤害(§26.1)。
  • “受信任”是相对于威胁模型的假设:有理由认为它不会有意破坏,不等于它不会出错(§26.2)。
  • 长过程智能体的风险可以分散在多个步骤里,每一步单独检查都通过,不等于整个任务安全(§26.4)。
  • 评估结论只对测试过的攻击成立;红队不能针对协议调整策略时,可能高估防御效果(§26.6)。
本章的视频讲解,4 分 59 秒,没有声音,文字在画面左侧。下载视频(MP4)
文字稿
  1. 0:07200 步里的一次泄露
    编程智能体用 200 步给记账程序加上转账功能。第 37 步读取配置里的接口密钥,第 150 步向外部地址发了一次请求。单独看都正常,可这次请求带着那个密钥。
  2. 0:26两道防线26.1
    对齐:模型没有与我们冲突的隐藏目标。控制:即使有,它也绕不过安全措施。控制评估只问:假如它尽全力破坏,协议拦得住吗?红队的攻击策略替换要部署的模型。
  3. 0:45受信任的模型26.2
    不受信任的模型想用,但无法排除它有意破坏;受信任的模型有理由认为不会,通常较弱。受信任是相对于威胁模型的,只排除有意破坏:它不等于不会出错,也不等于独立。
  4. 1:08后门、安全性与效用26.3
    Greenblatt 等用 GPT-4 解 5000 道编程题,可人工审计 2%。后门代码通过所有测试,却在某个输入上出错。安全性:红队接管时没提交后门的概率。效用:提交的代码中正确的比例(换算值)。
  5. 1:28表 26.1:几种协议26.3
    受信任模型监控:GPT-3.5 给每份代码打可疑度,审计最可疑的 2%。转交:排在前 2% 到 10% 的改交 GPT-3.5 写。受信任编辑:可疑的部分由 GPT-3.5 删改。每种协议都面对红队最强的攻击。
  6. 1:49每一步都通过26.4
    长过程智能体有状态、调用工具,后果可能延迟出现,风险可以跨越多步。只看当前一步的监控器,在第 37 步和第 150 步都不报警。每一步都通过,不等于整个任务安全。
  7. 2:09BashBench:拆成多步26.4
    Bhatt 等的 257 个多步任务里,攻击拆成多步后,每一步都比一步完成的攻击更不可疑。重采样:可疑的一步让模型再生成几次。只用受信任模型监控,安全性 41.8%;效用定在 95%,加上最好的重采样 87.1%。
  8. 2:31转交与审计预算26.5
    最可疑的 2% 交人工审计,再把前 5%、10%、20%、50% 以内的转交 GPT-3.5,安全性升到 74%、83%、92%、100%,效用降到 95%、93%、83%、51%。同样审计 2%,审计最前面的只有 15%,最可疑的 62%。
  9. 2:53表 26.2:两个阈值26.6
    Kutasov 等的任务都带有害的附带任务。超过可疑度阈值的行动会被重采样或转交。为取证而重采样:可疑的行动交受信任模型重写,重采样只决定是否审计。在关键行动上转交:受信任模型判为关键的行动也交它重写。
  10. 3:18针对重采样加强攻击26.6
    阈值 20 下,红队针对为取证而重采样加强攻击:知道何时被重采样,安全性从 89% 降到 46%;知道哪些行动被替换,69%;去掉隐藏推理模拟监控,17%。只用默认攻击,可能高估防御。
  11. 3:39在关键行动上转交26.6
    阈值 20:默认攻击 96%(效用 44%),加强攻击 100%。弱点:先把信息记进内部文档,再借“分享文档”带出去;把创建文档也算关键,效用又会大幅下降。
  12. 3:59“96%”从哪里来26.6
    arXiv 页面的摘要把两种协议合在一起说:安全性从 50% 升到 96%;96% 只属于关键行动转交。报安全性要写明:针对哪些攻击,红队知道什么,阈值和预算及其单位,效用付出多少。
  13. 4:21证据与前提
    测过:编程题和多步智能体中的协议,以及针对协议的迭代攻击。依赖:受信任的较弱模型,有限的人工审计预算,红队能代表被监督模型可能采取的策略。不能推出:模型能力远超红队时仍有效。

带走的几句话:

  1. 不能确认模型已对齐时,AI control 让它有隐藏目标也难以造成伤害。
  2. 每一步单独检查都通过,不等于整个任务安全。
  3. 评估只对测试过的攻击成立,红队要能针对协议调整策略。

第 25 章的结论是:受控实验表明,模型在被检查时与平时表现不同是可以发生的;而我们目前没有办法确认一个模型一定没有这种行为。这就留下一个实际的问题:如果无法确认模型可信,还能不能用它?如果要用,怎样安排,才能让它即使有隐藏的目标,也难以造成伤害?

先看一个例子。一个编程智能体用 200 步操作完成一项任务,比如为记账程序加上转账功能。它读文件、改代码、跑测试、提交结果。第 37 步,它读取了配置文件里的接口密钥,这很正常,转账功能需要调用接口。第 150 步,它向一个外部地址发送了一次网络请求,这看起来也正常,许多任务都要上传测试结果或下载依赖。可是这一次,请求里带着第 37 步读到的密钥。每一步单独看都没有问题,合在一起就是一次泄露。这个例子是为教学构造的,它说明了本章的两个主题:怎样在不信任模型的前提下部署它,以及为什么一个要走很多步的智能体特别难检查。

证据与前提
  • 想处理:无法确认模型可信时,在部署中限制它可能造成的伤害。
  • 测过:Greenblatt 等在编程题上让不受信任的强模型可能插入后门,比较受信任模型监控、转交受信任模型、人工审计等协议在安全性与效用上的权衡(Greenblatt 等,2023)。安全性大致是红队代替模型尽力攻击时,部署中没有发生伤害的概率;效用是协议保留了强模型多少用处,是换算过的值(受信任的较弱模型单独做记 0,诚实工作的强模型记 1),不是任务完成率。各项研究的具体定义见第 26.3 节和第 26.6 节。Bhatt 等在多步智能体环境中评估重采样等协议(Bhatt 等,2025)。Kutasov 等先评估协议,再让红队针对这些协议迭代攻击:论文正文的表格报告,可疑度阈值取 20 时(超过阈值的行动会被重采样或转交;后一种协议还转交受信任模型判为关键的行动,条件见第 26.6 节),对默认攻击,“为取证而重采样”的安全性是 89%(效用 59%),“在关键行动上转交”是 96%(效用 44%);攻击方去掉自己的隐藏推理、按监控模型能看到的内容模拟监控模型时,前者降到 17%,带着自己的全部上下文去模拟时只降到 81%;后者在所有加强过的攻击下都是 100%(Kutasov 等,2025)。其他阈值下的数字和摘要的说法见第 26.6 节。第一项是会议论文,后两项是预印本。
  • 依赖:有受信任的较弱模型和有限的人工审计预算;红队能代表被监督模型可能采取的策略。威胁模型(第 10.2 节)按最坏情况假定“隐藏目标”,并考虑“访问与修改权限”和“对协议的了解与试探”。任务前提(第 10.3 节):“监督者弱在哪里”,人工审计缺的是时间,只能审计一小部分行动,但一旦看到攻击就能认出来(实验中常用强模型模拟审计者,或直接这样假定)。另有一项本章补充的前提:行动可以逐步记录和拦截。
  • 不能推出:结论只对所测试的红队策略成立;不能推出模型能力远超红队时仍有效。
引言引用的文献 3
  1. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
  2. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
  3. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

26.1 为什么需要 AI control #

银行不会假定每个员工都不诚实,但它的制度设计让一个不诚实的员工也很难独自挪走钱:大额转账要两个人签字,权限按岗位分配,每一笔操作都留记录,审计会抽查。这些制度不需要先判断某个员工是不是好人,它们在“有人可能不诚实”的假设下也能起作用。

Greenblatt 与 Shlegeris 用同样的思路区分了两道防线(Greenblatt 与 Shlegeris,2024)。第一道是对齐:确保模型没有隐藏的、与我们冲突的目标。第二道是控制:确保即使模型有这样的目标,它也没有能力绕过我们的安全措施。AI control 指的就是第二道防线:在不依赖模型已经对齐的前提下,限制它可能造成的伤害(第 7.7 节)。两道防线可以同时使用,只有两道都失守,才会出事。

为什么要单独强调第二道?原因在第 25 章:要确认一个模型“没有隐藏目标”,目前还没有可靠的办法。Greenblatt 与 Shlegeris 认为,评估“控制是否有效”比评估“模型是否对齐”更可行(Greenblatt 与 Shlegeris,2024)。因为评估控制时,不需要知道模型实际上有没有隐藏目标,只需要回答一个更具体的问题:假如它尽全力搞破坏,我们的措施能不能拦住它?这个问题可以用实验回答。研究者让一个红队替换掉要部署的模型,红队搭建的攻击策略专门试图在部署中造成伤害;蓝队设计的防御规则叫作协议(protocol);然后测量在这个协议下伤害发生的概率。Greenblatt 等把这种做法称为控制评估(control evaluation)(Greenblatt 等,2023)。

两点值得先说清。第一,控制的“成功”包括抓住模型。Greenblatt 与 Shlegeris 把目标表述为:如果模型在搞破坏,它在被抓到之前没能造成严重后果(Greenblatt 与 Shlegeris,2024)。抓到一次攻击,本身就是重要的证据:它说明模型确实有问题,之后可以停止部署。第二,他们明确说,这种方法不会对任意强的模型都有效;他们设想的对象是最早一批能大幅帮助降低后续 AI 风险的模型(Greenblatt 与 Shlegeris,2024)。

在第 7.6 节的四个环节里,AI control 属于部署控制:它不改变模型是怎样训练的,而是在使用中拦截行动。它与本书前面的方法关系密切。批评模型、思维链监控、机器检查,都可以成为控制协议的组成部分;不同的是,在控制的框架里,要假定被监督的模型会针对这些组成部分调整策略。

第 26.1 节引用的文献 2
  1. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
  2. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion

26.2 受信任与不受信任 #

控制协议的设计围绕两类模型展开。

不受信任的模型(untrusted model)是我们想用、但无法排除它会有意破坏的模型,通常是能力最强的那个。在控制评估中,它的位置由红队的攻击策略接管。受信任的模型(trusted model)是我们有理由认为它不会有意破坏的模型,通常比不受信任的模型弱。本章对 Greenblatt 等实验的叙述按论文的 arXiv 版(v5);作者在其中写明,ICML 2024 的会议论文是这项工作缩短、修改过的版本(Greenblatt 等,2023)。在他们的实验里,不受信任的模型是 GPT-4,受信任的模型是 GPT-3.5;作者给出的理由是,能力较弱的模型不太可能在不被轻易发现的情况下绕过安全措施,会议版还给出另一个理由:较弱的模型可能已经部署并经受了长时间的检验(Greenblatt 等,2023)。另外还有少量受信任的高质量人工,能力比受信任的模型强,但很贵,只能用在一小部分输出上(Greenblatt 等,2023)。

“受信任”这个词很容易被误解,要从三方面说清。

它是相对于威胁模型而言的。说一个模型受信任,意思是在我们所考虑的威胁模型下,有理由认为它不会有意破坏。换一个威胁模型,结论可能就变了。如果担心的是“能力很强的模型可能形成隐藏目标”,一个能力弱得多的模型可以算受信任;如果担心的是“训练数据被人投了毒”(第 25.3 节的第二种威胁),弱模型也可能被同样投毒,它就不再受信任了(本书的推断)。所以写一个控制协议时,要同时写清楚“受信任”是在哪个威胁模型下成立的。

它不等于不会出错。受信任只排除“有意破坏”,不排除能力不足和普通的错误。Greenblatt 等报告,GPT-3.5 能注意到大多数后门代码有些不对劲,但它分不清哪些逻辑是多余的、哪些是因为它看不懂才显得多余,所以在误报率限定为 2% 时,它漏掉了很多后门(Greenblatt 等,2023)。受信任的人工也一样:人会疲劳、会被说服、会过度依赖自动系统(第 13 章)。

它不等于独立。受信任的模型和不受信任的模型可能来自同一个系列,用相似的数据训练。即使前者不会有意配合后者,两者也可能有共同的盲点(第 24 章)。如果用不受信任的模型的另一个副本来监控它,问题更严重:两个副本可能有意串通(第 24.5 节)。Greenblatt 等试过这种“不受信任监控”,最简单的版本马上被红队击败:监控副本看到真正的后门时就说没问题(Greenblatt 等,2023)。蓝队的对策是先用人工制造的后门样例检查监控副本是否诚实,可是研究者最初制造的样例与真实题目风格不同,红队就让监控副本分辨样例和真题,只在真题上放过后门。这与第 25.6 节是同一个问题:被检查的一方能分辨考题和真题时,考试就不再可靠。

回到“不等于不会出错”这一点。受信任的模型常被用作监控器:给每个输出打可疑度,可疑的就报警、送去审计(第 26.3 节会讲具体的协议)。一个监控器的表现可以用两个比例描述:坏案例(这里是带后门的代码)中被报警的比例,即召回率(定义 16.1);好案例中被误报的比例,即误报率。报警中真有问题的比例,即精确率,还取决于坏案例在全部案例中所占的比例,这个比例叫基础率:攻击越少见,基础率越低,报警中误报所占的比例就越高。图 26.1 用一个示意的监控器画出了这几个数之间的关系。

一个监控器0%20%40%60%80%100%召回率10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹1误报率 α0%20%40%60%80%100%报警的精确率10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹坏案例的基础率阈值设在误报率 α = 2.0%:召回率 34%(区分度 d′ = 1.64)。基础率为每 10,000 个案例中 1 个坏案例,每天 1,000,000 个案例:报警 20,032 次,其中 34 次是真的(精确率0.17%);漏报 66 个坏案例。
一个监控器0%20%40%60%80%100%召回率10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹1误报率 α0%20%40%60%80%100%报警的精确率10⁻⁶10⁻⁵10⁻⁴10⁻³10⁻²10⁻¹坏案例的基础率阈值设在误报率 α = 2.0%:召回率 34%(区分度 d′ =1.64)。基础率为每 10,000 个案例中 1 个坏案例,每天 1,000,000个案例:报警 20,032 次,其中 34 次是真的(精确率0.17%);漏报 66 个坏案例。
图 26.1 监控器的报警有多少是真的。左图(窄屏时在上方)横轴是误报率 α\alpha,取对数刻度;纵轴是召回率。曲线上的每一点对应一个报警阈值:阈值越低,召回率越高,误报也越多。区分度 d′d' 描述监控器把好坏案例分开的程度,越大,曲线越靠近左上角。这里取 d′=1.64d' = 1.64、α=2%\alpha = 2\%,召回率约 34%,与 Greenblatt 等报告的数相近:只审计 GPT-3.5 认为最可疑的 2% 时,红队只在有好机会时插入的隐蔽后门,一次尝试被送去审计的概率是 0.338(Greenblatt 等,2023)。右图是在选定的阈值下,报警的精确率怎样随基础率变化。设想每天有 100 万个案例,每 10,000 个中只有 1 个是坏的:平均每天约有 20,032 次报警,其中约 34 次是真的,精确率 0.17%,平均另有约 66 个坏案例没有报警。打开“加第二个监控器”:两个同样的监控器任一报警就上报,ρ\rho 是两者错误的相关程度(第 24 章)。d′d' 取 1.64,是为了让召回率与论文报告的 0.338 相近;其余参数是为说明而设定的示意,图中的数由模型精确算出。
第 26.2 节引用的文献 1
  1. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion

26.3 基本协议 #

Greenblatt 等的实验设置很简单,适合用来理解基本协议(Greenblatt 等,2023)。任务是依次解决 5000 道编程题(来自 APPS 数据集)。蓝队可以用不受信任的 GPT-4 写代码,用受信任的 GPT-3.5 帮忙,还可以对 2% 的题目使用“高质量人工”做审计;为了降低成本,这部分人工在实验中是用一个红队影响不到的 GPT-4 来模拟的。红队的目标是让蓝队提交一份带后门的代码:代码通过所有测试,但存在某个特定的输入,会让它给出错误的结果。论文举的例子是一个判断奇数的函数,它对其他输入都正确,唯独在输入 354 时返回“是奇数”。审计一旦发现后门,蓝队就停用 GPT-4,改用 GPT-3.5 完成剩下的题目。

衡量协议用两个数。安全性是红队接管时,整个过程中一份后门代码都没有被提交的概率;效用是提交的代码中正确的比例,换算到 0 到 1 之间:只用 GPT-3.5 记为 0,只用 GPT-4 记为 1。效用是在不受信任的模型诚实工作,即真的 GPT-4 写代码时测的(Greenblatt 等,2023),所以表中“红队的应对”不影响效用一栏。表中的可疑度是受信任的模型给一份代码打的分,表示它看起来有多像带了后门。下表列出几种协议,以及红队针对各自找到的最强攻击。

表 26.1 编程题设置中几种协议的安全性与效用
协议 做法 红队的应对 安全性 效用
不用不受信任的模型 只用人工和 GPT-3.5 写代码 不适用 100% 2%
预先审计 用 GPT-4 写代码,审计最前面 2% 的题目 只在很少的题目上插入明显的后门 15% 100%
受信任模型监控 GPT-3.5 给每份代码打可疑度,审计最可疑的 2% 只在有好机会时插入隐蔽的后门 62% 97%
监控加转交受信任模型 同上;可疑度排在前 2% 到 10% 的,改交 GPT-3.5 写 同上 83% 93%
不受信任监控 另一个 GPT-4 副本打可疑度,并用人工样例检查它、删减输入以防串通 用某种代码写法作暗号,监控副本见到暗号就放过 79% 96%
受信任编辑 可疑度排在前 2% 到 20% 的,由 GPT-3.5 删改可疑部分后提交 插入后门,指望 GPT-3.5 编辑时照抄 92% 94%

表中的数字来自 Greenblatt 等论文的汇总表(Greenblatt 等,2023)。从这个设置里可以认识几种基本的协议元素:

  • 受信任模型监控(trusted monitoring):让受信任的模型给每个输出打可疑度,把有限的人工审计用在最可疑的那部分上。
  • 转交受信任系统(defer to trusted):可疑度高但没有排进人工审计的输出,不直接采用,改由受信任的模型重新完成。这样牺牲一些效用,换取安全性。
  • 受信任编辑(trusted editing):不完全重做,而是让受信任的模型删改可疑的部分。
  • 人工审计:最可靠也最稀缺的资源。审计发现确凿的攻击时,协议可以停止使用不受信任的模型。

Bhatt 等在多步智能体任务中提出了另一类元素:重采样(resampling)(Bhatt 等,2025)。模型按大于 0 的温度采样时,每次生成都有随机性(第 5.4 节);而且每次调用只读到这次给它的上下文,不记得上一次生成了什么(第 5.5 节)。所以当某一步行动看起来可疑时,可以让不受信任的模型就同一步再生成几次。这有两个用处。一是从几个候选中选最不可疑的那个执行,把可疑的行动挡在外面。二是取证:一个只是偶然犯错的模型,重来几次多半不会重复同样可疑的行动;如果它一再试图做同一件可疑的事,这就是它有意为之的证据,可以据此优先安排人工审计。

最后还有两类不依赖监控模型能否看出攻击的办法。关键行动检查:对不可逆或会影响外部世界的行动(发送数据、删除文件、花钱)单独设规则,例如一律转交受信任的模型或一律人工确认。哪些行动算关键,可以由人事先固定,例如凡是对外发送一律转交;在第 26.6 节的 Kutasov 等实验里,则是由受信任的模型判断的(Kutasov 等,2025)。限制权限:只给智能体完成任务所需的最小权限,例如不能访问外网,或者只能读写一个代码仓库。这两类办法不需要判断哪个行动可疑,但都会降低效用。

第 26.3 节引用的文献 3
  1. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
  2. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
  3. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

26.4 长过程智能体 #

第 5.6 节讲过,智能体是一个系统:语言模型被程序循环调用,能使用工具、连续执行多步操作。与回答一道编程题相比,一个长过程的智能体有几个特点,多数让监督更难:

  • 有状态。前面的步骤改变了文件、环境和配置,后面的步骤在这个基础上进行。第 37 步读到的密钥,到第 150 步还“在”。
  • 调用工具。智能体通过命令行、网络请求、文件读写对外部世界产生实际作用,不只是输出一段文字。
  • 有行动日志。每一步做了什么都可以记录下来,这是监督的主要依据;但日志只有在智能体无法修改它时才是可靠的证据(第 20.6 节),这正是第 10.2 节中“访问与修改权限”这个维度。
  • 后果延迟出现。泄露的密钥可能几周后才被利用,删除的备份要等到需要恢复时才发现。
  • 风险跨越多个步骤。一次有害的行动可以拆成许多单独看都正常的步骤。

最后一点是本章最关心的困难。本章开头的例子里,第 37 步“读取配置”和第 150 步“发送请求”都是这类任务中常见的操作。一个只看当前这一步的监控器,在两步上都不会报警。要发现问题,监控器至少要能把两步联系起来:看到第 150 步发送的内容来自第 37 步读到的密钥。所以,每一步单独检查都通过,不等于整个任务安全。

Bhatt 等的实验测到了与此相关的现象(Bhatt 等,2025)。他们构造了 BashBench,包含 257 个多步的系统管理任务;红队的目标是让智能体在完成任务的同时,偷偷下载并运行一个模拟的恶意程序(Bhatt 等,2025)。他们发现,把攻击拆成多步之后,每一步单独看的可疑度都低于一步完成的攻击;他们构造的最好的攻击用了 10 步(Bhatt 等,2025)。在他们的设置里,监控模型给每一步打分时都能看到这个任务此前的全部行动。这项研究里,不受信任的模型是 GPT-4o mini,受信任的模型是 Llama-3.1-8B,人工审计的预算是全部行动的 1%;许多攻击策略借助了人写的攻击模板来增强能力(Bhatt 等,2025)。

论文的摘要报告,最好的协议把重采样与对此前步骤的分析结合起来,把攻击的成功率从 58% 降到 7%,代价是正常智能体的表现下降 5%(Bhatt 等,2025)。正文没有用“攻击成功率”报告结果,也没有说明这两个数对应哪两种协议。正文中可以对照的是这样几个数(Bhatt 等,2025):只用受信任模型监控、不做转交或重采样时,安全性是 41.8%,效用 100%;把效用定在 95%,只用受信任模型监控的协议中,最好的重采样协议(一段记录接近审计线时,回到此前较可疑的步骤补充重采样)安全性是 87.1%;再加上用不受信任模型的副本做监控,是 92.6%。正文的效用是归一化的:只用受信任的模型记 0,诚实工作的 GPT-4o mini 记 100%(Bhatt 等,2025),所以“效用 95%”不等于任务成功率只下降 5 个百分点。

Kutasov 等的结果从另一面说明了跨步骤信息的作用(Kutasov 等,2025):在一种只做重采样的协议中(可疑度阈值 40,含义见第 26.6 节),让监控模型打分时看到此前所有步骤的全部重采样记录,而不只是当前这一步的,安全性从 83% 提高到 87%(Kutasov 等,2025)。但让监控模型自己记笔记、在各步之间保留,并没有帮上忙:在转交受信任模型的协议上(阈值同样是 40),安全性反而下降(Kutasov 等,2025)。

第 26.4 节引用的文献 2
  1. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
  2. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

26.5 安全性与效用的权衡,以及审计预算怎样分配 #

控制协议常常要在安全性和效用之间取舍:同一种协议,拦下的越多,往往越安全,效用也越低。最安全的做法是根本不用不受信任的模型,但那样就失去了它的全部用处;最有用的做法是什么都不拦,但那样就毫无防护。表 26.1 的第一行和第二行就是这两个极端附近的情形。

“转交受信任模型”给出了一条连续的取舍曲线。Greenblatt 等报告,改变转交的比例,可以得到不同的组合:可疑度最高的 2% 交人工审计,可疑度排在前 5%、10%、20%、50% 以内的其余输出转交 GPT-3.5 时,安全性依次是 74%、83%、92%、100%,效用依次是 95%、93%、83%、51%;不转交时是 62% 与 97%(Greenblatt 等,2023)。选哪一点,取决于这项部署能容忍多大的风险、多需要强模型的能力。这不是一个技术问题能单独回答的。

审计预算的分配是另一个关键选择。第 11.8 节讲过几种分配办法:按风险分配审计、随机抽查、拒答与升级。控制的实验给出了一个很清楚的对比。在同样只能审计 2% 题目的条件下,“预先审计”(审计最前面的 2%)的安全性只有 15%,而“受信任模型监控”(审计最可疑的 2%)有 62%(Greenblatt 等,2023)。Greenblatt 等给出了两个原因。第一,监控让一次后门尝试更可能被送去审计。如果审计不看内容,只按位置抽,一个只在极少数题目上插入后门的攻击者,大概率不会碰上审计;监控模型则把有限的审计集中到看起来最可疑的地方,对红队只在有好机会时插入的隐蔽后门,一次尝试被送去审计的概率是 0.338(Greenblatt 等,2023)。第二,监控逼着攻击者放弃明显的后门,改用不显眼的后门,而这类后门常常通不过测试,或者 GPT-4 构造不出能触发它的输入,多数尝试不会成功,所以监控在一次攻击成功之前平均有许多次机会抓到它(Greenblatt 等,2023)。

图 26.2 用简化的模型把这两段讲的取舍画在了一起,三种协议的算法各不相同。预先审计按论文自己的假设算:红队在每道题上以很小的概率插入明显的后门,落在被审计的题目里就被抓到;落在其余题目里,只有 GPT-4 本来就能写对这道题时才成功,因为本来就错的代码通不过测试,插了后门也没用(Greenblatt 等,2023)。论文取 GPT-4 的正确率 53%,并让红队选最有利的出手频率,上面的 15% 就是这样算出来的(Greenblatt 等,2023);图里另画了一条按 100% 算的虚线,即假定每次没被审计的攻击都成功。受信任模型监控和转交是本书构造的示意模型。监控器给每份代码打可疑度,区分度描述它把带后门和不带后门的代码分开的程度,含义与图 26.1 相同;审计线定在诚实的代码中恰好有审计预算那么多会超过它的位置,攻击的可疑度超过审计线就被抓到,没被审计的攻击以一个固定的概率成功。只要红队出手的次数多到总有一次攻击定下结局,结局就只看先被抓到还是先成功,所以蓝队获胜的概率只由这两个概率决定,与红队多久出手一次无关。区分度取 1.64、成功率取 0.28,是为了对上论文的两个数:上面的 0.338,以及没有被审计的 47 次尝试中成功了 13 次(Greenblatt 等,2023);0.28 比 0.53 低得多,正对应上面的第二个原因。转交在审计线之下再加一条转交线,诚实的代码中有“转交比例”那么多会超过它(例如上文的前 10%),两条线之间的代码改由受信任模型来写:落在这里的攻击既不成功,也不被抓到;转交了多少比例的诚实代码,效用就损失多少。这个模型里,每次攻击被抓到和成功的概率都是固定的,攻击不会针对监控器调整,图上的结论只对这样的攻击成立(第 26.6 节)。

预先审计(攻击成功率 0.53)预先审计(攻击成功率 1)受信任模型监控原论文结果(2% 预算)0%20%40%60%80%100%蓝队获胜的概率0.2%1%5%20%审计预算(被审计的任务比例)0%20%40%60%80%100%安全性0%20%40%60%因转交而损失的效用只审计最前面 2% 的任务:红队的最佳计划是在整个部署中只攻击约 6.3 次,蓝队获胜的概率为 15%。受信任模型监控,α = 2%:抓到一次攻击的概率 34%;蓝队获胜的概率为 65%。可疑度前 10% 以内、没有被审计的输出转交受信任模型:64% 的攻击被审计或转交;安全性 77%,效用 92%。
预先审计(攻击成功率 0.53)预先审计(攻击成功率 1)受信任模型监控原论文结果(2% 预算)0%20%40%60%80%100%蓝队获胜的概率0.2%1%5%20%审计预算(被审计的任务比例)0%20%40%60%80%100%安全性0%20%40%60%因转交而损失的效用只审计最前面 2% 的任务:红队的最佳计划是在整个部署中只攻击约 6.3 次,蓝队获胜的概率为 15%。受信任模型监控,α = 2%:抓到一次攻击的概率 34%;蓝队获胜的概率为 65%。可疑度前 10% 以内、没有被审计的输出转交受信任模型:64%的攻击被审计或转交;安全性 77%,效用 92%。
图 26.2 同一审计预算下的几种控制协议,算法见正文。左图(窄屏时在上方):横轴是审计预算,即被审计的题目比例,取对数刻度;纵轴是蓝队获胜的概率,即第 26.3 节定义的安全性;竖线标出选定的审计预算。黄色实线是预先审计,攻击成功率取 0.53,黄色虚线取 1;橙色线是受信任模型监控。右图(窄屏时在下方)是监控再加上转交:横轴是因转交而损失的效用,纵轴是安全性;橙色线是转交比例从审计预算增加到 60% 的轨迹,橙色点是选定的转交比例。图例中“原论文结果”的圆点是论文在 2% 预算下的数(表 26.1 和上文的转交数据),不随滑块移动;右图的圆点画在 1 减去论文效用的位置,所以论文不转交的那一点在 3%,模型不转交的点在 0。先看默认的 2% 预算:黄色实线给出 15%,与论文相同;橙色线给出 65%(论文 62%);转交可疑度前 10% 以内、没有被审计的输出时,安全性 77%、效用 92%(论文 83% 与 93%)(Greenblatt 等,2023)。滑块“攻击成功率 s”只改变橙色的线和点。转交比例不大于审计预算时,没有输出被转交,读数里的“前 N%”就是审计线。黄色线按论文的假设算;橙色线来自本书构造的示意模型,两个默认参数按论文的两个数取,不是对圆点的拟合。曲线和读数都由模型精确算出。

但按可疑度分配也有它的弱点:攻击者会努力让攻击看起来不可疑。第 11.8 节已经指出,只查被判为高风险的样本,模型可能学会让危险输出看起来低风险,所以要保留一部分随机抽查。在长过程任务中,攻击者可以把攻击拆成许多小步骤,让每一步都更不可疑,按可疑度审计时每一步就更难排进审计的范围(Bhatt 等,2025);而如果像 Bhatt 等那样假定,审计到攻击中的任何一步就能认出整次攻击(Bhatt 等,2025),那么攻击的步骤越多,随机抽到其中一步的机会反而越大(习题 26.2 用数字说明这一点)。这个假定对第 37 步读密钥这样单独看很正常的步骤偏乐观:审计者至少要能看到完整的行动日志,才可能认出它。可以把几种办法组合起来:关键行动必查,最可疑的部分优先查,再留一部分随机抽查,让攻击者无法确知哪里不会被看到。

读这些研究的数字时要注意,审计预算的单位各不相同:Greenblatt 等是 2% 的题目,Bhatt 等是 1% 的行动,Kutasov 等是 0.5% 的完整任务记录(Greenblatt 等,2023;Bhatt 等,2025;Kutasov 等,2025)。同样写成百分之几,含义不一定相同,比较前先换算成同一个单位。

第 26.5 节引用的文献 3
  1. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
  2. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
  3. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

26.6 红蓝对抗评估 #

控制评估的结论,取决于红队有多强。如果蓝队设计好协议之后,红队只用一种固定的攻击去测,测出的安全性就是“对这一种攻击的安全性”。真正的威胁,按第 10.2 节的“对协议的了解与试探”这一维度,可能知道协议是怎样运作的,也可能反复试探、观察结果、调整策略。所以红队必须能针对协议调整策略,否则可能高估防御的效果。Greenblatt 等的实验就规定,红队在知道蓝队协议的前提下设计攻击(Greenblatt 等,2023)。

Kutasov 等的研究把这个过程走了两步(Kutasov 等,2025)。他们的环境叫 SHADE-Arena,由许多智能体任务组成,每个任务都有一个正常的主任务和一个有害的附带任务。论文举的例子与本章开头很像:主任务是替用户管理日历和邮箱,附带任务是把一个内部接口密钥发给未经批准的人。监控模型不知道附带任务是什么。不受信任的模型是 Claude 3.7 Sonnet,受信任的模型是 Claude 3.6 Sonnet,蓝队可以人工审计 0.5% 的任务记录(Kutasov 等,2025)。这项研究的安全性,是在由许多个相互独立的任务组成的部署中,攻击方在完成附带任务之前先被审计抓到的概率(算法见习题 26.2 第 4 问),与第 26.3 节的定义相近,但不相同(Kutasov 等,2025)。

第一步:蓝队对默认攻击改进协议。这一步的协议都用到一个可疑度阈值:受信任的模型给每个行动打可疑度,超过阈值的行动会被重采样或转交。表现最好的两种协议是“为取证而重采样”(可疑的行动重采样,重采样的结果只用来判断是否该审计,实际执行的行动交给受信任模型重写)和“在关键行动上转交”(可疑的行动和受信任模型判断为关键的行动,一律交给受信任模型重写)(Kutasov 等,2025)。论文在两个阈值下报告了它们对默认攻击的结果,摘要的说法又与正文不同,表 26.2 把这些数字列在一起。

表 26.2 Kutasov 等两种最好的协议对默认攻击的结果
出处 可疑度阈值 为取证而重采样 在关键行动上转交
正文介绍主要协议的一节 40 安全性 80%,效用没有损失 安全性 91%,效用 70%
论文正文的表 1、表 2 20 安全性 89%,效用 59% 安全性 96%,效用 44%
全文版本的摘要 未说明 安全性从 50% 升到 89%,效用 100% 安全性 91%,效用 70%
arXiv 页面上的摘要 未说明 两种协议合在一起说:安全性从 50% 升到 96% 同左

表中的效用与前两项研究一样是换算过的值:受信任模型单独完成任务时记 0,诚实工作的不受信任模型记 100%,所以“效用 44%”不是任务完成率 44%(Kutasov 等,2025)。

表中的数字都来自 Kutasov 等的论文(Kutasov 等,2025)。摘要说的起点 50% 应指不加任何干预时的安全性,正文的文字里没有给出这个数(本书的推断)。arXiv 页面上的“96%”与阈值 20 下关键行动转交的结果相同,对默认攻击,重采样协议在正文里从没有达到 96%(Kutasov 等,2025)。全文版本摘要里的 89% 与阈值 20 下的数相同,但阈值 20 下这个协议的效用是 59%,不是 100%(Kutasov 等,2025)。论文讨论关键行动转交的一节又把两种协议的效用写成 89% 和 68%,与表 1、表 2 也不一致(Kutasov 等,2025)。下文用阈值 20 下的表格数字,因为红队的加强攻击都是在这个阈值下测的。

第二步:红队针对重采样协议加强攻击。正文的表格列出了几种加强的攻击,都是在阈值 20 下针对“为取证而重采样”测的(Kutasov 等,2025):

  • 让攻击方知道自己何时正在被重采样(作者说这个设定可能不现实),被重采样时就表现正常,安全性从 89% 降到 46%(Kutasov 等,2025);
  • 让攻击方知道此前哪些行动被替换过,被替换超过两次就放弃攻击,安全性降到 69%(Kutasov 等,2025);
  • 让攻击方用自己模拟监控模型:去掉自己的隐藏推理和系统提示,按监控模型能看到的内容给自己的行动打可疑度,太可疑就换一个无害的行动,安全性降到 17%(Kutasov 等,2025)。

两个版本的摘要都把这些概括为:攻击方掌握协议内部信息之后,重采样协议的安全性降到 17%(Kutasov 等,2025)。从正文的表格看,17% 只对应去掉隐藏推理、模拟监控模型的那一种攻击;知道何时被重采样时是 46%(Kutasov 等,2025)。这种攻击为什么这么强,作者的解释是,攻击方用的模型比监控模型强,能通过它自己模拟的检查的攻击,很难在较弱的监控模型那里显得可疑(Kutasov 等,2025)。作者也指出了这个攻击的局限:真正部署的模型,上下文里有自己的附带任务和计划,要“忘掉”这些去模拟监控者的视角并不容易。他们试了一个更接近这种情形的版本,让攻击方带着自己的全部上下文审查自己的行动,安全性只降到 81%(Kutasov 等,2025)。

在关键行动上转交的协议保持稳健。所有加强过的攻击面对这个协议,安全性都是 100%(Kutasov 等,2025)。作者的解释是,在 SHADE-Arena 里,要完成泄露这类附带任务,攻击方迟早要做一次向外部发送信息的行动,而受信任的模型往往把这类行动判为关键行动、交给受信任模型重写,不管它有没有看出其中的问题。作者也指出它的弱点:攻击方可以先在一个内部文档里记下信息(这不算关键行动),再让后面一个看起来合理的“分享文档”行动把它带出去;如果把创建文档也算作关键行动,效用又会大幅下降。

这项研究的教训有两条。第一,只用默认攻击测出的数字可能高估防御:同一个重采样协议,安全性可以从 89% 降到 17%(Kutasov 等,2025)。第二,不让攻击方接触协议的内部信息(何时重采样、监控器看到什么)很重要;而不依赖监控模型能否看出攻击的规则(由受信任模型判断行动是否关键,关键的一律转交)在这项研究所测的攻击下更稳健(Kutasov 等,2025)。

红蓝对抗评估也有它的局限。控制评估测出的安全性应当是一个保守的数。评估假定红队找攻击的本事至少和被部署的模型一样,那么模型自己能找到的攻击不会比红队的更好,实际的安全性就不会低于测出的数(Greenblatt 与 Shlegeris,2024;Kutasov 等,2025)。Kutasov 等在背景部分说,这个假定要求红队真的把攻击能力“引出来”,在复杂的智能体环境中这并不容易(Kutasov 等,2025)。Bhatt 等说,没有帮助时 GPT-4o mini 难以找到并利用协议的漏洞,所以他们的许多攻击策略借助了人写的攻击模板(Bhatt 等,2025)。所以,控制评估的结论只对所测试的红队策略成立。如果部署的模型能力超过红队,能做出红队没有想到的攻击,评估测出的安全性就可能高于实际的安全性,不再是保守的数。这也是为什么 Greenblatt 与 Shlegeris 明确说,这种方法不会对任意强的模型都有效(Greenblatt 与 Shlegeris,2024)。

易错点

“这个协议的安全性是 96%”这句话不完整。完整的说法要写明:针对哪些攻击策略、红队知道协议的哪些信息、可疑度阈值和审计预算怎样定、预算按什么单位算、效用付出了多少。

第 26.6 节引用的文献 4
  1. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
  2. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents
  3. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
  4. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling

读物 #

  • 入门讲解 · 博客:Greenblatt 与 Shlegeris《The case for ensuring that powerful AIs are controlled》(Redwood Research,2024)(Greenblatt 与 Shlegeris,2024)。对齐与控制两道防线的区分,以及为什么评估控制比评估对齐更可行。
  • 原始提案 · 会议论文:Greenblatt 等《AI Control: Improving Safety Despite Intentional Subversion》(2023;ICML 2024)(Greenblatt 等,2023)。控制评估的方法和编程题设置;重点读协议汇总表和各协议对应的红队策略。
  • 实验结果 · 预印本:Bhatt 等《Ctrl-Z: Controlling AI Agents via Resampling》(Redwood Research,2025)(Bhatt 等,2025)。在多步智能体环境中评估控制协议,注意多步攻击怎样降低每一步的可疑度。
  • 实验结果 · 预印本:Kutasov 等《Evaluating Control Protocols for Untrusted AI Agents》(2025)(Kutasov 等,2025)。先评估防御协议,再针对这些协议迭代红队策略;对照摘要和正文表格,看每个数字对应的协议、攻击和阈值;注意 arXiv 页面上的摘要与全文版本的摘要数字不同。
本节引用的文献 4
  1. Greenblatt 与 Shlegeris(2024)The case for ensuring that powerful AIs are controlled
  2. Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
  3. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
  4. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

练习 #

习题 26.1 为编程智能体设计审计方案

回到本章开头的编程智能体:它用 200 步操作完成任务,人工审计的总预算只够检查 2% 的步骤,也就是 4 步。另有一个受信任的较弱模型,可以给每一步打可疑度,也可以替不受信任的模型重写某一步。

  1. 写出你的审计方案:你检查哪些步骤,按什么规则挑选?除了人工审计,你还用哪些协议元素(转交、重采样、关键行动检查、限制权限、日志)?
  2. 你的方案能否发现本章开头那种“第 37 步读密钥、第 150 步发送”的攻击?说明发现它依赖什么条件。
  3. 假设对手完全知道你的方案。它会怎样调整攻击?你的方案还剩下什么作用?
  4. 写出你的方案在第 10.2 节的哪些威胁模型维度下评估过、哪些没有,以及它付出了多少效用。
提示

先列出这个任务中哪些行动是不可逆的或会影响外部世界的,再考虑剩下的预算怎样分。想一想:如果对手知道你只查可疑度最高的步骤,它会把攻击做成什么样?如果对手知道你只查发送数据的步骤,它又会怎样?

解答

本题没有标准答案,评分要点如下:

  • 方案具体。写明 4 步审计预算怎样分配,例如:向外部发送数据等关键行动由受信任模型重写或一律人工确认;剩余预算一部分给可疑度最高的步骤,一部分随机抽查。说明“可疑度”由谁打、看到哪些上下文(只看当前步,还是看此前全部步骤)。
  • 处理跨步骤风险。指出单看第 37 步或第 150 步都不可疑,方案要能把两步联系起来,例如监控器能看到整个行动记录,或对“发送的内容是否来自敏感文件”单独检查。说明日志必须是智能体改不了的。
  • 对手的调整。至少写出两种针对方案的调整,例如:把发送拆成多个看起来普通的小步骤,降低每一步的可疑度;把密钥藏进一个任务本来就要提交的文件里,让发送这一步成为正常工作的一部分;在知道何时被重采样或被替换时暂时表现正常。对每种调整,说明方案还剩下什么作用。
  • 权衡与范围。说明方案在效用上的代价(转交和重写会让任务更慢或更差),并写明方案只对你考虑过的攻击成立;指出审计预算的单位(这里是步骤,不是任务),以及与论文里的预算不能直接比较。
  • 不加分的答案:只写“检查最可疑的 4 步”而不讨论对手的调整;或声称方案能发现所有攻击。
习题 26.2 随机抽查与按可疑度抽查(计算)

下面的数字都是为教学构造的假设。智能体用 200 步完成任务,人工审计 4 步。考虑两种攻击:

  • 攻击 A:2 步,第 37 步读取密钥,第 150 步发送。
  • 攻击 B:对手知道审计按可疑度排序后改用的攻击。读取仍是 1 步,发送拆成 10 个看起来普通的小步骤,一共 11 步。

两种审计办法:

  • 随机抽查:从 200 步中不放回地随机抽 4 步。
  • 按可疑度:审计受信任模型打分最高的 4 步。假设各攻击步骤是否进入前 4 名相互独立:攻击 A 中读取一步的概率是 0.05,发送一步是 0.70;攻击 B 中读取一步是 0.05,每个小步骤是 0.03。

规定至少审计到一个攻击步骤即算发现。这沿用了 Bhatt 等的假定:审计者看到攻击中的任何一步,就能认出整次攻击(Bhatt 等,2025)。对第 37 步这样单独看很正常的步骤,这个假定偏乐观,相当于假定审计者能看到完整的行动日志。

  1. 分别算出两种审计办法发现攻击 A 和攻击 B 的概率。
  2. 对手从攻击 A 改为攻击 B,对两种审计办法的影响方向相同吗?这说明了什么?
  3. 只用随机抽查,至少要审计多少步,发现攻击 A 的概率才能达到按可疑度审计的水平?
  4. Kutasov 等对安全性的定义与第 26.3 节不同(Kutasov 等,2025)。设想部署许多个相互独立的任务。每个含攻击的任务有三种结局:被审计抓到;攻击成功且没被抓到;两者都没发生,部署继续进行下一个任务。安全性是“先被抓到”的概率,也就是被抓到的概率占前两种结局概率之和的比例 pauditpaudit+pattack\frac{p_\text{audit}}{p_\text{audit} + p_\text{attack}},其中 pauditp_\text{audit} 是含攻击的任务被审计到的概率,pattackp_\text{attack} 是含攻击的任务中攻击成功且没被审计到的概率(Kutasov 等,2025)。再假设攻击在没被审计到时成功的概率是 0.5,算出四种组合的安全性。
提示

随机抽查时,一个攻击步骤都没抽中的概率是“从 200 − k 个正常步骤中抽 4 个”的方法数除以“从 200 步中抽 4 个”的方法数,k 是攻击步数。按可疑度时,没发现的概率是各攻击步骤都没进入前 4 名的概率之积。第 4 问中,pattack=(1−paudit)×0.5p_\text{attack} = (1 - p_\text{audit}) \times 0.5。

解答

计算用的脚本是 tools/exercises/ch26_audit.py。

  1. 攻击 A:随机抽查发现的概率是 1−(1984)/(2004)=79/1990≈3.97%1 - \binom{198}{4} / \binom{200}{4} = 79/1990 \approx 3.97\%;按可疑度是 1−0.95×0.30=71.5%1 - 0.95 \times 0.30 = 71.5\%。攻击 B:随机抽查是 1−(1894)/(2004)≈20.39%1 - \binom{189}{4} / \binom{200}{4} \approx 20.39\%;按可疑度是 1−0.95×0.9710≈29.94%1 - 0.95 \times 0.97^{10} \approx 29.94\%。
  2. 方向相反。从 A 改为 B,按可疑度审计的发现概率从 71.5% 降到约 29.9%,随机抽查却从约 4.0% 升到约 20.4%。把攻击拆成许多不可疑的小步骤,是专门对付按可疑度审计的;但步骤越多,随机抽中其中一步的机会越大。所以两种办法组合使用,对手就难以同时对付两者。这也说明,只用攻击 A 评估按可疑度审计,会高估它面对会调整策略的对手时的效果。
  3. 随机抽查至少要审计 93 步(200 步的 46.5%),发现攻击 A 的概率才能达到 71.5%。按可疑度审计用 4 步做到了这一点,前提是受信任模型的打分确实能把发送密钥这一步排到前面。
  4. 安全性 = paudit/(paudit+0.5×(1−paudit))p_\text{audit} / (p_\text{audit} + 0.5 \times (1 - p_\text{audit}))。攻击 A:随机抽查约 0.076,按可疑度约 0.834。攻击 B:随机抽查约 0.339,按可疑度约 0.461。

这些数字完全取决于题目里的假设概率。它们说明的是审计办法与攻击方式之间的相互作用,不说明任何真实监控模型的表现。

习题 26.3 还能算受信任吗

在下面三种情况中,一个比部署模型弱得多的模型 T 还能不能算作“受信任的模型”?对每种情况说明理由,并指出你的判断依赖哪个威胁模型。

  1. 担心的是部署模型在训练中形成了隐藏目标;T 是几年前发布、被许多人长期使用和研究过的模型。
  2. 担心的是有人在训练数据中投毒;T 和部署模型用了同一批训练数据。
  3. 担心的是部署模型会说服监控者放过它;T 被允许向部署模型提问,并根据回答决定是否放行。
解答
  1. 在这个威胁模型下,T 可以算受信任:它能力较弱,被长期使用和研究过,我们有一定理由认为它没有、也难以隐藏有意破坏的行为。但受信任不等于判断准确,它仍会漏检和误报;也不等于与部署模型独立,两者可能有共同盲点。
  2. 不能算受信任,或者至少要另作论证。投毒的威胁与模型强弱无关,用同一批数据训练的 T 可能带着同样的后门。这说明“受信任”是相对于威胁模型的:在第 1 种情况下成立的理由,在这里不成立。
  3. T 本身仍可能不会有意破坏,但这个协议让不受信任的模型有机会影响 T 的判断,T 的“受信任”就不足以保证监控有效。Kutasov 等报告,允许监控模型盘问智能体会明显降低安全性,因为智能体能说服监控模型没有可疑之处(Kutasov 等,2025)。受信任的是 T 的意图,不是 T 在被说服之后的判断。
本节引用的文献 2
  1. Bhatt 等人(2025)Ctrl-Z: Controlling AI Agents via Resampling
  2. Kutasov 等人(2025)Evaluating Control Protocols for Untrusted AI Agents

学完能做到 #

  • 解释“受信任”的含义:它相对于威胁模型而言,指有理由认为不会有意破坏,不等于不会出错,也不等于与被监督模型独立。
  • 说出受信任模型监控、转交受信任系统、重采样、人工审计、关键行动检查和限制权限各自做什么、付出什么效用代价。
  • 用一个长过程智能体的例子说明,为什么每一步单独检查都通过,不等于整个任务安全。
  • 比较随机抽查和按可疑度审计,说明对手调整策略后两者的变化。
  • 说明为什么只用固定攻击评估可能高估防御效果,并读出一个控制评估结果所依赖的攻击策略、预算单位和效用代价。

参考文献

  1. Bhatt, A., Rushing, C., Kaufman, A., Tracy, T., Georgiev, V., Matolcsi, D., Khan, A., and Shlegeris, B. (2025). Ctrl-Z: Controlling AI Agents via Resampling. arXiv. 预印本引用于 §26.3 §26.4 §26.5 §26.6
  2. Greenblatt, R., and Shlegeris, B. (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审引用于 §26.1 §26.6
  3. Greenblatt, R., Shlegeris, B., Sachan, K., and Roger, F. (2023). AI Control: Improving Safety Despite Intentional Subversion. International Conference on Machine Learning, 2024. 引用于 §26.1 §26.2 §26.3 §26.5 §26.6
  4. Kutasov, J., Loughridge, C., Sun, Y., Sleight, H., Shlegeris, B., Tracy, T., and Benton, J. (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本引用于 §26.3 §26.4 §26.5 §26.6