草稿 内容完整但尚未审校,可能还会修改
第 18 章模型内部表示
路线全部路线概念路线做判读练习,探针练习属实验及研究路线
本章导读
文字稿
- 0:07绕过输出
监督的证据一直来自模型说出来的东西。能不能绕过输出?典型实验:把已知真假的陈述输入模型,记下中间一层的一串数,训练简单分类器。用在记账程序上,本章研究都没测过。 - 0:28激活与方向18.1
激活是某一层在某个位置上产生的一串数;表示指信息在其中的编码方式。给每个数配一个权重再求和,就是它在一个方向上的读数。真陈述普遍较大、假陈述普遍较小,就说存在能区分真假的线性方向。 - 0:49探针与划分18.2
探针是以激活为输入的简单分类器,常用逻辑回归,单独训练,不改动原模型。准确率要在没参与训练的测试集上报告,并按来源、模板或实体划分。cities 数据集里同一城市一真一假,随机划分常把两条分在两边。 - 1:12三个结果18.2
为教学构造的数据:随机划分 97.0%,按模板划分 81.1%,同一划分但打乱训练标签 51.9%。打乱后不应明显高于多数类比例,约 50%。每次比较只改一处。 - 1:31读得出,不等于在用18.3
准确率高只说明激活里有能读出的信息,不说明模型在使用它。复印机零件的温度与页数高度相关,页数却不由温度决定。检验使用要靠干预:Marks 与 Tegmark 改动真假方向的激活,假陈述就被当作真的处理。 - 1:54摄像头骗过了人18.4
潜在知识引出(ELK):预测模型看摄像头画面,预测操作后会拍到什么,人只能看摄像头。报告器读预测模型的内部状态,用人的判断作标签。直接翻译者报告模型的理解,人类模拟者报告人会怎么认为。 - 2:18三个层次18.4
潜在知识引出是问题设定,线性探针是工具,存在真值方向是某些实验的结果。探针在简单陈述上有效,不说明问题已解决:那里人都能核对,两种报告器回答相同。问题未解决,也不说明探针没用。 - 2:41不用标签找方向18.5
Burns 等的对比一致搜索(CCS)利用陈述和它的否定不能同为真,不用标签找方向:5 个模型、10 个问答数据集上,平均比校准后的零样本提问高 4 个百分点。Farquhar 等给影评随机加上 Alice 的看法,方向就跟着 Alice 走。读出的可能是事实、角色的信念或其他相关特征。 - 3:10测谎实验18.6
Goldowsky-Dill 等在 Llama-3.3-70B-Instruct 的激活上训练线性探针,训练回答不是模型写的。在模型自己生成的回答上测试:4 个欺骗场景内 AUROC 为 0.96 到 0.999;普通聊天上 1% 误报时,抓到 95% 到 99% 的欺骗回答。 - 3:33还没做到的区分18.6
探针对欺骗场景里的诚实回答,打分也明显高于普通聊天。阈值定法不变、只往后挪两层,两个内幕交易数据集上几乎抓不到欺骗,尽管仍能区分。作者认为有希望,但还不足以作可靠的防御。 - 3:55读、写、拆解18.7
做法大致三类。读:看激活里有没有某种信息。写:改动激活,看行为怎样变。拆解:把激活分解成许多可解读的特征。Anthropic 用拆解找出了数以百万计的特征,也说明这只是一小部分。 - 4:17证据与前提
测过:不用标签找方向,平均高于零样本提问;同一方法可能找到与真假无关的显著特征;简单陈述上的线性方向,并用干预检验。依赖:可以访问模型内部,检验时有可信的标签。不能推出:“测谎”在开放场景中可靠,或读出的信息被使用。
带走的几句话:
- 探针准确率要在按模板或实体留出的测试集上报告。
- 读得出某个信息,不说明模型在使用它。
- 潜在知识引出是问题设定,探针是工具,真值方向是实验结果。
- 探针可能读到角色的信念;“测谎”只在特定设置中有效。
到目前为止,本书讲的每一种监督方法,证据都来自模型说出来的东西:它的答案、它写的批评、它在辩论中的论证。第 16.2 节提到过一个问题:模型说出来的,不一定是它内部表示的全部信息。如果模型的输出不可靠,比如它迎合了提问者,或者它的错误恰好是评估者看不出来的那种,那么只看输出就会漏掉这些情况。本章问的是:能不能绕过输出,直接从模型内部的计算中取得另一种证据?
一个典型的实验是这样的:准备一组已知真假的简单陈述,比如“克拉斯诺达尔市在俄罗斯”(真)和“克拉斯诺达尔市在南非”(假)。把每条陈述输入模型,记下模型中间某一层产生的一串数值。然后用这些数值训练一个简单的分类器,看它能否区分模型正在处理的是真陈述还是假陈述。如果能,说明这些数值里含有与真假有关的信息。
回到记账程序。你可以问写代码的模型:“这段代码对重复提交只记一次吗?”它回答“是”。设想再用一个这样训练出来的分类器,读取模型回答时的内部数值,看它的回答与内部表示是否一致。这听起来很诱人,但要说清楚:本章介绍的实验都是在简单的真假陈述等设置上做的,没有一项检验过它能否用来判断程序是否满足需求。本章要讲的,就是这类方法在什么条件下能提供证据、提供的是什么证据。
- 想处理:模型说出来的内容不可靠时,从内部计算中获得不同于输出文本的补充证据,并检验它是否提供了额外信息。激活和输出来自同一个模型,不是独立证据。
- 测过:Burns 等在多个是非问答数据集上,不用标签从激活中找出与真假相关的方向,准确率平均高于零样本提问(Burns 等,2022)。Farquhar 等构造反例,表明同一方法可能找到与真假无关的显著特征(Farquhar 等,2023)。Marks 与 Tegmark 在简单的真假陈述上找到线性方向,并用干预检验它对输出的影响(Marks 与 Tegmark,2023)。
- 依赖:可以访问模型内部;有监督探针训练时需要可靠的真假标签,无监督方法训练时不用标签,但两者检验效果时都需要可信的标签;探针读出的特征就是想测的概念,而不是与标签相关的其他特征。现有实验主要覆盖“无意出错”一个维度(第 10.2 节)。任务前提(第 10.3 节):“标签是否可靠”和“能否获得参考答案”;“可以访问模型内部”是本章补充的前提,不属于那里的五项。
- 不能推出:不能推出“测谎”在开放场景中可靠;不能推出探针读出的信息被模型使用;在模型有隐藏目标并针对探针调整的条件下,证据很少。
引言引用的文献 3
- Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
- Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.1 表示与激活 #
第 4.6 节讲过,神经网络是一层一层可调节的函数。语言模型也是这样:输入的文本先被切成 token(第 5.1 节),每个 token 变成一串数,然后一层接一层地被改写,最后一层的结果用来预测下一个 token。中间每一层的输出,也是每个 token 对应的一串数。
激活(activation)是模型处理某个输入时,某一层在某个位置上产生的那一串数值,可以看作一个很长的向量,常常有几千个数。表示(representation)指信息在这些数值中的编码方式:某个信息是否存在于激活中、以什么形式存在。
举个例子。把“克拉斯诺达尔市在俄罗斯。”输入一个模型,取第 12 层在句末那个 token 上的激活,得到一个向量;把“克拉斯诺达尔市在南非。”输入同一个模型,得到另一个向量。如果把许多条真陈述和假陈述的向量都画出来(实际要先降到两维才能画),真陈述和假陈述可能分成两团,也可能混在一起。分成两团,说明这一层的激活编码了某种与真假有关的信息。把许多条陈述的激活排在一起,就是一张表:每条陈述是一行,激活的每个数是一列(实验路线的读者可参看第 2.5 节)。
本章常说的方向,指的是给激活的每个数配一个权重,再求加权和(实验路线的读者在第 2.5 节见过,这叫点积)。加权和越大,说明这个向量在这个方向上走得越远。如果存在一组权重,使得真陈述的加权和普遍较大、假陈述的普遍较小,我们就说激活中存在一个能区分真假的线性方向。“线性”指的就是这种加权求和的简单形式。
取哪一层、哪个位置的激活,会影响能读出什么。Marks 与 Tegmark 在一篇 2023 年首次公开、后来发表于 COLM 2024 的会议论文中报告,与真假有关的表示集中在少数几个位置的激活上,而且这些激活对输出有因果作用(Marks 与 Tegmark,2023)。所以报告一个探针结果时,要写明用的是哪一层、哪个 token 的激活;如果比较了好几层再挑一层,挑选只能在训练数据内部进行,不能看测试集的结果来挑(第 4.4 节)。
要特别注意一点:激活只是一串数。说某个方向“表示真假”,是研究者对这串数的解读,需要实验支持。下面几节讲的,就是这种解读在什么条件下站得住。
第 18.1 节引用的文献 1
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.2 探针 #
探针(probe)是一个以模型激活为输入、以某个想读取的信息为输出的简单分类器。它单独训练,训练时不改动原来的模型。
一种常用的探针是逻辑回归(实验路线的读者可参看第 4.7 节)。它恰好就是在找一个方向:学到一组权重,对激活求加权和,再把结果转换成“为真”的概率。用逻辑回归做的探针叫线性探针。探针通常要求很简单,原因是:如果探针本身是一个很强的模型,它可能自己学会了判断真假,而不是从激活里读出了已有的信息。Belinkov 的综述讨论了探针复杂程度的取舍,以及读探针结果时需要的对照和基线(Belinkov,2021)。
训练数据从哪里来。训练探针需要一批输入和可靠的标签。一种常见的做法是人工整理一批简单、没有歧义的真假陈述。例如 Marks 与 Tegmark 整理的 cities 数据集,按一个固定模板“某城市在某国家”生成,每个城市各有一条真陈述和一条假陈述,共 1496 条(Marks 与 Tegmark,2023)。数据怎样构造,决定了探针能学到什么:如果所有假陈述都是把正确的国家换成一个随机国家,探针可能学到的是“这个城市和这个国家常不常一起出现”,而不是“这句话对不对”。
为什么必须在独立的测试集上评估。激活有几千个数,而训练用的陈述常常只有几百到几千条。在这种情况下,逻辑回归可能把训练数据记得很熟,在训练集上准确率很高,对新数据却没有效果,这就是第 4.5 节讲的过拟合。所以探针的准确率只能在没有参与训练的测试集上报告。
但“没有参与训练”还不够,划分方式也很重要。在 cities 数据集里,同一个城市有一真一假两条陈述。如果随机划分,常常一条在训练集、另一条在测试集;同一模板的陈述也会分在两边。这时测得的只是探针在见过的城市、见过的模板上的表现,其中可能包含只在这些城市或模板上成立的规律,不能说明它能推广到新的一类陈述。所以要按来源、模板或实体划分:同一模板、同一实体的陈述,只能全部在训练集或全部在测试集。按模板划分时测得的准确率,才更接近“探针能否推广到新的一类陈述”。
还有一个简单而有用的对照:打乱标签。沿用同一个划分,只把训练集的标签随机打乱,重新训练一次,测试集和它的真实标签保持不变。打乱之后,激活与训练标签之间已经没有真实的联系,测试准确率不应明显高于测试集里多数类所占的比例(类别平衡时约为 50%)。如果明显高于这个水平,说明标签信息绕过了打乱,流程本身有错,例如评分时用错了数组(拿训练集或训练标签来评分),带真实标签的数据在打乱之后才被拼进训练集,或者打乱根本没有生效。要注意这个对照查不出什么:如果测试数据在打乱之前就混进了训练集,或者同一实体分在两边,它们的标签也会跟着一起被打乱,那种捷径随之失效,对照同样落在随机水平。这类泄漏要靠检查训练集与测试集没有共同的行或组来防,本章练习代码里的 assert 就是做这件事。Belinkov 的综述讨论过另一种用随机标签构造的“控制任务”,那里的用途是衡量探针本身能记住多少,与这里检查流程的用法不同(Belinkov,2021)。本章练习会用到随机划分、按组划分和打乱标签这三个结果。
第 18.2 节引用的文献 2
- Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.3 相关与因果 #
假设一个探针在严格划分的测试集上准确率很高。它说明的是:这一层的激活中,含有可以用线性方式读出、并且与标签相关的信息。它不说明模型在使用这个信息来产生输出。
打个比方。一台复印机的某个零件温度,可能与复印的页数高度相关;读这个温度,可以相当准确地猜出复印了多少页。但复印机并不是根据这个温度来决定复印多少页的,温度只是工作的副产品。激活中的信息也可能是这样:它存在,能被读出,但模型在产生输出时并不依赖它。Belinkov 把这称为探针方法的主要局限之一:探针揭示的是表示与某个性质之间的相关,并不告诉我们这个性质是否参与了模型的预测(Belinkov,2021)。
要检验“使用”,需要干预:直接改动激活,看输出是否随之改变。Marks 与 Tegmark 在 LLaMA-2 中 130 亿和 700 亿参数(13B、70B)的两个模型上做了这类实验。他们在模型计算的过程中,沿探针找到的方向改动激活;有些方向能使模型把假陈述当作真的处理,或者反过来,但效果随探针的训练方法和训练数据差别很大(Marks 与 Tegmark,2023)。这比单纯的读出更进一步,因为它说明这样的方向对输出有因果作用。
即使有了干预实验,也还有两个问题要分开。
- 激活和输出来自同一个模型,不是独立证据。如果模型对某件事的内部处理有误,它的输出和激活都会反映同一个错误。探针与输出一致,不等于多了一份独立的证据。内部证据最有价值的时候,是它与输出不一致,或者它提供了输出中没有的信息。
- 读出的方向是不是真的对应“真假”。一个方向既能读出、又能影响输出,它对应的仍可能是与真假相关的别的东西。Marks 与 Tegmark 专门检验了他们的方向是否只是区分“常见的文本”和“不常见的文本”,为此构造了一个只有可能性高低、与事实无关的对照数据集(Marks 与 Tegmark,2023)。
第 18.3 节引用的文献 2
- Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.4 潜在知识引出 #
上面的探针实验有一个更大的背景问题,叫潜在知识引出(Eliciting Latent Knowledge,ELK)。它由 Christiano、Cotra 和 Xu 在 2021 年 Alignment Research Center 的一份报告中提出,报告以在线文档的形式发布(Christiano 等,2021)。
报告用一个简化的场景说明问题。设想一个保护钻石的安保系统,叫 SmartVault,由 AI 控制。它的核心是一个预测模型:输入摄像头的画面和一串可能的操作,输出执行这些操作之后摄像头会拍到什么。人只能通过摄像头看结果。麻烦在于,有些操作可能篡改摄像头,让它无论发生了什么都显示钻石还在。报告的说法是,这时预测模型“知道”一些摄像头上看不到、但会改变我们判断的事实,比如摄像头被动过了(原文的“知道”本身就加了引号)。问题是:怎样训练模型,让它报告这些潜在的知识(Christiano 等,2021)?
一个自然的办法是再训练一个报告器:读取预测模型的内部状态,回答“钻石还在吗”这类问题。训练报告器需要标签,标签来自人看录像后的判断。报告指出,有两种报告器都能拟合这些标签(Christiano 等,2021)。
- 直接翻译者:把预测模型内部对情况的理解,翻译成人能懂的回答。
- 人类模拟者:推测一个看到这段录像的人会怎么认为,并报告这个推测。
在人能正确标注的情况下,两者回答相同;只有在摄像头被骗过、人看不出来的情况下,两者才分开。而这恰恰是我们最需要的情况。报告指出,即使人从不出错,两种报告器在训练集上的表现也完全一样,训练方法没有明显的理由偏向前者;如果人有时出错,训练反而会偏向复制这些错误的人类模拟者(Christiano 等,2021)。这与第 9 章讲的监督失效是同一个结构:训练信号只能奖励“让人觉得对”。
这里要分清三个层次,它们经常被混在一起:
- 潜在知识引出是一个问题设定:怎样让模型报告它内部表示的、而我们无法直接核查的信息。它本身不是方法,也没有给出答案。
- 线性探针是一种工具:可以用来尝试解决这个问题,也可以用来做许多别的事。
- “激活空间中存在某个真值方向”是某些实验的结果:例如在较大的 LLaMA-2 模型(13B、70B)上、在简单的真假陈述上找到了这样的方向(Marks 与 Tegmark,2023)。
三者的关系是:一个工具在某些实验中取得了某个结果,这个结果与那个问题设定有关,但没有解决它。探针在简单陈述上有效,不说明潜在知识引出已经解决,因为简单陈述的标签人都能核对,对应的是两种报告器回答相同的那部分情况。反过来,问题尚未解决,也不说明探针没有用。
第 18.4 节引用的文献 2
- Christiano 等人(2021)Eliciting latent knowledge: How to tell if your eyes deceive you
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.5 无监督寻找真值方向 #
有监督的探针依赖人给的标签,就有可能学成人类模拟者。一个自然的想法是:能不能完全不用标签,直接在激活里找出真值方向?
一个正面结果。Burns 等在一篇 2022 年首次公开、后来发表于 ICLR 2023 的会议论文中,提出了一种叫对比一致搜索(Contrast-Consistent Search,CCS)的方法(Burns 等,2022)。它利用真值的一个逻辑性质:一个陈述和它的否定,不能同时为真,也不能同时为假。具体做法是,对每个是非问题,分别构造回答“是”和回答“否”的两条陈述,取得模型对它们的激活,再寻找一个方向,使得两条陈述在这个方向上读出的“为真概率”互相一致(一个高、一个低,加起来接近 1),而且都尽量确定。整个过程不用任何标签。论文报告,在 10 个问答数据集上,对 6 个模型中的 5 个取平均(T0 训练时见过其中 9 个数据集,不计入),这种方法的准确率比校准后的零样本提问高 4 个百分点(71.2% 对 67.2%)(Burns 等,2022)。零样本提问指直接问模型答案;校准指调整判定的门槛,让模型给出的两种答案各占一半。他们还在提示前面加了一段带错误答案的前缀:在 UnifiedQA 这个模型上,校准后的零样本准确率从 80.4% 降到 70.9%,这种方法的准确率没有下降;多数其他模型的零样本准确率受这类前缀影响不大,而且作者发现前缀里换成正确答案效果也相似,这个前缀究竟起了什么作用并不清楚(Burns 等,2022)。
注意“不用标签”只是对找方向这一步而言。要知道找到的方向准不准,仍然要用有标签的测试集来评分。这正是“证据与前提”一栏所说的:无监督方法训练时不用标签,但检验效果时同样需要可信的标签。
一个反例。Farquhar 等在一篇 2023 年的预印本中证明,CCS 依赖的一致性结构并不是真值独有的:任意的二值特征都可以满足它(Farquhar 等,2023)。他们在几组人为构造的设置中表明,无监督方法找到的可能不是知识,而是激活中最显著的那个特征;作者据此认为,现有的无监督方法不足以发现潜在知识(Farquhar 等,2023)。其中一个实验很直观:在电影评论数据中,给每条评论随机加上一句“Alice 认为这是正面的”或“Alice 认为这是负面的”。不加这句话时,无监督方法找到的方向能区分评论本身的正负;加上之后,它找到的方向区分的是 Alice 的看法,评论本身的正负被忽略了(主要展示的是 Chinchilla-70B 上的结果;在另一个模型上,要把 Alice 的看法重复几遍,结果才同样清楚)(Farquhar 等,2023)。作者推测,区分模型自己的知识和模型所模拟角色的知识,对未来的无监督方法仍会是一个难题(Farquhar 等,2023)。
这个反例引出了本章最重要的一个区分。探针或无监督方法读出的东西,至少可能是三种之一:
- 模型表示的事实:比如评论本身是正面还是负面,城市实际在哪个国家。这是我们通常想要的。
- 模型所模拟角色的信念:模型处理的文本里常有人物的看法,模型也常被要求扮演某个角色;激活中可能编码了这个人物或角色会怎么认为。Alice 的看法就是一例(Farquhar 等,2023)。一个角色可能相信错误的东西,读出它的“信念”不等于读出事实。
- 与标签相关的其他特征:比如句子是否常见、是否含有“不”字、句子长短、话题。在某个数据集里,这些特征碰巧与真假相关,探针就可能学到它们。
三种情况下,探针在原来的测试集上都可能表现很好。要分开它们,需要专门构造让这些因素与真假不再一致的数据,例如加入否定句、加入常见但错误的陈述、加入角色观点与事实相反的文本。Marks 与 Tegmark 加入否定句,并用第 18.3 节那个只有可能性高低的对照数据集,做的就是这类检验(Marks 与 Tegmark,2023)。
第 18.5 节引用的文献 3
- Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
- Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.6 测谎的现状 #
所谓“测谎”,是希望在模型输出与它内部表示不一致时把它发现出来。Goldowsky-Dill 等在一篇 ICML 2025 的会议论文中,研究了能否用线性探针发现模型的欺骗回答(Goldowsky-Dill 等,2025)。
他们在 Llama-3.3-70B-Instruct 的激活上训练线性探针。训练数据的构造很特别:用户指令分别要求模型扮演诚实的人或欺骗的人,后面接的是同样的真实陈述。作者说明,这些训练回答不是模型自己写的,其中并没有真正的欺骗(Goldowsky-Dill 等,2025)。然后他们在几个更复杂的场景中测试:模型自己生成的回答里,有的是扮演一个有理由说谎的角色时说的谎,有的隐瞒内幕交易,有的按系统提示的要求,在安全评估中故意答错涉及危险知识的题目。这些测试回答是否算欺骗,多数数据集由另一个模型 GPT-4o 按各自的标准判定;安全评估中故意答错的那个数据集,则根据模型在结构化思维链里写下的决定自动判定(Goldowsky-Dill 等,2025)。
论文报告的结果分两层(Goldowsky-Dill 等,2025)。
- 在同一个测试场景内,欺骗回答和诚实回答分得很开。衡量指标是 AUROC:随机取一个欺骗回答和一个诚实回答,探针给欺骗回答打分更高的概率。0.5 相当于随机猜,1 表示完全分开。在主要结果的 4 个测试数据集上,AUROC 在 0.96 到 0.999 之间。作者先把难以判定是否欺骗的回答排除在外,并说明这可能让探针显得更好:把这些回答重新归为诚实或欺骗再算,角色扮演数据集的 AUROC 从 0.964 降到 0.913。另一个审计场景因为判定不了模型是在欺骗还是弄错,没有计入主要结果(Goldowsky-Dill 等,2025)。
- 在按普通聊天定的阈值下,抓到了大部分欺骗回答。把阈值设为在与欺骗无关的普通聊天数据上只有 1% 误报,探针能抓到 95% 到 99% 的欺骗回答。但同一阈值下,欺骗场景里的诚实回答也常常越过阈值;作者认为,抓到的比例这么高,部分正是因为探针对与欺骗有关的对话起反应,而普通聊天与欺骗无关(Goldowsky-Dill 等,2025)。
但作者同样仔细地报告了失败。上面已经看到,探针对欺骗场景中的诚实回答,打分也明显高于普通聊天数据;作者认为,探针不仅对“这个回答是否欺骗”敏感,也对“这个场景是否与欺骗有关”敏感(Goldowsky-Dill 等,2025)。探针似乎还追踪着某种接近道德的东西:诚实地承认自己过去做过坏事,常被探针判为不诚实(Goldowsky-Dill 等,2025)。阈值的设定方法不变,只把探针换到往后两层的位置,在两个内幕交易数据集上抓到的欺骗回答就几乎降为零,尽管它区分欺骗回答与诚实回答的效果仍然不错(Goldowsky-Dill 等,2025)。
作者也说明了实验的条件。这些场景里的欺骗相当明显,常常直接出现在模型回答之前的推理文字(思维链,第 19.4 节)里;探针的表现与让 GPT-4o 读整段对话、不看模型内部的方法大致相当。作者说,这些实验并不试图证明探针能发现更难察觉的欺骗,只是在较简单的设置里检验它的表现(Goldowsky-Dill 等,2025)。作者的总体判断是,这类探针对未来的监控系统有希望,但目前的表现还不足以作为对欺骗的可靠防御(Goldowsky-Dill 等,2025)。
把本章的内容放在一起,可以这样概括测谎的现状。
在哪些设置下有效。在较大的 LLaMA-2 模型(13B、70B)上、在简单无歧义的真假陈述上,可以找到能区分真假、并且对输出有因果作用的方向(Marks 与 Tegmark,2023)。在指定模型、指定的几类欺骗相当明显的场景、标签由另一个模型或自动规则给出的条件下,探针能把欺骗回答与诚实回答分开(Goldowsky-Dill 等,2025)。
哪些区分还没有做到。区分模型表示的事实与所模拟角色的信念:无监督方法在 Farquhar 等构造的设置里没有做到(第 18.5 节)。区分“欺骗”与“与欺骗有关的话题”:Goldowsky-Dill 等的主要探针没有做到;在另一组角色扮演场景上,换用角色扮演数据训练的探针,对诚实回答的打分受场景的影响小了很多(Goldowsky-Dill 等,2025)。区分“输出与内部表示不一致”(通常所说的说谎)与“内部表示本身就是错的”(模型弄错了):本章引用的研究都没有检验过,连给测试回答定标签都难,上面那个审计场景就是因为判定不了模型是在欺骗还是弄错,才没有计入主要结果(Goldowsky-Dill 等,2025)。至于模型有隐藏目标、并且针对探针调整自己的情况(第 25 章),现有的证据很少。
回到记账程序。如果你用在城市陈述上训练的探针,去读写代码的模型回答“这段代码对重复提交只记一次吗”时的激活,探针读数与模型的回答不一致,你能得出什么?几乎什么也得不出:探针从没在代码问题上验证过,不一致可能来自探针不能推广,而不是模型在说谎。比较稳妥的用法是把它当作一个提示,促使你去做有独立证据的检查,比如专门写一个重复提交的测试(第 20 章)。
第 18.6 节引用的文献 2
- Goldowsky-Dill 等人(2025)Detecting Strategic Deception with Linear Probes
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
18.7 与可解释性领域的关系(仅研究路线)#
探针属于一个更大的研究领域:可解释性(interpretability),即弄清楚神经网络内部在计算什么。这个领域里,探针只是工具之一,大致有三类做法。
- 读:用探针等方法,看激活里有没有某种信息。本章的大部分内容属于这一类。Belinkov 的综述系统地讨论了这类方法的承诺、不足和改进(Belinkov,2021)。
- 写:直接改动激活,看行为怎样变化,用来检验某个方向或特征是否被模型使用,或者用来引导模型的行为。第 18.3 节的干预实验属于这一类。
- 拆解:不预先指定要找的概念,而是把激活分解成许多可以解读的特征,再研究这些特征怎样组合成计算。Anthropic 在 2024 年的一篇博客中介绍了这种做法,这是开发者对自己模型的报告:他们用一种叫字典学习的方法,在自己的一个生产模型的中间层找出了数以百万计的特征,例如对“金门大桥”起反应的特征、对代码缺陷起反应的特征,并通过放大或抑制特征改变了模型的回答(Anthropic,2024)。博客也说明,找到的只是模型所学概念中的一小部分,而且知道模型表示了什么,还不等于知道它怎样使用这些表示(Anthropic,2024)。
对 scalable oversight 来说,可解释性提供的是一种不同来源的证据:不依赖模型说什么,而依赖它内部怎样计算。第 27 章讲的对齐审计,就把读取模型内部列为审计者可能拥有的访问权限之一。但本章反复出现的核心问题在整个领域都存在(本书的推断):读出的东西是否就是我们想测的概念,我们怎样知道。研究路线的读者读这一领域的论文时,可以用本章的三个区分去检查:它讨论的是问题设定、工具还是实验结果;它读出的是事实、角色的信念,还是与标签相关的其他特征;它的证据是相关的,还是经过了干预检验。
第 18.7 节引用的文献 2
- Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
- Anthropic(2024)Mapping the mind of a large language model
读物 #
- 入门讲解 · 博客:Anthropic《Mapping the Mind of a Large Language Model》(2024)(Anthropic,2024)。用图文介绍怎样在一个大模型内部找出可以解读的特征,以及改动这些特征会怎样改变行为。
- 综述 · 期刊论文:Belinkov《Probing Classifiers: Promises, Shortcomings, and Advances》(2021;Computational Linguistics 2022)(Belinkov,2021)。探针方法的系统回顾,重点看关于对照、基线和“相关不等于因果”的部分。
- 原始提案 · 报告:Christiano、Cotra、Xu《Eliciting Latent Knowledge: How to Tell if Your Eyes Deceive You》(Alignment Research Center,2021)(Christiano 等,2021)。读开头的问题描述,即 SmartVault 场景和两种报告器。
- 实验结果 · 会议论文:Burns 等《Discovering Latent Knowledge in Language Models Without Supervision》(2022;ICLR 2023)(Burns 等,2022)。不用标签寻找真值方向的方法。
- 反例与批评 · 预印本:Farquhar 等《Challenges with unsupervised LLM knowledge discovery》(2023)(Farquhar 等,2023)。与上一篇一起读;它展示了上一篇的方法可能找到的是显著特征,而不是知识。
- 实验结果 · 会议论文:Goldowsky-Dill 等《Detecting Strategic Deception with Linear Probes》(ICML 2025)(Goldowsky-Dill 等,2025)。对应第 18.6 节。注意探针有时对涉及欺骗的话题起反应,而不是对欺骗本身。
- 实验结果 · 会议论文(仅研究):Marks 与 Tegmark《The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets》(2023;COLM 2024)(Marks 与 Tegmark,2023)。在简单真假陈述上寻找线性方向,并用干预检验;本章探针练习的数据来自这篇论文。
本节引用的文献 7
- Anthropic(2024)Mapping the mind of a large language model
- Belinkov(2021)Probing Classifiers: Promises, Shortcomings, and Advances
- Christiano 等人(2021)Eliciting latent knowledge: How to tell if your eyes deceive you
- Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
- Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
- Goldowsky-Dill 等人(2025)Detecting Strategic Deception with Linear Probes
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
练习 #
下面是为教学构造的数据。一组 1200 条真假陈述由 10 个模板生成,每个模板 120 条,真假各半。在同一个模型的同一层激活上,用逻辑回归训练同一种探针,得到三个结果:
| 编号 | 划分方式 | 训练标签 | 留出测试集 | 答对 | 准确率 |
|---|---|---|---|---|---|
| R1 | 随机划分 | 真实标签 | 400 条(真 200,假 200) | 388 | 97.0% |
| R2 | 按模板划分,3 个模板留作测试 | 真实标签 | 360 条(真 180,假 180) | 292 | 81.1% |
| R3 | 与 R2 相同的划分 | 随机打乱后的训练标签 | 与 R2 完全相同的 360 条及其真实标签 | 187 | 51.9% |
- 用第 3.3 节的方法,给三个准确率各算一个 95% 置信区间。
- R1 与 R2 的差别支持哪些解释?还不能排除哪些解释?比较两者时,为什么不能用配对方法?
- R2 与 R3 的差别支持哪些解释?还不能排除哪些解释?
- R1 与 R3 能直接比较吗?为什么?
- 为什么即使 R2 的准确率很高,也不能证明探针读出的是“真假”这个概念,而不是与标签相关的其他特征?要进一步检验,你会构造什么样的测试数据?
提示
R1 和 R2 的测试集不是同一批陈述;R2 和 R3 的测试集是同一批。测试集真假各半,所以“什么都没学到”时的准确率大约是 50%。
解答
- R1:,区间约为 95.3% 到 98.7%。R2:标准误约 2.06%,区间约为 77.1% 到 85.2%。R3:标准误约 2.63%,区间约为 46.8% 到 57.1%。这里按独立样本计算;同一模板的陈述成簇出现,并不完全独立,真实的区间会更宽(第 3.5 节)。
- R1 与 R2 相差 15.9 个百分点。两者的测试集是不同的陈述,没有逐题对应,所以只能用不配对的方法:按独立样本算,差值的 95% 置信区间约为 11.5 到 20.3 个百分点;但 R2 的测试集只来自 3 个模板,真实的区间会更宽,差别有多少来自所选的模板,见下面“不能排除的解释”。支持的解释:随机划分时,同一模板(以及同一实体)的陈述同时出现在训练集和测试集,R1 测的只是探针在见过的模板上的表现,其中可能包含只在这些模板里成立的规律,因而高估了探针对新一类陈述的效果。不能排除的解释:留作测试的 3 个模板本身更难,或者话题不同,下降可能来自难度而不是泄漏;只划分了一次,换成另外 3 个模板留作测试,R2 可能明显不同,应该轮流留出不同的模板多做几次。
- R2 与 R3 用的是同一个测试集,只有训练标签不同。R2 的区间(77.1% 到 85.2%)远高于 50%,R3 的区间(46.8% 到 57.1%)包含 50%。支持的解释:R2 的高准确率需要训练标签与激活之间的真实联系,不是评分用错数组、标签绕过打乱这类流程错误造成的;而且这种联系至少能推广到留出的这 3 个模板。不能排除的解释:这个联系对应的可能不是真假,而是在所有模板中都与真假相关的别的特征。打乱标签的对照只能说明“有联系”,不能说明“联系的是什么”;它也查不出测试数据混进训练、同一实体跨在两边这类泄漏,因为打乱时这些数据的标签也一起被打乱了,这一点要靠检查划分本身。
- 不能直接比较。R1 与 R3 相差 45.1 个百分点,但两者之间划分方式和训练标签同时变了,这个差别分不清来自哪一项。有意义的比较每次只改一处:R1 与 R2 只改了划分,R2 与 R3 只改了训练标签。
- 准确率只说明探针找到了一个能把这批陈述按标签分开的方向。在这批数据里,真假可能与许多别的特征同时相关:真陈述可能是更常见的文本,假陈述里的国家可能是随机替换的、与城市很少一起出现;如果文本中有角色表达观点,探针还可能读到角色的看法。所有这些特征都会让 R2 很高。要进一步检验,可以构造让这些特征与真假不再一致的数据:加入否定句(“某城市不在某国家”),看探针是否随真假翻转,还是只随句子形式变化;加入常见但错误、罕见但正确的陈述;加入角色观点与事实相反的文本;最后用干预检验这个方向是否影响模型的输出(第 18.3 节)。即使通过了这些检验,“探针读出了模型表示的真假”与“模型相信这件事”仍是两种说法,后者是心理化的描述,本书不这样下结论(第 10.4 节)。
-
下面每一句话,说的是问题设定、工具,还是实验结果?
- (a)怎样训练一个报告器,让它报告预测模型内部表示的、而人从摄像头上看不出的事实。
- (b)在第 16 层激活上训练逻辑回归,区分真陈述和假陈述。
- (c)在较大的 LLaMA-2 模型(13B、70B)中,简单真假陈述的激活沿某个方向分开,沿这个方向干预会改变模型把陈述当作真还是假。
- (d)对每个是非问题构造“是”和“否”两条陈述,寻找使两者为真概率互相一致的方向。
-
一个探针用影评的“正面/负面”标签训练,在测试集上准确率很高。下面三种情况下,它读出的分别是什么(模型表示的事实、所模拟角色的信念、与标签相关的其他特征)?各设计一个能把它与“评论本身的正负”区分开的检验。
- (a)每条评论后面随机加了一句“Alice 认为这是正面的”或“Alice 认为这是负面的”,探针的判断总是跟着这句话走。
- (b)训练集中的正面评论恰好普遍比负面评论长,探针主要依据长度。
- (c)测试集按电影划分,与训练集没有重叠,探针在评论内容与 Alice 的说法相反的评论上仍然判断正确。
解答
- (a)是问题设定(潜在知识引出)。(b)是工具(线性探针)。(c)是实验结果(Marks 与 Tegmark,2023)。(d)是工具,即无监督方法 CCS 的做法(Burns 等,2022);它在某些数据集上的准确率才是实验结果。
- (a)读出的是所模拟角色的信念(文本中 Alice 的看法),对应 Farquhar 等的实验(Farquhar 等,2023)。检验:构造 Alice 的看法与评论本身相反的测试样本,看探针跟谁走。(b)读出的是与标签相关的其他特征(长度)。检验:构造长的负面评论和短的正面评论,或者在测试集里让长度与正负无关。(c)最接近读出了模型表示的事实(评论本身的正负):划分没有重叠,角色看法与评论相反时仍然正确。但它仍可能依赖别的、尚未检验的相关特征,而且读得出不等于模型在使用。
目标:在真假陈述的激活上训练逻辑回归探针,按来源、模板或实体划分训练集和留出测试集,只在留出测试集上报告准确率,再用打乱训练标签的对照检查流程。用到的工具见第 4.7 节。
实验路线:使用授课者预先提取的激活文件 activations.npz,其中有三个数组:X(每行一条陈述的激活)、y(真为 1,假为 0)、group(每条陈述所属的模板或实体)。不需要 GPU。
# 真假探针:按组划分,只在留出测试集上评分,并用打乱标签的训练作对照。
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GroupShuffleSplit
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
data = np.load("activations.npz", allow_pickle=True)
X, y, group = data["X"], data["y"], data["group"]
print("陈述数", X.shape[0], "激活维度", X.shape[1], "组数", len(set(group)))
# 1. 按组划分:同一模板(或同一实体)的陈述只出现在一边。
splitter = GroupShuffleSplit(n_splits=1, test_size=0.3, random_state=0)
train_idx, test_idx = next(splitter.split(X, y, groups=group))
assert set(group[train_idx]).isdisjoint(set(group[test_idx]))
def new_probe():
# 标准化只用训练集的均值和方差,测试集套用同样的变换。
return make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))
# 2. 探针:用训练集的真实标签训练,只在留出测试集上评分。
probe = new_probe().fit(X[train_idx], y[train_idx])
acc = (probe.predict(X[test_idx]) == y[test_idx]).mean()
# 3. 对照:同一划分,只把训练标签随机打乱;测试集和它的真实标签不变。
rng = np.random.default_rng(0)
control = new_probe().fit(X[train_idx], rng.permutation(y[train_idx]))
acc_control = (control.predict(X[test_idx]) == y[test_idx]).mean()
# 4. 参照:测试集里多数类的比例。什么都没学到的探针,准确率不应明显高于它。
# 同一组(模板或实体)里的陈述不独立,下面按独立样本算的区间偏窄(见“样本不独立的情况”一节)。
p_true = y[test_idx].mean()
majority = max(p_true, 1 - p_true)
n_test = len(test_idx)
for name, a in [("按组划分", acc), ("打乱训练标签", acc_control)]:
se = np.sqrt(a * (1 - a) / n_test)
print(f"{name}:{a:.1%}(95% 置信区间 ±{1.96 * se:.1%},测试集 {n_test} 条)")
print(f"多数类比例:{majority:.1%}")
研究路线:自己提取激活。从 The Geometry of Truth 的公开仓库(github.com/saprmarks/geometry-of-truth)的 datasets 目录下载 cities.csv(Marks 与 Tegmark,2023),它的列是 statement、label、city、country、correct_country,每个城市有一真一假两条陈述。用一个小型开源模型提取每条陈述在某一层、最后一个 token 上的激活,按城市分组保存,再运行上面的探针代码。需要安装 torch 和 transformers,第一次运行会下载模型权重(下面代码用的 pythia-410m 约 0.9 GB,共 24 层)。
# 研究路线:用一个小型开源模型提取 cities.csv 中每条陈述的激活。
import csv
import numpy as np
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL = "EleutherAI/pythia-410m" # 任何小型开源模型都可以;第一次运行会下载权重
LAYER = 12 # 取哪一层的输出;先只在训练集上比较几层再固定
with open("cities.csv", newline="", encoding="utf-8") as f:
rows = list(csv.DictReader(f)) # 列:statement, label, city, country, correct_country
tok = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForCausalLM.from_pretrained(MODEL)
model.eval()
print("模型层数", model.config.num_hidden_layers)
feats = []
with torch.no_grad():
for r in rows:
inputs = tok(r["statement"], return_tensors="pt")
out = model(**inputs, output_hidden_states=True)
# hidden_states[0] 是词嵌入层的输出,hidden_states[k] 是第 k 层的输出
h = out.hidden_states[LAYER][0, -1] # 这一层在最后一个 token 上的激活
feats.append(h.float().numpy())
X = np.stack(feats)
y = np.array([int(r["label"]) for r in rows])
group = np.array([r["city"] for r in rows], dtype=object) # 同一城市的真、假陈述归为一组
np.savez("activations.npz", X=X, y=y, group=group)
print("激活矩阵的形状", X.shape)
完成以下各项:
- 报告按组划分的留出准确率、打乱标签对照的准确率和多数类比例,各附置信区间。
- 把划分换成随机划分(例如
train_test_split),再训练一次,与按组划分的结果比较,说明差别可能来自哪里(对照习题 18.1)。 - 研究路线另做一项:换一个模板做测试,例如在
cities.csv上训练、在同一仓库的sp_en_trans.csv(西班牙语单词的英文意思)上测试,或者在neg_cities.csv(含“not”的否定句)上测试,说明结果支持或反对“探针读出的是真假”。注意sp_en_trans.csv只有statement和label两列,提取时要把group那一行改掉,例如整个文件记为同一组;这时整个文件都是测试集,不需要再划分。 - 写下这个实验不能说明什么。
解答
本题没有标准数字答案,评分要点如下:
- 划分在训练前固定,并用断言或打印确认训练集和测试集没有共同的组;只在留出测试集上报告准确率。
- 选择层数、正则化强度等设置时没有看测试集;如果比较了几层,比较是在训练集内部再划分出的验证部分上做的(第 4.4 节)。
- 打乱标签的对照沿用同一划分,测试集和它的真实标签不变;对照的准确率不明显高于多数类比例,否则要查明原因。
- 报告置信区间时说明:同一城市的两条陈述、同一模板的陈述不独立,按独立样本算的区间偏窄,更稳妥的做法见第 3.5 节。
- 随机划分与按组划分的比较中,指出随机划分时同一城市的真假两条陈述可能分在两边。
- 第 3 项的讨论区分了“推广到新模板”和“读出真假”两件事:在否定句上,如果探针的判断随句子形式而不随真假翻转,说明它读到的更可能是与标签相关的其他特征。
- 结论说明:结果来自一个模型、一层、一个数据集,属于教学重现;准确率高不说明模型使用了这个方向,也不说明“测谎”可行;小模型上结果接近随机,也是可以报告的结果。
本节引用的文献 3
- Marks 与 Tegmark(2023)The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
- Burns 等人(2022)Discovering Latent Knowledge in Language Models Without Supervision
- Farquhar 等人(2023)Challenges with unsupervised LLM knowledge discovery
学完能做到 #
- 说清激活、表示、探针各是什么,以及训练探针的数据从哪里来。
- 解释为什么“探针准确率高”不等于“模型相信这件事”:准确率可能来自所模拟角色的信念或与标签相关的其他特征,读得出也不等于模型在使用。
- 设计一个探针实验:按来源、模板或实体划分,只在留出测试集上报告准确率,并用打乱训练标签的对照检查流程。
- 区分问题设定(潜在知识引出)、工具(线性探针)和实验结果(某个模型中存在某个真值方向)。
- 说出现有“测谎”实验在哪些设置下有效,哪些区分还没有做到。
参考文献
- (2024). Mapping the mind of a large language model. Anthropic. 非同行评审引用于 §18.7
- (2021). Probing Classifiers: Promises, Shortcomings, and Advances. Computational Linguistics, 2022. 引用于 §18.2 §18.3 §18.7
- (2022). Discovering Latent Knowledge in Language Models Without Supervision. International Conference on Learning Representations, 2023. 引用于 §18.5
- (2021). Eliciting latent knowledge: How to tell if your eyes deceive you. Alignment Research Center. 非同行评审引用于 §18.4
- (2023). Challenges with unsupervised LLM knowledge discovery. arXiv. 预印本引用于 §18.5
- (2025). Detecting Strategic Deception with Linear Probes. International Conference on Machine Learning. 引用于 §18.6
- (2023). The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets. Conference on Language Modeling, 2024. 引用于 §18.1 §18.2 §18.3 §18.4 §18.5 §18.6