草稿 内容完整但尚未审校,可能还会修改
附录 D版本与引用规则
AI 领域的许多论文先以预印本发布,之后还会修订,有的再在会议或期刊上发表。同一个标题下,不同版本的结论可能不同。本附录说明本书怎样记录年份和版本,并列出结论依赖具体版本的文献。
D.1 规则 #
- 年份按首次公开计算,会议或期刊版本另行注明。例如 FindTheFlaws 于 2025 年 3 月以预印本发布,2026 年发表于 AAAI,读物列表写成“2025;AAAI 2026”(Recchia 等,2025b)。同一年发表的,直接写会议名和年份。
- 讲解和实验结论引用具体的 arXiv 版本号,因为一些论文发表后有修订,同一标题下的结论可能不同。
- 引用前自行确认。本书的文献信息核对于 2026 年 11 月。之后发布的新版本,可能改变作者、数字甚至结论。
第 D.1 节引用的文献 1
- Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research
D.2 本书引用的具体版本 #
- 《Unsupervised Elicitation of Language Models》(arXiv 2506.10139)用 v2,2026 年 1 月 26 日修订;v1 为 2025 年 6 月 11 日(Wen 等,2025)。见第 17 章。
- 《Avoiding Obfuscation with Prover-Estimator Debate》(arXiv 2506.13609)的描述依据 v1(2025 年 6 月 16 日,3 位作者);2026 年 7 月 21 日发布的 v2 增加了 3 位作者,摘要仍写明结论依赖稳定性假设(Brown-Cohen 等,2025)。见第 15.11 节。
- 《AuditBench》(arXiv 2602.22755)的描述依据 v3(2026 年 3 月 9 日);2026 年 10 月 1 日已发布 v4,v4 摘要中的模型数(56)和行为数(14)未变(Sheshadri 等,2026)。见第 27.5 节。
- 两项自动化对齐研究按发布日期区分:Anthropic《Automated Alignment Researchers》,2026 年 4 月 14 日(Anthropic,2026),其技术全文为 Wen 等《Automated Weak-to-Strong Researcher》(Wen 等,2026);Chen、Wen、Kirchner《Automated Researchers Can Mitigate Well-Characterized Alignment Failures》,2026 年 8 月(Chen 等,2026)。见第 29 章。
- OpenAI 的 weak-to-strong 官方仓库于 2026 年 5 月 29 日归档(OpenAI,2023)。README 说明代码未充分测试、设置与论文不完全相同,在模型规模差距大、使用多个随机种子时给出定性相近的结果。使用时固定依赖版本,以 README 中的预期结果为对照。见第 17 章。
- 《Training language models to follow instructions with human feedback》(arXiv 2203.02155):“大多数比较只由一位标注员标注”只见于 v1(2022 年 3 月 4 日)的第 5.3 节;第 6.5 节引用的标注说明,NeurIPS 2022 的会议论文放在补充材料的 B.2 节(Ouyang 等,2022)。见第 6.5 节。
- 《Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision》(arXiv 2312.09390):superalignment 这一称呼,以及第 3 节“局限”里对弱模型错误的一般概括,只见于 v1(2023 年 12 月 14 日);ICML 2024 的会议论文讲的是同一个挑战,局限放在第 6.1 节(Burns 等,2023)。见第 7.7 节、第 28.1 节。
- 《Confirmation Bias: A Challenge for Scalable Oversight》(arXiv 2507.19486)的叙述依据 v1,即 AAAI 2026 的会议论文所称的扩展版;会议论文篇幅短得多,第一项研究的许多细节只在 arXiv 版里(Recchia 等,2025a)。见第 13.5 节。
- 《FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research》(arXiv 2503.22989)的 v1(2025 年 3 月 29 日)测了五个模型;AAAI 2026 的会议论文加测了 o3、o4-mini 和 Claude Opus 4,Lojban 数据集上的比较因此不同,正文两种都写明(Recchia 等,2025b)。见第 16.6 节。
- 《Scaling Laws for Reward Model Overoptimization》(arXiv 2210.10760)的叙述依据 v1(2022 年 10 月 19 日);ICML 2023 的会议论文只展开了第 23 章讲的两种机制中的第一种(选中了误差),也没有把结果解读为较大的代理奖励模型对优化更稳健(Gao 等,2022)。见第 23.2 节。
- 《AI Control: Improving Safety Despite Intentional Subversion》(arXiv 2312.06942)的叙述依据 v5(2024 年 7 月 23 日);作者写明,ICML 2024 的会议论文是这项工作缩短、修改过的版本,正文用到的部分结果只在 arXiv 版里(Greenblatt 等,2023)。见第 26 章。
- 《Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?》(arXiv 2407.21792)的叙述依据 v3(2024 年 12 月 27 日);NeurIPS 2024 数据集与基准赛道的会议论文与它差别很大,没有讨论 scalable oversight,也没有给出 safetywashing 的定义(Ren 等,2024)。见第 30.3 节。
第 D.2 节引用的文献 14
- Wen 等人(2025)Unsupervised Elicitation of Language Models
- Brown-Cohen 等人(2025)Avoiding Obfuscation with Prover-Estimator Debate
- Sheshadri 等人(2026)AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors
- Anthropic(2026)Automated Alignment Researchers: Using large language models to scale scalable oversight
- Wen 等人(2026)Automated Weak-to-Strong Researcher
- Chen 等人(2026)Automated Researchers Can Mitigate Well-Characterized Alignment Failures
- OpenAI(2023)weak-to-strong
- Ouyang 等人(2022)Training language models to follow instructions with human feedback
- Burns 等人(2023)Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision
- Recchia 等人(2025a)Confirmation Bias: A Challenge for Scalable Oversight
- Recchia 等人(2025b)FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research
- Gao 等人(2022)Scaling Laws for Reward Model Overoptimization
- Greenblatt 等人(2023)AI Control: Improving Safety Despite Intentional Subversion
- Ren 等人(2024)Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?
D.3 资料来源 #
以下是核对本书中日期、版本和关键事实时查阅的页面,访问于 2026 年 11 月。其余读物只按书目信息列出,完整书目见参考文献。
- Concrete Problems in AI Safety
- AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work (2024)
- On scalable oversight with weak LLMs judging strong LLMs
- Avoiding Obfuscation with Prover-Estimator Debate(arXiv v1)
- UK AISI Alignment Team: Debate Sequence
- An alignment safety case sketch based on debate
- FindTheFlaws (AAAI 2026)
- Confirmation Bias: A Challenge for Scalable Oversight (AAAI 2026)
- A Benchmark for Scalable Oversight Protocols
- Great Models Think Alike and this Undermines AI Oversight (ICML 2025)
- Adding Error Bars to Evals
- Unsupervised Elicitation of Language Models(arXiv v2)
- openai/weak-to-strong
- Evaluating Control Protocols for Untrusted AI Agents
- Ctrl-Z: Controlling AI Agents via Resampling
- Auditing Language Models for Hidden Objectives
- Building and evaluating alignment auditing agents
- AuditBench(arXiv v3)
- Automated Alignment Researchers(2026 年 4 月)
- Automated Weak-to-Strong Researcher(技术全文,2026 年 4 月)
- Automated Researchers Can Mitigate Well-Characterized Alignment Failures(2026 年 8 月)
- Safetywashing(arXiv v3)
- Introduction to AI Safety, Ethics, and Society(开放获取)
- BlueDot Impact 课程列表、Technical AI Safety
- A Comprehensive Survey of Superalignment
- Evan Hubinger 的 Alignment Forum 文章列表(含 Model Organisms of Misalignment)
参考文献
- (2026). Automated Alignment Researchers: Using large language models to scale scalable oversight. Anthropic. 非同行评审引用于 §D.2
- (2025). Avoiding Obfuscation with Prover-Estimator Debate. arXiv. 预印本引用于 §D.2
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 引用于 §D.2
- (2026). Automated Researchers Can Mitigate Well-Characterized Alignment Failures. Anthropic Alignment Science Blog. 非同行评审引用于 §D.2
- (2022). Scaling Laws for Reward Model Overoptimization. International Conference on Machine Learning, 2023. 引用于 §D.2
- (2023). AI Control: Improving Safety Despite Intentional Subversion. International Conference on Machine Learning, 2024. 引用于 §D.2
- (2023). weak-to-strong. GitHub. 软件引用于 §D.2
- (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 引用于 §D.2
- (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 引用于 §D.2
- (2025b). FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41123. 引用于 §D.1 §D.2
- (2024). Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? arXiv, v3 (a substantially different version appeared in the NeurIPS 2024 Datasets and Benchmarks Track). 预印本引用于 §D.2
- (2026). AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors. arXiv. 预印本引用于 §D.2
- (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本引用于 §D.2
- (2026). Automated Weak-to-Strong Researcher. Anthropic Alignment Science Blog. 非同行评审引用于 §D.2