草稿 内容完整但尚未审校,可能还会修改
第一部分问题是什么
本部分导读
这一部分给出定义,分清问题的不同类型,并在讲具体方法之前,先引入威胁模型与任务前提。第 7 章说明这个领域研究什么;第 8 章和第 9 章分别从被监督的模型和监督者两边,说明监督为什么会出问题;第 10 章给出一套检查问题,之后每读一种方法都要用它来问:这个方法在什么条件下测过,在什么条件下还没有。
本部分各章
- 7 定义:scalable oversight 研究什么
这个领域到底要解决什么问题?
- 8 模型为什么会钻空子
训练目标和真实意图之间的缝隙,会以哪些方式表现出来?
- 9 监督为什么会失效
模型比评估者强时,用人类反馈训练模型的流程在哪里出问题?
- 10 威胁模型与任务前提
设计一个监督方法之前,要先说清哪些条件:模型可能怎样对待监督,任务本身又提供了哪些可用的信息?
第一部分参考文献
本部分各章共引用 17 篇文献。
- (2016). Concrete Problems in AI Safety. arXiv. 预印本 第 7 章 第 8 章
- (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本 第 8 章
- (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本 第 7 章
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 7 章
- (2018). Supervising strong learners by amplifying weak experts. arXiv. 预印本 第 7 章
- (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审 第 7 章 第 10 章
- (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 第 8 章 第 9 章
- (2018). AI safety via debate. arXiv. 预印本 第 7 章
- (2020). Specification gaming: the flip side of AI ingenuity. Google DeepMind blog. 非同行评审 第 8 章
- (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本 第 10 章
- (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本 第 7 章
- (2018). Categorizing Variants of Goodhart's Law. arXiv. 预印本 第 8 章
- (2025). Auditing language models for hidden objectives. arXiv. 预印本 第 10 章
- (2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. arXiv. 预印本 第 8 章 第 10 章
- (2024). AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work. GDM Alignment Research Blog. 非同行评审 第 7 章
- (2023). Towards Understanding Sycophancy in Language Models. International Conference on Learning Representations, 2024. 第 8 章
- (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 第 7 章 第 9 章 第 10 章