Scalable Oversight 入门
第一部分:问题是什么

草稿 内容完整但尚未审校,可能还会修改

第一部分问题是什么

本部分导读

本部分问题
  • 这个领域要解决什么问题,困难从哪里来,讨论任何方法之前要先说清哪些条件?
要点
  • scalable oversight 的定义、扩展的五个维度、能力差距的来源和三种“没有标准答案”(第 7 章)。
  • 训练目标与真实意图之间的缝隙会以规格博弈、目标误泛化、能力不足、谄媚等方式表现出来(第 8 章)。
  • 模型比评估者强时,评估者可能奖励“看起来对”的答案,训练就可能让模型学会写看起来对的答案(第 9 章)。
  • 威胁模型的七个维度和任务前提,是后面每种方法“证据与前提”一项的依据(第 10 章)。

这一部分给出定义,分清问题的不同类型,并在讲具体方法之前,先引入威胁模型与任务前提。第 7 章说明这个领域研究什么;第 8 章和第 9 章分别从被监督的模型和监督者两边,说明监督为什么会出问题;第 10 章给出一套检查问题,之后每读一种方法都要用它来问:这个方法在什么条件下测过,在什么条件下还没有。

本部分各章

  1. 7 定义:scalable oversight 研究什么

    这个领域到底要解决什么问题?

  2. 8 模型为什么会钻空子

    训练目标和真实意图之间的缝隙,会以哪些方式表现出来?

  3. 9 监督为什么会失效

    模型比评估者强时,用人类反馈训练模型的流程在哪里出问题?

  4. 10 威胁模型与任务前提

    设计一个监督方法之前,要先说清哪些条件:模型可能怎样对待监督,任务本身又提供了哪些可用的信息?

第一部分参考文献

本部分各章共引用 17 篇文献。

  1. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Concrete Problems in AI Safety. arXiv. 预印本 第 7 章 第 8 章
  2. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本 第 8 章
  3. Bowman, S. R., Hyun, J., Perez, E., Chen, E., Pettit, C., Heiner, S., … Kaplan, J. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本 第 7 章
  4. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 7 章
  5. Christiano, P., Shlegeris, B., and Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv. 预印本 第 7 章
  6. Greenblatt, R., and Shlegeris, B. (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审 第 7 章 第 10 章
  7. Hendrycks, D. (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 第 8 章 第 9 章
  8. Irving, G., Christiano, P., and Amodei, D. (2018). AI safety via debate. arXiv. 预印本 第 7 章
  9. Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., … Legg, S. (2020). Specification gaming: the flip side of AI ingenuity. Google DeepMind blog. 非同行评审 第 8 章
  10. Kutasov, J., Loughridge, C., Sun, Y., Sleight, H., Shlegeris, B., Tracy, T., and Benton, J. (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本 第 10 章
  11. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本 第 7 章
  12. Manheim, D., and Garrabrant, S. (2018). Categorizing Variants of Goodhart's Law. arXiv. 预印本 第 8 章
  13. Marks, S., Treutlein, J., Bricken, T., Lindsey, J., Marcus, J., Mishra-Sharma, S., … Hubinger, E. (2025). Auditing language models for hidden objectives. arXiv. 预印本 第 10 章
  14. Shah, R., Varma, V., Kumar, R., Phuong, M., Krakovna, V., Uesato, J., and Kenton, Z. (2022). Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals. arXiv. 预印本 第 8 章 第 10 章
  15. Shah, R., Farquhar, S., and Dragan, A. (2024). AGI Safety and Alignment at Google DeepMind: A Summary of Recent Work. GDM Alignment Research Blog. 非同行评审 第 7 章
  16. Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., … Perez, E. (2023). Towards Understanding Sycophancy in Language Models. International Conference on Learning Representations, 2024. 第 8 章
  17. Wen, J., Zhong, R., Khan, A., Perez, E., Steinhardt, J., Huang, M., … Feng, S. (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 第 7 章 第 9 章 第 10 章