Scalable Oversight 入门
第三部分:主要方法

草稿 内容完整但尚未审校,可能还会修改

第三部分主要方法

本部分导读

本部分问题
  • 有哪些办法能让较弱的监督者可靠地判断较强系统的输出,每种办法测过什么、依赖什么、不能推出什么?
要点
  • 把任务拆成人能判断的小块:任务分解、迭代放大与递归奖励建模(第 14 章)。
  • 让两个模型持相反立场论证,由较弱的裁判判断(第 15 章);让模型写出批评,由人核实(第 16 章)。
  • 用弱监督训练强模型,或从模型内部表示中寻找补充证据(第 17 章、第 18 章)。
  • 检查推理过程、交给机器检查或外部证据、按原则给出 AI 反馈(第 19 章、第 20 章、第 21 章)。
  • 比较与组合:组合是否值得,要看新增成本下总体表现是否改善,并用消融实验检验(第 22 章)。

这一部分逐一讲解主要的监督方法。每章先用“证据与前提”一项说明方法想处理什么、实验测过什么、依赖哪些前提(第 10 章)、不能推出什么,再讲方法本身。读实验论文时,用表 11.1 的四个核心问题检查它。

最后一章把这些方法放在一张表里比较,并用第 1 章的记账程序(已加入转账功能)练习设计一个组合方案。

本部分各章

  1. 14 拆分任务:分解、迭代放大与递归奖励建模

    人判断不了整体时,能不能一块一块地判断?

  2. 15 辩论

    让两个模型互相挑错,较弱的裁判能否判断谁对?

  3. 16 让模型帮人挑错

    模型写的批评能否帮人发现自己发现不了的错误?

  4. 17 弱监督与强模型:三种不同的设定

    监督质量有限时,强模型能否学到比监督者更好的东西?

  5. 18 模型内部表示

    除了看模型说了什么,还能从它的内部计算中得到什么证据?

  6. 19 检查过程

    检查推理步骤,是否比只检查最终答案更可靠?

  7. 20 机器检查与外部证据

    哪些任务可以不靠人的判断,而靠可执行的检查或外部证据?

  8. 21 按原则给出的 AI 反馈

    能否给模型一组原则,让它代替人来评估?

  9. 22 方法比较

    面对一个具体任务,怎样选择和组合监督方法?

第三部分参考文献

本部分各章共引用 44 篇文献。

  1. Anthropic (2024). Mapping the mind of a large language model. Anthropic. 非同行评审 第 18 章
  2. Arnesen, S., Rein, D., and Michael, J. (2024). Training Language Models to Win Debates with Self-Play Improves Judge Accuracy. arXiv. 预印本 第 15 章
  3. Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., … Kaplan, J. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本 第 21 章 第 22 章
  4. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本 第 19 章 第 20 章 第 22 章
  5. Barnes, B. (2020). Debate update: Obfuscated arguments problem. AI Alignment Forum. 非同行评审 第 14 章 第 15 章
  6. Belinkov, Y. (2021). Probing Classifiers: Promises, Shortcomings, and Advances. Computational Linguistics, 2022. 第 18 章
  7. Brown-Cohen, J., Irving, G., and Piliouras, G. (2023). Scalable AI Safety via Doubly-Efficient Debate. International Conference on Machine Learning, 2024. 第 15 章
  8. Brown-Cohen, J., Irving, G., and Piliouras, G. (2025). Avoiding Obfuscation with Prover-Estimator Debate. arXiv. 预印本 第 15 章
  9. Buhl, M. D., Pfau, J., Hilton, B., and Irving, G. (2025). An alignment safety case sketch based on debate. arXiv. 预印本 第 15 章
  10. Burns, C., Ye, H., Klein, D., and Steinhardt, J. (2022). Discovering Latent Knowledge in Language Models Without Supervision. International Conference on Learning Representations, 2023. 第 18 章 第 22 章
  11. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 17 章 第 22 章
  12. Chen, Y., Benton, J., Radhakrishnan, A., Uesato, J., Denison, C., Schulman, J., … Perez, E. (2025). Reasoning Models Don't Always Say What They Think. arXiv. 预印本 第 19 章
  13. Christiano, P., Shlegeris, B., and Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv. 预印本 第 14 章
  14. Christiano, P., Cotra, A., and Xu, M. (2021). Eliciting latent knowledge: How to tell if your eyes deceive you. Alignment Research Center. 非同行评审 第 18 章
  15. Cotra, A. (2018). Iterated Distillation and Amplification. AI Alignment Forum. 非同行评审 第 14 章
  16. DeepSeek-AI, Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., … Zhang, Z. (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 第 19 章 第 20 章 第 22 章
  17. Farquhar, S., Varma, V., Kenton, Z., Gasteiger, J., Mikulik, V., and Shah, R. (2023). Challenges with unsupervised LLM knowledge discovery. arXiv. 预印本 第 18 章
  18. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 第 17 章
  19. Goldowsky-Dill, N., Chughtai, B., Heimersheim, S., and Hobbhahn, M. (2025). Detecting Strategic Deception with Linear Probes. International Conference on Machine Learning. 第 18 章
  20. Irving, G. (2025). Dodging systematic human errors in scalable oversight. AI Alignment Forum. 非同行评审 第 15 章
  21. Irving, G., Christiano, P., and Amodei, D. (2018). AI safety via debate. arXiv. 预印本 第 15 章
  22. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 第 15 章 第 22 章
  23. Khan, A., Hughes, J., Valentine, D., Ruis, L., Sachan, K., Radhakrishnan, A., … Perez, E. (2024). Debating with More Persuasive LLMs Leads to More Truthful Answers. International Conference on Machine Learning. 第 15 章 第 22 章
  24. Kirchner, J. H., Chen, Y., Edwards, H., Leike, J., McAleese, N., and Burda, Y. (2024). Prover-Verifier Games improve legibility of LLM outputs. arXiv. 预印本 第 19 章
  25. Korbak, T., Balesni, M., Barnes, E., Bengio, Y., Benton, J., Bloom, J., … Mikulik, V. (2025). Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety. arXiv. 预印本 第 19 章
  26. (2026a). Axioms. Lean Language Reference. 非同行评审 第 20 章
  27. (2026b). Validating a Lean Proof. Lean Language Reference. 非同行评审 第 20 章
  28. Lee, H., Phatale, S., Mansoor, H., Mesnard, T., Ferret, J., Lu, K., … Prakash, S. (2023). RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. International Conference on Machine Learning, 2024. 第 21 章 第 22 章
  29. Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本 第 14 章 第 15 章
  30. Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., Baker, B., Lee, T., … Cobbe, K. (2023). Let's Verify Step by Step. International Conference on Learning Representations, 2024. 第 19 章 第 22 章
  31. Liu, N. F., Zhang, T., and Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. Findings of the Association for Computational Linguistics: EMNLP 2023. doi:10.18653/v1/2023.findings-emnlp.467. 第 20 章 第 22 章
  32. Marks, S., and Tegmark, M. (2023). The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets. Conference on Language Modeling, 2024. 第 18 章 第 22 章
  33. McAleese, N., Pokorny, R. M., Uribe, J. F. C., Nitishinskaya, E., Trebacz, M., and Leike, J. (2024). LLM Critics Help Catch LLM Bugs. arXiv. 预印本 第 16 章 第 22 章
  34. Michael, J., Mahdi, S., Rein, D., Petty, J., Dirani, J., Padmakumar, V., and Bowman, S. R. (2023). Debate Helps Supervise Unreliable Experts. arXiv. 预印本 第 15 章 第 22 章
  35. OpenAI (2023). weak-to-strong. GitHub. 软件 第 17 章
  36. Pang, R. Y., Parrish, A., Joshi, N., Nangia, N., Phang, J., Chen, A., … Bowman, S. R. (2021). QuALITY: Question Answering with Long Input Texts, Yes! Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 第 15 章
  37. Polak, B. (2007). Game Theory. Open Yale Courses. 非同行评审 第 15 章
  38. Recchia, G., Mangat, C. S., Li, I., and Krishnakumar, G. (2025b). FindTheFlaws: Annotated Errors for Detecting Flawed Reasoning and Scalable Oversight Research. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41123. 第 16 章
  39. Saunders, W., Yeh, C., Wu, J., Bills, S., Ouyang, L., Ward, J., and Leike, J. (2022). Self-critiquing models for assisting human evaluators. arXiv. 预印本 第 16 章 第 22 章
  40. Sipser, M. (2013). Introduction to the Theory of Computation. Cengage. 第 15 章
  41. Sun, Z., Yu, L., Shen, Y., Liu, W., Yang, Y., Welleck, S., and Gan, C. (2024). Easy-to-Hard Generalization: Scalable Alignment Beyond Human Supervision. Advances in Neural Information Processing Systems. 第 17 章 第 22 章
  42. Turpin, M., Michael, J., Perez, E., and Bowman, S. R. (2023). Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. Advances in Neural Information Processing Systems. 第 19 章
  43. Wen, J., Ankner, Z., Somani, A., Hase, P., Marks, S., Goldman-Wetzler, J., … Leike, J. (2025). Unsupervised Elicitation of Language Models. arXiv. 预印本 第 17 章 第 22 章
  44. Wu, J., Ouyang, L., Ziegler, D. M., Stiennon, N., Lowe, R., Leike, J., and Christiano, P. (2021). Recursively Summarizing Books with Human Feedback. arXiv. 预印本 第 14 章 第 22 章