Scalable Oversight 入门
第二部分:怎样判断一个监督方法有效

草稿 内容完整但尚未审校,可能还会修改

第二部分怎样判断一个监督方法有效

本部分导读

本部分问题
  • 在超越人类的模型还不普遍时,怎样做实验检验一个监督方法,又怎样判断别人的实验?
要点
  • 三明治评估、用弱模型模拟人、基线与预算、指标,以及监督预算怎样分配(第 11 章)。
  • 用一个模型给另一个模型打分时的位置偏差、长度偏差和偏爱相似输出(第 12 章)。
  • 人作为最终监督者的锚定、确认偏误、自动化偏差和信心校准问题(第 13 章)。

这一部分是全书的方法论主干,放在具体方法之前。第 11 章给出检验监督方法的实验范式和四个核心问题;第 12 章讨论用语言模型当裁判时的偏差;第 13 章讨论人的判断会以哪些方式出错。

读第三部分的每篇实验论文时,都用这一部分的问题去检查它。附录 A 把这些问题整理成一份完整的检查清单。

本部分各章

  1. 11 实验设计与监督预算

    在超越人类的模型还不普遍时,怎样做实验来检验一个监督方法?

  2. 12 语言模型当裁判

    用一个模型给另一个模型打分,什么时候可信?

  3. 13 人的判断

    人作为最终监督者,会以哪些方式出错?

第二部分参考文献

本部分各章共引用 16 篇文献。

  1. Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., and Mané, D. (2016). Concrete Problems in AI Safety. arXiv. 预印本 第 11 章
  2. Bainbridge, L. (1983). Ironies of automation. Automatica. 第 13 章
  3. Bean, A. M., Kearns, R. O., Romanou, A., Hafner, F. S., Mayne, H., Batzner, J., … Mahdi, A. (2025). Measuring what Matters: Construct Validity in Large Language Model Benchmarks. Advances in Neural Information Processing Systems 38. 第 11 章
  4. Bowman, S. R., Hyun, J., Perez, E., Chen, E., Pettit, C., Heiner, S., … Kaplan, J. (2022). Measuring Progress on Scalable Oversight for Large Language Models. arXiv. 预印本 第 11 章 第 13 章
  5. Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., … Wu, J. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 11 章
  6. Cotra, A. (2021). The case for aligning narrowly superhuman models. AI Alignment Forum. 非同行评审 第 11 章
  7. Gema, A. P., Leang, J. O. J., Hong, G., Devoto, A., Mancino, A. C. M., Saxena, R., … Minervini, P. (2024). Are We Done with MMLU? Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers). doi:10.18653/v1/2025.naacl-long.262. 第 11 章
  8. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 第 11 章 第 12 章
  9. Kenton, Z., Siegel, N., Kramár, J., Brown-Cohen, J., Albanie, S., Bulian, J., … Shah, R. (2024). On scalable oversight with weak LLMs judging strong LLMs. Advances in Neural Information Processing Systems. 第 11 章
  10. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., … Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 第 13 章
  11. Parasuraman, R., and Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors: The Journal of the Human Factors and Ergonomics Society. 第 13 章
  12. Passi, S., and Vorvoreanu, M. (2022). Overreliance on AI: Literature Review. Microsoft. 非同行评审 第 13 章
  13. Recchia, G., Mangat, C. S., Nyachhyon, J., Sharma, M., Canavan, C., Epstein-Gross, D., and Abdulbari, M. (2025a). Confirmation Bias: A Challenge for Scalable Oversight. Proceedings of the AAAI Conference on Artificial Intelligence, 2026. doi:10.1609/aaai.v40i44.41124. 第 11 章 第 13 章
  14. Rein, D., Hou, B. L., Stickland, A. C., Petty, J., Pang, R. Y., Dirani, J., Michael, J., and Bowman, S. R. (2023). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. Conference on Language Modeling, 2024. 第 11 章
  15. Wolfe, J. M., Horowitz, T. S., and Kenner, N. M. (2005). Rare items often missed in visual searches. Nature. 第 13 章
  16. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., … Stoica, I. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. doi:10.52202/075280-2020. 第 12 章 第 13 章