Scalable Oversight 入门
第四部分:当模型针对监督调整策略

草稿 内容完整但尚未审校,可能还会修改

第四部分当模型针对监督调整策略

本部分导读

本部分问题
  • 如果被监督的模型会利用监督的弱点,甚至在被检查时表现得与平时不同,前面的方法还剩下多少作用?
要点
  • 监督信号一旦成为优化目标,代理分数与真实质量就可能分离(第 23 章)。
  • 多个模型意见一致不等于独立验证,它们的错误可能相关(第 24 章)。
  • 后门、情境识别、隐藏能力、alignment faking 与欺骗性对齐:受控实验能证明什么、不能证明什么(第 25 章)。
  • 无法确认模型可信时,在部署中限制它可能造成的伤害(第 26 章);判断一个表面正常的模型是否藏着别的目标(第 27 章)。

前三部分已经涉及对抗性论证和误导评估者。这一部分系统讨论四件事:监督信号被优化之后的变化(第 23 章),多个模型的共同盲点(第 24 章),持续的隐藏目标(第 25 章、第 27 章),以及部署时的防御(第 26 章)。

这一部分的许多证据来自“模型有机体”:为研究而人为构造的对象。它们说明某种行为可以发生,不说明这种行为在普通部署的模型中有多常见。

本部分各章

  1. 23 监督信号变成优化目标之后

    今天能抓住错误的裁判,成为明天的训练目标后,是否仍然可靠?

  2. 24 多个模型的共同盲点

    多个模型意见一致,能否算作独立验证?

  3. 25 欺骗与伪装

    模型会不会在被监督时表现得与平时不同?

  4. 26 AI control 与长过程智能体

    如果无法确认模型可信,能否在部署时限制它可能造成的伤害?

  5. 27 对齐审计

    怎样判断一个表面正常的模型是否藏着别的目标?

第四部分参考文献

本部分各章共引用 26 篇文献。

  1. Anthropic (2026). Automated Alignment Researchers: Using large language models to scale scalable oversight. Anthropic. 非同行评审 第 23 章
  2. Arnesen, S., Rein, D., and Michael, J. (2024). Training Language Models to Win Debates with Self-Play Improves Judge Accuracy. arXiv. 预印本 第 23 章
  3. Baack, S. (2024). A Critical Analysis of the Largest Source for Generative AI Training Data: Common Crawl. The 2024 ACM Conference on Fairness, Accountability, and Transparency. 第 24 章
  4. Baker, B., Huizinga, J., Gao, L., Dou, Z., Guan, M. Y., Madry, A., … Farhi, D. (2025). Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation. arXiv. 预印本 第 23 章
  5. Bhatt, A., Rushing, C., Kaufman, A., Tracy, T., Georgiev, V., Matolcsi, D., Khan, A., and Shlegeris, B. (2025). Ctrl-Z: Controlling AI Agents via Resampling. arXiv. 预印本 第 26 章
  6. Bricken, T., Wang, R., Bowman, S., Ong, E., Treutlein, J., Wu, J., Hubinger, E., and Marks, S. (2025). Building and evaluating alignment auditing agents. Anthropic Alignment Science Blog. 非同行评审 第 27 章
  7. Chen, Y.-H., Wen, J., and Kirchner, J. H. (2026). Automated Researchers Can Mitigate Well-Characterized Alignment Failures. Anthropic Alignment Science Blog. 非同行评审 第 23 章
  8. Gao, L., Schulman, J., and Hilton, J. (2022). Scaling Laws for Reward Model Overoptimization. International Conference on Machine Learning, 2023. 第 23 章
  9. Goel, S., Strüber, J., Auzina, I. A., Chandra, K. K., Kumaraguru, P., Kiela, D., … Geiping, J. (2025). Great Models Think Alike and this Undermines AI Oversight. International Conference on Machine Learning. 第 24 章
  10. Greenblatt, R., and Shlegeris, B. (2024). The case for ensuring that powerful AIs are controlled. LessWrong / AI Alignment Forum. 非同行评审 第 26 章
  11. Greenblatt, R., Shlegeris, B., Sachan, K., and Roger, F. (2023). AI Control: Improving Safety Despite Intentional Subversion. International Conference on Machine Learning, 2024. 第 26 章
  12. Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., Marks, S., … Hubinger, E. (2024). Alignment faking in large language models. arXiv. 预印本 第 25 章
  13. Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., and Garrabrant, S. (2019). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv. 预印本 第 25 章
  14. Hubinger, E., Schiefer, N., Denison, C., and Perez, E. (2023). Model Organisms of Misalignment: The Case for a New Pillar of Alignment Research. AI Alignment Forum. 非同行评审 第 25 章
  15. Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., … Perez, E. (2024). Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. arXiv. 预印本 第 25 章
  16. Kim, E. M., Garg, A., Peng, K., and Garg, N. (2025). Correlated Errors in Large Language Models. International Conference on Machine Learning. 第 24 章
  17. Kutasov, J., Loughridge, C., Sun, Y., Sleight, H., Shlegeris, B., Tracy, T., and Benton, J. (2025). Evaluating Control Protocols for Untrusted AI Agents. arXiv. 预印本 第 26 章
  18. MacDiarmid, M., Wright, B., Uesato, J., Benton, J., Kutasov, J., Price, S., … Hubinger, E. (2025). Natural Emergent Misalignment from Reward Hacking in Production RL. arXiv. 预印本 第 25 章
  19. Marks, S., Treutlein, J., Bricken, T., Lindsey, J., Marcus, J., Mishra-Sharma, S., … Hubinger, E. (2025). Auditing language models for hidden objectives. arXiv. 预印本 第 27 章
  20. Meta (2024a). Llama 3.1 Model Card. GitHub, meta-llama/llama-models. 非同行评审 第 24 章
  21. Meta (2024b). Llama 3.2-Vision Model Card. GitHub, meta-llama/llama-models. 非同行评审 第 24 章
  22. Needham, J., Edkins, G., Pimpale, G., Bartsch, H., and Hobbhahn, M. (2025). Large Language Models Often Know When They Are Being Evaluated. arXiv. 预印本 第 25 章
  23. Recht, B., Roelofs, R., Schmidt, L., and Shankar, V. (2019). Do ImageNet Classifiers Generalize to ImageNet? International Conference on Machine Learning. 第 23 章
  24. Schoen, B., Nitishinskaya, E., Balesni, M., Højmark, A., Hofstätter, F., Scheurer, J., … Hobbhahn, M. (2025). Stress Testing Deliberative Alignment for Anti-Scheming Training. arXiv. 预印本 第 25 章
  25. Sheshadri, A., Ewart, A., Fronsdal, K., Gupta, I., Bowman, S. R., Price, S., Marks, S., and Wang, R. (2026). AuditBench: Evaluating Alignment Auditing Techniques on Models with Hidden Behaviors. arXiv. 预印本 第 27 章
  26. van der Weij, T., Hofstätter, F., Jaffe, O., Brown, S. F., and Ward, F. R. (2024). AI Sandbagging: Language Models can Strategically Underperform on Evaluations. International Conference on Learning Representations, 2025. 第 25 章