Scalable Oversight 入门

草稿 内容完整但尚未审校,可能还会修改

附录 C教材与课程入口

下面的教材和课程可以与本书配合使用。课程页面访问于 2026 年 11 月 16 日,课程的时长和形式可能变化,报名前请以课程页面为准。

C.1 教材 #

  • Dan Hendrycks《Introduction to AI Safety, Ethics, and Society》(CRC Press,2024 年在线发布,2025 年纸质版),开放获取(Hendrycks,2024)。本书用到它的第 1 章(第 1 章的读物)、第 2 章(第 4 章)、第 3 章(第 8 章、第 9 章)、第 6 章(第 30 章)。它覆盖的范围比本书宽,包括 AI 风险的各个方面和伦理问题,适合想了解 scalable oversight 在整个 AI 安全领域中位置的读者。
第 C.1 节引用的文献 1
  1. Hendrycks(2024)Introduction to AI Safety, Ethics, and Society

C.2 课程 #

先修部分各章的读物还列出了入门材料,有课程、教材、视频,也有网页、文档和博客:编程见第 2 章,概率与统计见第 3 章,机器学习见第 4 章,语言模型见第 5 章,用人类反馈训练模型见第 6 章。

第 C.2 节引用的文献 2
  1. BlueDot Impact(2026b)The Future of AI
  2. BlueDot Impact(2026a)Technical AI Safety

C.3 综述与检索 #

  • Kim 等《The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment》(2024 年首发,2026 年 6 月修订为第 4 版)(Kim 等,2024)。可以用作检索地图,按它的分类找到相关论文;但综述不能代替原始研究和负面结果,引用具体结论时要回到原文。
  • 检索词:scalable oversight、amplified oversight、superalignment(超级对齐)、AI control、weak-to-strong generalization。前四个词的关系见第 7.7 节,weak-to-strong generalization 见第 17 章。

读到新论文时,用附录 A 的清单检查它,再按附录 D 的规则记下它的版本。

第 C.3 节引用的文献 1
  1. Kim 等人(2024)The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment

参考文献

  1. BlueDot Impact (2026a). Technical AI Safety. BlueDot Impact. 非同行评审引用于 §C.2
  2. BlueDot Impact (2026b). The Future of AI. BlueDot Impact. 非同行评审引用于 §C.2
  3. Hendrycks, D. (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 引用于 §C.1
  4. Kim, H., Ryu, D., Yi, X., Yao, J., Lian, J., Huang, M., … Xie, X. (2024). The Road to Artificial SuperIntelligence: A Comprehensive Survey of Superalignment. arXiv. 预印本引用于 §C.3