Scalable Oversight 入门

草稿 内容完整但尚未审校,可能还会修改

Scalable Oversight 入门

当 AI 的输出超出你的判断能力

AI 交给你一个 500 行的记账程序,附一页需求说明。你能读懂其中 50 行。你可以亲自检查、让另一个 AI 检查、运行测试,或者干脆不用。哪种办法可靠?它能发现什么错误,又会漏掉什么?如果写程序的一方知道你会怎样检查,情况会有什么不同?

这些问题属于一个叫 scalable oversight 的研究领域:当直接判断变得昂贵、缓慢或不可靠时,怎样利用有限的人类判断、模型和其他工具,继续提供足够可靠的监督。本书面向零基础的本科新生,只要求高中数学,从概率统计和机器学习讲起,讲到辩论、模型批评、弱到强泛化、思维链监控、AI control 和对齐审计等方法,以及判断这些方法是否有效的实验方法。

本书的每一章都已写成草稿,每个结论都尽量核对了原始文献,但还没有经过审校,可能还会修改。第一次读,从第 1 章开始,或先看使用说明,选一条适合自己的阅读路线。

本书导读

全书问题
  • 当 AI 的输出超出你的判断能力时,你凭什么决定是否接受它?
要点
  • 先修部分为零基础的读者准备编程、概率统计、机器学习和语言模型的工具(第零部分)。
  • 监督困难有几种不同的来源:成本、延迟、能力差距,以及模型钻评分规则的空子;讨论任何方法之前,先说清威胁模型与任务前提(第一部分)。
  • 读任何方法的实验结果之前,先学会判断实验本身:对照组、参考答案、基线、模型裁判与人的偏差(第二部分)。
  • 主要方法各自改变了监督协议的一部分,每种都有它测过的范围、依赖的前提和不能推出的结论(第三部分)。
  • 当模型针对监督调整策略时,监督信号会被优化、错误会相关、行为会因被检查而改变(第四部分)。
  • 没有参考答案的地方,只能积累有条件的证据,写成有条件的安全论证(第五部分)。

目录 #

带橙色圆点的章属于最短路线。