草稿 内容完整但尚未审校,可能还会修改
Scalable Oversight 入门
当 AI 的输出超出你的判断能力
AI 交给你一个 500 行的记账程序,附一页需求说明。你能读懂其中 50 行。你可以亲自检查、让另一个 AI 检查、运行测试,或者干脆不用。哪种办法可靠?它能发现什么错误,又会漏掉什么?如果写程序的一方知道你会怎样检查,情况会有什么不同?
这些问题属于一个叫 scalable oversight 的研究领域:当直接判断变得昂贵、缓慢或不可靠时,怎样利用有限的人类判断、模型和其他工具,继续提供足够可靠的监督。本书面向零基础的本科新生,只要求高中数学,从概率统计和机器学习讲起,讲到辩论、模型批评、弱到强泛化、思维链监控、AI control 和对齐审计等方法,以及判断这些方法是否有效的实验方法。
本书的每一章都已写成草稿,每个结论都尽量核对了原始文献,但还没有经过审校,可能还会修改。第一次读,从第 1 章开始,或先看使用说明,选一条适合自己的阅读路线。
本书导读
- 全书问题
- 当 AI 的输出超出你的判断能力时,你凭什么决定是否接受它?
- 要点
目录 #
带橙色圆点的章属于最短路线。