草稿 内容完整但尚未审校,可能还会修改
第零部分先修知识
本部分导读
这一部分为零基础的读者准备工具。第 1 章提出全书的问题;第 2 章到第 6 章依次讲编程与数学、概率与统计、机器学习、语言模型,以及用人类反馈训练模型。
第 1 章、第 3 章、第 4 章、第 5 章、第 6 章是概念、实验、研究三条路线的必读,也都在最短路线中,最短路线只读第 3 章的部分小节;第 2 章是实验路线和研究路线的必修。概率与统计放在前面,因为第 6 章的训练流程和第二部分的实验都要用到它。
本部分各章
- 1 导论:一个你判断不了的答案
当 AI 的输出超出你的判断能力时,你凭什么决定是否接受它?
- 2 编程与数学工具:Python、数组和函数的变化
后面的实验需要哪些最低限度的编程和数学?
- 3 概率与统计
一个实验结果有多可信?
- 4 机器学习基础
机器怎样从数据中学习?
- 5 语言模型:从基础模型到智能体
Claude、ChatGPT 这类系统由哪几层组成?
- 6 用人类反馈训练模型
模型怎样学会按人的意图回答?
第零部分参考文献
本部分各章共引用 27 篇文献。
- (2018). Spinning Up in Deep Reinforcement Learning. OpenAI. 非同行评审 第 6 章
- (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv. 预印本 第 6 章
- (2019). Introduction to Probability. Chapman and Hall/CRC. 第 3 章
- (2026b). The Future of AI. BlueDot Impact. 非同行评审 第 1 章
- (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. International Conference on Machine Learning, 2024. 第 6 章
- (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems. 第 6 章
- (2025). DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature. 第 6 章
- (n.d.). Machine Learning Crash Course. Google for Developers. 非同行评审 第 2 章 第 4 章
- (2024). Introduction to AI Safety, Ethics, and Society. CRC Press. 第 1 章 第 4 章
- (2023). Let's build GPT: from scratch, in code, spelled out. YouTube. 非同行评审 第 5 章
- (n.d.). Seeing Theory: A visual introduction to probability and statistics. Brown University. 非同行评审 第 3 章
- (2025). Measuring AI Ability to Complete Long Software Tasks. Advances in Neural Information Processing Systems 38. 第 1 章
- (2025). Reinforcement Learning from Human Feedback. Manning Publications. 第 6 章
- (2022). Illustrating Reinforcement Learning from Human Feedback (RLHF). Hugging Face Blog. 非同行评审 第 6 章
- (2018). Scalable agent alignment via reward modeling: a research direction. arXiv. 预印本 第 6 章
- (2022). CS50's Introduction to Programming with Python. Harvard University. 非同行评审 第 2 章
- (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv. 预印本 第 3 章
- (2026). NumPy: the absolute basics for beginners. NumPy documentation. 非同行评审 第 2 章
- (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems. doi:10.52202/068431-2011. 第 1 章 第 4 章 第 6 章
- (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems. doi:10.52202/075280-2338. 第 6 章
- (2016). Essence of linear algebra. 3Blue1Brown (YouTube). 非同行评审 第 2 章
- (2017a). Essence of calculus. 3Blue1Brown (YouTube). 非同行评审 第 2 章
- (2017b). Neural networks. 3Blue1Brown (YouTube). 非同行评审 第 4 章
- (2024a). Large Language Models explained briefly. 3Blue1Brown. 非同行评审 第 5 章
- (2024b). Transformers, the tech behind LLMs. 3Blue1Brown. 非同行评审 第 5 章
- (2017). Attention Is All You Need. Advances in Neural Information Processing Systems. 第 5 章
- (2024). Language Models Learn to Mislead Humans via RLHF. International Conference on Learning Representations, 2025. 第 1 章