"""习题 16.2 的选题脚本:从 FindTheFlaws 的 Modified TheoremQA 子集中按固定规则抽 10 道题。 获取数据: 1. 从 https://github.com/modulo-research/findtheflaws 下载 datasets.zip。 2. 压缩包用 AES 加密,密码是 findtheflaws(见仓库 README)。系统自带的 unzip 可能解不开, 可以用 7-Zip,或者在 macOS 上用 `bsdtar --passphrase findtheflaws -xf datasets.zip`。 3. 解压后得到 datasets/modified_theoremqa_final.csv。 选题规则(事先固定,不看解答再挑): - 去掉 flag_same_final_answer 为 True 的题(有错的解答与正确解答得到同一个最终答案, 只看答案分不出对错)。 - 用固定的随机种子 16 抽 10 道题。 - 每道题再用同一个随机数发生器“掷硬币”,决定给你看 correct_solution 还是 flawed_solution。 用法: python3 tools/exercises/ch16_findtheflaws_select.py datasets/modified_theoremqa_final.csv 输出两个文件,放在 CSV 所在目录: ch16_questions.md 10 道题的题目和要判断的解答,不含答案 ch16_key.csv 每道题给的是哪一份解答、标准答案、专家写的错误说明(做完题再看) 只用 Python 标准库。 """ import csv import random import sys from pathlib import Path SEED = 16 N = 10 def main() -> None: if len(sys.argv) != 2: sys.exit(__doc__) src = Path(sys.argv[1]) csv.field_size_limit(10**9) with src.open(newline="", encoding="utf-8") as f: rows = list(csv.DictReader(f)) pool = [r for r in rows if r["flag_same_final_answer"].strip() != "True"] rng = random.Random(SEED) picked = rng.sample(pool, N) shown = ["flawed" if rng.random() < 0.5 else "correct" for _ in picked] out_q = src.parent / "ch16_questions.md" out_k = src.parent / "ch16_key.csv" with out_q.open("w", encoding="utf-8") as q: for i, (r, s) in enumerate(zip(picked, shown), 1): sol = r["flawed_solution"] if s == "flawed" else r["correct_solution"] q.write(f"## 第 {i} 题(problem_id: {r['problem_id']})\n\n{r['problem_text'].strip()}\n\n") q.write(f"### 要判断的解答\n\n{sol.strip()}\n\n") with out_k.open("w", newline="", encoding="utf-8") as k: w = csv.writer(k) w.writerow(["题号", "problem_id", "给出的解答", "标准答案", "有错解答的答案", "第一个错误所在步骤", "专家的错误说明"]) for i, (r, s) in enumerate(zip(picked, shown), 1): w.writerow([i, r["problem_id"], "有错" if s == "flawed" else "正确", r["correct_final_answer"].strip(), r["flawed_final_answer"].strip(), r["step_of_injected_flaw"].strip(), r["flaw_explanation"].strip()]) print(f"共 {len(rows)} 题,去掉 flag_same_final_answer 为 True 的 {len(rows) - len(pool)} 题,剩 {len(pool)} 题。") print(f"抽出 {N} 题,其中给有错解答的 {shown.count('flawed')} 题,给正确解答的 {shown.count('correct')} 题。") print(f"题目写入 {out_q},答案写入 {out_k}。") if __name__ == "__main__": main()