测试集:MMLU
| 名称 | MMLU |
|---|---|
| 类别 | reasoning |
| 主办方 | UC Berkeley（Dan Hendrycks 等），arXiv:2009.03300，ICLR 2021 |
| 开源状态 | open |
| 网址 | 官方页面 |
mmlu9357 学科四选一、15,908 题、5-shot 准确率、已饱和、污染风险高
一句话
57 门学科四选一综合大考，曾经的「大模型第一榜」
测什么
MMLU（Massive Multitask Language Understanding）是 2020 年提出的综合知识考试，共 15,908 道四选一题，覆盖 57 个学科，从初等数学、美国历史到职业法律、职业医学，难度跨度从初中一直到专业资格水平。它的设计理念是「像考人一样考模型」：只在 zero-shot / few-shot 设置下测，不允许针对题库微调，借此衡量模型在预训练里到底吸收了多少世界知识和解题能力。2021~2023 年间它是事实上的大模型综合第一榜，GPT-4 的 86.4% 就出自这个榜。
怎么测
标准玩法是 5-shot：提示词里先给同一学科的 5 道带答案样题，再问目标题，模型输出 A/B/C/D，取概率最大的选项，按全题库算加权准确率。数据集本身切成每学科 5 题的 few-shot 开发集、1,540 题验证集和 14,079 题测试集。发布时最强的 GPT-3（175B）只拿到 43.9%，小模型基本在 25% 的随机水平线上趴着——这个起点和今天 90% 的水平对比，正好标出这几年大模型进步的幅度。
典型任务
论文里的一道「职业法律」题讲了个刁钻案例：推销员无视「谢绝推销，擅入必究」的告示牌开车进院，结果被屋主埋在车道下的炸药炸伤，问推销员能否索赔，四个选项分别给出不同的法律理由——这考的是把侵权法规则套进复杂情境。另一道「概念物理」题很经典：静止释放的球加速度是 9.8 m/s²，那用力向下抛出去的球脱手瞬间加速度是多少？答 9.8 m/s² 才对，很多人会直觉选「更大」。职业医学题则直接取自美国医师执照考试风格的病例分析。
分数怎么看
今天的前沿模型普遍在 88%~90% 以上，榜首挤成一团，分差已经失去区分度——这正是它「饱和」的含义。论文当年估算人类专家水平约 89.8%，可以说模型在这条线上已经和专家齐平。它现在更适合作为「基础及格线」看：新模型连 MMLU 都上不去才是真问题，刷到 90% 则说明不了太多。
含金量与局限
三大硬伤：一是饱和，前沿分数挤在 88~90%+ 拉不开差距；二是题库流传多年、污染风险高（测试题已出现在 Common Crawl 里）；三是数据本身有噪声，后续研究（MMLU-Pro 团队）发现原题库里有相当比例的错标和不可答题。业界已基本用 MMLU-Pro、GPQA、HLE 等接棒，看到模型宣传只报 MMLU 时要有数：这更像是历史惯例，而不是能力证明。
冷知识
57 个学科不是随手定的——论文里明说这是在致敬 Atari 的 57 款游戏。发布当年 130 亿参数以下的模型全部趴在 25% 随机线上，只有 175B 的 GPT-3 冒出头来；五年后同一张卷子人人 90 分。
数据来源
本页由仓库 content/benchmarks/mmlu.md 初始化。后续修订通过公开审核队列发布。