测试集:ARC-AGI

名称	ARC-AGI
类别	reasoning
主办方	ARC Prize Foundation（François Chollet 与 Mike Knoop 创办）
开源状态	open
网址	官方页面

arc-agi92.5彩色方格谜题、当场学会新规律、逐格全对判分、三代难度递进、大奖线 85%

测试集content/benchmarks/arc-agi.md

一句话

彩色方格谜题，考模型能不能当场学会从没见过的新规律

测什么

ARC-AGI 想测的不是知识而是「流体智力」：面对一个全新的小规律，看几个例子就能举一反三。题目是彩色方格（grid）谜题，不考语言、不考常识，只用上物体恒存、计数、基本几何这类学龄前儿童就有的「核心知识先验」，刻意让刷题背答案无效。系列已出三代：ARC-AGI-1（2019）是静态网格变换；ARC-AGI-2（2025-03）同样形式但难度大幅提高；ARC-AGI-3（2026-03，arXiv:2603.24621）改成交互式环境，不再给示例对，agent 要在没有说明书的情况下自己摸索操作含义、推断目标并规划行动。

怎么测

前两代的玩法：每道题给 2~5 对「输入网格→输出网格」示范，模型要对一个新的输入网格生成输出网格，每个格子的颜色全对才算通过，每题最多 2 次尝试；成绩是任务通过率，ARC Prize 百万美元大奖的门槛是半私有评测集上 85%。ARC-AGI-3 则让 agent 在回合制环境里一步步操作，计分改为相对人类玩家行为效率的效率分（动作越接近人类高手越少浪费，分越高），乱试是过不了关的。官方榜单还同时画「每题成本—通过率」散点，强调聪明不只是做对，还要做得便宜。

典型任务

一道典型的 ARC-AGI-1/2 题长这样：给你几对 10×10 左右的小方格图，比如输入是零散的几个色块、输出是把每个色块按某种对称性补全成完整图形；你要从这些示范里猜出隐藏规则，再把规则用到第四个输入上，逐格填出答案——错一个格子就算失败。ARC-AGI-3 则完全不同：模型被丢进一个抽象的小世界，开始时连「哪个操作会让画面怎么变」都不知道，只能靠尝试和观察反馈自己摸索出机制，再规划一连串动作达成目标。

分数怎么看

对人类来说这些题大多不难，所以分数低很能说明问题。ARC-AGI-1 发布五年多后才被高额奖金和推理模型逼到高分区；ARC-AGI-2 到 2026 年初前沿模型才接近或突破 85% 这条大奖线；ARC-AGI-3 发布时前沿模型得分不足 1%，是目前最难的一档。注意三代之间分数完全不可比，报分一定要说清是哪一代、公开集还是半私有集。

含金量与局限

网格任务形式固定，存在被「针对性训练」的空间：2025 年已有人用测试时逐题训练的小模型（如 7M 参数的 TRM）在 ARC-AGI-1 上拿到 45%，说明高分不一定等于通用推理。ARC-AGI-2 公开集已被广泛刷题，官方更看重半私有集成绩。ARC-AGI-3 的交互评测成本和环境接口仍在迭代，早期分数波动大。

冷知识

ARC-AGI-2 发布时官方请人类两人小组实测，每道题都有人解出（合计 100%），而最强 AI 系统只有个位数——「人类觉得不难、AI 全军覆没」的直观对照。2025 年 Kaggle 竞赛吸引 1,455 支队伍，冠军系统也只拿了 24%。

数据来源

本页由仓库 content/benchmarks/arc-agi.md 初始化。后续修订通过公开审核队列发布。