摘要

ARC-AGI-2 围绕人类能够解决、但前沿 AI 系统仍普遍无法解决的任务，重新设定了基准。 约400人参与数据集校准，每道题都至少由2名人类在2次尝试内解决；预训练模型的得分基本为0%，推理系统仍停留在个位数。Mike Knoop 驳斥 ARC 移动目标的指责：“目标就是 AGI”（“The goalpost is AGI”）。
早期成绩单暴露出测试时适应与人类水平流体智能之间的巨大鸿沟。 GPT-4.5 及类似基础模型得分约为0%；2024年 Kaggle 冠军方案约3%，集成方案4%，低算力下的 o3 外推得分接近4%，而人类平均表现约为60%。François Chollet 猜测，高算力运行 o3 或许能达到15–20%，但每道题可能要花费1万美元。
o3 被视为一次重要的能力跃迁，但并不意味着 AGI 已经到来。 在 ARC-AGI-1 上，其高效配置得分约75%，使用约200倍算力的配置达到约85%；Chollet 称其为“某种原型 AGI”，因为它似乎已经具备非零的流体智能。它的两项决定性短板是：在 ARC-AGI-2 上仍远低于人类水平，而且每道题可能消耗数千美元算力。
效率是这一基准在经济和技术层面的核心命题，而非可有可无的约束。 理论上，无限的暴力程序搜索可以解决 ARC 任务，但 Chollet 认为，智能意味着像人类一样，用很少算力在“极少几跳”内找到正确程序；人类通常只需2到4分钟。他的直白表述是：“效率就是问题定义，不是能力问题”（“Efficiency is the problem statement; it’s not capability.”）。
本期最关键的架构判断是：o3 会在测试时对自然语言程序进行真正的搜索。 Knoop 和 Chollet 推断，o1 Pro、o3 等系统能够对思维链进行采样、筛选和重组，这一点不同于 R1 或普通自回归模型；因此 Chollet 称 o3 “在性质上有所不同”。两人都强调内部机制尚未得到确认，但认为 ARC 的表现、延迟和成本都与主动搜索相符。
ARC-AGI-2 的设计目标，是移除削弱 ARC-AGI-1 的捷径。 ARC-AGI-1 的私有数据集约有一半可由基础暴力程序搜索至少解决一次，而这类方法在版本2上的得分预计只有1–2%。新任务保留网格形式，但要求更深的交互规则链条，例如一个操作写入信息，另一个操作随后必须读取这些信息。
ARC Prize 2025 押注 AGI 进展仍受“想法”约束，因此小团队依然能够发挥作用。 比赛持续至2025年底，采用 Kaggle 以及半私有、私有评测；尚未被领取的大奖仍要求提交开源且高度高效的解决方案。基金会的判断是，“大量分享”和“高度多样化的方法”比封闭、保密、单一文化更能提供良好的创新环境。

精读

1. ARC-AGI-2 衡量人与机器的能力鸿沟，而非基准测试的声望

面对“移动目标”的质疑，Knoop 的回应非常明确：“目标就是 AGI”（“The goalpost is AGI”）。ARC Prize 的存在，就是为了把人与计算机之间的鸿沟缩小至零；只要那些对人类而言直接、对机器而言仍不可能的任务存在，这一基准就仍有测量价值。
大多数前沿基准测试追求的是“博士以上”能力，而普通人若没有长期教育训练，无法施展这些能力。ARC 反过来追问 AI 仍然缺失哪些简单的人类能力，因为在 Knoop 看来，尚未填补的残余鸿沟，比已经超越人类的专业能力更能揭示通用智能的水平。
其现实目标是推动科学创新。由预训练和记忆主导的系统可以反映人类积累的经验，但 Knoop 认为，它无法可靠地产生压缩科学进程所需的新知识和新技术。弥合“人类易做、AI 难做”的鸿沟，正是为了针对这种适应能力的缺失。
Knoop 从 Zapier 产品开发中得到的经验，也说明了基准测试的必要性：经典软件用5名用户测试后，扩大到百万用户规模可能仍表现一致；AI 则必须广泛部署，失败模式才会变得清晰。基准测试提供了普通交互无法提供的稳定测量。

2. 组合式任务封堵 ARC-AGI-1 的暴力搜索捷径

Knoop 形容 ARC-AGI-1 存在“相当严重的缺陷”。2020年 Kaggle 比赛结束后，分析显示其私有数据集约有一半至少曾被基础暴力程序搜索方法解决，这意味着这些任务几乎无法提供关于智能的有效信号。
ARC-AGI-2 保留最多30×30的输入输出网格，以及相同的核心知识前提，但移除了重复的单规则任务。暴力搜索方法现在预计最多只能得到约1–2%，而预训练语言模型仍基本为0%。
最简单的例子是翻转物体：单独的翻转可以通过预训练或硬编码获得。加入下落后，任务出现了组合性，但一个同时包含重力和翻转的 DSL 仍可能枚举出答案；更强的任务则把交互规则深度串联起来，使穷举搜索的成本变得不可承受。
主持人提出的递归 ARC——把多个谜题嵌套起来——确实会增加难度，但 Chollet 认为，简单拼接不算深度组合，因为各个子任务仍可独立解决。更糟的是，这种方法“真正只能奏效一次”：开发者一旦发现拆解方式，“游戏就结束了”。

3. 人类校准把“人类容易解决”变成可测量证据

为替代 ARC-AGI-1 中的轶闻式判断，团队通过圣迭戈测试中心招募了约400人，参与者从 Uber 司机、单亲母亲到 UCSD 学生不等。ARC-AGI-2 的每道题都至少由2名人类在2次尝试内解决，符合施加于 AI 系统的规则。
主持人反驳称，部分谜题需要5或6分钟的深度思考，并追问 ARC 是否在“刮桶底”。Knoop 回应称，难度是相对的：这些题在每题5美元的解题率预算下约5分钟即可解决，但当前 AI 往往根本无法解决，或者每道题需要数千美元。
由此形成的测量带宽很宽：GPT-4.5 等预训练系统得分约0%，2024年 Kaggle 冠军方案约3%，顶尖方案集成约4%，低算力 o3 外推得分约4%。人类平均表现应更接近60%，意味着数据集仍有约95%可用于衡量进步。

4. o3 证明了流体智能存在，但尚未达到人类智能

Knoop 回忆说，发布2024年技术报告后，他原本预计12月会相对平静，结果 OpenAI 当天就要求紧急测试 o3。随后的2周冲刺改变了他的看法：“创新是阶跃函数”（“Innovation is a step function”），因此平滑的时间线预测并不可靠。
在 ARC-AGI-1 上，o3 在公开排行榜的效率预算内得分约75%；使用或许多达200倍算力的配置达到约85%。Chollet 后来提到，高算力系统得分约88%，但总体结论不变：规模换来了大幅提升，同时代价极其昂贵。
Knoop 最强的判断是，这构成了“计算机在人类历史上首次能够做出某种此前从未做到之事的存在性证明”：它开始具备适应新颖问题的能力，尽管范围仍很窄。他仍认为距离 AGI“还有很长的路”，并呼吁认真研究 o3，而不是把它简单视为预训练规模延续的结果。
Chollet 称 o3 可能是第一个展现流体智能的模型，也是“某种原型 AGI”，但它存在两项重大缺陷：效率和水平。人类水平的智能意味着在 ARC-AGI-2 上达到约60%这样的成绩，而当前对 o3 的估计只有约4–5%。

5. 关于 o3 的争议在于测试时搜索，而非训练集污染

批评者认为 OpenAI 曾在 ARC 训练集上进行微调，但 Knoop 称这是“非常薄弱的批评”。ARC 明确提供训练样例来教授任务领域，再用不同的私有数据集测试抽象能力；他的类比是，先教系统小学数学，再用微积分考试。
主持人继续追问 o3 是否可能训练过 API 数据，以及原版发布模型与 OpenAI 适配版本相比会如何。Knoop 的回答仍然保持在合理范围内：OpenAI 表示只使用了提供的训练集，“我相信他们确实这么做了”；ARC Prize 将对发布版本进行测试。
在 Chollet 看来，直接预测输出并不意味着系统没有结构化推理。系统从外部看起来像是端到端完成变换，但内部似乎会合成一条思维链——一种面向具体任务的“重组产物”（“recombination artifact”），然后执行这段自然语言程序，生成输出。
Knoop 推测，o1 Pro 和 o3 能够对思维链进行多次采样和重组，形成预训练中不存在的结构；但他强调，这只是“基于信息的推测”，并非已确认的架构。因此，他更倾向于把分析单位定义为一个由深度学习模型和合成引擎组成的 AI 系统，而不是单一模型。
Chollet 也从实证角度对比了两种范式：从 GPT-2 到 GPT-4.5 约50,000倍的规模扩张，只让 ARC-AGI-1 的得分从0%提升到约10%；没有测试时适应时，ARC-AGI-2 仍基本为0%。

6. 智能既有门槛，也存在效率光谱

当主持人提出投入5亿美元或10亿美元可能让 ARC-AGI-2 饱和时，Chollet 承认，无限算力可以在图灵完备的 DSL 中枚举程序，直到找到最短的一致解。但这种暴力能力在2020年概念上就已经存在，并不是 ARC 所说的智能。
人类用2、3或4分钟、消耗“几乎为零”的能量就能解决任务，而高算力 o3 可能消耗超过3,000美元算力。智能因此关乎系统获取和部署能力的效率：是在“极少几跳”内找到那个程序，而不只是证明某个预算最终可以找到它。
流体智能在静态记忆技能与任何非零适应能力之间的边界上是二元的，但一旦跨过边界，其程度就是连续的。出现重组能力后，问题就变成：知识可以多深地重组、系统能够即时写出多大的程序，以及它能多快、多高效地完成合成。
Chollet 表示，他无法在 ARC-AGI-2 上对 o3 进行同等程度的测试，但版本1的失败模式已经揭示了挑战：随着物体和交互规则增加，表现呈指数级下降；非语言模式更难，因为模型必须“谈论”自己的解法；远距离信息比邻近信息更难结合；先应用一条规则、再读取其输出并交给另一条规则处理，仍然超出系统能力。

7. ARC Prize 正在为超越 ARC-AGI-2 的基准搭建开放跑道

基金会的诞生源于公众需求一次次超出 Knoop 的预期：数千人要求测试 o1 preview，随后持续关注比赛结果和 o3 评测。它的定位是成为 AGI 的“北极星”，持续发布持久有效的测试，衡量机器仍然缺失的各种直接人类能力。
ARC Prize 2025 延续此前的比赛结构：Kaggle 排行榜、比赛期间的半私有测试，以及持续至2025年底的私有最终评测。大奖仍未被领取，获奖者必须提交开源方案，并具备足够效率以在 Kaggle 约束下运行。
Chollet 预计 ARC-AGI-2 的生命周期约为1到2年，而不是 ARC-AGI-1 的5年。他会“基本排除”在2025年底前出现高效的人类水平解决方案，但认为2026年底实现仍有可能；ARC-AGI-3 则将挑战目前尚不存在的系统。智能在超越重组能力后，最终还必须包括高效的信息获取、行动、目标设定，以及对风险有意识的探索。

Gili Raanan - 网络安全投资打法 - [Invest Like the Best, EP416]Plural Investing 的 Chris Waller 谈 Seaport $SEG 娱乐与酒店业务的扭转