摘要

ARC-AGI-3公布的36%主要是动作效率得分，并不是解出游戏的占比。 在配备完善工具框架的情况下，前沿模型据称能完成约一半至三分之二的训练游戏，而ARC Prize未配备工具框架的排行榜成绩低于1%；但动作超出部分会受到二次惩罚。「如果不看背后的东西，36%这个数字可能会产生误导。」
当ARC Prize通过加固基准来抵御暴力搜索后，团队在预览赛中获胜的策略迅速失效。 Dries Smit 的 Stochastic Goose 在ARC-AGI-3的4,000多个动作中筛选会带来画面变化的动作，在100,000次动作预算内完成18个关卡，并解出3局游戏中的2局。正式比赛让无效果动作同样消耗时间，并在动作数达到人类的2x–3x时就将得分压至接近零，迫使系统进行更有方向性的探索。
在公开训练游戏中，目标识别的约束小于高效探索和持久记忆。 一个表现良好的270亿参数模型，可能一开始就识别出正确假设，随后连续通关许多关卡；表现糟糕的模型则可能认定目标是把能量条降到最低，或在某个区域站满十次。实际瓶颈是跨上下文进行“基于抽象的探索”，而上下文长度可达数十万甚至数百万token。
团队的系统把语言重新引入了一个刻意剥离指令的基准。 工具框架将像素转化为语言和可执行表示——颜色、类似ASCII的网格、连通分量、对象描述和Python世界模型——让推理模型能够复用迷宫、玩家和墙壁等概念。颜色置换和旋转都会同时伤害人类与模型表现，暴露出“游戏中存在一些人类先验的泄漏”，也让ARC是否真正隔离了纯粹智能变得更难论证。
Transformer内部可能缺乏形式化规划，但工具使用正让真实规划与模拟规划越来越难以区分。 理解规则后，LLM可以编写Python并调用搜索；在此之前，它必须处理更难的元规划：探索环境、修正假设，并决定何时从试探转向利用。团队给出的务实答案是，Transformer“非常擅长假装”自己在规划，而且在实际操作层面可能已经无法区分。
完美得分的门槛仍远高于头条成绩所暗示的水平。 受约束的比赛要求系统在9小时内、使用一张RTX 6000完成110局游戏，而前沿模型的一次运行成本可能“达到几千美元”；要拿到100%，几乎不能接受错误假设或一次不走运的探索动作。团队不认为今年能拿到大奖，但其中一人认为，即使在比赛约束下，未来达到约90%之类的成绩也有可能。
近期真正的差异化仍来自工具框架设计、训练基础设施和研究判断，而不只是购买更多算力。 团队用25局游戏加生成环境进行训练，配合塑形奖励和100,000–200,000 token的序列，但也承认自主研究代理仍会优化微小细节，却错过决定性的抽象。团队押注今年的赢家不会是纯粹的“苦涩的教训”式方案，不过通用的游戏模式日后可能被吸收进基础模型。

精读

1. ARC-AGI-3让智能体先发现游戏，再开始游戏

在LS20中，一次游戏观测是一个64×64的画面，像素取16种颜色之一。没有任何指令，智能体必须推断自己控制的是哪个对象、哪些动作会让它移动、环境遵循什么动力学，以及未被明说的目标是什么。
在LS20中，表面任务是在迷宫中导航，并在出口处让两个对象对齐。工具框架往往会抵达视觉上显而易见的终点后停下，因为获胜还需要比迷宫看起来结束时多走一步；人类则会“先试一下，看看会发生什么”。
搜索空间很快就会爆炸：除了8个主要动作，还有一次鼠标点击，约有4,000个可能位置，而完整游戏可能需要几百到1,000次动作。即使已经识别出目标，朴素暴力搜索在计算上也不切实际。

2. Stochastic Goose靠利用可观测变化赢下预览赛

Smit参加预览赛时只有2周时间，而且在那套设置下只有3局游戏，因此预训练更可能导致过拟合，而不是泛化。他采用的捷径是广泛探索，但降低那些在特定状态下不会带来画面变化的动作的优先级。
这套方案使用动作模型、经验哈希、回放缓冲区和优先级回放，在约1,000步内开始选择有用动作。在100,000次动作限制下，它完成了18个关卡，并解出了3局游戏中的2局。
Smit明确表示，这是一种基准优化，而不是Chollet所期待的“抽象的获取与综合”。预览赛前4名基本都是经过筛选的暴力搜索系统，恰恰暴露了预览赛原本要揭示的弱点。

3. 加固后的基准迫使系统从搜索转向编码代理

ARC Prize的回应是：即使名义上有效的动作没有带来任何变化，计时器也会继续推进，同时提高游戏难度并引入严厉的动作效率惩罚。“如果只是比人类基准高，比如2x或3x，你的得分已经接近零了。”
直接根据长序列画面预测动作——一种更偏转导式的策略——无法泛化。它还会给每一步分配同等的思考量，尽管合理的游戏过程会在岔路口深度推理，在直线路径上批量执行显而易见的动作。
替代方案是编码代理，其英文推理轨迹会显示它何时识别出了对象、机制和目标。它编写可执行的Python代码来提取结构、构建简化世界模型，并运行广度优先搜索等算法，使整个方法更偏归纳式，也更容易检查。

4. 公开分数掩盖了可观的游戏能力

ARC Prize未配备工具框架的前沿模型图表仍低于1%，而公开发布的工具框架能达到约35%–36%。这些指导并不针对具体游戏：它们提供通用思考模式、工具访问权限和编写代码的许可，同时把形成假设和规划动作留给模型。
对已完成关卡而言，得分大致等于人类动作基准与玩家动作数之比的平方。因此，团队表示，当前前沿系统能完成“约一半或三分之二”的训练游戏，“只是解得效率太低”。
人类校准本身就很难。基准从每个关卡人类第二优成绩逐渐转向中位数；即便是一个有经验的玩家，也可能难以拿到100%的成绩，团队成员有时还需要1小时才能理解一局游戏。

5. 错误假设比没有假设更难摆脱

在公开游戏中，模型通常能提出合理目标，并且已经在每一局游戏中至少完成过第一关。私有测试集据称更难且此前不可见，因此团队谨慎限定结论：在训练数据上，目标设定“似乎”不是瓶颈。
如果最初假设正确，一个270亿参数模型可能继续完成许多关卡。但一旦猜错1到2次，它就可能锁定在明显薄弱的解释上——比如把能量条降到最低，或在某个区域踩满十次——并难以重新考虑。
团队将核心问题定义为：在发现正确描述层级的同时，平衡探索与利用。一旦把移动的像素理解为智能体或有意义的对象，游戏可能就会变得简单；难的是高效获得这一抽象。
Scarfe提出的另一种基准设计会明确奖励学习：允许第一次解法效率低下，将其压缩为可复用知识，然后要求速通。团队认为这很有吸引力——ARC-AGI-4已经讨论过这一方向——但仍为动作效率辩护，认为它是抵御盲目搜索的现实手段。

6. 语言奏效，是因为它带入了一生的先验

ARC移除了指令，但团队有意把语言重新放回系统，因为推理模型就是在语言环境中训练出来的。工具框架的任务，是将一个分布外的视觉领域转译成足够接近模型预训练先验的描述。
把一个格子只编码成数字，效果不如直接命名其颜色——例如用B代表蓝色——并明确说明它是蓝色。模型已经将明亮颜色与可交互对象联系起来，将暗淡颜色与背景或墙壁联系起来；“新生儿体内没有一个原生的基本概念，能告诉它这是一座迷宫。”
置换颜色或旋转棋盘，都会显著增加算法和人类处理同一底层游戏的难度。深色背景、白色或灰色墙壁，以及可识别的游戏布局，都反映出人类创作者的设计，留下了难以彻底剥离的先验。
多种视图可以降低感知成本。除了类似ASCII的网格，工具框架还提供简单的连通分量分割，让模型能够识别候选对象，无需反复消耗token去重建每个区域。

7. 人类能力也可能同样依赖路径、碎片化

讨论将可复用的自底向上能力，与碎片化、纠缠的表征放在一起对比：爬山算法可能拼出一个“意大利面怪物”，用错误的理由抵达正确答案。更尖锐的表述是：“表现，而非能力。”
嘉宾的反驳是，人类认知可能也具有同样结构。进化将人类调校为擅长空间推理和生存，而不是量子物理；所谓纯粹的符号推理，可能只是神经机制和数百万年隐性试错之上的事后故事。
团队一名成员的职业电竞朋友识别出一局游戏的模式，并在3秒内完成第一关，没有多走一步。5年的专项游戏训练带来了“超人类表现”，说明人类基准同样建立在习得的视角之上，而不只是依赖普适的原生基本概念。
Scarfe的涌现类比保留了这种张力：生命游戏中的滑翔机依赖路径，从底层更新出发具有计算不可约性，但“滑翔机”又成为一种压缩且自洽的描述。微积分等知识同样可以开启新一层抽象，而无需重放其完整来源。

8. ARC-AGI-3测试两种不同的规划能力

该基准通过交互引入能动性：智能体必须获取目标、追求目标，并随着关卡变化修正目标。团队起初预计模型完全不知道该做什么，但现在已经看到模型提出有用假设的“生命迹象”。
发现规则后，路线规划就很常规：模型可以编写Python，并调用搜索或蒙特卡洛类算法。更不正式的问题是规划如何学习——试探一个疑似玩家、解释结果，并决定何时停止实验、转而取胜。
Scarfe认为，Transformer无法以原生的计算机科学算法实现规划。团队的务实回应是：它们可以在探索层“非常擅长假装”自己在规划，然后在执行层把形式化规划外置到代码中。

9. 长时程强化学习是工程瓶颈

团队在25局游戏和大量自生成环境上训练，通过关卡推进、ARC-AGI得分、代码成功执行和推理长度来塑造奖励。推理长度必须受到管理，因为每局游戏都有有限的token和时间预算。
不同于ARC-AGI-2的静态谜题，ARC-AGI-3可能需要100,000–200,000 token的训练轨迹，以及在游戏过程中累计数十万甚至数百万token。当前的折中方案是训练更短的序列，再尝试将习得行为泛化到更长序列。
Smit最初探索的是好奇心驱动的世界模型：根据当前画面和动作预测下一帧，再奖励模型预测不佳的转移。由于无法在2周内实现，他将好奇心简化为“任何画面变化都值得关注”。
另一个基于Mamba的潜在视觉实验，在没有语言的情况下学会了一个程序生成的对象排序任务，但需要约5,000种排列。结果证明这在原理上可行，同时也说明语言先验为何能大幅减少所需环境数量。

10. 编码代理加速实验，也在削弱代码所有权

团队一名成员表示，“我们对自己的代码库越来越不了解”，有时还会使用Codex审查范围大到团队成员无法按当前速度消化的改动。
他们的应对方式是基于需求的工程：为需求编号，定义每项需求如何测试，由人类审查，再让编码代理准确解释每项需求在哪里得到满足。需求在实现暴露出矛盾时仍可修改，并非“刻在石头上”。
Scarfe反驳说，文档记录的是结论，却不会记录产生这些结论的因果和反事实经验；Mike Knoop将相关问题称为“视角盲区”。团队的回应是，需求与实现仍然相互作用，而不是冻结的单向流程。
自主研究展现出与游戏过程相同的病灶。代理可能为了0.01%的改进去优化超参数，却错过另一个抽象层级上的改变；真正带来进展的是阅读长日志、识别失败并逐一修复，而不是再生成“200万行代码”。

11. ARC-AGI-3尚未向“苦涩的教训”低头

Scarfe怀念ARC-AGI-1和2面向普通参与者的低门槛：ARC-AGI-3通过长轨迹、推理成本和复杂工具框架抬高了参与门槛。团队承认这一障碍，但不接受单靠充足算力就能解决问题；设计细节仍决定训练是否有效。
团队一名成员对“苦涩的教训”的理解是历史性的，而非教条式的：专项工作可以揭示一种结构，随后被可扩展系统吸收，就像早期视觉技术为卷积方法提供了启发。因此，今天经过工程化设计的工具框架，可能是未来端到端智能体必经的侦察阶段。
团队一名成员愿意押注，今年的赢家不会是纯粹的扩展方案。ARC-AGI-2可以用海量合成数据集来攻克；ARC-AGI-3则明确表示，其公开问题并不代表私有测试，因此即使记住广泛的游戏分布，也仍然需要外推。
未来“苦涩的教训”式胜利可能训练的是通用思考模式，而不是每一局游戏：如何调查规则、管理假设，以及把观察转化为可执行模型。这会比单纯“打赢一堆游戏”更有实质内容。

12. 通过ARC-AGI-3仍不足以证明AGI

当被直接问到一个系统能否在游戏中表现出色、却离AGI没有更近时，团队一名成员回答：“是的，我确实认为这是可能的。”该基准更弱的主张是可证伪性的：无法解决它的系统不是AGI；解决它也不等于获得通用智能认证。
在受约束的比赛中——110局游戏、9小时和一张RTX 6000——100%意味着绝不能被错误假设困住。团队不认为系统能在11月前做到这一点；其中一人认为未来达到约90%是可信的，同时指出前沿模型运行一次已经要花“几千美元左右”。
一个理论上最优、以获取知识为目标的智能体，仍可能低于100%，因为有些第一步确实只能猜；LS20起初就提供了两个合理方向。由于人类基准同样包含探索，运气会在整体上平均，但在110局游戏中，“你总会有一局运气不好”。
更广泛的展望仍然矛盾。团队预计目标会转向回放、速通或更丰富的世界，同时认为“不能在真空中做AI安全研究”。其中一人相信会出现“软件奇点”，之后是工业机器人和自动驾驶汽车，但明年可能仍会更像今天，而不是5年或10年后的世界。

$VEON：一只被打残的新兴市场电信股，藏着4倍空间？| Samit Umatiya，UIG Funds 🔬「最具创新性的 Diffusion 研究正在药物发现领域发生，而不是图像生成领域」