29.4% ARC-AGI-2 🤯（最高分！）- Jeremy Berman

摘要

• Berman 在 ARC-AGI-2 公开排行榜上取得约30%的成绩，靠的是进化英语指令，而不是可执行的 Python。 每道 v2 题都能用10条通俗英语描述，多数题目5条就够；换成 Python，代码会变得冗长且脆弱。他的核心判断是：「英语……是一种表达力强得多的程序语言。」

• 自然语言的表达力，把瓶颈从生成解法转移到了验证解法。 Berman 的检查器会直接将指令转换成网格，但“几乎一直”出错；GPT-5 mini/nano 也不够用，最终“检查器比真正的指令生成器更强”。这套架构在每道 ARC-AGI-2 任务成本约30美元的情况下，达到了约30%的成绩。

• 由于推理能力异常“尖峰化”，模型路由和推理效率仍具有重要经济价值。 Grok 4 在 Berman 测试的网格推理上击败了 GPT 系列模型；代码生成则仍以 Sonnet 3.5 更合适，而 Opus 4.1 可能会领先他的旧版 Python 系统。以今天的模型水平，他不认为有人能超过40%，但相信自己的流水线效率可以提升至约2倍。

• 更大的机会在于可组合的持续学习，而不只是扩大冻结模型。 微调会改写那些已经编码了正确答案的权重，因此即使继续加入已解决问题的样本，也可能造成漂移；Berman 预计，冻结专家或层将成为强化学习之后的下一条 S 曲线。目标很简单，却尚未实现：加入一个数据集，保留此前学到的一切，同时在新技能上变得出色。

• Berman 和主持人认同同一个终点，但争论神经网络能否在没有符号控制器的情况下抵达那里。 Berman 认为，足够大的网络加上编写程序的工具，能够实现与人类等价的计算；主持人则认为，随机梯度下降会利用捷径，可能永远找不到那个让有限大脑表现得像图灵机的稀有算法。面对这一可训练性异议时，Berman 说：「这个问题我还得再想想。」

• Berman 的核心后训练论点是：推理必须用因果、演绎树取代记忆化的知识网络。 预训练会连接事实，却不保证形成正确的因果结构；带可验证奖励的强化学习则可以保留产生连贯推论的回路。他的反常识表述是，预训练可能妨碍推理：后训练是在“把你的顾问变成 Feynman”。

• 下一条前沿是训练一个“发明回路”，让模型重新发现真正被刻意 withheld 的知识。 Berman 提议将狭义相对论及其后续理论从预训练中移除，再搭建一个迫使模型自行推导它们的环境；主持人则质疑，创造力是否只是需要控制器的领域特定搜索。双方最终收敛到一套有用的分类：推理负责建树，理解意味着拥有这棵树，智能则衡量获取它的效率。

精读

1. ARC 的推理鸿沟让 Berman 离开运营一线

• Berman 此前做了4年半 Y Combinator 公司 CTO，之后只做了8个月研究。学习语言模型时，他读了 Jeff Hawkins 的《A Thousand Brains》，突然“想通了”；他相信 AGI 可能是自己一生中最重要的发明，于是辞任，尽管公司当时仍然经营良好。

• 他独立后的第一个研究项目就是 ARC，此前曾联系 François Chollet 和 Mike。ARC v1 的公开榜单最高分让他与两人一起转向程序合成研究；但随着他对语言建模和强化学习越来越有信心，最终加入 Reflection AI，目前负责前沿基础模型的推理与后训练。

• ARC 会给出多组共享同一变换规则的输入—输出网格，再要求系统将这条规则外推到测试网格。Berman 称之为“机器版智商测试”：当时普通人在 ARC v1 上的得分约为75%，GPT-4 和 Sonnet 3.5 约为5%。

• 主持人引用了 Berman 第一篇论文中的一句话：“住在法院里的鹦鹉，会比住在疯人院里的鹦鹉复述出更多正确陈述。”

2. Python 演化修复了采样无法解决的临界错误

• 受 Ryan Greenblatt 启发，Berman 起初生成大量代表候选变换的 Python 程序。Python 有两个决定性优势：可以确定性执行，也能低成本对照每个训练样例验证，因此能通过训练样例的程序，在未见过的网格上相对可信。

• 单纯扩大搜索宽度的效果出人意料地差。即使让 Sonnet 3.5 生成1,000个程序，简单任务也经常只错几个格子；它们看起来已经足够接近模型的分布，按理说有效解应该早已出现。

• Berman 转而保留表现最好的候选程序，并提供颗粒度更细的反馈：原始程序、错误格子，以及改进请求。这样的修订最多重复10次，把临界错误逐步修成正确解，也最终揭示出更普遍的原则：“演化解法是一项普适的强力技术。”

• 搜索存在一个“金发姑娘”式的权衡。更大的宽度能触及局部修订无法发现的非典型假设；更大的深度则能组合和修复有希望的候选。ARC-AGI-2 是组合型任务，需要穿越更多规则，这改变了宽度与深度的平衡；Berman 的 ARC v1 系统迁移效果很差。

3. RL 训练模型把大量搜索循环内化了

• 在 ARC-AGI-2 上，Berman 发现搜索宽度比预期更重要，因为思考模型已经会在思考区块内部进行深度修订。他的外部演化循环仍然有效，但模型如今已经承担了此前围绕 Sonnet 3.5 额外设计的大部分深度搜索。

• Berman 承认，2周后发布的 o1 改变了他的看法，以至于那篇早期文章的部分内容现在让他感到尴尬。在强化学习教会模型探索之前，外部修订主要通过“随机猜测”模拟思考；经过 RL 训练的模型自带“内置修订循环”，无需提示也会分步思考。

• 主持人质疑，从数学或代码等特定领域能力跳到通用思考是否过快。Berman 的保留意见是时间维度上的：模型“已经处于它们未来最差的状态”，而当前后训练算力中只有一部分用于通用推理，因此今天的专业化表现不能证明存在永久性的架构上限。

4. 英语扩大了假设空间，却破坏了确定性验证

• Python 成了 ARC-AGI-2 的错误表达语言，因为许多简单的视觉规则都需要“成行成行又成行”的脆弱代码。相比之下，Berman 说每道题都能压缩在10条通俗英语内，多数题目5条就够：“一切都很简单，没那么难。”

• 这种表达方式也更接近人类解题。人会观察网格，提出一条简短的口头规则，再逐条检查；即便是资深程序员，如果被迫用 Python 表达每个假设，表现也会更差。自然语言让模型学到的归纳偏置得以“充分表达”。

• 代价是英语无法直接对网格执行。Berman 的检查器接收一套自然语言算法，并直接输出预测网格，但“几乎一直”出错。试图用 GPT-5 mini 或 nano 节省成本的结果很糟；出人意料的是，检查器的质量比指令生成器的强弱更重要。

• 尽管如此，Berman 认为 v2 的架构在表达能力上比他的 Python 系统更通用。他称没有任何 ARC-AGI-2 任务从根本上超出这套程序空间，并预测一旦 Grok 6 或 GPT-7 提供更强推理能力，“你可以直接用我的 v2 方案，它会赢——会击败 ARC”。

5. 表现取决于模型尖峰、熵和推理预算

• Berman 是通过与 GPT 系列模型直接测试后选定 Grok 4 的，而不是只看它在基础榜单上的位置。他的解释是分布上的专业化：神经网络在狭窄领域的能力仍然“非常尖峰化”，Grok 4 可能见过足够多相关形状、网格或推理模式，从而获得了异常优势。

• 这种优势不会自动迁移到代码上。Berman 生成 Python 时仍偏好 Sonnet 3.5，而不是 Grok；他还怀疑 Opus 4.1 可能领先自己的 ARC v1 系统，但尚未进行这项昂贵实验。“你用哪个模型，确实非常重要。”

• 更高的自然语言熵是有意为之，而非副作用。最佳系统的得分仍在30%左右，Berman 反复把模型推向“更多熵，更多熵”，即使针对任务增加约束可能改善少数样例，也坚持保持提示的开放性。

• v2 每道任务成本约30美元，v1 约为8美元；讨论中提到 o3 在 ARC v1 上的结果每道任务约200美元，但双方没有确定 OpenAI 究竟使用了什么搜索或微调方案。Berman 预计，以当前模型继续优化，准确率或许只能提升几个百分点，不会超过40%，但效率可能提升2倍。

6. 自然语言击败了显式迁移，但可复用轨迹仍然存在

• Eric Pang 的系统得分略低但效率更高，采用了库学习和迁移。Berman 也曾构建过一个保存训练轨迹、并在测试时检索这些轨迹的版本；他认为这会同时提升效率和准确率，因为“可迁移的东西很多”。

• 在简单流水线取得如此高分后，他为了保留一个优雅、无依赖的结果，暂时删掉了这套机制；他开玩笑说，如果有人超过自己，可能会把它加回来。他更强的判断是，自然语言处在“效率高得多的活动空间”里，因此相信自己可以匹配 Pang 的预算，同时取得更高分数。

• 主持人保留的疑问是，当前 ARC 系统本质上仍是短暂的搜索过程：每道新任务基本都从头开始，而不是像 Chollet 所说的那样获取并迁移知识。Berman 同意，测试时微调将是从搜索走向适应的根本路径。

• 关于 o3，双方并未确定 OpenAI 究竟做了什么：Berman 说他们始终没弄清楚，Mike Knoop 认为采样很可能是关键，主持人则说一定是采样。Berman 表示，ARC 训练数据属于预训练语料，而不是微调数据，因而算“公平竞争”；Mike 认为，如果加入带验证的迭代优化，结果还会更好。

7. 神经—符号之争的关键在可训练性，而不只是表达方式

• Berman 的高层论证从生物学出发：既然人脑通过神经计算实现通用推理，人工神经网络就不应受到物理规律上的禁止。他认为网络的能力范围可能是符号系统的超集，并通常假设语言模型可以调用 Python 终端。

• 主持人划出了一条更严格的边界。有限的人脑可以借助笔记本或白板扩展有效记忆，因此能够运行图灵完备算法；固定神经网络本身却并非图灵完备。接入 Python 会构成更强的混合系统，但这并不能证明随机梯度下降能够学会一个有效搜索程序的控制器。

• 主持人引用 Kenneth Stanley 对 SGD 与神经进化的对比，认为梯度下降倾向于寻找捷径，而进化搜索则可能发现分解式、具象化的表征，让系统“沿着世界的关节切分世界”。在有限状态算法中，只有极小一部分能够控制可扩展的图灵机；权重空间中存在某种控制器，与能否训练出它，是两回事。

• 当主持人追问为什么不能训练一个大得多的网络来找到同一个控制器时，Berman 没有解决这一可训练性异议：“这个问题我还得再想想。”

8. 灾难性遗忘是自适应模型缺失的架构

• 主持人将今天训练阶段的 RL，与另一种智能体系统进行对比：系统在使用过程中行动、接收环境信息，并更新自身权重。冻结系统可以通过 AlphaZero 或 MuZero 式的搜索近似适应性，但真正个性化的权重更新将构成“一种完全不同的智能”。

• Berman 不认为算力会长期构成阻碍。他推测，既然 NVIDIA 正向 OpenAI 投入1,000亿美元，Sam Altman 的计划可能是每周产出1 GW 算力；他还指出，未来或许可以在一张 GPU 上运行 OSS 12B，并以相对低廉的成本微调，因此个性化适应在10年内并非不可行。

• 更难的问题在于，更新权重可能会挤掉此前正确的答案。Berman 将其与符号系统作对比：在符号系统里，经过验证的结果可以存入稳定的库中。

• 双方共同认可的架构方向是可组合性：冻结正确的专家或层，再加入新能力，同时不破坏旧知识——主持人称之为“语言模型的 Docker”。Berman 预计这会成为强化学习 S 曲线之后的下一步：给模型新数据，保留它所知道的一切，并让它在新任务上变得出色。“我们还没到那一步。”

9. 推理必须构建知识树，并学会发明

• Berman 将推理定义为“元技能——创造技能的技能”。预训练构建的是关联事实网络，把首都、语言、物理学和相对论一视同仁，却不保证因果结构；推理则从公理出发构造演绎树。智能之所以是一种压缩，是因为更深的理解让系统能够从更少的提示中再生更多知识。

• 在 Berman 的框架里，带可验证奖励的强化学习可以把关联网络修剪成与环境一致的推论。这引出了他的激进观点：无差别预训练可能通过把答案而非推导过程填入权重，反而拖慢推理。后训练是在“把你的顾问变成 Feynman”，有些知识或许更适合留给模型自行推导。

• Berman 提议搭建一个发明环境，将狭义相对论及其后续理论从预训练中移除，再奖励模型重新发现它们。主持人以连机器学习节目都剪不好的编辑为例，质疑是否存在领域通用的“发明回路”，认为创造力需要领域知识；Berman 则回应，创造力在于选择哪些公理，推动一棵树从第5层走到第6层。

• 双方最终收敛到一套简洁分类：推理负责建树，理解意味着拥有这棵树，智能则是获取它的效率——因此，一个无知的孩子也可能非常聪明。Berman 的比喻是：“你的树之花园有多宽、多高”；在最深层次上，他认为这些树最终可能会在逻辑本身汇合。