摘要

可投资的变化，是从扩展预训练模型的记忆能力，转向把推理算力用于重组知识，而 ARC-AGI v1 暴露了两者之间的断点。 GPT-4 级系统得分约4%，o3 达到75%，高算力昂贵配置达到85%；2名 STEM 毕业生合计接近98%–99%。Mike Knoop 认为，这个陡峭转折证明系统获得了真正全新的“适应新颖事物的能力”，而不是又一次渐进式基准提升。
DeepSeek R1-Zero 的科学意义高于 R1，因为它在没有人工标注推理轨迹的情况下，单独展示了通过强化学习和符号验证实现推理的路径。 它的 DeepSeek-V3 基础模型仍然使用人类数据训练，这是 Lukas Biewald 强行带入讨论的限定条件；但 Knoop 认为，这可能打开一条从原始算子走向自生成知识的路径。2025年尚未解决的问题是：纯 RL 能否在没有监督微调的情况下达到 o3 级别的适应能力。
“DeepSeek 让推理便宜了几个数量级”这一标题，目前还不是干净的成本比较。 Knoop 尚未深入审计训练数据，并强调 OpenAI 商业化 o1 的价格包含利润和未来研发投入，而开放模型可以自行部署，成本更接近真实成本。部分比较还遗漏了基础模型训练成本；他的谨慎判断是，R1/R1-Zero 与 o1 的真实推理成本可能处于“相近的区间”。
企业级 Agent 只有在推理能力把一致性提升到足以让用户放弃监督时，才具有真正的经济意义，而不只是因为 token 变便宜。 GPT-3.5、GPT-4 和 GPT-4o 都没能消除随机错误，Zapier 客户反复表示：“我还不够信任它，无法放手不管。”Knoop 预计，o1、o3 和 R1 级别的规划能力，将解锁用户已经愿意按人力成本付费的工作负载。
ARC Prize 把一个原本晦涩、针对“预训练足够论”的研究异议，转化为全行业的协调节点。 2024年6月前，AI 研究者中了解 ARC 的比例或许只有10%–20%；到年底，科技行业可能已经无人不知。排行榜后期跃升、协同发表的论文，以及数千个要求测试 o1 的请求，都暴露了此前被隐藏的需求。据称已有7或8家初创公司改变研究方向，或转向 ARC。
Knoop 与 François Chollet 创办的 Ndea，是一场高集中度的反向押注：程序合成大约提供了高效 AGI 所需的一半想法。 深度学习提供快速的近似草图；程序合成则从少量样本中搜索精确、能够分布外泛化的规则。Knoop 认为，程序合成至少占整个方程的50%，即便它不占50%的算力；而这个领域仍然没有自己的“程序合成版 transformer”。
AGI 时间表仍由不可预测的阶跃式进展和一个尚未解决的效率分母决定。 Knoop 猜测 ARC-AGI v2 可能维持12–18个月，ARC-AGI v3 的设计目标是维持3年。人类觉得容易、AI 却觉得困难的差距，至少还要3–4年才可能在人类级效率上消失。这些都明确属于“大胆猜测”：ARC-AGI v1 在接近5年时间里几乎停留在零附近，却在2个月内从4%升至85%。

精读

1. ARC-AGI 暴露能力断点，而非更平滑的扩展曲线

Knoop 将 GPT-3、GPT-3.5、GPT-4 和 GPT-4o，与更新的 o 系列和 R 系列区分开来。前者主要通过扩大预训练规模、增加人类数据和一定程度的蒸馏来提升能力；后者则加入了推理时算力。他称之为“根本性的范式转变”。
预训练 transformer 确实能够泛化，因为压缩并不等同于字面意义上的数据库查询。Knoop 更具体的判断是，它们的泛化程度受到架构限制：更多训练可以增加知识，但不会按比例扩大系统超越既有知识进行适应的范围。
Biewald 对 AlphaGo 的反驳值得保留：一个能够发现新围棋着法的系统，当然算是在推理。Knoop 承认那是领域特定的智能，但认为它的通用性来自研究人员对领域的建模。人类真正独特的优势，是能在几小时内学会一款新纸牌游戏，或在几天内学会驾驶一辆新车。
ARC-AGI v1 自2019年推出后，5年间基本无人攻克：GPT-4 级系统得分约4%。随后 o1、o1 Pro 和 o3 推动成绩近乎直线上升至75%–85%。“当你看到一个陡峭转折时，就说明某些东西发生了明显变化。”

2. 当搜索叠加在思维链之上，思维链才变得强大

2022年1月发表的思维链论文，是 Knoop 所谓的“糟了时刻”。要求模型“把思考过程说出来”，让当时的推理基准从约30%升至70%，也让他认真考虑这项技术是否可能走上 AGI 道路。
最简单的思维链形式，是反复要求模型给出下一步，累积整条轨迹，再以这条序列为最终答案提供依据。o1、R1 和 R1-Zero 大体遵循这一模式，但单链版本在 ARC 上只能达到约15%——明显高于 GPT-4 级系统4%–5%的区间，却仍然偏弱。
Knoop 基于信息做出的推测是，o1 Pro 和 o3 增加了采样与搜索：先生成多个可能的思考步骤，选出一个，再进入下一步。这类似于推理时的程序搜索，在他的解释中，这正是成绩跃升至75%、高算力配置达到85%的原因。
Biewald 对这一机制之惊人之处停顿了一下：被认为受限于压缩能力的模型，为什么通过分阶段生成更多文本，就能以某种方式获得推理能力？Knoop 也承认这并不直观；正是这一经验性跃升，让他认为这些系统“值得认真研究”。

3. ARC 将进展定义为消除“人类觉得容易、AI 却觉得困难”的任务

一道 ARC 任务会给出彩色二维网格、若干输入输出示例和一个测试案例。解题者必须推断出一条一致规则，将对称、旋转、物体检测与追踪、基础物理等先验重新组合，用于处理从未见过的配置。
这些谜题在人类看来往往近乎简单，这正是基准的力量所在。现有的人类证据显示，2名 STEM 毕业生合计可以解出 ARC-AGI v1 约98%–99%的题目；Knoop 说，聪明的人类实际上可以达到100%，但 v1 缺乏足够严谨的人类基线。
ARC-AGI v2 计划加入更强的研究，以证明每一道任务都能由人类解决。其设计原则始终是“对人类容易、对 AI 困难”，目标是将这道鸿沟压到零，而不是不断升级到人类也极难解决的问题。
Biewald 追问，经历了这么多所谓 AGI 里程碑之后，ARC 是否真的可能成为最终基准。Knoop 不会保证这个标签，但他说，如果不存在任何对人类容易、对计算机仍然困难的任务，那么否认 AGI 就会变得困难。“这由世界来决定。”

4. R1-Zero 暴露纯 RL 押注及其关键限定条件

R1-Zero 和 R1 都在训练并生成思维链，但 R1-Zero 的后训练使用强化学习，不依赖人工标注的推理示范。符号验证器可以运行代码、检查方程、测试编译结果或比对精确答案，然后返回可靠的好坏信号。
Biewald 抓住了关键限定：R1-Zero 并不是从零开始学习语言。它从 DeepSeek-V3 出发，而后者使用了人类数据训练。Knoop 认同“这不是一个已经注定的结论”，并将未来的工程选择概括为：多少知识应当放进基础模型，多少知识应当由系统在运行时生成。
更具推测性的上行空间，是递归式知识生成：推理器可能生成新知识，将其加入不断扩大的语料库，再为后续训练提供种子。极端情况下，一个系统可以只接收基础算术算子，然后通过 RL、在“没有人类参与”的情况下，尝试自行构建微积分。
证据仍不完整。Knoop 说，o3 要在 ARC 上取得强劲表现，需要通过人类监督微调来达到足够高的效率；目前还没有公开结果证明，纯 RL 训练的语言模型推理器能够达到同等水平。他预计，这将是2025年的重要研究方向。

5. DeepSeek 的价格并不能证明其成本优势达到数量级

对于 DeepSeek 备受讨论的经济性，Knoop 给出了一个“诚实的非答案”：“我还没有深入看过。”他区分了商业定价与底层成本，因为开源 R1 可以在本地基础设施上运行，而 OpenAI 必须把利润、研究人员和未来研发投入计入价格。
他的判断性推测是，o1 的商业推理价格包含了相当可观的利润，真实成本可能比用户想象的更接近。他会把 R 系列和 o 系列推理系统放在大致相同的成本区间，同时强调自己无法核实精确比较。
训练成本标题又制造了一个分母问题。被引用的 R1 或 R1-Zero 后训练成本，可能遗漏了创建 DeepSeek-V3 所需的投入；但 Knoop 声称自己并不知道这个数字，也指出他同样不知道 GPT-4 的完整成本。

6. Zapier 的资本纪律塑造了 Knoop 对技术押注的方式

Zapier 让非技术用户连接 Gmail、Slack 和 Salesforce 等产品，在无需工程师介入的情况下，通过自动化工作流传输数据并执行决策。Knoop 估计，它服务于美国300万–400万家企业，同时拥有规模可观的国际客户群。
3名来自美国中西部的创始人最初认为，一家公司应该销售有用的产品，并用收入继续投入，因为2010年的美国中西部确实不存在真正的风险投资市场。在 Y Combinator，Sam Altman 的约束问题揭示了瓶颈：Knoop、Wade Foster 和 Bryan Helmig 每天忙于客户支持直到中午，而不是改进产品。
他们筹集了约100万美元，迅速招聘支持人员，但收入在新员工拿到第一笔工资前就追了上来。Knoop 开玩笑说，最初那笔资本可能“沿着血脉一路追溯”到现在；它真正的价值，是提供了全职投入的启动能量。
Zapier 从2011年起也一直采用全球远程办公。当时 Knoop 只能找出 Automattic 和 37signals 作为可比案例。这段运营经历对他的 AI 叙事很重要：它让他贴近真实工作流，也让他看到，决定产品能否被采用的是可靠性，而不是基准测试的轰动效果。

7. 早期 Agent 部署暴露了预训练无法消除的上限

2022年思维链结果出来后，Knoop 让 Foster 接回自己的全部职责，负责产品和工程，这样他就能专门研究 AI。在6–12个月里，他与 Zapier 的 CTO 持续写代码，开发思维树原型，并在 ChatGPT 发布前几个月做出了内部版 ChatGPT。
工具调用成为 Zapier 最自然的切入口：冻结权重的语言模型可以访问平台的操作和搜索接口，从而影响业务软件，而不只是返回文本。因此，Zapier 在采访前约2年就开始部署类似 Agent 的系统。
数百次客户交流都给出了相同的反馈，覆盖 GPT-3.5、GPT-4 和 GPT-4o：“承诺确实存在”，但“我还不够信任它，无法放手不管”。自动化是在服务器上无人值守运行的，偶发错误不像聊天回复那样可以随手审计。
这种始终不变的反馈，与2023–24年围绕扩展的热情发生了冲突。François Chollet 2019年的论文《On the Measure of Intelligence》，为 Knoop 提供了一个既保留预训练成果、又解释其局限性的框架。他最终认为，ARC 是一个异常具体的证据，表明单纯扩展记忆能力无法解决适应问题。

8. 一个误发 Slack 频道的错误，体现了可靠性的商业 stakes

Zapier 早期的一个 Agent 需要选择 Slack 频道，并根据 HubSpot 信息和销售转录内容撰写潜客信息。尽管提示中指定了测试频道，它有时仍会选中一个共享的 OpenAI 合作频道，因为该频道名称中也包含“testing”，并将客户信息发送过去。
团队立即停用并清理了这条工作流。Knoop 的反应是：“把这东西关掉。离我10英尺远。我受不了了。它正在把我的生意置于危险之中。”一次随机错误，就可能让用户的业务和一项重要合作关系陷入风险。
Zapier 的应对方式是设置硬性保证：用户默认选择目标频道，也可以允许 Agent 自由猜测，或者将其限制在3个获批频道之内。这种架构承认，在底层规划能力可靠之前，模型自主性必须与确定性控制并存。
Knoop 对 ARC 式适应能力的实际转译是“一致性”：一个更可靠地抵达同一可控答案的系统，会更容易被引导。人们可能愿意为这种可靠性支付最高相当于人工劳动的价格，因此 o1、o3 和 R1 即使在推理成本尚未下降之前，也可能解锁 Agent 应用。

9. ARC Prize 将被忽视的基准变成了研究市场

在 ARC Prize 出现之前，Knoop 接触的研究者中或许只有10%–20%了解相关 ARC 基准；很多人把它与另一个已经被语言模型攻克的旧版 Allen Institute 基准混淆。对他而言，ARC 是反驳“扩展预训练就足够”的直接、具体证据。
Biewald 将他介绍给 Chollet 后，Knoop 飞往西雅图，提出提高 ARC 关注度的想法，同时追问为什么知名度如此低、Chollet 为什么没有投入更多精力。Chollet 对这些问题给出了很好的答案；Knoop 在看到 Nat Friedman 和 Daniel Gross 如何为 Vesuvius Challenge 聚拢关注后，继续推进 ARC Prize 的构想。
2024年的比赛要求获奖者开源进展，从而重置社区基线。截止前一周，领先团队以接近55%的成绩整个夏季占据主导，却一度犹豫是否公开成果。72小时内，2支约排名第10的队伍冲了上来，另一支挑战者紧随领先者之后，3篇论文几乎同时出现。
o1 发布后，需求再次涌现：数千人要求 ARC Prize 对其进行测试。到2024年底，Knoop 认为科技行业可能已经人人知道 ARC；更出乎意料的是，有7或8家 AI 初创公司告诉他，它们已经转向或重新定向研究，投入这一基准。

10. 竞赛暴露了2条可信的测试时适应路径

经典 ARC 求解器使用人类设计的领域特定语言，其中包含小型变换函数，再暴力枚举组合，直到某个组合与示例匹配。它们的通用性存在于研究人员的设计选择中，而组合搜索的效率极其糟糕。2024年 ARC 比赛中，更新的归纳和测试时训练方法达到了约40%–50%。
Ryan Greenblatt 早期的程序归纳方法，是让语言模型根据谜题生成 Python 程序，在已知示例上运行这些程序，再选出输出匹配的程序。它达到了约40%，证明了这一方向的潜力，尽管它可能需要生成数亿个程序。
测试时训练提供了另一条主要路径。团队通过改变颜色或镜像网格来扩充每个私有任务，但不改变其语义规则；随后生成数千或数万个相邻示例，在本地微调模型，再进行推理；一个领先系统达到了约50%。
因此，Knoop 看到2类有证据支撑的适应路径：他认为 o1 Pro 和 o3 使用的思维链搜索，以及测试时训练——先处理当前情境，生成相邻数据，再将其反馈给模型。ARC 本质上不是视觉测试；它的网格只是以视觉形式呈现的二维程序合成问题，用于调动人类直觉。

11. Ndea 押注高效 AGI 需要直觉与精确搜索的融合

程序合成的目标，是寻找一个能将少数输入示例映射到输出的程序。深度学习需要大量数据，擅长快速给出近似的分布内判断；正确合成的规则则可以泛化到任意输入，但搜索所有可能程序的成本会呈指数增长。
Ndea 提出的融合方式模拟人类解题：深度学习快速勾勒出几条可能规则；符号执行对其进行精确检查；失败结果再把搜索送回直觉模块，以生成更好的候选。人类不会枚举数千个 Python 程序，高效的人工系统也不应如此。
Knoop 将 o3 的推理链理解为一种自然语言程序，将其采样理解为程序重组。他认为，大多数前沿实验室仍把这看作带有辅助搜索的深度学习；Ndea 则将程序合成视为“整个方程中至少50%的部分”，即使它不占50%的算力。
他与 Chollet 认为，o3 在 ARC 上的结果可能是类似 AlexNet 的起点，开启一段5–10年的扩展旅程。程序合成领域远小于深度学习，至今仍没有自己的“transformer”。因此，Ndea 是一家研究实验室，近期没有产品计划，而 AGI 是第一步。
更长期的目标是自主科学创新，而不只是解决今天的工作流。Knoop 把 AGI 比作印刷术：15世纪的人可以预见知识会更广泛地传播，却无法想象 Wikipedia、在 Wikipedia 上训练的 AI，或人们可以与之交谈的机器。真正吸引人的地方，“几乎更像是一场冒险，而不是一道待解决的问题”。
效率仍然是 AGI 定义的一部分，因为现在可以通过增加推理算力购买更高准确率。Knoop 暂时倾向于使用美元来比较机器工作与人类劳动：FLOPs 无法直接转换，而并行计算也会扭曲实际耗时。
他明确表示不确定的预测是，ARC-AGI v2 将持续12–18个月，而旨在测试不同能力的 ARC-AGI v3，目标是持续约3年。他预计，人类觉得容易、AI 却觉得困难的差距，至少还要3–4年才会在人类级效率上消失，但也警告阶跃式进展无法用平滑曲线外推：“你不知道那些想法是否已经存在。”

领先的干细胞专家：干细胞101——医学的未来，与 Robert Hariri 对话｜第147期 Graham Duncan - 人才低语者 - [Invest Like the Best，第409期]