测试时适应：深度学习推理的关键
摘要
- Mohamed Osman 的团队通过将适应本身纳入推理，在 ARC 排行榜上达到55.5%，随后在隐藏集上达到58%。 本期节目开场摘要称，增强并反向投票带来260%的提升，测试时主动微调又带来300%的提升。可投资的变化，是从不断扩大静态模型，转向能“在测试时获得技能”（“acquire skills at test time”）的系统。
- Osman 将 ARC 重新定义为感知问题：找到正确的抽象，比搜索变换更重要。 正如图像系统必须在“无限光照、无限着色”下识别苹果，之后才能数出苹果数量，ARC 求解器也必须先判断哪些对象和关系重要。一旦表征到位，“搜索就容易得多”。
- 系统从一个小型 T5 系列编码器—解码器起步，主持人估计其约有3.4亿参数，Osman 也确认它很小，随后通过代码和合成 ARC 任务让它变得异常易于操控。 所有训练样例和未见输入在一次前向传播中共同输入，产生Osman所称的“可能只是一个弱小、笨拙的上下文器”，其近乎正确的推理可以通过梯度下降修正。这意味着，测试时适应有望让小模型变得更强，而不必依赖前沿规模的预训练。
- 纯文本网格是特性，不是捷径：Osman 认为，专门化的 ARC 编码会制造可被利用的盲点。 “你放进输入里的任何专门化，都能构造出一个针对它的对抗性问题。”因此，他对冻结的视觉编码器持悲观看法：这类编码器在看到题目样例、甚至知道问题究竟涉及对象、手指、颜色还是计数之前，就已经预设了一种视角。
- 直接生成答案，以更快地在学习到的表征中行动，换取了相较 Python 明确组合性的损失。 Osman 承认神经网络默认并不具备组合性，但认为深层先验、上下文提示、测试时梯度、束采样和多数投票可以调节一个隐式变换。主持人的质疑依然关键：即使 ARC 官方预期“只有一个正确解”，也可能有许多规则拟合样例，其中包括过拟合规则。
- Osman 预计 ARC V2 会保留原有格式，同时加入更难、更具个性的任务，因此 V1 上的表现未必能直接迁移。 他认为反复提交 ARC V1 带来的信息泄漏很小，欢迎更新题集，但希望 V1 继续开放，以便比较方法。他的条件式判断相当激进：如果有4张3090，或者2张3090并投入更多时间，团队“绝对”能在 ARC V1 上达到85%。
- Tufa Labs 收购 MindsAI，将这次竞赛成绩转化为一项围绕测试时计算、组合性和架构的有资金支持的研究计划。 Osman 表示，团队未来约1年将主要专注 ARC，之后再扩展到 System 2 式问题。他们决定不开放完整竞赛技术栈，背后是经济账：从33%提升到55.5%，同时后来在隐藏集上取得58%，若开放权重、训练代码、样例及完整测试时流水线，也只能获得2.5万美元。
精读
1. ARC 只有在模型学会如何观察之后才变得可解
Osman 的基础性转向，是把 ARC 视为感知解释问题，而不只是函数搜索。每道题都允许近乎无限的变换集合；真正困难的，是在寻找规则之前先识别出相关对象和关系。
他的类比来自图像识别：系统在说“有4个苹果”之前，必须先在“无限光照、无限着色”下识别苹果。ARC 以抽象形式呈现了同一瓶颈——一旦找到正确的表征层级，数对象或映射对象就可能变得简单直接。
因此，测试时微调既可以被视为“深度学习的新范式”，因为参数会在评估期间发生变化；也可以被视为把传统深度学习搬到了推理阶段。Osman 认为，如果训练是目前已知获取新感知技能的最佳方式，那么新谜题出现时，就应该把整套范式应用上去。
2. 小型编码器—解码器被训练成易于操控的元模型
起点是一个小型 T5 系列编码器—解码器。主持人估计其约有3.4亿参数，称其为“一款大约2020年的古董模型”；Osman 确认它确实很小。模型已经经过语言预训练，随后又接受额外代码和合成 ARC 风格任务的训练，而非从零开始训练。
代码之所以重要，是因为下一词预测很难靠虚张声势蒙混过关：模型必须准确跟踪变量、过程和上下文。普通语言允许用一个听起来合理的替代词，但代码要求精确，Osman 认为这会强化推理所需的上下文化能力。
合成课程包含的真正新概念相对有限，并不是一个庞大的谜题生成器宇宙。它的目的，是写入有用先验，同时训练模型保持足够动态，使此前未见过的谜题能够覆盖这些先验。
每一组示例对和测试输入都会在一次前向传播中共同呈现。面对大量谜题，系统学会从上下文中读取信息并据此泛化，形成一个“可能只是弱小、笨拙的上下文器”，相比逐个学习每种变换，更容易调节。
3. 测试时梯度修复近乎正确的隐式程序
Osman 将这种元模型框架与 Clem 等人的工作区分开来：后者让函数本身学习变换。通过把示例和新输入置于上下文中，他的模型被训练为从上下文泛化，而不是简单学习一个精确变换。
推理时，模型的上下文化能力先给出初始猜测。随后梯度下降将误差反馈回权重，更新隐式变换并生成下一次猜测——重点是“调节推理”，而不是从零学会完整技能。
节目开场摘要将其称为测试时主动微调或归纳式微调，并描述了从每道题示例中合成训练案例的做法。按 Osman 的解释，模型先接收实例提示，给出初始猜测，再反复调节；他的希望是，把问题放入域内后，网络能够学到一种具备泛化能力的感知解法。
4. 投票把 ARC 狭窄的答案空间转化为推理优势
节目开场摘要将第二项主要技术描述为：用变换增强谜题，在这些变体上预测，再反向还原变换，并对一致输出进行投票。摘要称该流程带来260%的提升，测试时微调又带来300%的额外提升。在详细讨论中，Osman 确认了增强、多路采样和多数投票。
Osman 更偏好束搜索，而不是温度采样，因为“糟糕的随机数生成器”可能让一道题直接失败。在像素生成中，错误 token 会让某条候选束越来越偏离，而正确的部分答案应当提高后续 token 的确定性；弱束会在多数投票前被淘汰。
主持人质疑“只有一个有效规则”这一前提：任意查表程序都能复现所有示例，却不具备泛化能力。Osman 将自己的说法限定为：在人的先验和 ARC 预期的核心知识下，每道题只有一个官方解；否则，他认为这就是一道设计不良的谜题。
主持人还保留了程序式研究中的另一项警告：据称有一个集成系统的假阳性率达到9%，生成了符合规格但实际上错误的函数。Osman 并未声称直接预测能够消除过拟合；他的回答是，上下文化、梯度反馈和多样化采样，能让隐式模型尽可能获得泛化机会。
5. 原始网格保留了冻结视觉编码器会丢失的灵活性
ARC 棋盘只是以文本中的数字编码：“那里没有任何特殊之处。”Osman 认为，专门化的 token 化和表征误解了这一基准，因为任何固定专门化，都可能遭遇专门针对该表征设计的谜题。
他用“6根手指”的例子说明冻结视觉—语言编码器的失败：给它看一只6指的手，它可能仍会回答5根，因为它的表征已经被常见手部形象锁定。在 ARC 中，这种锁定发生在编码器看完所有输入—输出对、发现题目要求它注意什么之前。
主持人反驳称，真正的多模态模型或许能在视觉感知和推理之间迁移，也可以在测试时自行适应。Osman 部分认同这一点：相互条件化、交错排列的视觉 patch 和语言 token 看起来合理，而调节视觉编码器“可能能让你达到60%或其他水平”。
他的架构边界更窄，也带有保留：不进行测试时调节的冻结预编码“就是个坏主意”；它可能达到约60%，但他怀疑这种方案不改变架构就无法完成完整任务。更广泛的研究机会，是用 ARC 直接测量 transformer 究竟能从一次全新的前向提示中完成多少上下文化。
6. 神经行动与显式程序分别解决推理的不同部分
讨论中提到的 François Chollet 方案类似 DreamCoder：在神经网络引导下搜索程序空间，因为神经网络天生存在组合性限制。Osman 同意网络默认是统计性的、缺乏组合性，但不认同把程序合成置于系统核心。
他的第一个反对理由是输出空间受限；类似 lambda 演算的表征过于僵硬。即使是一个能力不错的人，为一道题写出 Python 程序也可能需要10–30分钟，而直接给正确单元格上色可以瞬间完成。
Osman 将这一差距与渐进式发展联系起来：一个人可以先在游戏中成功行动，之后才有能力说清楚游戏的全部规则。第二个反对理由随之而来——程序搜索系统忽视了感知，但找到能让规则显现出来的表征，本应是“第一个问题”。
主持人的反驳是，语言模型改变了程序搜索：Python 具备图灵完备性，而模型先验编码了哪些程序合理、简单或有趣。Osman 并未排除在完成感知后使用 Python，但表示 Tufa 当前的优先事项，是测量 transformer 的局限，并尝试调节推理的“疯狂想法”。
7. ARC V2 提高难度，但不会让 V1 在智识上失去价值
主持人提出潜在过拟合问题：反复接触隐藏集可能泄漏哪些方法有效；Chollet 也曾指出，即使在2020年，一个方法集成系统也达到了约49%。Osman 认为其中的信息量“非常、非常低”，并指出过去多年里每天允许提交100次，也没有带来戏剧性提升。
尽管如此，他仍欢迎题集更新，尤其是如果能够删除可被暴力破解的任务。根据他与 Chollet 的交流，ARC V2 不会是动态的；它会保留相同格式，使用新的、可能更难的数据，并通过人类测试进行校准。
Osman 预计会出现更多“具有个性的谜题”——富有创意的单次题目，难以归入清晰标签或可复用类别。他认为这可能提高对泛化能力的识别度，同时希望 V1 继续开放，作为稳定的验证集，其历史分数已经得到充分理解。
他的扩展预测明确但有条件：ARC V1“确实会随着规模扩大而被解决”；4张3090，或者2张3090加上更多投入在该问题上的时间，会让团队达到85%。关键在于，这指的是在 V1 上追加测试时实验和算力后的预测，而不是声称当前表现已经接近这一水平。
8. 计数暴露架构瓶颈，Tufa 则确定下一阶段议程
在围绕 Melanie Mitchell 的 ConceptARC 基准讨论神经方法时，Osman 表示计数始终是最弱的类别。他反对用工程化计数先验打补丁，更希望理解架构本身为何失败。
主持人转述了研究自注意力机制的研究者提出的更深层诊断：表征压缩和 softmax 会集中注意力，最终可能集中到第一个 token。Transformer 随后连简单的计数或复制都做不好；如果模型无法可靠地把相关 token 复制到工具中，工具也救不了它。
Osman 同意 softmax 的作用类似 max，是一种“作弊码式”的近似，可能制造这一瓶颈。通用算法应当在不同层之间逐步更新状态；如果一层就合并所有特征并一次性完成计数，更可能是在学习脆弱启发式，而不是运行一个算法。
在 Tufa Labs 收购 MindsAI 后，团队获得了资金、即将到位的算力，并计划在最初约1年主要专注 ARC。离开 ARC 后，目标是主持人所说的“金票”：组合性、更广泛的 System 2 行为，以及能让神经推理更加通用的新型测试时适应。