摘要

Bonnet 的核心判断是，ARC 击败当前神经网络，原因在于其隐藏任务位于模型学习分布之外，而非神经网络天生无法学习这些任务。 如果已知测试任务分布并据此训练模型，“就能解决它”；ARC 要求把人类的基础先验以陌生组合方式拼接起来，而预训练模型无法零样本处理。
Latent Program Networks 将在巨大参数空间或符号程序空间中的搜索，替换为在程序压缩连续表征中的优化。 编码器提出一个潜在的“最佳猜测”，梯度搜索不断调整它，直到某个潜变量能够解释所有示例，再由解码器将其应用于测试输入。其核心赌注是：这个压缩空间可能比巨大的参数空间更容易、更高效地进行测试时搜索。
早期结果是架构层面的证据，而不是 ARC 的突破：约 4000万参数、从零训练的模型，在评测中准确率约为 10%。 Bonnet 称，实验没有使用预训练 LLM，也没有接触评测集；400个训练任务经 Re-ARC 扩展后，约产生1亿个样本。模型尚未训练至收敛，他还表示，解码器容量可能导致部分任务根本无法学会。
所谓“无先验”的结果有一个重要限定：Macfarlane 指出，Re-ARC 本身就是一个相当强的先验。 Bonnet 承认，Re-ARC 注入了对象、计数等假设，但他认为这些先验主要是在教一个随机初始化的 Transformer 理解有意义的二维网格与随机序列之间的差异，这与 ARC 的“开发者知情”规则一致。
单一连续潜空间很可能无法实现不受限制的组合推理。 Bonnet 表示，Type 2 问题可能无法处理；单线程搜索“永远不会带来组合”，但浅层组合或许会自然出现。他提出的可行扩展是，把多条潜变量搜索线程接入展开式计算，也可以进一步结合可执行的符号程序。
系统的失败模式指向集成式方案，而不是一种通用推理架构。 初步检查发现，许多未学会的任务是传导式的：当任务不需要紧凑的归纳规则时，潜空间中“没有对应的点”来表示这种变换，只能让解码器包办一切。符号程序依靠可靠的解释器执行，潜变量搜索则针对程序搜索的组合爆炸。
Bonnet 更广泛的判断是，深度学习或许可以覆盖90%–99%的任务，但昂贵的最后一公里需要规划和程序合成。 LLM 能够为新颖解法赋予非零概率，但抵达其中一些解法可能需要100万次采样，这会让它们“创造力低几个数量级”。LPN 的扩展也并非没有代价：空间越大，可能越不平滑，并在训练和推理阶段都需要更多搜索。

精读

1. ARC 测量的是与训练分布的距离，而非神经网络的不可能性

Bonnet 将 ARC——Abstraction and Reasoning Corpus——定义为一个测试系统适应新颖性的程序合成基准。其私有测试任务被刻意设计得不同于训练集，且事实上几乎不存在于互联网上，因此预训练 LLM 表现不佳。
Macfarlane 的反驳值得保留：他们对话中的大多数句子也从未出现在网上，但 LLM 仍然可以处理。Bonnet 的回答是，对话只占据相对狭窄的已学习潜空间，而 ARC 则以“任意方式”重组核心先验；在他看来，训练数据中不存在与之接近的类比。
这个绝对化的反事实假设明确了他的论点：如果研究人员知道一个包含测试任务的分布，并用“任何神经网络架构”进行训练，“就能解决它”。缺失的能力是极端的分布外泛化，而不是普通的机器学习能力。

2. 压缩比归纳与传导的标签更重要

Bonnet 将传导定义为直接根据数据进行预测，而不是使用解空间表征；Macfarlane 则把区别表述为根据数据创建模型，而不是复用现有模型，并认为只要权重不变，LPN 就属于归纳式方法。Bonnet 以 Awni Hannun 的检索、微调、预测流程作为传导的例子，但仍将潜变量搜索置于测试时训练的光谱上。
Bonnet 更深层的判断标准是“表征压缩瓶颈”。Python 程序或潜在程序是一种能够生成输出的简短解释；浅层的测试时参数重组压缩程度更低，因此更难进行组合式搜索。
关于核技巧的交锋揭示了 Bonnet 认为这套词汇不够有用的原因：线性回归既可以被表述为学习一个紧凑函数，也可以将其计算展开成训练数据与新输入的直接函数。LPN 同样位于测试时训练的光谱上，只不过它搜索的是由输入条件决定的潜空间，而不是完整参数空间。

3. LPN 将每个任务转化为可搜索的潜在程序

每个输入—输出对都会独立通过一个类似变分自编码器的编码器。由于能够解释单个输入—输出对的程序有无限多个，编码器输出的是潜在程序的分布，而不是一条明确规则。
同一任务中的示例应当产生相近的分布。概念验证阶段只是简单平均它们的潜在表征，再从平均点开始搜索；Bonnet 预计，基于混合分布的聚合或低温采样可能优于均值。
内循环使用解码器和已知的输入—输出对作为规格说明。它在潜空间中移动，寻找一个能够更好解释所有已观测输出的点，然后将同一个潜在程序和未见过的输入交给解码器——这“实际上就是在应用程序”，只是这个程序是一个向量。
训练时轮流留出每一个输入—输出对：其余 N−1 个示例生成用于预测该对的潜变量。这避免了直接编码目标输出的捷径，迫使表征捕捉输入与输出之间的关联。

4. 训练必须塑造潜空间的几何结构，才能支持搜索

目标函数通过 VAE 的 ELBO 损失，将重构项与高斯先验结合起来。没有这个先验，程序会扩散到“非常无结构、尖峰状的空间”中，彼此距离很远，使局部搜索几乎失去作用。
搜索在训练期间就已参与其中，因为编码器的职责是提供直觉，而不是给出最终答案。没有优化，解码器只会学习编码器对最佳猜测分布的回归；加入优化后，“最佳猜测最终可能很差，但离一个非常好的猜测很近”，这与 MAML 等元学习方法相呼应。
这会显著增加训练开销，因此 Bonnet 建议先在不使用搜索的情况下预训练，再使用搜索微调。他们尝试了零阶随机局部搜索和一阶优化；学习得到的解码器似然曲面足够平滑，因此一阶梯度优化表现良好。
Bonnet 也坦承，团队还没有深入绘制不同潜在方向分别代表什么。他们的可视化显示，起初是一团尚未理解的程序，随后学到的程序逐渐分离成簇并占据整个空间。他们也还没有测试主动向输入中加入噪声的效果。

5. 10%的概念验证使用小模型，但依赖大量合成数据

编码器和解码器都是从零训练的原生 Transformer，参数量各约2000万。模型将经过填充的 30×30 网格展平成包含900个值的序列，使用二维位置编码，并加入形状信息，使模型能够预测不同的网格尺寸。
Macfarlane 起初惊讶于只用“几乎什么都没有”的数据训练 Transformer 竟然能够运行；关键修正是，Re-ARC 将400个固定训练程序扩展为约1亿个输入—输出数据点。新增样本改变的是输入，而不是底层程序，教会模型理解相对位置和网格结构。
主持人质疑，这个生成器可能使“无先验”的说法失效。Bonnet 的回应是：Re-ARC 确实编码了对象性、计数等人类概念，但这些假设主要是在教模型理解二维网格，而不是向它泄露评测答案。
在这一设置下，团队在更难的评测分布上取得了约10%的初步结果，没有使用预训练 LLM，也没有接触评测集。Bonnet 强调，性能并不高，算力在收敛前就耗尽了，而且架构瓶颈可能使解码器无法掌握所有任务。

6. 连续程序以组合搜索换来了3个新的上限

Bonnet 修正了主持人对插值能力的乐观判断：固定的连续空间很可能无法容纳任意复杂的组合程序。它或许支持叠加或“几步组合”，但他认为单一搜索线程不会带来真正的组合能力，也无法解决 Type 2 问题。
他们提出的推测性桥梁是多线程搜索加分阶段执行：一个潜在程序先变换输入，另一个程序再消费变换后的输出，由此形成递归、展开式的计算图。Bonnet 称，ARC 的暴力解法深度从1到12或15不等，有时甚至达到50；Macfarlane 则认为，有界的神经组合或许可以覆盖大多数任务。
Macfarlane 提议使用显式 Python 程序，以适应不同网格尺寸。Bonnet 认同，使用解释器执行、并与现实对象绑定的程序，确实能够承载相关先验；一旦找到程序，解释器也能正确执行。相比之下，LPN 既要找到正确潜变量，又要提供足够大的解码器来执行它；当模型或潜空间过小时，继续搜索也无法找回解码器无法表示的程序。
初步任务分析也支持归纳—传导集成方案：多数未学会的任务看起来是传导式的。对于不需要紧凑规则的任务，潜空间中“没有对应的点”，因此 Bonnet 认为，强化解码器，或结合潜变量、直接解法与符号方法，都有明确空间。

7. 创造力是搜索效率问题，而规模扩张可能让问题恶化

Bonnet 仍然是连接主义者，但预计一次性深度学习或许可以处理90%–99%的任务；离散推理、长程规划以及“最后一个百分点”则需要程序合成。符号可能把合成推入一个完全新颖、无法被跟踪或摊销的组合空间。
他对创造力的更细致表述并不是说 LLM 完全没有原创性。Greenblatt 的采样方法显示，强程序位于一条长尾中，且具有非零概率，但抵达它们可能需要100万次抽样：模型只是“创造力低几个数量级”。
Macfarlane 反驳称，集体智慧本身就是一个巨大的采样器——许多人先提出弱想法，最终才有一个灵光乍现；而创造力还包含受文化影响的有趣性，而不只是新颖性。Bonnet 则将比较范围收窄到个人解决 ARC 的场景：直觉在“十分之一秒”内出现，随后可能提出2个、3个或4个假设，而在他的例子中，第5个假设是正确答案。
暴力扩展规模未必能保留今天这种容易进行的梯度搜索。Bonnet 预计，更大的程序流形会变得更不线性、更难插值、更不平滑，需要在训练和推理阶段投入更多搜索，同时还要扩大编码器和解码器。他始终押注于面向任务或查询的“小型表征”；这或许也有助于适应和认知不确定性，尽管他表示，当前系统还无法估计这种不确定性。

Adarsh Hiremath @ Mercor：硅谷增长最快的创业公司｜E1261 抄底时机到了吗？