递归语言模型——Alex Zhang，MIT 博士

摘要

• Alex Zhang 认为，学术界最大的优势，是可以自由押注产业界忽视、认为琐碎或判定不可能的问题。 SWE-bench 最初乏人问津，因为这项任务看起来根本做不到；RLM、ReAct、Quiet-STaR 等工作也只有在有人明确提出设计空间后，才显得“显而易见”。如果博士生只是复制工业实验室的研究议程，却没有对方的算力，Zhang 的直白建议是：“那就去工业实验室。”

• AI 生成的 GPU 内核已经具备竞争力，但专家直觉仍是稀缺输入，因为基准测试的胜利并不保证系统层面的可靠性。 近期 GPU Mode 排行榜几乎被 AI 辅助提交占据，但资深内核开发者 Gorst 做出了前10名中几乎唯一一个能在复杂真实系统内稳定运行的内核。专家经验能让使用者成为强力验证者，在模型浪费“1,000亿或1万亿个 token”之前把它引回正轨。

• 规模较小的实验室应该通过不同的模型架构和输出架构竞争，而不是复制头部实验室的自回归解码器。 Zhang 最喜欢的例子是 JEPA：它复用从语言中学到的信息，却改变模型的输出空间，从而为二元分类等任务实现快速推理；如果调用完整生成模型，成本可能高出“400倍”。他认为，延迟敏感型系统存在更大的机会：这类系统需要智能，但不需要完整生成文本。

• Zhang 认为，Claude Code、Codex、Pi 以及当前大多数 harness，本质上都是同一种“把轨迹当作提示词”（trajectory as a prompt）的循环。 RLM 则是反例：把上下文卸载到持久化环境中，让模型通过代码操作这些上下文，并递归调用子代理处理局部可解的部分。在他描述的实验中，短任务上学到的策略可以迁移到长8–30倍的任务，有时还可以跨越表面上不同的领域，因为高层程序保持不变。

• Prime Agent 把 RLM 的理念落成了一种围绕 IPython、持久化状态和耐久子代理构建的框架架构。 每项能力都可以以代码形式加载，代理之间通过显式机制通信，文件系统则在可见提示词被压缩后继续保存上下文。Harvey 已经报告了在法律文档工作中运行 RLM 的强劲结果，其他项目也在把这一抽象应用于持续研究、DSPy 工具链和 ARC-AGI-3。

• 代理蜂群如今已经可以用算力购买极难问题的解决方案，但经济性依然残酷，真正的难题在于编排。 节目讨论的 OpenAI 项目据称使用了10,000个代理运行88小时，生成1,300亿个输出 token；按公开价格计算约为4,000万美元，还未计入规模大得多的代理间通信流量。Zhang 怀疑“蜂群中95%绝对没用”，但仍认为能够把4,000万美元投入一个问题，本身就极其令人兴奋。

• 近期最大的机会，可能是让今天的模型可靠地完成持续数月的琐碎工作，而不是等待下一次智能跃迁。 Zhang 认为，像 Astra 这样的头部模型在配备正确工具后，可能已经能做得多得多，包括执行漫长但简单的任务、提供类似实习生的协助；但语言模型接口和类似持续学习的工作流仍然不够用。他的简洁诊断是：“如果你肯下功夫，你的模型其实能做得更多，所以问题在技能。”

精读

1. GPU Mode 将内核优化变成可学习的竞技运动

• Zhang 在 Snap 实习期间，曾尝试为 Google 的“无限注意力”（“Infinite Attention”）论文编写专用内核，但没有成功；也是在那时加入了当时名为 CUDA Mode 的社区。这个社区由 Mark Saroufim 与 Andreas、Jeremy Howard 共同发起，通过易于参与的课程结合动手编写内核，而不是把严肃参与限制在工业团队内部。

• 后来以排行榜形式呈现的 Popcorn 项目，起点是一个类比：GPU 编程很像竞技编程。可用的优化手段和反复出现的内核形状其实相当有限，因此，足够多的 Codeforces 式任务，最终可能让研究者把内核开发自动化。

• KernelBench 也源自同一假设：LLM 能否生成高效的 GPU 内核？现实动机在 Mamba 等项目中十分明显：如果发布一种架构却没有高性能内核，缺乏相关经验的团队就很难真正使用它。

2. 基准速度不等于生产可靠性

• 近期 GPU Mode 的提交几乎全部由 AI 生成或由 AI 辅助完成。然而，资深内核专家 Gorst 做出了前10名中几乎唯一一个能在复杂真实系统内可靠运行的方案，说明系统层面的投机技巧和不完整验证仍是基准测试的核心风险。

• Zhang 的工作方法很能说明问题：“我总是给代码画图。”任何他无法解释的部分，在彻底理解之前都不可接受。领域知识同时提供搜索方向和验证器，使专家可以在模型消耗海量算力之前，先剪掉庞大的搜索分支。

• 矩阵乘法有相对清晰的物理上限，但即便如此，答案也取决于数据一开始位于 CPU 还是 GPU DRAM。计算与数据搬运能否实现完美重叠，可能本身就做不到；好在许多真实内核距离上限仍很远，存在相当大的优化空间。

3. 全模型优化需要融合、编译器和更好的目标函数

• 一个局部更快的内核，可能因为驱逐了下一步所需的数据，反而让端到端模型变慢。因此 Zhang 区分了孤立内核速度和系统速度：有时应该牺牲第一个操作的延迟，以保留下一个操作需要的缓存状态。

• 主持人将其概括为算子融合或“megakernel”。Zhang 持谨慎态度：单个内核的结构受到约束，而 megakernel 引入了更复杂的设计问题；相比之下，可能更适合由编译器组装已充分理解的组件，并有选择地进行融合。

• Zhang 说，他大概不会把能耗作为首要优化目标。关键在于，无论速度还是效率，如果不明确周围的内存层级和完整执行路径，都无法诚实评估。

4. 学术界的价值，在于尝试不时髦的想法

• Zhang 认为，研究品味部分来自机遇：Princeton 让他接触到 SWE-bench 团队，后来他又在 MIT 认识了导师 Omar Khattab。成功的学术研究者反复展现出的，不只是智力，更是选择那些大多数工业实验室尚未投入的问题。

• SWE-bench 最初被忽视，是因为人们称其“不可能”；直到 Devin 等系统出现，目标能力才变得清晰。RLM 则遭遇了相反的质疑——“这不就是 subagents 吗？”Zhang 把这视为积极信号：批评者已经看到了机制，却还没有看到终点。

• ReAct、chain-of-thought、STaR 和 Quiet-STaR 回头看都可能显得显而易见。它们的价值在于说明智能系统应该如何工作，而不在于某篇论文发表当天就交付一个“GPT-6级”产品。

• 他给博士生的尖锐建议是：算力有限，应该促使你提高野心，而不是逼你模仿别人。学术界可以摆脱产品官僚体系；如果拒绝押注高风险想法，就是浪费自身优势，哪怕其中许多最终都会失败。

5. 另一种输出空间，可能比又一个解码器更重要

• Zhang 用 JEPA 挑战了一个默认前提：语言模型不一定必须是自回归的文本到文本解码器。按他的描述，JEPA 的做法是复用从语言中学到的信息，同时针对既定任务和延迟预算改变输出模型空间。

• 二元分类是最清晰的例子：如果真正重要的结果只有2种，为什么要调用大型生成模型、让成本“高出400倍”？真正有意思的研究问题在于训练目标、路由、部分模型执行，以及 harness 的行为最终能否在模型内部复现。

• 校准是产品的一部分，而不是装饰。普通的 next-token 模型在被问及确定性时，可能会自信地给出“43%”这样的数字；有用的快速分类器则必须让置信度与实际正确率相匹配，这可能需要通过合成标注结果来实现。

• Doom 的例子让延迟命题变得具体。Zhang 自己的游戏基准测试发现，大多数视觉语言模型仍无法真正完成多样化的游戏，不过他见过 Astra 通关 Kirby；快速的语言条件控制，可能打开一类低延迟任务。

6. 小实验室必须选择不同的竞争维度

• Zhang 的战略警告是绝对的：小实验室如果复制 OpenAI 或 Anthropic，主要是在数据和算力上竞争，而这恰恰是它无法控制的两项资源。Thinking Machines 的模型创新和 JEPA 改变输出空间之所以有意思，正是因为它们选择了不同的设计维度。

• 头部实验室没有太强动力去冒险破坏一种已经证明具备扩展性的架构。这给愿意探索循环 Transformer、路由器、并行解码、专用推理以及其他架构的新实验室留下了空间；这些架构可以牺牲通用性，换取成本和速度。

• 主持人提出了一个值得保留的反驳：JEPA 可能只是把熟悉的分类机制重新包装了一遍。Zhang 的回应是，简单实现并不是重点；这个系统打开了一个被忽视的设计空间，而且显然依赖一套并不简单的训练方案，公开复现尚未达到同等结果。

7. Harness 是让智能适应任务的一套程序

• Zhang 说，Claude Code、Codex、Pi 及相关产品在核心逻辑层面“全都一样”：工具围绕着反复的模型调用，执行轨迹不断累积到上下文中。Prime Agent 有所不同，但主流产品的设计选择仍然惊人地趋同。

• 他的重新定义是：harness 是一套明确规定语言模型应如何适应问题的程序。next-token 预测并不适合仓库导航或长流程工作，因此 harness 决定模型能检查什么、记住什么、执行什么、委派什么，以及如何验证。

• 一位主持人指出，通用的编码 harness 已经可以迁移到演示文稿、设计和其他领域。Zhang 承认它们确实有用，但认为表面的通用性不应终结对更强归纳偏置环境、以及更好后训练扩展性的探索。

8. RLM 将多样任务转换为可复用的高层程序

• 在 Zhang 的实验中，搜索提示和聚合提示在普通代理中产生了截然不同的轨迹。RLM 则把不同的局部细节交给子代理处理，同时学习基本相同的根策略，因此在一个任务上训练后，可以立即迁移到另一个任务。

• 长度结果尤其具体：在短实例上学到的策略，可以泛化到长8–30倍的问题，因为程序保持不变，只改变了长度参数。Zhang 说，类似迁移也出现在数学和写作等类别之间，而不只是同一基准测试的更长版本。

• 他的 GPU 类比让这种归纳更直观。竞技编程和内核优化在局部细节上不同，但两者都可以使用一个根程序：枚举候选方案，把子代理分配给有希望的选项，反复迭代，并用验证器检查结果。

9. RLM 让每次局部调用都更接近模型分布

• RLM 把主上下文存放在软件环境中，通常是文件系统，而不是让完整状态随每次提示词调用反复传递。模型可以写代码、把自己作为子代理调用，并在 Python 或 shell 环境中以函数形式访问其他工具。

• Zhang 所说的“局部分布内”逻辑是组合式的：整体任务可能是新的，但每一次委派调用都可以接近基础模型见过的工作。如果每个局部任务都熟悉，即使完整问题处于分布外，模型也更可能生成可靠组件。

• 这也解释了他为何反对“把轨迹当作提示词”。传统代理不断把动作和观察追加到同一个上下文；RLM 则提供一个外部中央状态，代理可以按需查询，通过代码组合，并在对话压缩后重新访问。

10. Prime Agent 将持久化、代码原生委派落到实处

• Prime Agent 在极简的 Pi 框架之上叠加 RLM 的理念，同时把可用工具限制为 IPython。Bash 命令和其他能力都变成模块或函数，模型需要什么中间工具，就由它自己编写。

• 它的持续 harness 组件允许系统修改自身的选定部分，包括技能、子代理、系统提示词和持续 harness。Zhang 喜欢这种明确性：自我改进是被设计约束的，而不是被当作不受限制的提示词突变。

• 子代理可以在根代理原本的工作窗口结束后继续存在，接收后续提示词，并通过代码定义的通道通信。Zhang 将其与 Codex 的子代理作了对比，后者在他看来“非常短暂”，不适合长期运行的进程。

• 一位主持人总结道：“整个秘密，就是把一切都移到文件系统里。”Zhang 补充了后半句：让交互通过代码发生，因为今天的模型尤其擅长编程，也能合成自己需要的特定任务接口。

11. RLM 的早期采用正在超越长上下文演示

• Harvey 曾独立把 RLM 用于法律工作，处理跨大量文档的审阅和提取，并报告了强劲结果。Zhang 对此感到意外，因为 Harvey 事先没有与他协调；在他看来，正是这种独立性让验证更有意义。

• 他还提到一个据称与 Base10 有关、持续运行的研究系统，一个类似 DSPy 和 RLM 的单人项目 Axe，以及 DSPy 对 RLM 的支持。这些项目往往是在延展这一抽象，而不只是复刻论文。

• ARC-AGI-3 也是天然应用场景，因为代码、组合式搜索和神经符号操作可以共享一个工作空间。Zhang 说，他会默认 OpenAI 报告的99.9%结果以及其 Navier–Stokes 工作并未具体使用 RLM；它们看起来更接近复杂的共享上下文蜂群，不过他并不确定细节。

12. 蜂群让算力成为购买缺失洞察的替代品，但代价高昂

• 主持人讨论的 OpenAI 运行据称涉及10,000个代理、持续88小时，生成1,300亿个输出 token；按公开价格计算，成本约为4,000万美元。Alex 补充说，把代理之间传递的消息计算在内后，总流量超过这一数字的2倍。

• Zhang 认为，只要相关信息已经拼齐，一个足够强的模型可能已经能够找到证明。真正困难的是通过搜索、拆解、研究者指导和协调来获得这些信息，而不只是选择某个特定的编排库。

• 他的效率估计是有意挑衅性的：“蜂群中大约95%绝对没用。”搜索必然会产生死胡同，但领域专家有时只需提供一个提示，就能剪掉那条耗费1万亿 token 的弯路；这正是编排和验证仍比代理数量更有价值的原因。

• Cursor 的多代理架构据称最终收敛成普通的软件团队组织图：一名负责人协调执行者，汇总它们的输出，再重新分配工作。Zhang 认为，汇总和重新协调是瓶颈；真正的蜂群应该由更多相互独立的代理组成，同时避免让用户淹没在内部通信中。

13. 开放式研究需要筛选，有用的代理则需要耐力

• Zhang 把开放性比作尚未解决的数学问题：进化搜索或代理蜂群可以无限探索，但“如何把有意思的东西筛出来？”Fugu 等系统提示，可以把路由导向那些确实有可能取得进展的任务，但最终目标该如何选择，仍是未解决的一步。

• Sakana 给他留下了深刻印象，在他看来，它更像一个古怪、带有博士生气质的实验室，而不是头部模型竞争者。它的 AI Scientist 工作可以被批评，但 Zhang 看重这样一种组织形态：资助非典型的进化式研究，同时拥有一个专门面向日语、能够给出文化适配答案的模型。

• 讨论认为 Kimi 的蜂群构想很有意思；随后关于动态工作流的讨论则提出了成本和可靠性担忧。由于逐字稿使用 Speaker 1/2 标签，这些评论的具体归属无法确定。

• 讨论一方面赞扬了 AlphaGeometry 时代的工作，另一方面认为 Gemini 有些被高估，并提到官僚主义以及 Antigravity 采用不力。由于逐字稿使用 Speaker 1/2 标签，这些观点分别由谁提出也无法确定。

• 讨论将 Zhang 让模型可靠工作一个月的目标，与持续学习联系起来：让头部模型稳定完成简单工作，或者在调查、适应和记忆的同时提供类似实习生的协助。在代码生成完成前启动可预期调用，是一种“显而易见”的优化；但持久化状态、反馈和注意力才是更深层的约束。

• Zhang 长期保留10–15个高风险想法，低成本测试后淘汰大多数；一旦有一个想法存活下来，他就会“放下一切”。他欢迎带着具体分歧或明确信念来合作的人，而不是只发一封“我喜欢 RLM”的邮件；在代理充斥的世界里，人的注意力和研究品味仍是稀缺资源。