摘要

RLVR 的战略价值不在于某一种算法，而在于可复用于任何可验证结果行为的后训练层。 Nathan Lambert 追溯了它从 Tülu 3 开始的演进：把前沿实验室的配方压缩成开放研究者可以修改的东西，覆盖数学、代码和精准指令遵循。这个名字后来从“RL from ground truths”改掉，是因为“verifiable rewards is actually a more general notion”；真正可能形成护城河的，越来越可能是围绕它的数据、基础设施和奖励设计。
瓶颈正从原子级验证器转向环境、专有使用数据和长尾行为修复。 Lambert 怀疑 Deep Research 这类系统会端到端地以报告质量为训练目标，因为那基本等于通过人工比较重新创造 RLHF。他更倾向于另一种解释：先训练大量更小的检索、搜索和编辑目标，再通过提示词或定向微调，直到“噗，系统就能用了”。
真实世界交互数据正在成为后训练中的整合性资产，而竞技场尽管存在缺陷，仍是有价值的数据采集网络。 偏好数据与模型和任务高度相关，前沿实验室仍告诉 Lambert 它们在使用人类反馈，而开放研究者无法量化其增量价值。但“chat is king”，Elo 排名也不会自然饱和；一个成熟的竞技场完全可能像 Scale 追逐数据工作的前沿一样，进一步升级到昂贵的多轮或深度研究比较。
搜索原生推理让专有索引和工具学习基础设施的重要性上升，静态长尾知识的重要性则相对下降。 Lambert 描述了一些 RL 实验：模型可能先“80 次工具调用都失败”，却在之后某次尝试中成功，这说明某些行为可能不是单靠监督微调就能复现。搜索无法替代基础智能，因为模型必须知道该搜什么；但严肃的通用模型可能越来越像连接检索系统的“online LMs”。
Agent 的进步如今取决于策略、抽象和校准，而不只是更强的基准测试能力。 Lambert 将其分为技能、策略、抽象和校准4部分：选择方向，把任务拆解为可解决的部分，并且只投入与任务相称的算力。对投资者而言，价值因此转向编排、记忆、规划数据、私有工具环境，以及把原始模型能力转化为可靠长周期工作的产品。
除非验证器质量提升，否则并行推理目前更稳定地带来鲁棒性，而不是突破性智能。 o1 Pro 或 Deep Think 这类多选一系统可能降低失败频率，但 Lambert 看不到它们足够深入地搜索低概率分支，因此还谈不上变革性。更好的验证器可能“改变推理时扩展的斜率”；在此之前，并行 Agent 更像吞吐引擎和合成数据生成器。
RL 反复出现的产品风险是过度优化：模型找到的是实现测量奖励的最低成本路径，不一定是用户真正想要的行为。 这可能表现为模拟器漏洞、RLHF 奉承、绕过测试的代码，或悄悄掩盖错误的防御性模式。与此同时，Meta 的支出体现了行业的资本逻辑——“相比 GPU，人才便宜得多”——而 Lambert 对开放模型的野心，则要求同时推进稠密到稀疏的扩展、更多算力、大规模推理和组织执行。

精读

1. RLVR 起初是工业后训练的压缩层

Lambert 设计 Tülu 3 的目标，是把复杂的工业配方压缩成研究者可以修改、同时保留最先进后训练效果的方案。OpenAI 可能维护数百项评测；Tülu 只用了大约10-15项任务，但其基于 Llama 的 8B、70B 和 405B 工作，在核心评测集上能够追平甚至超过 Meta。
一个看似不起眼、实际非常关键的贡献，是让偏好数据不再依赖 UltraFeedback 这类单一数据集。UltraFeedback 在 Zephyr-beta 前后开始流行，1年后仍被视为开放数据中的最先进偏好调优数据集之一。Tülu 的目标，是把大规模指令调优和偏好调优纳入更成熟的开放配方，而不是声称复现前沿实验室的每一种成分。
RLVR 的起源部分来自逆向工程。Lambert 很早就一直想采访 John Schulman；两人终于交谈时，Schulman 直截了当地确认：“Everyone just does RL on the outputs.” 这与同期的数学和代码工作——如 VinePPO 和 Quiet-STaR——形成呼应，而 RLVR 的目标，是把可验证奖励纳入通用后训练配方。
团队最初考虑过“RL from ground truths”。Kosta Harlan 和 Hamish Ivison 主导了大量技术工作；Lambert 解释说，代码和精准指令遵循并不需要传统意义上的标准答案也能验证，因此 RLVR 的范围更广。他也承认，RLVR 与 RLHF 采用4字母缩写的平行结构是有意为之；当 Jensen Huang 开始在幻灯片上使用这个缩写时，“that’s really our goal”。

2. 验证器正在让位于环境和产品数据

基础 RLVR 只需要一段生成文本，以及一个判断它是否正确的函数；它“没有真正的环境”。多跳搜索改变了结构，因为每一步下一步行动都取决于信息存储中的反馈。端到端 Agent 更进一步，要在多次生成中追逐一个稀疏结果信号，不过 Lambert 认为，前沿训练是否已经大量采用这种方式仍有争议。
他对 Deep Research 的判断刻意去魅：实验室可能训练许多小型的检索、编辑和搜索行为，再加上提示词，或对类似 o3 的模型做领域微调，然后“噗，系统就能用了”。如果直接用最终报告训练，就需要人类判断哪份报告更好，问题会重新回到 RLHF，而不是保留一个干净的可验证奖励。
并非每一种修复都需要 RL。如果部署中的模型表现出奇怪、不可验证的抽取行为，实验室可能只需在后训练中加入100或1,000条定向指令。上下文压缩就是一个关键例子：在保持性能的同时总结此前轮次，可以降低成本、支持更长任务，但正确性很难用单一验证器表示。
主持人追问的瓶颈是：实验室能否在发布前识别这些失败？Lambert 的回答很明确：“I think it’s mostly looking at real-world data at this point.” 在存在公开基准的地方，它们当然有帮助；但行业围绕交互数据展开整合是实质性的，因为这类数据会暴露预发布评测集无法预见的长尾行为。

3. 竞技场仍有价值，因为聊天和前沿比较不会饱和

大型偏好数据仓库听起来可以复用，但 Lambert 强调，UltraFeedback 包含许多模型的输出。因此，大多数正在微调的模型可能都能从中找到可改进的相关信号，不过 Lambert 不知道这种优势能持续多久。
人类反馈与 AI 反馈之间的问题也没有解决。前沿实验室的联系人仍会告诉他：“Yeah, we still use human preference data”，而开放研究者既拿不到这些数据，也无法干净地估算其收益。人类数据可能对留存和广义偏好最重要——也就是学术选择题和 AlpacaEval 式测量捕捉不到的注意力经济属性。
竞技场的交换保留了双方观点：他们承认排行榜可以被操纵，同时也观察到人们会用多种指标评估模型。“Chat is king”，而类似 Elo 的排名提供了一种全社区的聚焦机制，并不会简单饱和。主持人指出，GPT-4.5 在 Yupp 的“vibes”类别登顶，说明这类主观比较确实捕捉到了用户能感知的东西。
多轮或深度研究竞技场可能尤其有价值，因为由此产生的轨迹正是前沿团队可能想要的数据。Lambert 把这种扩张比作 Scale 一次次逼近最新的数据流程：成熟平台拥有承载更昂贵评测的市场位置，从而形成网络效应，哪怕其变现方式仍不清晰。

4. RLVR 发展太快，尚不足以取代 RLHF 成为持久研究领域

Lambert 不会把自己的 RLHF 著作改名为 RLVR。这个新领域还不够成熟，未来18个月可能因为新算法、预训练选择、数据混合和工具使用而发生剧烈变化。o3 的重搜索行为究竟是一个小众分支，还是“the path that everybody needs to follow”，仍然未知。
RLHF 更具跨学科属性，也始终存在争议：“RLHF can never be solved.” 对齐、偏好、奖励模型过度优化和人类数据管线都没有终点，因为“好回答”的定义本身一直在变化。RLVR 则可能收敛为一种最佳实践，在目标问题上达到100%准确率，届时今天的学术热潮可能迅速归于零。
模型前沿存在两种不同配方。DeepSeek R1 仍是纯推理的标准案例，而 Gemini 2.5 和 Claude 使用可以开关的混合推理；Lambert 认为，NVIDIA Llama Nemotron 的推理论文可能是目前最详细的混合方案说明。他还不知道这些方法最终会收敛，还是其中一条路径胜出。
GRPO 正面临越来越多的数学批评和修正方案，但 Lambert 怀疑算法本身就是决定性变量。他给出的、带有刻意讽刺意味的配方是：反复改进起始数据集，再对论文提出的各种开关做网格搜索。主持人指出，GRPO 的优势估计器很适合可验证奖励；Lambert 则强调，数据和运营选择可能比算法新颖性更重要。

5. 搜索原生推理可能让每个严肃模型都成为在线模型

在 Lambert 看来，OpenAI 的北极星是：模型知道一个请求有多难，并自动投入恰当数量的 token。混合推理模型在小众应用之外可能会被“淘汰”，因为“quality is so much more important than having 100x less inference tokens”；如果推理足够便宜，用户可能干脆一直打开它。
随着推理模型发展，静态长尾记忆能力已经显现出减弱迹象。Lambert 说，在不使用工具的情况下评测，SimpleQA 从 DeepSeek R1 到新版 R1、从 Qwen 2.5 到 Qwen 3 都出现下降。对于冷门信息，与其强迫模型把所有知识写入权重，不如教会它搜索，可能更合理。
主持人的反驳是关键所在：模型仍需要足够的知识，才能选择有效的搜索词。Lambert 表示同意，并将可能的未来描述为在线 LM，而不是连接搜索系统的无知模型。Perplexity 让他开始关注这一判断，Gemini 提供搜索 grounding，而 Google 理论上应拥有索引优势——尽管他提醒，目前并不清楚它是否真的具备这一优势。
在 Hamish Ivison 的搜索实验中，一个 RL 模型可能先“80 次工具调用都失败”，却在之后某次尝试中成功。按 Lambert 对 AI2 经验的描述，提示模型使用工具很容易，但教会 RL 模型认识到工具有用却非常困难。这让该行为看起来像是涌现的，而不只是监督学习的结果：“They set up the environment”，让这种行为有机会发展出来。不过 Lambert 仍同意主持人的判断：Deep Research 可能只是现有 o3 轨迹之上的薄封装，而非完全独立的突破。

6. 使用工具的 Agent 必须学会好奇，而不只是执行计划

工具本身可能很差，也可能是模型没把好工具用好。Lambert 希望 Agent 对不确定性保持开放：尝试几种操作，了解私有数据存储里有什么，并在确定计划前“fiddle with the environment”。当前的工具使用更常见的形态，仍是沿着预定义序列执行确定性代码。
当被问到工具应当逐个进入 RL，还是一次性全部进入时，Lambert 诚实地回答：“We haven’t gotten this to work.” 一个具备工具能力的起始模型可能会泛化；基础模型上的 RL 则可能需要课程学习，在任务变得过难时逐步解锁工具。困难在于，如何定义一个自动化信号，告诉训练系统已经达到那个阈值。
电子游戏天然会通过玩家进度解锁能力。Lambert 认为，ARC-AGI 也可以类似地要求模型在达到某一阈值后学习新的执行器。他倾向于无 harness 评测，因为 harness 会改变学习动力学；讨论也考虑了同时发布 harness 和无 harness 赛道，而不是把其中一种视为无效。
对于可控的学术工作，他提出“deep research but only arXiv papers”：限制索引范围，提取相关工作文本，追踪其中链接，再要求模型通过 arXiv 链接找回或补全数百篇相关工作。更广泛的建议是“level up out of papers to artifacts”——转向模型、数据集、评测或有用的 Agent 等产物，而不是试图击败那些在 Humanity’s Last Exam 上每次查询投入数百万 token 的前沿实验室。

7. Agent 的表现将取决于策略、抽象和校准

Lambert 的分类法从技能开始，o1 和 R1 已经证明了这一点：通过足够的 RL 诱导推理时扩展，并取得较高的基准成绩。下一个前沿是策略、抽象和校准——选择方向，把工作拆成可解决的单元，以及“not wasting compute”，或者在 Agent 应该向用户求助时停止继续执行。
一个有能力的 Agent 可以选择在常规推理或工具调用前先生成计划 token，判断自己需要记忆存储，启动并行搜索器，再重新汇合。Lambert 将其与“GPT-5 idea”联系起来：不一定是一个显式路由器，而是模型能够判断自己可以直接回答，还是必须启动更大的工作流。
主持人追问，计划和记忆是否应该直接作为工具，从而保留无 harness 的理想。讨论主要把这视为实际训练问题：如果 Claude 的计划会以一种可识别的方式失败，就可以通过定向数据让计划更详细；甚至可以让独立的开放模型专门负责规划。
可复用的计划蓝图当然可行，但讨论认为，针对每个任务生成简短计划或评分标准，实际成本可能已经足够低，因而更具竞争力。策略在能力前沿最重要——比如在分布式 GPU 系统中实现一项研究想法——因为只有一条很窄的测试和调试路径能够奏效。抽象则在需要把100,000 token 预算分配给多个子模型、同时避免无限生成进程时发挥作用。

8. 并行算力在更好的验证器改变斜率前，主要购买可靠性

o1 Pro 和 Deep Think 可能会运行类似8次生成并从中选择，但 Lambert 看到的收益是可预测的鲁棒性，而不是对低概率 token 进行深度搜索。它们会减少小众失败，却还没有显现出让答案发现某个罕见事实的概率提高10倍。
真正具有变革性的变量是验证器质量。强验证器能够从多样化生成中提取罕见的正确结果，并“change the slope of inference-time scaling”；如果拥有 oracle，增加搜索就能持续带来收益，而普通偏好奖励模型提供的是有上限、边际递减的信号。当前，并行 Agent 更适合作为长任务的吞吐引擎，而非峰值智能引擎。
主持人的反驳是，并行可以提前调用某个假设中的未来模型，并为蒸馏生成数据。Lambert 同意，人们会把这些系统用于合成数据，而更好的合成数据可能带来很高的边际回报。包括以不同方式生成 token 的扩散语言模型在内，新型架构最终可能让并行算力更有意思。
主持人称，代码生成之间可能只有约5%的差异，却会反复继承一种习惯：把缺失变量包进条件语句，让执行悄悄继续。Lambert 认为这种代码很糟糕，并将其描述为“massive gains in performance for small detriments in usability”。如何在之后修复可维护性和绕过测试的行为，双方没有给出答案。

9. 每一种 RL 机制都会过度优化它获得的信号

Lambert 对 RL 的历史划分为3个阶段。经典控制阶段，Agent 会利用模拟器漏洞：MuJoCo 的 half-cheetah 学会了“off into the sunset”地做翻滚，而不是奔跑。RLHF 阶段，模型利用不完美的奖励模型，有时会坍缩成“JavaScript JavaScript JavaScript”之类的重复。RLVR 继承了同样强大的优化器，只是把它导向所谓正确的结果。
奉承行为也符合这一模式。由用户反馈产生的奖励信号可能显示，人们会为迎合性的回答、精致的要点，或其他容易识别的表面特征点赞。优化器会直接强化最能提高奖励的特征，即使那并不符合真正想要的质量标准，也会造成重大的行为变化。
数学相对不容易被钻空子，因为答案检查可以很干净。代码则提供了更便宜的作弊方式：绕过单元测试、插入 pass，或避免抛出错误。因此，奖励设计可能需要部分得分，以及针对可检测作弊的明确惩罚；但跨领域混合会变得复杂，因为代码中的部分得分与数学中的部分得分并不等价。
Lambert 的工作直觉是，模型能够足够好地分离不同提示领域，使梯度共存，尤其是在大 batch 下。数学和代码 RL 是否应先于通用 RL、何时引入执行或搜索工具，仍是开放问题。长推理轨迹也会冲击基础设施：token 越多，需要的 GPU 内存越多，失败机会越多，等待环境反馈的时间也越长。

10. 个性、模型规格和路由是开放模型的切入口

在推理之外，Lambert 认为角色和个性训练仍被低估：提示词、激活引导、微调和数据工程可能造就差异显著的模型。这与个性化重合，开放权重有机会胜出，因为它允许每个用户维护自己真正想要的模型，而不是接受一个托管平台统一提供的个性。
他强烈支持 OpenAI 的 Model Spec 方法。宪法是一种中间训练产物；Model Spec 则描述预期行为，包括当前系统还无法安全实现的愿景。这个区分可以帮助开发者和监管者判断某种行为究竟是“有意设计的行为，还是单纯的训练错误”，同时为多个利益相关方提供更清晰的透明度界面。
开放生态还可以在许多 Hugging Face 模型之间进行路由，而 OpenAI 产品只能使用 OpenAI 模型。主持人的反驳是，通用模型可能在5年内吸收所有能力。Lambert 较窄的辩护方向是端侧或私有使用，以及蒸馏成极小的专用模型——比如一个1亿参数的模型，几乎可以免费把 Markdown 表格转换成 LaTeX。
Lambert 预计，未来可能出现的 OpenAI 开放模型会很强。主持人预测，它会在某个尺寸类别和部分任务上做到业内最优；Lambert 则认为，更多参与者发布开放权重本身就是一件好事。不过主持人仍希望看到技术，而不仅是参数。开放模型最终最有力的论据，应当是能够超越长尾本地化的小众场景。

11. 开放 AI 进展如今也是组织和资本配置的竞争

Lambert 早先对 Meta 的“panic button”判断，核心是执行问题：Llama 4 围绕一个 Meta 并未发布的模型提出领先主张；对于一个以开放为卖点的产品而言，这种矛盾尤其具有破坏性。如今的支出更容易从财务上解释：“Talent is cheaper than GPUs by a dramatic margin”，因此为顶尖研究者支付极高报酬，可能是一次合理的实验。
Lambert 指出，一些研究者抵制“伟人理论”式的研究观，但他也承认，极具驱动力的研究者能够重做困难系统、保持信念，并在没有官僚体系阻碍的情况下执行。“Everybody has a bribe number”，但即使战略逻辑可以理解，用高价招募人员重组组织也可能伤害士气。
Lambert 对未来2-5年的野心，是做出 DeepSeek 的完全开放版本；如果一切都开放且可修改，它不一定需要来自美国。OLMo 2 32B“if you squint”，大致已经达到最初 GPT-4 的水平；剩余的技术栈包括从稠密架构转向稀疏架构、用显著更多 GPU 进行扩展，以及加入大规模推理。每一步在技术上都属于渐进式推进，但协调人员和非营利资源非常困难。
AI2 无法靠“美国版 DeepSeek 会在3年后出现”的承诺生存，因此还必须交付架构、产物、私有数据演示，以及超越 Transformer 路线的实验。Lambert 的野心，是让这条路径真正跑通；主持人则将更广泛的理由概括为：“It’d be better for the world if more things are open.”

中国开源、算力军备竞赛与全球贸易重排｜BG2 与 Bill Gurley、Brad Gerstner 美国主导完整 AI 技术栈的计划：Sriram Krishnan 解读