摘要

强化学习解决的不是单步分类，而是没有标准路径、只在终局判断好坏的长程决策。 吴翼因此说“人生就是一个强化学习的过程”，但曲凯追问出了关键限制：人生往往连 reward function 都不知道；吴翼的回答是，很多时间恰恰要用行动和反馈去探索目标，而不是先把目标想清楚再开始。
RLHF 的历史作用主要是让 GPT 从会续写变成会服从指令，并不等于让模型智力持续 scaling。 InstructGPT 把 prompt 当任务、每个 token 当 action，再用人类排序训练 reward model；吴翼的比喻是，它像“让一个聪明的清华北大的同学，经过实习之后，变成公司里很能打的员工”，但没有从根本上让这个人更聪明。
o1 开启的 reasoning RL 才被视为预训练之外的第二条智能曲线：增加 inference-time compute，让模型先写出大量 thinking token，再交答案。 中间怎么想可以自由探索，训练只奖励最终结果，因此数学等可验证任务成为主战场；但“为什么吐的字多就会更准”至今没有令人满意的理论解释，OpenAI 从 slow thinking 构想到做成可能花了约一年半至两年。
只验终局释放了探索空间，也带来思考长度、成本与泛化边界的问题。 DeepSeek-R1 可能连“一加一”都想很久，Anthropic 则能让简单题少想、复杂题多想，但其实现究竟是多个模型路由还是训练更好，吴翼明确说“不知道”；理科 RL 能泛化到文科，却仍需 SFT、RLHF 和 base model 把“极致的 nerd 模型”拉回可用区间。
预训练与强化学习是乘法关系：前者提供理解、记忆和表征，后者把这些能力转成推理、决策与行动。 OpenAI 在 2016 年网页购票上仅靠 RL 碰壁；机器人方向上，2019 年灵巧手拧魔方做出了很惊艳的成果，但 2020 年通过视觉整理桌面的尝试仍未成功，随后机器人团队在 2021 年解散。直到 CLIP 一类预训练多模态表征进入机器人训练，语言控制才明显走通。“小学水平的人想得再深也没用”，好的 base model 仍是 Agent 的基础盘。
DeepSeek-R1 最重要的产业意义不是宣布唯一路线，而是大幅降低了 reasoning RL 的技术不确定性。 吴翼用灯塔作比：OpenAI 在黑暗里指出东方，DeepSeek 则像“往前走一个月就到了”；真正门槛仍包括强基座、超长 rollout、并行生成与判分、稳定回传和高吞吐训练系统，且字节、DeepSeek、OpenAI 等仍在探索不同路线。
下一阶段竞争会从单轮做题转向环境内、多轮交互的 Agent，并沿泛化、代码和工具调用分化。 OpenAI 的 Deep Research、Operator 已把范式从“一条指令—一个答案”推进到反复观察、思考、调用工具；吴翼判断美国在这种大规模 Agent RL 上仍明显领先，国内推理与单点代码能力已接近，但公开产品尚未显示同等精细的交互训练能力。
对投资者和创业团队，短期护城河更可能落在基建、数据与迭代速度，而非某个孤立算法。 吴翼直言“基建远大于所有”，AReaL-Boba 把 7B 训练从早期约一周压到两天，并报告 AIME 2024 超过 60；应用公司不应预设终局，可以像 Manus 那样在能力尚未商品化的窗口，用微调、API 和工程抢先提供可用产品——“创业公司是不能想终局思维的”。

精读

1. 强化学习优化终局，却不替人生定义目标

吴翼先把 RL 与传统机器学习分开：猫狗分类每个样本都有标准答案，游戏却要连续做许多动作，直到最后才知道输赢；强化学习处理的是“很多个决策要做，并且具体怎么做没有标准答案”的问题。
乒乓球、俄罗斯方块和 DOTA 都允许大量可行路径：出门向左还是向右未必重要，最后赢了才重要。也正因为问题覆盖面更广，RL 比人脸识别时代的监督学习更一般、更难，直到 AlphaGo 才真正出圈。
曲凯追问“人生没有客观解”时，吴翼承认 RL 仍预设某种 reward；现实更难，因为“人生中很大的时间，是探索那个奖励函数是什么”，人可能奋斗到终点才发现自己优化错了目标。

2. RLHF 先让大模型好用，没有让它突然更聪明

预训练大模型做的是 next token prediction，吴翼用“熟读唐诗三百首，不会作诗也会吟”解释其泛化来源；但 GPT-3 时代，用户问“Can you explain the moon landing for me?”，模型可能只把问题重复许多遍。
InstructGPT 把 instruction 当任务、生成的每个 token 当 action，最终回答是否满足指令当 reward。由于“符合指令”没有金标准，OpenAI 让人类写示范、比较多个回答并排序，再把这些偏好训练成 reward model，形成 RLHF。
吴翼强调，早期 RLHF 的主要价值是 alignment 和 instruction following：它让聪明学生经过实习后成为“公司里很能打的员工”，却不存在明确的 intelligence scaling law；算力和偏好数据增加，不等于基础智力会按同样方式跃升。

3. o1 把“多写一会儿”变成预训练之外的智能曲线

预训练收益放缓后，OpenAI 寻找第二曲线。吴翼把最初洞察归给 Ilya：人面对复杂问题会先思考，而传统大模型拿到问题便立即输出，因此关键是让模型具备 slow thinking。
最终奏效的范式并非复杂的新结构，而是“让模型多吐点字”：先生成一万字乃至更多 thinking token，再提交答案。模型训练完成后，思考 10 秒、30 秒或 100 秒，答案可能随 inference-time compute 增加而更准。
这条路线在 o1 上实现，DeepSeek-R1 采用了类似思路，AReaL 系统也支持这类强化学习推理模型；但吴翼的诚实答案是：“为啥它吐的字多？不知道。”打草稿只是直觉类比，尚不是解释机制的理论。
从想到 slow thinking 到真正做成，OpenAI 可能用了约一年半至两年。后验看，“多写再回答”极简单；在当时，从思考需求跨到 token 展开却没有现成路径，难点恰在坚持探索。

4. 可验证答案放开了思维链，也制造了长度失控

reasoning RL 回到了游戏逻辑：“中间到底你吐什么字，自己探索，我只要你最后结果对。”每个 token 都是动作，整条思维过程没有人工标准路径，最终答案则提供奖励。
人无法可靠比较一万字和两万字的内部推理：两条链都得出“国庆是 10 月 1 日”，谁更好并不清楚。因此 o1、R1 等主要使用数学等答案可标准检验的问题，允许过程自由发散。
曲凯指出成本与效率同样重要。若只奖励正确，模型可能对“一加一”也揣摩半天；吴翼认为 Anthropic 的 thinking 长度控制做得很好，简单题不想、复杂题想十秒，但背后是路由多个模型还是训练所得，“不得而知”。
可验证任务训练出的能力确实会泛化：DeepSeek-R1 面对文科题也能给出推理。但不能只靠泛化，最终还要把“极致的 nerd 模型”与 base model 合并，再做 SFT、RLHF，兼顾思考能力与正常交流。

5. DeepSeek-R1 把未知路线变成了可追赶工程

吴翼认为 DeepSeek 最大的贡献是证明 reasoning RL “真的可做”。他的灯塔比喻是：OpenAI 在三百六十五度黑暗里指出东方；DeepSeek 则回来告诉行业，“灯塔就在这个方向，往前走一个月就到了。”
OpenAI 从立项到 o1 可能用了两年，DeepSeek 团队在高度专注下可能“做了个把月”便验证路径。这不代表工作简单，而是把未知距离、悬崖风险和可行性变成了可估算的工程问题。
两项前提仍不可跳过：基座至少要有“高中生”水平，深思才可能解大学题；训练引擎则要支持超长 rollout、大量模型并行探索、自动判分、回传训练，并在输出越来越长时保持稳定和效率。
曲凯追问这是否已是最优路径，吴翼没有给出肯定答案。国内 DeepSeek、字节等团队仍在并行探索，DeepSeek 的 3.2.4 模型又突出 coding；多数团队第一步仍是追赶，因为公开模型尚未全面超过 R1。

6. Agent 训练把单轮答题升级为与环境反复交互

OpenAI 的 RL 已不只训练推理：Operator 和 Deep Research 要在一次任务中反复“想一会儿—操作—看到反馈—再想一会儿”，从一轮 instruction-answer 走向多轮、带环境状态的决策。
多轮不是把单轮简单相加。数学训练可以拆成生成、判分、更新三个模块；网页 Agent 至少还要增加可交互的虚拟网页，搜索与页面状态又会反过来改变 rollout，模块越多，系统越不稳定。
吴翼给 Agent 的工作定义很朴素：只要模型输出对文本之外的软件、硬件或虚拟世界产生影响，就是 Agent。哪怕只输出“开”并真正关掉一盏灯，也跨过了纯语言模型的边界。

7. 真正的模型能力正在吃掉 Prompt 工作流

AutoGPT、LangChain 时代的系统也算 Agent，但行动能力主要来自 prompt engineering：人预先写清角色、步骤和输出模式，再用脚本把函数调用或特定文本接到现实操作上。
Operator、Deep Research 的变化，是人只给目标，模型自己决定每一步怎么走。曲凯补充得很关键：用户经常并不知道任务应如何拆解，因此固定 workflow 无法覆盖真正未知的探索过程。
吴翼用 ComfyUI 与 GPT-4o 作对比：过去编辑图片要串联多个 Diffusion Model 和流程节点；强多模态模型可以直接理解几张图、持续交互并生成结果，大量手工流程随模型决策能力提升而消失。
这像教做饭：新手需要“开火、倒油”的逐步指令，大厨只需听到菜名和少数限制。RL 带来的不只是推理分数，而是面对模糊目标时自己展开长程步骤的能力。

8. RL 单独两次撞墙，缺的始终是预训练理解

2016 年 OpenAI 推出 Universe，并以 World of Bits 等工作尝试让 RL 在网页上购买机票；团队搭建可在本机运行的网页环境，演示输入旧金山到纽约再操作美联航页面，目标几乎就是九年后的 computer use。
这次大规模尝试最终失败，吴翼称其引发 OpenAI 第一次大规模裁员。问题在于仅靠 RL 很难从像素和点击中获得能跨网页泛化的理解，所需数据的广度也不够。
第二次撞墙发生在机器人：2019 年灵巧手转魔方很惊艳，2020 年团队又尝试视觉输入下整理桌面，却没有做成通用能力；OpenAI 机器人团队在 2021 年解散。
转折来自预训练表征。OpenAI 发布的 CLIP 先通过预训练让语言和图片拥有良好表征，University of Washington 团队随后把它加入强化学习或数据收集流程，做出语言控制叠衣服等演示；吴翼自己 2017 年在 Facebook 做 embodied agent 的失败，也让他意识到“所有瓶颈在视觉，跟 RL 没关系”。

9. 预训练与 RL 是乘法，而不是替代关系

吴翼的核心公式是：预训练提供理解、记忆、视觉与语言表征，RL 提供决策、长程思维和 action；“预训练跟强化学习是一个乘法的关系”，任何一项接近零，最终智能都起不来。
纯 RL 可以在固定围棋棋盘上学会取胜，却不能自然迁移去下象棋；即使记住几十家航空公司网页，遇到一家新网站，模型仍可能只是记住点击轨迹，而非真正看懂页面。
这是不是完整终局，吴翼回答“我不知道”。当前最好的 Agent 确实来自强 base model 加 RL，但算法和范式仍在起步；他当时判断，至少到当年年底，行业还会看到更强的决策模型与通用 Agent。

10. 预训练没失效，只是从浅水区进入合成数据深水区

曲凯复述“pre-training 不再 work”时，吴翼立即更正：不是失效，而是边际收益变小。地表石油挖完仍有页岩油，数据清洗和更困难的数据开采依然能提高模型。
多模态尤其依赖合成数据。互联网文本很多，图片与文字混在一起且前后有强关系的数据却少得多；要训练更好的多模态理解，团队必须主动构造数据，“从浅水区走进深水区”。
模型规模也要重新权衡：1T、10T 模型若再接复杂 RL 系统，训练成本可能难以承受。吴翼反对把蒸馏一概视为“可耻”——能做出 o3-mini 那样的小模型同样不容易。
深水区可能催生模型个性：Claude 未必所有榜单最高，但交互式 coding 体验突出；GPT 更适合 Deep Research 和网页 Agent；Grok 可能偏全面。分化来自数据、训练目标与 RL 方式，而非单一总榜。

11. RL 训练更像炼丹，迭代速度本身就是算法优势

“到底怎样算训练得更好”，吴翼先给最朴素的答案：看结果。数学、代码等硬指标必须足够高，但榜单高不代表模型真好，最终仍要靠真实使用的“体感”检验。
过程则是数据、算法、参数和基建的耦合炼丹。像奥数老师一样，给能力缺口匹配两道题可能立刻补上短板；若只反复灌小学题，数据量再大也不会形成新能力。
基建直接决定试错次数：吴翼团队早期训练一个 7B 模型约需一周，后来缩到两天左右；同一周能否迭代多次，会转化成截然不同的算法进度。
训练曲线也不诚实：可能前期一路上涨后突然停住，也可能长期不涨后出现所谓 “aha moment”。因此很难凭中途状态下结论，只能让训练完整跑完，再看最难指标与实际体验。

12. 后训练不能与预训练割裂，理解仍是基础盘

预训练与后训练范式不同，团队可以分工，却不宜筑墙。RL 前要用 SFT 冷启动，后训练团队必须参与选数据；若暴露出基座能力缺口，又要反向要求预训练补数据和表征。
吴翼认为 AI 团队最需要“破圈意识”：做算法的人要懂数据和工程，做基建的人要理解算法需求。强化学习系统无法先被完整标准化，再交给独立工程部门照规格实现。
多模态上，他的判断是“生成都是容易的，理解是困难的”。像一个人没学俄文便读不懂俄文指令，单靠 RL 狂刷结果可能最终学到一点，却效率极低；预训练先让模型看懂，RL 才能较快教会它按指令控制生成。

13. 今天看似必然的路径，当年都藏在“战争迷雾”里

曲凯的马后炮问题是：先训练理解，再用有标准答案的 RL 训练决策，逻辑如此顺，为什么摸索多年？吴翼说，行业首先花了多年反复试错，才确认 RL 单独无法获得通用理解；他自己约在 2018 年才充分接受这一点。
下一步也并非天然是生成式预训练。当时存在 BERT 式监督学习、contrastive learning 与 next token prediction 等竞争路线，Yann LeCun 长期主张对比式方向；GPT-3 的 scaling law 需要 Ilya 的信念、Alex Radford 的执行及多重偶然才能显现。
现在每一步答案都已知，推导自然显得简单；回到当时却是“战争迷雾”。吴翼的总结很锋利：“答案往往都是简单的，如果它不简单，说明答案是错的。”

14. 人才稀缺与创业窗口都来自能力尚未标准化

RL 研究者本来就少：环境搭建、复现和数学门槛更高，论文引用量常比 CV、NLP 少“一个 order”；工业界大规模使用场景又有限，学校人才无法沉淀成足够大的产业人才池。
工程是第三道漏斗。许多人研究过算法，却没机会在强基建上 scale up；吴翼因此从 MAPPO 等多智能体工作一路做到 AReaL，希望用开源降低真实训练门槛。
他自己的经历说明领域曾多冷：2014 年申请 PhD 时甚至不知道 reinforcement learning，进入伯克利后赶上 Pieter Abbeel 团队 all in deep RL；他主动敲门挑项目，后来做出 Value Iteration Network 的 Best Paper。图灵奖最终肯定 Sutton 等 RL 学者，Sutton 本科甚至学心理学。
应用公司现在储备一名懂 RL 的人“make sense”，因为简单微调终会普及；但创业公司不应等终局。吴翼欣赏 Manus，正因为它在完整模型尚未到来时，用微调、API 和工程最快拼出可用产品：“创业公司是不能想终局思维的。”

15. 决策模型会沿泛化、代码和 Agent 三路分叉

吴翼看到一条继续提升总体智能的 scaling 主干，以及三条可长成大市场的分支：泛化能力、professional coding、Agent/function call。DeepSeek、Claude、OpenAI 分别体现了这些方向的不同侧重。
用户端感知不仅是最终准确率：数学答案、研究报告和网站操作可以验证，前端代码好不好还依赖交互体验。benchmark 与人的连续使用，是两套不能互相替代的评测。
Claude 的代表性细节是会反问：调试代码时，它可能先问环境、安装包和 version，而不是直接猜 bug。理解过去发生了什么是 base model 的能力；选择在哪个节点问、问什么、何时继续行动，则更接近 RL 的决策问题。

16. AReaL 把“能跑、稳定、快”做成开源底座

既然 RL 被视为 post-training scaling law，系统首先必须真的 scale：吴翼用“你要宰牛，你好歹得有牛刀”形容框架价值，目标是让训练能在上万张卡、超长 rollout 和多模块条件下持续运行。
Agent RL 比纯数学训练多出环境交互，行为又不可预测；复杂系统的部门式瓶颈可能让效率相差十倍。训练快十倍，意味着相同周期内多做近十倍实验，infra 因而直接改变算法进度。
AReaL 新版本 AReaL-Boba，全称 Ant Reasoning Reinforcement Learning，由团队与蚂蚁研究院合作；它与 SGLang 等推理引擎做了一些联动，重点改善速度和稳定性，7B 已能稳定训练，32B 当时仍未达到团队预期。
团队开放源代码、数据、模型与评测脚本，并称框架应属开源方案中“非常快”的一类；其 7B RL 模型在 AIME 2024 超过 60，吴翼认为可能是首次公开汇报 7B 达到这一水平。

17. 中美差距已从做题转向环境内训练 Agent

吴翼判断，美国更明确的领先点是大规模环境内 Agent RL：他断言 Claude 的 Sonnet 是强化学习出来的，也提到 OpenAI 已说明 Deep Research 使用强化学习；国内公开模型在推理和单点代码上不错，但细致多轮 Agent 仍有 gap。
DeepSeek 同时说明专注的价值与边界：小团队把文本基座和 reasoning RL 做到极致，却一直没有做多模态。OpenAI 范围扩大后“特别像 Google”，可能因此变慢，但目标一旦明确仍能交付强产品。
曲凯据此追问，如果把效果写成 pre-training × post-training，是否意味着国内两端都有差距；吴翼只强调 DeepSeek 可能在 post-training 上走得更前，但其基础模型也很好，并拒绝随便量化年差，只给出“谨慎乐观”。

18. 最大熵生活比局部最优更接近吴翼的 RL 哲学

吴翼最喜欢却引用不多的一组研究叫 diversity-driven reinforcement learning。传统 RL 找到足球中路单刀的稳定赢法后会不断重复；人却会腻，会尝试短传渗透、传中和头球，“这才是人生的样子”。
给算法增加约束——reward 要高，同时新 solution 必须不同于过去所有方案——会推动它发现用途暂不明确的新策略。曲凯联想到德州扑克：顶尖牌手都学 AI 后打法趋同，游戏也因此变得没意思。
吴翼把这套思想转成人生建议：别在二十岁就只选风险最低的 local optimum，要追求“最大熵的生活”。人生虽不能无限 rollout，“怎么着也能选个三四次”；选择提高期望也放大 variance，但“出去跳一跳，大不了再跳回来”。
reward 未知时，行动本身就是 information seeking。吴翼做人机协作、Overcooked 等多智能体研究时，AI 必须通过试探和交互猜伙伴想做什么；曲凯则补充说，未来最多只能判断一年半，目标只能在做的过程中逐渐发现。

扩展“思考”：Gemini 2.5 Tech Lead Jack Rae 谈推理、长上下文与通往 AGI 的路径 David Capital 的 Adam Patinkin 更新 Vistry 投资逻辑 $VTY