178: 与田渊栋聊 RSI：模型自进化如何到来？

摘要

• 田渊栋的创业动因是一次亲手实验：去年八月他与 GPT五 合作完成一篇 Grokking 文章，发现"模型的能力已经基本上强到让我觉得我可以不用招实习生的水平"，科研验证循环从导师-学生模式的几天几周压缩到几分钟——“与其自己被取代，不如我就开公司”。 这家 Recursive Super Intelligence 隐身四个月后于六月初官宣 A轮 6.5 亿美元、估值 46.5 亿美元。
• 本期最核心的推演交锋：硅谷流行假设"率先达到 RSI 的公司会把其他人越甩越远，且有窗口期"。 田渊栋认为逻辑"还是比较正确的"，但关键变量是曲线形状——智能提升是 S 型曲线加平台期，不是平滑渐进；若 scaling law 百分之百成立、曲线平滑，初创公司毫无机会，但 scaling 需要十倍算力十倍数据换线性增长，“你不可能让全世界整个地球的电力都供应给你一个人做这个自我进化”——现实瓶颈已现，突破式路径可能给初创留了空间。
• RSI 比 coding agent"要大得多"：coding agent 只是执行者，且开源模型正在摊平这项能力（他体感 GLM 五点二 与 Opus 四点六/四点七 差距在接近，“四点六、四点七、四点八没有太大区别”）；RSI 真正缺的是模型不具备的研究品味——“从少量的样本里就可以看到精准而细节的联系"的抽象与创造力。 大厂冲 IPO 可能优先 coding 业务，这是新 lab 的空隙，“跟我聊过那些人都跑路了”。
• 对 Anthropic《When AI Builds Itself》的降温解读：Claude agent 累计工作 800 小时、把 weak-to-strong 差距缩小 97%（人类一周做 23%），但"应该还没有"到递归自进化，本质仍是提效，方法常规、靠分数衡量——这只是自进化的第一层台阶。 OpenAI 时间表：今年九月 AI 研究实习生、二八年三月真正自动化 AI 研究员。
• 公司首批成果三项全 SOTA 且用同一个通用系统跑出：NanoChat 五分钟训练 BPB 低于社区、speed run 从社区做了两年的 79 秒推进到 77 秒、算子优化在英伟达新出的 SOL Exact Bench 上以 10% 优势击败由前 Mobile AI CEO Sasha 任 CEO 的专业 GPU 团队 Double AI——而他团队里没有 GPU 专家，起点是"一个人加个 AI 做到 SOTA”。
• 他押注 scaling 之外的方向是可解释性，并自认少数派：“大部分人可能已经觉得绝望了……我觉得一定是有一个好的 principle 能够让这个模型运转起来”，AI “以后终将变成科学”，如炼金术之于化学、第谷-开普勒-牛顿——下一个牛顿"可能是 AI，可能是人类加 AI"。 组织层面的判断同样鲜明：“现在这一波 AI 都是反大厂的”，团队"超过一百五十人之后就开始不行了"，Llama Four 即例证。

精读

1. 与其被取代，不如开公司：一篇和 GPT五 合写的文章改变了判断

• 转折点在去年八月：田渊栋用当时的 GPT五 合作完成一篇 Grokking 文章，“我在做完之后其实意识到这一点，就是模型的能力已经基本上强到让我觉得我可以不用招实习生的水平”——想法、思路、定理证明可以通过对话实现，代码交给 AI。
• 由此推出那句贯穿全片的话：“也许五年之后我就被取代了，那么这个时间可能已经快到了……与其自己被取代，不如我就开公司。”
• 公司 Recursive Super Intelligence 经四个月隐身研发，六月初官宣 A轮融资 6.5 亿美元、估值 46.5 亿美元，缩写与"递归自进化"（Recursive Self Improvement）同为 RSI，“意思上来说是非常接近的”。

2. RSI 为什么此刻变热：coding agent 变强 + 模型能力过阈值

• 田渊栋的归因有两条：一是 coding agent 变强，二是模型本身能力提升到"对 AI 自己的这个模型的认知有一些比较强的突破"，于是可以用模型来充当研究员，让它找到模型的弱点、去做优化——“这个闭环就会产生”，递归就是这个循环往前推进。
• 前提被反复强调：“这个要求条件是这个模型本身已经够足够强了”——去年成立公司时"大部分人还没有想过这个概念"，到今年四五月才慢慢成为共识。
• 效率变化是数量级的：传统科研是导师指方向、学生执行、以天为周期反馈，几周几个月做成一件事；现在验证一次的循环压缩到几分钟——“喝个茶，开完会之后你结果已经有了”。

3. 立场没变：大模型仍替代不了顶尖研究员，但递归会先于自动化

• 对比去年五月的采访，他明确"现在还是认为大模型还是替代不了顶尖研究员"——变化只在于模型"确实可以用"来做研究工作了。
• 对 OpenAI 式"自动化 AI 研究员"叙事的修正：完全自动化"不一定很快会发生"，人会留在 loop 里但层级上移——低层工作不需要人了，“人可能需要更多脑力去做一些更高层次的工作”。
• 结论保持了原有的谨慎：“我觉得递归会先发生，就完全自动，我觉得现在还看不到。”

4. 谁最先看到信号：天平可能摆回有经验且 hands-on 的人

• 他观察到一个 gap：C 位的人"不会真正把模型拿过来就做一个非常具体的项目"，刚毕业的学生只把模型当执行工具、“不会去做一些比较难的问题”——不亲手实践就感觉不到风向变化。
• 过去三年是年轻人的时代——“不要想太多……skill up，干就完了”；但 RSI 风潮下执行重任落在 AI 身上，人负责判断、方向和研究品味，天平可能摆回更有经验的研究员。“当了十年经理或总监的人突然开始写代码了，就觉得这个爷的青春又回来了。“他自己也承认"这个只是我的一个观点”，有争议。

5. 与十年前 AutoML 的分水岭：解空间由谁定义

• 田渊栋亲历上一波（architecture search、AI guided optimization）：“上一波的问题主要在于我们没有一个模型能够建模人类的高层知识”——人定义搜索空间的每个细节，AI 比较笨，只在空间里搜索。
• 这一波的质变：大语言模型"对这个 AI 本身或者对这个架构本身是有理解的”，可以部分代替人类定义问题的工作，让 AI 自己找到解空间的结构——解空间变得非常大且智能。

6. 给 Anthropic《When AI Builds Itself》降温：这是提效，还不是自进化

• Anthropic 六月长文里的明星案例——Claude agent 端到端独立完成开放式 AI 安全研究，累计工作 800 小时，把 weak-to-strong 性能差距缩小 97%（人类一周做 23%）。田渊栋看过后的判断：“应该还没有吧……基本上还是提效”，算法本身"还是比较常规的"，是把很多常规想法放在一起把分数提上去。
• 但他不否认分数的地位：“现在除了分数之外，你没有其他办法能够衡量这个模型现在能力有多强”——把任务拆成子任务、看 AI 在子任务上是否越来越好，“这是自进化的第一层”。

7. 代码自进化有章可循，AI research 无章可循——这是与两大 lab 的真正分界

• 大方向上"都是差不多的，我不觉得有什么特别大的区别"。区别在难度认知：Anthropic 展示的是对已有项目的自进化——从头写一个 Linux、从头写一个 CI 编译器——“这个东西都是有路径的……只是工作太繁杂、太累了”。
• 他的重心在更难处：“很多比较难的 AI research problem，其实应该说人都不知道怎么做”——要突破性发现的东西，现在的 AI 还是很难做。

8. 赛道正在成形：“跟我聊过那些人都跑路了”

• 新玩家密集浮出：Mirandil（likely）六月二十五日官宣、种子轮 2 亿美元，团队来自 DeepMind 和 Anthropic；Sakala AI（likely）六月刚在东京设 RSI 团队。Mirandil 的创始人早在筹备期就找过他；苹果、Amazon 的人也走了，Amazon 旧金山 Lab 的负责人 David 已出来，“现在他们出来准备做什么，我现在不知道”。
• 为什么都选择出走而不是留在大厂做：OpenAI 和 Anthropic “现在都要冲这个 IPO”，最重要的是把手上的 coding agent 业务做好赚钱，“RSI 这个方向毕竟来说是比较远的”——去年秋天他和大公司聊时，RSI 还是小众方向，大公司只想让他为既定议程"提供助力"。
• 至于两大 lab 有多认真：“现在可能大家讲的还是一个概念……至于怎么把事情做成，或者说什么是具体的一个 metric，现在大家讲的不多。”

9. RSI 比 coding agent 大得多——而 coding 正被开源摊平

• 对"coding+agentic 是大厂主线、RSI 是主线的自然延伸"这一推论，他直接拒绝：“我觉得 RSI 比 coding agent 要大得多……它的问题、它的难度、它可能的路径比现在 coding agent 要大很多”，不只是市场规模，“coding agent 它只是一个执行者”。
• 曼祺追问：光有 coding 这个支点不见得能做好 RSI？“是的。“且开源模型的存在让"这件事情变成所有人都有了这个能力”。
• 他的一手模型体感值得记录：GLM 五点二、Kimi 二点七 与闭源"肯定还是有差距的……但应该在接近中”；GLM 五点二 和 Opus “四点六、四点七差不多”，四点六、四点七、四点八"没有太大区别，只有版本号的区别"，四点八可能唯一的区别是上下文变长、不再中途 compact 后失忆。GLM 五点二 擅长执行，“但有些时候可能会陷入死循环，或者有各种各样的毛刺”。

10. 真正缺的能力：从少量样本抽出精准联系的品味——grokking 就是试金石

• RSI 在 coding 之外最需要的，是"人类研究员的品味……对问题的抽象能力，这个东西应该说现在模型都不太有"——比 reasoning 更大，接近创造力：“把一些概念从纷繁复杂的表象中抽取出来，加以总结，再应用于新的问题上。”
• 为什么模型没有：大模型强是因为数据无穷无尽，但科学家面对的开创性问题"样本数据很少"——这正是人相对大模型"比较大的一个优势"。
• 他给的具体例子是理解涌现本身：从一三、一四年起，重整化群、自旋玻璃（spin glass）、神经正切核（neural tangent kernel）、贝叶斯、高斯过程——“这些角度都尝试过，但都没有特别满意的结果”。要找到新的理解，“很难通过照搬已有的逻辑套到 AI 上来完成”。

11. RSI 的好处：它是阶梯，不是无人车式的零或一百

• 曼祺的关键问题：不解决深层理论问题，能不能也实现"AI 帮 AI 进化更快"？他的回答是肯定的，且这正是 RSI 的结构性优势：“它不是那种像无人车那样，要么是零，要么是一百，而是有很多阶梯的”——初级阶段优化算法、提高性能就有实用价值，第二级台阶挖出更深的东西，价值更大。
• 最高的台阶他没有回避其难度：“我们希望 AI 成为像爱因斯坦或者牛顿这样的大脑，通过很少样本获得很深的知识……就算我们没有做出来，本身这个东西的应用也是很多的。”
• 除品味外还需要 agentic behavior（用工具、调知识、完成任务）和信息收集能力——但这些"很多开源模型或者已有的解决方案已经在那了"，deep research 方向也已有很多工作。

12. 对"强者愈强"假设的拆解：决胜变量是曲线形状

• 硅谷热议的假设——最先达到 RSI 者把别人越甩越远、且有窗口期——他先承认"这个逻辑应该说还是比较正确的"，随即给出漏洞：进步可能是突破式而非渐进式。“从这个系统开始出发，它会有个 S 型曲线，一开始涨得很快，然后遇到平台期，直到下一个突破出现”——S 型、平台、再 S 型。
• 推论直指初创生死：“如果大家觉得 scaling law 百分之一百是对的，那么其实并不存在这样的平台期……任何一个初创公司不可能追上 OpenAI 和 Anthropic，因为他们一定在更前面，追得更快。“但他不信这个：scaling law “可能是对的，只是它的横轴是指数级的”——十倍算力、十倍数据换线性增长，“这十倍的资源其实应该说现在已经开始有瓶颈了”。
• 最硬的一句现实约束：“你不可能让全世界整个地球的电力都供应给你一个人做这个自我进化，肯定会有博弈，肯定会有一些限制。“他也坦承平台期论"现在应该还不是很主流”。

13. 智能的空间刚刚破晓：修仙社会与房价系统

• 第二个变量是智能空间的大小：“空间很大的，我们刚刚开始……就像我那本书叫《破晓之中》，我们刚刚才看到一点点的星光，太阳还没露头呢。“自嘲式的谦卑：“我们毕竟是地球上非常可怜的猴子变来的生物，一直以来看的东西都比较粗浅。”
• 终局想象是他小说式的私人愿景：“就进入了修仙社会嘛，言出法随——我今天晚上要大房子，马上就给你大房子。“但小说里迭代了两次：第一次失败后，虚拟世界加了房价系统——“一旦失去动力之后，人类社会怎么发展？这是一个很大的问题。”
• 公司层面的路线图更朴素：AI for AI 是第一大阶段，若系统能产生新架构、新理论、新优化算法，“我们是不是可以用这系统做别的东西”——进入其他科学领域。

14. First Steps：三个 benchmark 全 SOTA，同一个通用系统跑出

• 六月十一日发布的首批成果《First Steps Toward Automated AI Research》：一是优化 NanoChat 五分钟训练，BPB 降到比 community 数字还低；二是 NanoChat speed run 提速；三是找到新算子，效果"比现在最好的 SOTA 还要好不少”——全部开源。
• 关键细节：三个测试是同一个系统跑的，“是通用的”。选择标准之一是反馈快——“很快能够获得一个反馈，然后这个系统能很快的跑起来”。曼祺的观察被他确认：三个 benchmark 分别对应限定算力看性能、看效率、作用于 infra 的算子，覆盖模型的几个主要环节。
• 为什么叫"系统"不叫 agent：“细节还是比较保密……这样的话你可以保留各种可能性。“商业化"在思考中”，但坚持通用性：“不会因为一两个具体的 vertical 让这系统变得非常特殊化。”

15. 非专家击败专家团队：算子优化赢 Double AI 百分之十

• 对"数字改进看起来很小"的质疑，他用算子优化反驳：第二名 Double AI 是以色列团队，CEO Sasha 曾任 Mobile AI CEO——特斯拉供应商、半导体专业公司，成员"都是专业做 GPU 的工程师”，“但我们的效果比他们要高百分之十”。
• 反差是论点本身：“我们组里面没有什么人是 GPU 的专家”，他自己"没有真的做过算子优化”——这个方向起点是"一开始是我一个人加个 AI 做到 SOTA”（用的是自家系统，不是外部模型）。玩笑话里有锋芒：“最懂这个算子优化的应该是我。”
• NanoChat speed run 同理：79 秒到 77 秒看似只缩两秒，“但你要知道七十九秒是过去整个 community 做了两年的 SOTA”——是整个技术社区主攻效率方向的努力结果。

16. 从 GPT-2 级到前沿规模的 gap，以及暂时没有 roadmap 的坦率

• NanoChat/NanoGPT 训的是 GPT二 级别的模型，与主流大模型参数差很多。迁移到更大规模"应该说还是会有一些 gap 的，这个我们也在继续做”——之后可能会看到相关成果，“具体的东西我就不透露了”。下一步是让系统优化更广泛的方向：预训练、后训练都会做。
• 有没有 OpenAI 式的 AGI 阶段 roadmap？“目前还没有。“他的辩护带着幽默：OpenAI 提出 roadmap 也是成立十年之后的事，“现在这个时间会缩短……但应该还不至于快到只要半年的程度”。

17. RSI 现在缺什么：数据没有定论，算力也是瓶颈，scaling 之外押可解释性

• 数据：“这个问题应该说现在还没有定论……现在都是在团队内探索的状态。“方法有难有易，“可能难的就是效果好，不难的就是效果不好”。算力方面 6.5 亿美元"还可以，可以做一些事情”，但"要达到御三家（likely）的级别还有一定距离”。
• 更根本的判断：实现 RSI 需要 scaling law 之外的新创新——“如果是完全拼 scaling law 的话，小公司是拼不过大厂的”。他愿意透露的大方向只有一个：“就是可解释性嘛，它能够发现很多 insights，这 insights 可以加快这个速度，然后让这个模型变得更加 safe。但具体是什么，我就不好说。”

18. 安全观：训狗式的进化压力下，能力与欲求可以分离

• 有趣的社会学观察：“越是领域之外的人，问题会问得越多”——从业者反而不觉得失控问题紧迫，“因为这可能不是一天就到来”。
• 他的标准回答分两层。第一层是进化压力论：“我们训练 AI 的时候，相当于我们当年训练狗这样的训练方式……在这样的进化压力下，AI 是没办法进化出跟人一样的自我意识的。“能力和欲求可以分开——“有很多天才的数学家和物理学家，在各自领域上非常天才，但他们与世无争，并不想要权力。“创造力也不需要意识：“这两个不是一回事。”
• 第二层还是可解释性：“通过解释性你可以真正知道模型在干什么……就可以消弭人们对这种黑箱的恐惧。”

19. 少数派的信仰：AI 终将变成科学，下一个牛顿可能不是人类

• 他自认在从业者中站在少数一边：“我可能是少数派吧，大部分人可能已经觉得绝望了……但我觉得一定是有一个好的 principle 能够让这个模型运转起来”——找到它，模型既更强也更安全。信心来源是多年对神经网络训练动力学的分析：“从二零二零、二零二一年之后……有很多问题本来想不通的现在突然想通，你会觉得也许我在一条正确的路径上。”
• 历史类比是全片最有野心的段落：“我觉得它以后终将变成科学”——如炼金术变成化学，如第谷的观测到开普勒的总结再到牛顿的原理。“牛顿没有出现之前，大家可能会觉得这事情不可解释、太难；等到牛顿出现了之后会觉得这个事情还挺简单的。“而下一个牛顿？“不一定（是人类），可能是 AI，可能是人类加 AI。所以为什么要做 RSI，就这个原因——你一定要用世界上所有的计算资源和所有最强的大脑，包括人的大脑和 AI 的大脑。”
• 曼祺问：有生之年会看到图灵奖颁给一个系统吗？“我觉得如果到那个时候，可能图灵奖也不是很重要了”——那时它已是每隔一两个月产出新知识的 knowledge discovery system。同路人不多：“很多人可能都放弃了”，不少理论研究者"打不过就加入”，进了 OpenAI 加入 scaling 大军；他点名马毅是仍在追求可解释性的人。

20. 术与道：AlphaEvolve 的矩阵乘法有意思，但还不是美

• AI 已宣称的数学突破里有什么优美的东西？他举 Google 的 AlphaEvolve 矩阵乘法（减少一次乘法次数）：“你真的去看的时候觉得它还是挺有意思”——但定性很清晰：“现在 AI 做东西很多时候是处于’术’上的 level，没到’道’上那个 level。“术是巧妙的具体变换，“相当于在很大的空间中做穷举，找到一个好的结果”；道是"发现一个新的理论或者新的逻辑链条，这个东西本身是美的，但这种美以前没有见过”。
• 到了 AI 自动发现新东西的那天，人类研究员的乐趣何在？“如果能理解 AI 到底是怎么工作的，我会很开心。然后就是欣赏它的美……我现在还有这种习惯，经常去看一些数学证明，那种豁然开朗的感觉”——与日常工作不直接相关的纯粹精神享受。

21. 无人车岁月的负样本：“永远是还有五年”

• 一三年入职 Google X 无人车（后来的 Waymo），新鲜劲过后发现自己在打杂：想在无人车里做深度学习，但"当时 GPU 很少，资源都会分给比较心仪的人”——级别七的人有自由度，级别四的他只能做紧急车辆检测这类小样本问题，“样本少到连个分类器都训练不出来，可能需要手工写规则”。
• 对那个时代的组织观察与今天呼应：“很多高级别的人拒绝学习，停止学习……下意识觉得这东西不行”，要等两三年才意识到深度学习是变革——大模型出来后这种思维差异依然存在。
• 他对无人车行业的判断当时就成立了：“它要不就是成功，要不就是完全不成功，没有中间状态”，corner case 修法漫长。对乐观宣言早已免疫：“永远是还有五年——二零一一年说还有五年，我二零一三年进去还有五年。"（他也补了一句公道话：现在旧金山、LA 已经在路上跑了。）

22. 两类研究员：指方向的与知道怎么做的——以及 Ilya 的"宗教信仰”

• 在 Meta FAIR 前几年他仍偏工程：围棋项目的蒙特卡洛树搜索、分布式强化学习系统都是自己搭的，OpenGo 二零一八、一九年 20 比 0 战胜韩国专业棋手。当时的评价成了他的自我注脚：“你这个人太工程了，不像一个研究员——别人打开电脑全是文章，我打开电脑全是代码。“从二零一九到二零二二年慢慢形成自己的 taste，且至今每年至少一篇一作论文——不 hands-on 的研究员"会把难的问题和非常难的问题混在一起”。
• 他的研究员分类学：第一类指方向、开好坑——乐坤（likely LeCun）是典型，经典蛋糕图把 reinforcement 放在顶上的 cherry，因为反馈太少，押注反馈丰富的自监督学习，“GPT 的整个训练过程也是自监督的一部分”；他自己提的 Coconut（likely，隐空间 latent reasoning）也属此类。第二类"不仅要知道做什么，还知道怎么做”——把机制抓出来，这是他的路。伊利亚和达瑞都属于第一类：“特别是伊利亚，他对 scaling law 有非常宗教般的信仰——你别想太多了，就是 skill skill skill skill。”
• 对 Ilya “房间里所有的空气都被 scaling 给吸走了"的近期表态，他"非常同意”：“scaling 这波红利已经差不多吃完了……任何一个研究方向它都是有底的。“由此引出创业的判定条件：“你确实看到了什么不一样的事儿，你才应该去做一个 startup。如果你非常相信 scaling law，那你就应该在大厂。”

23. 反大厂组织论：一百五十人是临界点

• 从 Meta 后期的动荡他提炼出一个尖锐论断：“现在这一波 AI 都是反大厂的——大厂里面所有的 incentive、所有的职级、所有人和人之间的关系，都是跟现在 AI 的方向背道而驰的。“组织越臃肿，AI 进展越慢：一旦产生经理-执行者二级架构，就像导师-学生的 loop，“人交流速度永远是最慢的”，而中层管理"很多时候目标是为了让自己能够过得更好”。
• 临界值给得很具体：“你看以前 Llama Four 和 XCR（原话如此）都是超过一百五十人之后就开始不行了”——一百五十人是人类组织学的临界点，之上人和人不再相互认识，只能靠组织架构获取知识、向上汇报。
• 反例是核心收缩的大厂：OpenAI 七千多人，“但做模型的人其实也不是很多”，Crawl Code（likely）这样的团队很小。他的公司会保持精炼：“我们不会招太多人”——而且"有一些人还是从 Frontier Lab 对我们有兴趣的”，在聊或已加入。

24. 结语的两种未来：coding 是"谢公屐”，原创想法仍是变量

• 曼祺的收尾把三期节目串起来：coding 能力就是李白的谢公屐——“脚着谢公屐，身登青云梯”。Kimi K三 的技术报告里，早期 checkpoint 已能做 kernel（算子）优化；RSI 公司测的 GPT Speed Run 是 Neon 优化器开发者 Jordan Keller（likely，指 Keller Jordan）发起的项目，正从人做变成 AI 做——在具体的模型训练任务上，RSI 已经发生。
• 留给听众的分岔：若曲线平滑向上，“绝大部分机会都会在现在已经最强的公司这一边”；若有台阶和平台期、加上能源与算力的现实束缚，就需要新方法——“原创性的想法现在还不是靠越来越强的 coding 就能马上解决的，它至少是一个变量。你会更相信哪种未来呢？”