摘要

田渊栋认为数据最重要，基础设施也很重要，算法和人才次之；算力主要区分大厂与初创。 理由链：AI写代码让他与3个月前相比工作效率“提高了至少10倍”，基础设施护城河可能下降；算法处于“要么大家改来改去改不出什么东西来，要么就是完全不一样的新方案”的阶段；人才高速流动意味着“硅谷里面很难有一个秘密能保留很久”，新方案一两个月、两三个月后就会被更多人知道。
内存与存储需求是他眼中很硬、很难解决的物理瓶颈。 主持人提到产业链供不应求；田渊栋认为增量主要来自长上下文、训练更大模型以及多模态4K图片的中间结果。模型规模从过去约70B的开源模型，发展到Kimi K2约1T参数、DeepSeek 600多B；H200凭借更大内存，可以用更少的卡获得同样性能。对于解决办法，他说“现在确实很难看到很好的解决方法”。
强化学习与test-time scaling的上界可能被预训练锁死。 预训练提供一百种思维路径中那条正确路径的素材，RL只是搜索并放大它；如果“预训练里面根本没这知识”，强化学习也无法提出解法。因此test-time scaling之后可能逐渐接近上界，这正是行业转向continuous learning、希望在后训练和推理中同时改变权重的原因。
记忆研究的路线之争是全量存储（贵、慢、准）对选择性遗忘（省、快、会忘）；他认为真正的AGI应是“脑容量固定但持续进行记忆升华和主动遗忘”。无限堆积数据更像Internet式检索，并不会自动升华成对问题有更深理解的系统；大模型的代际贡献在于把知识整合进权重。最难的问题是从死记硬背到“顿悟”——像小孩四岁后突然对数字大小有感觉，机制至今不明。
蒸馏让领先很难长期保持，各家Lab的你追我赶对应不同生存策略。 大厂如Google通过Gemini 3.1 Pro展示技术实力与人才储备；初创通过证明自己强来融资，但需要在钱烧完前找到商业模式，OpenAI也在考虑在ChatGPT中加入广告以获得现金流。开源模型必须存在：如果少数人掌握指数增长技术，多数人无法获得便利，还可能形成等级区分；开源可让大家相对平权。
Agent可能颠覆电商和事务性人际交流，并带来“裹挟效应”。 对Agent来说“所有的网页都是一个连接”，广告没有欲望可利用；双方Agent可以代替人协调约饭、meeting等事务，也可能形成包含衣食住行的个人助理。水管工若不用能24小时接单并自动规划路线的bot，效率可能低于同行而被淘汰。他只用了Clawdbot 2小时，因其要求交出各种API key而“越用心里越虚”，并以“握有全部秘密但智商不够的小孩”比喻其安全风险。
他预警AI带来的社会冲击，并公布自己的下一步。 “洪水马上来了，只是很多人还没有感觉到”：未来可能出现整个行业逻辑改变、原有技能在任何地方都不再有用的裁员。他已离开近11年的Meta，将去一家方向和人员组成暂不公开的startup做co-founder；公司正在融资Series A，且“马上就要结束了，很多人愿意投资”。

精读

1. 蒸馏抹平领先：大厂昭示实力，初创烧钱续命

田渊栋的开场判断：领先被追平“不可避免”——蒸馏让较弱模型快速逼近强模型输出水平，迭代速度“可能快要接近人类的生理极限”。
大厂逻辑：背靠现金流，发布是为展示技术实力与人才储备。例证：Google用最新版Gemini 3.1 Pro处理难数学问题，找到“一些很好的数学问题解答”和证明；他称这些问题此前“肯定是未解问题”，因此大家会觉得Google仍然领先、处于第一梯队。
初创逻辑：证明自己→融资→活下去；但“总有一天……需要在钱烧完之前找到一个商业模式”。OpenAI考虑在ChatGPT对话中插入广告，正是在寻找现金流输入。

2. 护城河排序：数据第一，infra在被AI coding侵蚀

数据最难替代，尤其垂直领域数据稀缺时“没办法用很少的数据训练出很好的模型”；infra会降级——他自己用AI写代码，与三个月前相比“效率提高了至少十倍”，查错、让程序运行更顺畅等日常工作可能都会由AI代替。
算法处于稳定期：多是小修小补。他提到DeepSeek可能在一个月前发布过一篇对残差连接做改动的文章，觉得很有意思，但后来有人发现算法可以改得非常简单、和原来差不多，效果仍然可以——“要么大家改来改去改不出什么东西来，要么就是完全不一样的新方案”，跳变何时发生“还不太清楚”。
人才因流动不构成壁垒：“硅谷里面很难有一个秘密能保留很久”，新方案一两个月、两三个月后大家都会知道一点，之后可能传开；算力主要区分大厂与初创，大厂之间差别可能没有那么大。终局上，他认为有可能是几家大模型公司占主导，再加上拥有独特数据的垂直小公司。

3. 开源是“核威慑”：地球上不能只有闭源模型

他2023年就持此念：指数增长技术的最坏结果是“少数人掌握了这个技术……去做一些不太好的事情”，多数人享受不到便利且产生等级区分；开源令大家相对平权、同步前进——“如果大家都有核武器了，产生了威慑，就会有一个比较好的平衡点”。
对Meta从约一年前较倾向开源到现在可能更偏闭源，他不做道德评判：开闭源“完全取决于公司本身的战略”，尤其当它与主营业务无关时可以灵活处理。
他日常混用各家模型：OpenAI的模型、Surface的模型和开源模型；举例包括GM5、MiniMax 2.5，后者“可能快一点”。半年前这些模型还做不完整任务，如今问Crawl Code或MiniMax都能完成得不错，虽然可能忘记某些东西，但“流程和逻辑基本还是正确的”——模型进步之快让他吃惊。

4. 长上下文技术：Positional Interpolation改变扩窗成本

2023年6月他们的Positional Interpolation：此前扩窗要拿长数据重训，慢、痛苦、费卡；他们发现只需把长上下文映射到短上下文，把每个token的位置编码简单除以2，再微调和训练，代价小很多、质量也不错。此后这一现象被广泛应用，Gemini、Kimi等也出现了相关长上下文工作。
后续工作沿同一权衡展开：Attention Sink保留句首几个token、删掉中间内容，模型仍可能连贯输出，但如果追问被删掉部分的事实，“可能会开始出现幻觉”；H2O（Heavy Hitter Attention、Heavy Hitter Oracle）固定记忆大小，并尝试找回重要记忆，使一些关键问题仍能回答正确。
路线之争恒在：一头全存上下文，代价大但效果好；一头如线性注意力压成定长向量，省内存但“有限的空间是容纳不下无限的过去的历史的”。
上下文之外还有权重记忆——从预训练建立，规范“这个模型本身对世界的整体理解”，很难改变：预训练差，后训练像“比较笨的孩子”，什么都要讲清楚、无法举一反三；预训练好，就像“很聪明的孩子，一点就通”。

5. 最难的研究问题：从死记硬背到顿悟

他以女儿为观察样本：3岁或4岁前教了记不住还哭闹，过一段时间后“突然在某一天这些事情他都会了”——他推测内部记忆可能发生重组，表示变化后突然能够理解逻辑并举一反三。数数的例子是：先机械地背“一、二、三”，4岁以后“突然之间对数字的大小开始有感觉”，还会猜两位数之间的关系，很多时候不用教就会了。
这个跳变“为什么发生、什么时候发生、怎么样让它更快发生”仍是悬而未决的大问题。
对Google去年较火的《Nested Learning》，他认为把优化器与网络架构统一成associative memory的想法有意思，但并不完全认同：在他看来，这类memory的效率仍不够高，像是“把一个点记住了，然后把这个点弹出来”；人类学到一定程度是“观其大概”，对整体理解深入，这种记忆形成过程的建模还不够。

6. AGI应是固定脑容量＋记忆升华与主动遗忘

答曹卿云之问，他选择后者：“扩大当然更好”，但固定容量、持续升华和主动遗忘是让人变聪明或让AI取得飞跃性进展的重要因素。
无限堆积数据更像Internet：TB、PB级数据让检索高效，却“并没有升华成有自主意识的人，或者说有一个对问题更深理解的系统”。过去搜索时代仍需人整合数据；大模型则通过训练把数据和知识整合进权重，“让这个模型对数据和知识的理解上升了一个层次”。
下一代模型的标志，是知识表示和存储再次发生质变，训练与存储成本下降、学习能力增强，并能更快适应不断变化的世界。

7. 上下文需求仍可能上升，天花板尚难判断

需求结构变了：聊天时代一人一天“聊个十万字已经很可怕了”，那是一个人的token消耗上限；如今写代码“动不动就要把整个代码库放进去”，多轮tool call和问题分析很快就会超过1万甚至10万token。
他认为，最近半年各大厂和研究实验室都在追求让模型“工作一个礼拜或者几天几夜，不要任何人干预”。这需要大量token和上下文；他判断上下文越长，对世界的理解“应该”越深入，决策“也应该”越准确，这一趋势很难改变。
他认为Clawdbot的memory机制有意思：把记忆组织成短期、长期等不同层次的Markdown文件，human-readable，可以手动删掉不该保留的内容，但目前看起来仍“比较awkward，比较难看”。
终极目标是让AI自动发现这种结构；MIT的《Recursive Language Models》把上下文当作数据库，在预测和解码时动态调取内容。他认为这一趋势会继续，即使最终上下文较短，研究时也常会先把内容全部塞进去，再逐步调整。

8. 存储与内存需求的训练侧账本

主持人先描述了内存和存储产业链的供不应求；田渊栋认为增量一方面来自context window变长，另一方面来自训练更大的模型。
模型规模已成为一种标准：Kimi K2约1T参数，DeepSeek 600多B；过去70B的开源模型已被认为很大，而现在大家希望参数更多、训练效果更好。
单卡内存不够就要切片（tensor/data/expert parallelism），卡间通信增加latency——“通过增加延迟的方式让系统跑起来”是坏trade-off；增加单卡或机器内存，可以把模型放进一张卡或一台8卡机器，降低通信成本，让训练更快、设计更简单，也可能减少出bug的概率。
所以H200比H100更受欢迎：“同样的算力我有更大的内存……用更少的卡获得同样的性能，算账算下来还是合算的。”英伟达和AMD都希望把内存做大，压力来自AI Lab竞争和上下文变长两方面。

9. 多模态进一步放大需求，ASIC方案不够灵活

曹卿云追问Agent数量、任务复杂度、多模态和世界模型叠加后需求是否会呈指数增长；他承认需求“确实会很大，应该说会变得很困难”。图片模型参数量未必很大，但一张4K图片输入后需要大量内存保存中间结果，影响训练速度、serving效率、速度和容量，也影响Agent效率。
他的坦白是：“我现在确实很难看到很好的解决方法，还是挺困难的。”有公司把整个大模型权重刻进ASIC电路，以腾出内存并提高速度，但“模型改了一点点，那些电路就没用了”——要做灵活探索的研究，仍需原来的架构。

10. Scaling law有效但需要大量、甚至指数级资源，大厂困于路径依赖

他的一贯论点：scaling law是有效的，只是需要大量资源，“甚至是指数级的资源”支持；存储和能否稳定供应大规模集群所需电力，都是问题。
大厂“沿着路径依赖”有现实原因：团队都建好了、各司其职，很难转向“很难看到希望的新方向”；沿老路不需要花太多脑筋，见效较快，是比较安全的路径。
因此OpenAI和Google会继续沿这条路线，用更多算力、数据和人力换取一点点能力提升，直到diminishing return越来越明显，才会考虑其他办法。
新范式尚未成气候：continuous learning，以及强化学习时不进行model weights updates的方向，都“可以尝试，也值得关注”，但要真正scale up目前仍比较困难。

11. 持续学习为什么难：最终可能要重新训练

机制：预训练在海量数据上学到能举一反三的特殊结构；continuous learning可能只能学到“某个领域里的单独知识”，泛化能力不强——在本领域效果还行，要应用到其他地方，可能仍需在某个节点把数据放回预训练中，让模型重新训练。
他的边界感很清楚：只用“很小的样本、很少的数据和一点点计算资源”，让模型突然发生飞跃性变化，目前还比较困难；持续学习是重要方向，但把它做好仍是愿景。

12. RL上界被预训练锁死，test-time scaling可能逐渐接近上界

2024年下半年Owen出来时，大家为test-time scaling兴奋，催生了最近一年的强化学习能力发展；但后来出现不同意见：“强化学习最终的上界可能是被预训练给锁死了。”
逻辑链：预训练为一道数学题提供一百种思路，大部分是错的但有一种正确即可；RL通过不停迭代和搜索找到那一种并放大。若“预训练里面根本没这知识”，没有足够素材提出解题思路，强化学习也做不出来。
结论：当时看到的test-time scaling law“可能只是前面走了一小段”；之后是否继续沿同一路线尚不好说，他倾向于认为继续scale也可能逐渐接近上界。于是大家开始做continuous learning，希望在后训练和推理过程中同时改变模型权重：“单纯使用后训练推理、不改变模型权重是不够的。”

13. 推理提效三条路；幻觉根在null space

隐空间推理：每步不用人类语言而用高维向量，一个向量可能相当于一句话甚至更长内容；他称一个推理向量可以同时存储几条不同推理路径，并将其比作量子力学中的叠加态，从而可能比正常语言推理更高效。
主持人以Coconut为例指出它仍是串行的、只是每步使用latent vector；田渊栋回应说，从长度上看会变短，但存储一个完整vector比存一个token ID消耗更大，体现了“变强与变弱”的trade-off。
Parallel thinking仍使用语言推理，但尝试把可拆分的任务并行处理，例如“接下来有5点要求”后，5点可以同时推理而不必串行等待；另有deep comp，通过快速去掉不必要或明显错误的推理链，降低推理token数量并让效果更好一些。
幻觉根植于模型结构：权重有signal子空间和null space，null space中的分量平时不影响正常推理，但输入超出训练数据分布边界时可能起作用；根治“最终还是要打开大模型的黑箱，知道里面的权重是怎么样work的”。

14. Clawdbot＝握着你全部秘密的小孩：Agent安全与社会洪水

他只用了Clawdbot 2小时，“越用心里越虚”——它要求交出各种API key。他的类比是：Agent像一个“手上握有我所有的秘密”却智商不够高的小孩，跑到菜市场被人夸几句、给5块钱，就可能把家庭住址说出去，导致家里被撬门。
OpenAI API key被盗后还可以删除原key；但Google邮箱access、机密文件密码、重要文件夹token，甚至密码管理器的主密码，都非常危险。网上还有平台让这些Agent相互讨论，寻找欺骗人的方法。他建议一边使用一边看代码、理解机制，也可以自己做更专用的工具。
Agent对接将吞掉事务性人际交流：约饭、schedule meeting等事情可以由双方Agent完成。他一年多前在Meta写过Omni Agent proposal，原以为这件事可能5年内发生，没想到这么快。
他认为包含衣食住行的个人助理或super app也有可能出现：Agent可以24小时在线，接收需求、通知用户、达成协议并完成任务，效率高于打电话。
电商逻辑可能被颠覆：网上已经有人用Clawdbot购物，因为它知道用户的preference；对Agent来说“所有的网页都是一个连接”，广告条、闪亮设计和特价信息对它没有用，因为“它没有欲望”。
裹挟效应与洪水论：水管工若不用能24小时接单、自动组织生意并规划“今天走访5家客户”路线的bot，效率就低于同行，“你不用你就会被淘汰，不管你主动还是被动”。他的年终总结式预警是：“洪水马上来了，只是很多人还没有感觉到”——那种被裁不像以前换家公司就好，而是“整个行业的逻辑变了……你的技能在任何地方都没有用了”。

15. 教育下一代、Agent创业法则与他的下一站

想象力已落后于发展速度：以前写科幻时觉得一个想法“五十年之内都不可能发生”，可以慢慢写；现在倒过来，“这个idea如果不赶紧写，它可能就消失了”，因为它会变成已经发生的历史。
他认为人的目的性、经验和动机仍然重要；艺术作品的意义来自人的内心冲动、目的和把作品做成的过程。这里并非简单断言AI绝不能取代，而是如果这部分被AI取代，作品就失去原本的意义。教育下一代的重点，是让他有动力做自己想做的事，学习也会因此变得愉快。
对担心被大模型能力侵蚀的Agent创业者，他给两条路：要么速度快于大模型发展，要么做当前大模型解决不了的难题；客户黏性和客户数据“可能就变成你的护城河”。
田渊栋此前在Meta做研究总监，主要涉及强化学习、搜索优化以及大模型推理和应用，在Meta近11年后离开创业。他将去一家startup做co-founder；公司正在融资Series A，“马上就要结束了……很多人愿意投”，方向和人员组成暂不公开，待关键时间点宣布。

20 个问题，搞懂 OpenClaw：爆红机制、本质变化、创业机会流亡伊朗王储 Reza Pahlavi：过渡计划与争取伊朗自由之战