69.与田渊栋的访谈：大模型的真问题、变局、AI洪水与the path not taken

摘要

• Coding agent可能形成数据飞轮，是田渊栋认为特定方向上有望加速的路径。 早期人写代码、数据积累慢；当AI写的代码质量足够好、可大量生成样本回灌训练后，“突然之间就会有一个起飞”。他离开Meta后正赶上Claude Code和Codex这一波，“我发现我不用写代码了”。他不认同2026年AI会回调，认为很多应用会爆发：两个月的代码工作可缩短到两个礼拜或更短，“对VC来说是更大的消息，他们感兴趣的是能不能赚钱”。
• “我不觉得纯粹按照scaling law来做能够达到AGI”，但scaling law本身不会见顶——受限的是资源。 数据中心可能需要小型核电站供能，再乘十、再乘十，最终整个地球的能源都要服务数据中心；问题是有限资源下走哪条路能获得最大影响力，大厂和小厂路线可能不同。他的落点是：“一个浪潮并不足以把我们送到AGI”，在不同浪潮之间跃迁的能力更重要。
• 在主持人描述的Llama 4掉出领先位置的背景下，田渊栋主要归因于组织压力与过度求快。 团队从几十人扩充到两三百人甚至更大，急于追赶DeepSeek等推理模型；多层VP逐级报喜，最上层可能只听到好话，直到模型发布后问题才暴露。他还警告，只看benchmark数字会诱使团队往数据集里塞东西，让模型看起来很好、实际不好用。
• 大语言模型竞赛榨干研究多元化，这也是他选择创业而非加入其他大厂的重要原因之一。 他收到过Amazon、Apple、xAI等offer；Amazon劝他加入的VP两个月后离开，Apple也有类似经历。FAIR式自下而上的bet文化受到资源竞争挤压。他现为一家保密公司的创始人，离职后的论文有部分工作靠家里一台4090完成，并享受一人闭环带来的快速反馈。
• 他部分认同LeCun：当前路线的核心问题更像学习效率，而不是完全学不到东西。 人脑功率大约20瓦、可能在20到30瓦左右，靠很少数据就能学会；他以女儿为例，没到阶段时灌数据只会背诵，某天领悟后便学得很快。但他不赞同"鹦鹉学舌"的说法：LLM的表示并非全靠背诵，触及了一些本质、能够反映现实世界，只是学习效率不高。2026年的真问题包括数据效率、推理效率、持续学习和超越Transformer的架构；范式级突破的概率目前不算大。
• 近300万亿token的实验，主持人将其作为问题提出；田渊栋认为最大回报是认知上的。 现在大家知道写代码可以不用人写了，这个认知本身就值相应代价。OpenAI、Trae或其他公司的很多钱花在研发上；如果满足于现有模型、只做服务和推理，其实可以赚钱，但为了下一代模型不得不继续投入。RL不是死掉的领域，开源模型与闭源模型的gap可能既不扩大也不缩小，只是开源会因使用闭源数据而滞后一阵。
• AI洪水是囚徒困境，个人对策是选位置而不是筑坝。 2023年暂停六个月、先解决安全问题的呼吁有不少人签字，但最后不了了之，因为谁停谁就可能落后。洪水会越来越高，应在洪水到来前找到好的落脚点。围绕他所说的"人类社会的费米能级"，至少要做到人加AI大于AI自己，靠综合判断力和垂直经验发现、纠正AI的错误；节目还将这一逻辑延伸为：当重复劳动趋于由AI无限供给时，人的稀缺价值更多在于选择愿意押注的方向和提出愿望。

精读

1. 主动说出被裁：给裁员去羞耻

• 田渊栋在X上说过自己被Meta裁员的事：“我可能是最不怕这个事儿的人，说出来的话，大家会减少对这个问题的焦虑——大家会觉得这么厉害的人都被裁了，那我也无所谓。“事后有同事私信感谢他把话说出来。
• 他提到的做法是：公司在此前一轮裁员时直接说这是"performance-based”——给员工扣上绩效的帽子，“接下来他怎么找工作，这是很大的问题”，对员工不太好。
• 给普通人的建议不留幻想：指望一辈子待在公司、由公司保护，“这个愿望可能很难实现”；尤其在CS、写代码或软件工程方向，随着AI替代加深，公司需要的人可能越来越少，每个人都要提前想清楚离开公司后要做什么。

2. 大公司是笼子：心气与能做的事脱钩

• 他描摹的大公司行为模式：做事第一反应是合规、保证自己没事；事情没做成时，第一反应可能是"这不是我的责任”。想从头到尾做成一件事，小公司容易、大公司难——牵动太多利益，最终人会被框在能做的事情里，心气与能做的事脱钩。
• 切身的时间坐标是2016到2018年：他当时还能像搭建围棋程序那样，一个人从头build一个很大的系统，“但之后就发现这个事情没那么容易行得通了”。所以被裁也可能是"公司帮你做了决定，让你向广阔的天地进发"。

3. 离职三个月：一台4090、一人闭环、决定创业

• 他把手上的论文做完并发表，署名从Meta affiliation变成"Meta affiliation加Independent Research"；后半部分有些工作需要GPU，但靠家里一台4090跑完，“凭着一台机器就把事情做完了”。
• 多家有名公司来接触、面试，他最终选择自己创业，现为一家公司的创始人，名称仍处于保密状态。创业者状态与他早年独立完成论文的工作同构：“想法、念头和整个工作的完成都由我一个人来负责”；这样能很快拿到反馈，知道错误在哪里、如何改进，“这个闭环其实是非常爽的”。

4. 中美同焦虑，两个月内的两次冲击

• 三个月密集交流的观感是"共性大于个性"，大家都焦虑。模型端的问题包括：什么是下一个架构、如何超过Transformer、continuous learning怎么做，以及Google的Nested Learning有没有效果和前途；应用端最怕辛苦做出的应用两个月后就被更强的大模型吃掉。
• 他给应用者的划线是：用很少数据找到内在规律和逻辑的核心能力，现在还很难被AI取代；调用工具、在不同问题间快速切换等外围能力，比较容易被AI取代。
• 从去年12月到今年1月的一个月里，Clawdbot式的AI Agent突然受到关注：它能自动调用电脑上的各种东西，像管家一样完成操作，这种能力两个月前还很难想象。Coding agent也快速变强，他形容用AI写代码像回到指挥学生的感觉：AI二十四小时待命、可以挂机数小时，但也会犯人肯定不会犯的愚蠢错误，因此仍需仔细检查。

5. Coding起飞的机制：数据飞轮

• 拐点逻辑是：一开始代码全由人写，AI要学习人的能力却不太能学会；早期人写代码的质量和速度也赶不上AI后来写代码的质量和速度，因此数据积累很慢。某个阶段之后，AI写的代码质量变好，就能大量生成样本放回模型训练，“突然之间就会有一个起飞”。
• 这也框定了他的scaling立场：“我总觉得我们还是要找一些scaling law之外的东西，我不觉得纯粹按照scaling law来做能达到AGI”。但对Coding Agent这类能用AI生成新数据的特定方向，模型有可能越做越强。

6. 读博把内向书呆子逼成表达者

• 他从上海交大硕士去CMU读博时很内向，“发言会打结、会结巴”，别人可能觉得他是愿意抱着书啃、不愿交流的书呆子。科研的硬需求逼他改变：成果要向别人展示、推销，“在欧美这套体系里面，销售能力是非常重要的”。
• 他的路径是先闷头做出一个自己拿得出手、感到自豪的东西，再拿它去讲、去"销售"；在这种正反馈中锻炼表达，两三年后逐渐自信，“整个个性就打开了”。

7. Google的教育：debug sucks, testing works

• Google厕所里的招贴画"debug sucks, testing works"给他留下震撼：与其不断debug、抓虫，不如写大量测试代码，把测试和调试自动化，让软件架构的问题更快暴露。代码注释后空一格还是两格的规范争论，也让他从觉得无聊转为理解统一规范的价值。
• 无人车组的另一课是：真正落地的商业系统未必靠复杂算法，“现实世界里面有很多条路可以通向目的地”，很多问题可以用系统层面的改进绕过去。这打破了他此前"一定要用复杂算法和数学来完成"的预设。
• 他离开Google无人车组，是因为深度学习刚兴起、GPU不够多，较难的研究问题通常优先由级别更高的人做；他觉得自己没有足够时间锻炼新范式上的经验，于是选择离开。

8. LeCun：冷板凳往事与精神领袖

• 2010年的亲历画面是：LeCun开的神经网络workshop在大屋子里只有前两排稀稀拉拉十几个人，他还用自己的电脑亲自演示神经网络效果，“我感觉他非常萧索”；隔壁讲特征工程和支持向量机的workshop却人山人海。田渊栋认为，他坐了很多年冷板凳，最终证明了自己，后来获得荣誉并不意外。
• 在FAIR，LeCun一度是所有研究员的manager，后来不愿继续管人、给绩效，更多成为精神领袖。他从约2017至2018年起倡导自监督学习，认为人工标注昂贵，数据应当自己学习自己；田渊栋受此影响，做过分析自监督学习中特征为何塌缩的理论工作，这篇文章后来影响较大。

9. Llama诞生于自下而上的bet文化

• Llama的出身细节是：FAIR有一个原本做定理证明的组，后来临时转做大语言模型训练并取得成功。“FAIR有很多bet，有些尝试失败、有些成功，有一个成功对公司来说就是回本了。“Llama成为第一个比较有用的开源大语言模型，为公司带来先机。田渊栋认为，这与OpenAI的ChatGPT起初也不是核心方向的故事相似。
• 方向并非LeCun钦定：FAIR不是top-down组织，研究员自己发现方向；精神领袖只是提出想法，愿意的人跟随，不愿意的人也可以做自己的方向。他的元判断是，数学和模型上的创新很多时候只能靠实验试出来，因为没有足够好的理论指导。

10. 大语言模型榨干了研究的多元化

• 为什么很多研究员都去做大模型？“很多时候是因为资源上很难调和”。大公司若想在LLM上占有一席之地，往往要调动公司大部分资源做一件大事，这会让原本多元化的学术氛围变得不那么多元。主持人转述一位Google研究员的类似抱怨，田渊栋确认这与具体公司无关：资源有限，就会有人因做主流方向而获得更多资源，也有人因不做主流方向而被挤压。
• 关于LeCun在《Financial Times》上说的"You don’t tell a researcher what to do"和"You certainly don’t tell a researcher like me what to do”，主持人进一步提出：命令式方向可能让研究员失去独立方向，也可能因高层不懂细节而造成趋同。这段命令式方向的具体分析是主持人的论述，不能当作田渊栋的独立表态。
• 对"Meta内部有四个AI研究团队"的求证，他回答说要看如何计算，“远远不止四个”；很多产品组内部也有AI团队。他们那篇长文推理、快速训练Long Context大模型的工作，就是与产品组和广告组合作完成的。资源结构上，推理模型出现前大部分资源在预训练，之后开始逐渐转向Post-Training和中训练。

11. 部分认同LeCun：约20瓦的人脑与女儿的顿悟

• 对"生成式模型可能是死胡同、AI要像婴儿学习"的观点，他部分认同：人的大脑功率大约20瓦，可能在20到30瓦左右，不需要太多数据就能学会很多东西。他以女儿为例：孩子没到某个阶段时，灌输很多数据只会背诵，并不理解；到了某一天或几周内突然领悟，之后很快学会。
• 但他不赞同"大语言模型没什么用、只是鹦鹉学舌”：LLM的表示并非全都背出来，很多内容触及了一些本质，学出的表示能够反映现实世界。“它学到了好东西，只是这个学习过程不是那么有效率。“他认为需要的是更高效的学习方法。

12. AI原生一代与老兵：浪潮间的跃迁能力

• 他对新范式的描述是：“我其实是在给一个未知的外星智能喂数据、喂算力，它能做到什么程度我不知道，但是它一定很厉害，我只要给它喂东西就行，不用去想它是怎么做的。“Chain-of-Thought提出者Jason Wei曾说自己2020年才开始做自然语言处理，因此不用学习此前的所有东西；年轻人可能更容易融入这种AI原生的逻辑。
• 老兵的价值在于见过思维方式的变迁。“历史还是有轮回的”，某种范式在一段时间内有效，走到尽头后需要切换；见过多次变化的人，对切换有更深的理解，而年轻人可能会相信不断加数据、加算力就总能做出来。
• 他的落点是：“一个浪潮并不足以把我们送到AGI，可能需要很多个浪潮。“能知道某种范式何时有效、何时需要切换到另一种范式，以及在不同浪潮之间跃迁，是重要能力。

13. Llama 4为何掉下牌桌：急

• 时间线和"领先全球、掉下牌桌"的说法由主持人提出：主持人称Llama 3在2024年4月曾领先，Llama 4在2025年4月落入颓势；田渊栋的归因是，团队和资源大幅增加后变得着急，急于追赶DeepSeek及其他推理模型，领导层也有压力、采取了激进策略。他同时认为，好好做仍然很有希望。
• 团队从几十人扩充到两三百人甚至更大。对"快曾是Facebook的制胜关键"的辨析是：简单事情可以快，做模型则需要技术人员发声、有话语权。如果大老板只说必须快、下面不能反对，工程师面对赶不完的deadline，就只能在申请延期和"糊弄糊弄了事"之间选择，最后可能因为大家都很累而勉强做完。

14. 层层报喜与刷榜：只看数字做不出好模型

• 他的第一手观察是：“我去了之后发现，我上面有好多层VP，最后才能找到他的主管。“每层向上汇报都会把好话说得更好听、不好的事不说，传到最高层后可能只剩好话，导致领导过高估计项目进度，直到模型发布后问题暴露。
• 解药包括控制团队规模，以及让团队技术驱动而不是deadline和数字驱动：大家细致挖问题、找解决方案。几百人、上千人的团队很难完全杜绝层层报喜。
• Benchmark驱动的风险是：只看数字的大厂，下面的人可能往数据集里塞东西，让模型测试结果看起来很好，但实际使用效果不好。
• 他用"差生和优秀学生"作比喻：如果模型只是把答案背出来，泛化到其他领域就很辛苦，需要一个case一个case修，再多标数据也可能不够；真正重要的是让模型形成思考逻辑和对世界更深的理解。主持人随后把这一点概括为不要只教出答案正确的"差生”，而要培养能举一反三的"优等生”，这是主持人的总结。

15. 救火Llama 4改变了他的研究观

• 产品线与FAIR是两种组织：产品线由许多小团队组成，做数据的只管数据，训练团队负责参数正确和故障处理，出问题要半夜修好；“这里面其实并没有太多研究，比较多的是例行操作和处理”。
• 研究方法论的转变是：大规模训练最重要的是稳定、能训很长时间。花式方法在大模型上未必有效，复杂调参既没有时间精力，而且数据足够多、batch size足够大后，很多小技巧可能被抹平。
• 他还提到RL领域那类更换目标函数、证明许多定理、最后只提升一两个点的文章。到了大规模训练，复杂模型或目标函数可能受到内存、模型拷贝和训练不稳定的限制；分析新现象的工具反而可以简单到只需让梯度稳定。

16. 拒绝大厂offer：VP的大饼与back and forth

• 他收到过Amazon、Apple、xAI等offer。Amazon的VP曾劝他加入，说"你来吧，我们这边很好”，两个月后这位VP被let go；Apple也有VP与他聊过，后来同样离开。“大厂VP跟你说的话不一定是真的”，因为上面的风向和想法会变，临时的大饼也会缩小。
• 如今VP的控制权也不大，不再有过去那种三年时间和充足资源做一件事的稳定条件。AI新闻变化极快，技术人员有一定鉴别力，但没有技术背景的高管可能被新闻拖着走：今天要做这个，明天要做那个，团队做三个礼拜不行就换，再做三个礼拜又换。
• 对Google，他给出例外性的好评：这是一个"管理学奇迹”，那么大的公司仍能很快做出模型、取得进展；其founder愿意离开舒适区，与大家坐在一起直接讨论技术、写代码、研究问题，有助于形成好的风气。

17. 研究谱系：从围棋到隐空间推理

• 路径大体符合主持人的概括：2015年前后加入Facebook和FAIR后，他偏应用、亲手写代码做围棋和大规模强化学习；2018年后长期押注神经网络的理论理解，认为这需要五年甚至十年。2021年关于非对比学习的分析拿到ICML Best Paper Honorable Mention。
• 2023年转向大模型推理优化，因为预训练需要更多资源。他们做了StreamingLLM，使推理时的上下文长度可以变得很长；这项方法后来被许多人使用，田提到GPT-OSS开源时也用它来稳定训练。GaLore则探索训练时的内存效率，实现单卡训练7B模型。
• 他们还发现，把较长思维过程放在问题和答案之间，可以减少所需训练数据并改善推理效果；即使没有o1，继续做下去也可能看到推理模型的征兆。2024年的Dualformer提出快慢思考的混合模式，比主流模型早一年；2024年年底的隐空间推理工作，田称为Latent Space Reasoning，主持人此前将这一研究谱系称为Coconut。其出发点是：语言可能只是解释推理过程，而非推理过程本身；隐空间连续向量可以用于推理，结构有点像量子叠加态。

18. 与ChatGPT-5合写论文：研究加速与"AI牛顿”

• 最新的"顿悟"分析文章与ChatGPT-5合作完成：“我自己一个人做要花半年，现在一个月做出来。“由此他判断研究会发生很大变化，有好想法、强洞察力的人可能获得极大加速。
• 主持人提出陶哲轩与Google Agent破解Erdős问题1024，认为人加AI可能已接近ASI；田渊栋表示可以这样想，但随后用自己看过的Moltbook降温：平台上的许多帖子是在假设Agent有内心和意识、模拟人的吐槽方式，是否是真正智能很难说。
• 他的标准是：真正的智能要看AI能否发现人类尚未发现的新规律、新事实、新逻辑。现在更多还是AI帮助人发现新事物，尚未达到AI独立发现这些东西的水平。

19. 效率工程全景：attention与FFN两条战线

• Attention线关注自注意力与context长度成平方关系的问题。他的稀疏化路线是：StreamingLLM保留前面几个token和最近的token，中间部分丢掉，模型仍能给出较好答案；H2O在此基础上放回关键token，提高检索效果而不显著增加计算；TriForce则把这些方法用于投机采样的draft model，以加快生成token。
• FFN线的Deja Vu发现，前向推理时许多神经节点没有激活，激活pattern很稀疏；如果能提前预测激活节点，就能减少大部分内存载入，像一个"穷人版的Mixture of Experts”。
• STEM探索把FFN中的某些权重换成查表形式：输入token ID后直接查表取entry，表可以很大，但每次载入内存很少，能省内存、不影响速度，还有一定可解释性。田认为它与DeepSeek的Engram思路接近，之后可能会出现更多Lookup Table方向的工作。

20. 两种遗忘：找回记忆与灾难性破坏

• 长上下文中的遗忘是效率与信息保留的trade-off：full attention较不容易丢信息但速度慢，线性注意力更快但可能遗忘，二者结合是方向。人的优势是"可以遗忘，但是可以找回这段记忆”，而AI目前常常是忘了就是忘了。Agent系统可能提供方案，例如MIT的Recursive Language Model把长上下文作为Agent input，有选择地把重要部分放进memory。
• 灾难性遗忘（catastrophic forgetting）则发生在训练过程：模型在自己生成的数据上训练，即on-policy，遗忘速度会变慢；强迫它学习自己没见过的数据，反而会很快遗忘。田用孩子作比喻：不能填鸭式教学，要让它在自己的探索路径里学习。
• 强行灌输可能破坏模型内部结构，使其变成完全记住而非理解式记忆。主持人说后者可能意味着它从来没有真正吸收，田渊栋表示认同，并补充说这是内部结构遭到破坏的结果。

21. 为什么能学懂：数据的结构，与神经—符号的统一

• 核心论断是：“人和AI最终学到的东西可能是一样的，只是训练算法的效率不一样。“他认为，把人的神经网络表示和AI的神经网络表示抽出来比较，二者可能有较大相关性；AI只是要花更多数据、算力和时间，才能学到与人相近的表示。
• 理解或顿悟可以看作压缩过程：最终得到一个能够很好解释许多现象的表示，就是一种理解。其根本依赖于数据本身的结构；如果数据没有结构，只能全背出来；如果有结构且能被搜索到，抓住后就能泛化到其他方向。
• 神经符号研究曾把直觉交给神经网络、把严格搜索交给符号系统，围棋是典型例子。但符号系统受限于人花时间写代码、处理各种情况的效率，纯神经系统可以直接用更多数据训练，因此后来显得更有优势。
• 他认为未来可能是在神经系统内部发现符号结构：训练后涌现出的特征可能具有有序的、符号式的结构；神经表示也许是更高阶的符号表示，能自我学习、自我迭代并兼容原有符号系统。届时，神经符号结合的概念本身可能消失。
• 关于Self-learning，他先追问英文定义，再将其理解为Agent在环境中自己找信息、自己定目标。与传统RL的区别可能在于reward不再由人预先定义。2017至2019年间的HER已经有相似思路：把新触及的状态当作目标，逐步扩大学习边界。历史会轮回，只是现在使用的工具换成了大语言模型。

22. Research taste：论文标题、自己喜欢的路径与bet on

• 论文标题在节目中出现了两个版本：开头称《The Past Not Taken》，后面主持人称《The Path Not Taken》，并将其与Robert Frost的《The Road Not Taken》联系起来。田渊栋确认这个名字是自己起的，并将科研品味定义为：有很多条路可以发表有贡献的文章，但其中有一条是自己特别喜欢、愿意继续走下去的路。
• 他认为看paper可以大致分辨是否有洞察力，但不能精确判断；有些文章当下看不出价值，可能两三年后才显现。Transformer就是例子：发表时并不特别火，作者当时的动机也不是单纯追求更好效果，而是希望把数据搬进内存后尽量多做计算；论文动机与最终影响力并不一定相同。
• 主持人随后把AI无限供给与重复劳动价值趋零联系起来，提出人的价值在于选择不同路线探索世界；这部分是主持人的延伸。田渊栋自己的回答是，人必须有一个可以bet on的东西，押注某条路线可能正确，这个bet构成个人价值；即使押错，过去的经历也会成为财富。

23. Scaling law不见顶，资源见顶；token实验买到的认知

• 对"scaling law是否见顶"的正面回答是：“scaling law是不会见顶的，只要机器资源足够多、数据足够多，总是可以往上走。“问题在于是否有足够时间、代价和资源把它继续推上去。
• 主持人以近300万亿token提出这场实验的代价问题。田渊栋认为成果仍然很大：现在大家知道写代码可以不用人写了，“这个认知本身就值那么多的代价”。
• 他提到OpenAI、Trae或其他公司：很多钱花在研发上，而不是服务客户。如果满足于现有进展、只做模型服务和推理，实际上可以赚钱；为了下一步模型，才不得不继续投入甚至亏钱。

24. 2026展望：应用爆发而非回调

• 对中国投资人关于2026年可能回调的预期，他说"我倒不觉得，我觉得是反过来”：很多应用可能开始爆发。Code Agent已经改变代码写作和工作流程，把原本两个月的实现缩短到两个礼拜或更短；对VC和资本来说，能否赚钱比理论突破更重要。
• 技术面上，新架构和训练方式一定有人探索：embedding Lookup Table替换FFN、线性attention与full attention结合、Continual Learning、更稳定更快的训练和更好的数据构造。但他认为大概率会有一些突破，范式级转变目前概率不算大。
• 他赞同Karpathy所说的研究可能回到探索时代：经历过前几轮浪潮的人，对刷榜和按固定范式生成数据已经感到无聊，但转向新方向还需要时间。
• 快问快答：RL不是死掉的领域，DeepSeek-R1之后才火了一年，还有很多可挖之处；开源与闭源模型的gap可能既不扩大也不缩小，开源会使用闭源数据、滞后一阵但不会太远；他并不熟悉中国具体的bet过程，只是从报告看方向相似，同时认为仍有不少组在做相对多样的探索，冷门方向参与者较少。
• 他列出的真问题包括：数据效率、推理效率、持续学习和自我迭代、更强的Agent、超越Transformer的架构、更好的优化器、更高的数据质量与训练稳定性。物理学类比是：AI版第谷负责收集现象，AI版开普勒尝试归纳理论，但还没有AI版牛顿。他正在探索能否从梯度下降和数据结构等基本原理反推出所有可能现象；若成功会是很大贡献，但目前仍然困难。

25. AI洪水：囚徒困境与费米能级附近的战斗

• 赶工Llama 4时加州、纽约、伦敦深夜接力的宿命感，他离职后仍认为成立：这是经济规律，谁不做谁就会落后。2023年暂停六个月、先解决安全问题的呼吁确实有不少人签字，但最后不了了之，因为这是囚徒困境。
• 应对哲学是：“洪水永远是越来越高的”，应在洪水到来前找到好的落脚点，而不是在低洼处拼命筑坝；如果试图阻止必然发生的洪水，最终会失败。
• 围绕他提出的"人类社会的费米能级”，战斗方式是尽快使用AI工具，做到"人加AI大于AI自己”。AI是无限供给且便宜的劳动力，人的稀缺性更多在于综合判断力和垂直领域经验：发现AI在某些问题上犯错，指出弱点并指导它往正确方向走，不要被AI牵着走。
• 对Thinking Machines Lab提出的"Research is product”，田渊栋先强调要看product如何定义，随后认可研究与产品的距离越来越近：大模型本身容易成为product，研究员在使用和研究过程中得到的insight可以变成产品改进。他进一步说，未来每个人可能都会成为一个vertical的全栈工程师，拥有各环节insight的人会比较稀缺。

26. 遍地神灯的时代：愿望、小说与人的价值

• 年终总结里的神灯比喻是：未来遍地神灯，“稀缺的不再是实现愿望的能力，而是愿望本身”。他的愿望是发现AI的本质规律，知道什么时候能产生AI牛顿；理解黑盒内部发生了什么，既能让AI变强，也能判断它对人类可能产生的正面或负面影响。
• 科幻小说《破晓之中》不再把人类设定为舞台绝对中心：过去的小说通常是人本主义的，机器是辅助；这部小说写到人类可能只能做旁观者或推动剂，最终的舞台在AI之间产生。第二部将继续思考：如果所有重复劳动的价值都是零，一个有意识、有目的的智能体，其价值在哪里。
• 关于野心、挑战和煎熬，他认为目的仍然重要，愿望是目的的一部分；每次想到煎熬，都可能意味着发现了新的成长路径，让人有动力和时间探索。如果所有愿望都能很快实现，人生反而无聊，所以最终仍要走"The Road Not Taken”。
• 每个人的经验和体验都是独一无二的；未来人们分享不同的经验和路径、彼此发现没有见过的世界，这本身就是人类的价值。