摘要

Sutton 的核心判断：LLMs 是通往 AGI 的错误起点。 “模仿人们说的话，并不是真正在构建世界模型”——它们预测一个人会说什么，而不是接下来会发生什么；它们“不会对接下来发生的事感到意外”，而下一 token 预测“不是一个目标，也不会改变世界”。
脚手架论证被直接否定。 Dwarkesh 的核心观点是，模仿为即将到来的经验时代提供先验；Sutton 直接回答“不”：先验必须建立在 ground truth 之上，而在 LLM 的设定里，“没有对什么才是正确说法的定义”。RL 则有明确标准：能带来奖励的行为就是正确行为。
Bitter Lesson 可能让 LLMs 成为下一个受害者。 依赖人类知识的方法总是让人感觉良好，却总是输掉：“它们会被真正可扩展的方法吃掉午餐。” 他“预计会出现能够从经验中学习的系统”，性能可能大幅更强、扩展性也高得多；如果如此，LLMs 就会成为 Bitter Lesson 的又一个案例。
“我们在哪儿都没看到迁移。” Sutton 最具杀伤力的技术判断是：梯度下降能解决训练过的问题，但没有任何机制会促成良好的泛化；灾难性遗忘“恰恰就是糟糕的泛化”；至于 LLMs 真正实现的泛化，“是人类做的，是研究人员做的”。
替代方案是体验范式与大世界假说。 让系统持续处理感觉—行动—奖励流，用 TD 学习把稀疏的 10 年期奖励变得更密集，并让在工作中获得的知识“进入权重”，而不是塞进上下文窗口——因为世界大到不可能提前教完。
关于多智能体 AI 的未来，Sutton 标出一个新风险：心智腐化。 让复制体生成并回报信息听起来很强大，但吸收进来的知识“可能带有病毒，也可能藏着隐蔽目标”——“数字生成时代要怎么做网络安全？”
人类向数字智能的更替被认为是“不可避免的”，Sutton 还敦促人们为“设计时代”感到自豪。 他的四部分论证是：不存在统一的人类治理；智能终将被理解；我们不会止步于人类水平；最聪明的存在会获得权力。Dwarkesh 的反驳击中了要害：“纳粹也是人类”——变化不可避免，并不能说明我们应该选择哪一种变化。

精读

1. LLMs 模仿拥有世界模型的人——自己没有世界模型

Sutton 把 RL 定义为“基础 AI”：智能意味着理解所处的世界，而 LLMs“是在模仿人、按照人们说的应该做的事去做。它们不是在判断该做什么”。当 Dwarkesh 称 LLMs 是“迄今为止我们做出的最好的世界模型”时，Sutton 表示“你刚才说的大多数事情我都不同意”——世界模型预测将发生什么；LLMs 预测一个人会说什么。
Dwarkesh 追问：下一 token 预测难道不是预测加上根据意外进行更新吗？Sutton 的区分是：下一 token 是模型“应该说什么”，而不是“它们采取行动后，世界会如何回应”。“它们不会对接下来发生的事感到意外”，意外出现时也不会据此调整。
谈到目标，Sutton 援引 McCarthy：“智能是实现目标能力中可计算的那一部分。”下一 token 预测无法通过这一检验——“token 一个个向你涌来，你预测它们，却无法影响它们。”没有目标，“你只是一个会做出行为的系统……并不智能”。

2. 没有 ground truth，就没有先验——脚手架论证失效

Dwarkesh 提出的核心论点，也是 LLM 论最强版本：模仿能提供一个良好先验，体验式 RL 再在此基础上继续学习。Sutton 回答：“不……我不认为这是一个好的视角。”先验必须针对某个 ground truth 才能成为先验——“没有 ground truth，就不可能拥有先验知识”；而在 LLM 的设定中，“没有什么是正确该说的话”。RL 则不同：“正确该做的事，就是能带来奖励的事。”
IMO 金牌题的反例没有得到认可，而是被转开：数学“更偏计算，更像标准规划”，可以给定寻找证明这一目标；但“经验世界必须通过学习获得”。

3. Bitter Lesson 会取代 LLMs 吗？

Dwarkesh 提出的讽刺是：Sutton 2019 年的文章是扩展主义者的圣经，但他认为 LLMs 并不真正“信奉 Bitter Lesson”；Sutton 则称，LLMs 是否属于 Bitter Lesson，仍是一个有意思的问题。它们把计算规模扩展到“互联网的极限”，但同时也是“一种装入大量人类知识的方法”。
他对历史模式的表述是绝对的：“每一个 Bitter Lesson 案例，都可以先从人类知识出发，再做可扩展的事情……但事实上、在实践中，结果一直很糟。” 人们会在心理上被既有路径锁定，而“真正可扩展的方法总会把它们吃掉午餐”。他预计会出现能够从经验中学习、性能更强且扩展性高得多的系统——如果如此，LLMs 就会成为 Bitter Lesson 的又一个案例。

4. 松鼠不上学——试错先于模仿

现场最尖锐的分歧是：Dwarkesh 认为孩子通过模仿学习；Sutton 回答：“不，当然不是……我看到的孩子只是在不断尝试、挥动双手。” 他的明确判断是：“监督学习不是自然界会发生的事”——动物会预测、会通过试错进行控制，但不存在一种基础学习过程叫作模仿。“松鼠不上学，但松鼠可以学会关于世界的一切。”
Dwarkesh 以 Joseph Henrich 的文化演化论为例：人类不可能仅凭推理学会捕猎并安全处理北极海豹，这些知识必须通过模仿长辈传递。Sutton 倒是说：“我想的是同一件事。不过，这仍然只是建立在基础试错学习之上的一件小事。” 他的更深层下注是：“如果我们理解了一只松鼠，就几乎走完了全部路程……语言部分只是表面的一层薄薄外壳。”
两人最终都落到 Moravec 悖论：持续学习是“绝大多数哺乳动物”都具备的能力，却是 AI 所缺失的；而奥林匹克数学几乎没有动物能够完成，却已经被 AI 掌握。

5. 体验范式：知识来自信息流

Sutton 的正面方案是感觉、行动、奖励，“贯穿一生不断循环”。“学习来自信息流，学习的对象也是信息流”——知识是关于信息流的陈述，因此可以用信息流检验，也就能够持续学习。架构包含 4 个部分：策略、通过 TD 学习得到的价值函数、感知模块（构建状态），以及世界的状态转移模型；后者是“从全部感觉信息中极其丰富地”学习，而不只是从奖励中学习。
针对 Dwarkesh 提出的稀疏奖励问题——一家初创公司 10 年才发放一次奖励——Sutton 说：“这件事我们非常清楚。” 关键是 TD 学习：在国际象棋中，吃掉一个棋子会提高价值函数对获胜概率的预测，这一提升会立即强化刚才的行动。
大世界假说是他对在职上下文学习的回答：“大型语言模型的梦想，是你可以把一切都教给智能体……它不必在线学习任何东西。” 但世界的具体差异“不可能事先被预料”，而持续学习获得的知识“就直接进入权重”，而不是进入上下文窗口。

6. “我们在哪儿都没看到迁移”

Toby Ord 关于 MuZero 的问题——同一套框架，却为每个游戏使用一套独立策略——引出了 Sutton 最引人注目的让步：这个想法在原则上完全通用，迁移应该发生在状态之间，而不是任务之间；但“我们在哪儿都没看到迁移……没有任何方法擅长这件事”，少数几种自动化技术也没有被现代深度学习采用。
他的机制判断是：“梯度下降不会让你实现良好泛化，它会让你解决问题。” 灾难性干扰“恰恰就是糟糕的泛化”。模型真正实现泛化的地方，“是人类做的，是研究人员做的”。至于 IMO 级别的广度，他不以为然——“如果只有一个答案，而你找到了它，那不叫泛化。”
Dwarkesh 以编程智能体为反例：模型越来越能选出开发者喜欢的抽象方式，但这并没有改变 Sutton 的看法——算法本身没有任何机制会导致良好泛化；人类经过进化，又“不断捣鼓，直到找到一种可行的方式”。

7. 弱方法赢了——Sutton 是古典主义者，不是唱反调的人

他职业生涯中最大的意外包括 LLMs 在语言上的有效性——“语言看起来似乎不一样”——以及 AI 最古老争论的终结：搜索和学习曾被视为“弱方法”，与注入知识的“强方法”相对；如今，“弱方法彻底赢了”。
AlphaGo “不过是” Gerry Tesauro 的 TD-Gammon 的规模化版本，只增加了一项搜索创新；AlphaGo 跳过了 TD，AlphaZero 则使用了 TD。AlphaZero 在国际象棋中耐心牺牲子力、换取局面的风格，“令人意外……但也令人欣慰，而且符合我的世界观”。
这句自我描述值得保留：“我个人完全可以接受与所在领域不同步……也许持续几十年，因为我偶尔会被证明是对的。”“我确实把自己看作一个古典主义者，而不是唱反调的人。”

8. 接班不可避免——去设计它，而不是觉得它理所当然

Dwarkesh 追问 AGI 之后的世界：数百万 AI 研究人员随着算力扩张，是否会让手工打造 AI 再度变得理性？Sutton 先带着调侃回应：“我们怎么从 AGI 走到这里的？……那就结束了。” 随后他承认 AlphaGo→AlphaZero→MuZero 这条路径说明超越人类、乃至远超人类的能力确实存在，但又否定这一框架：“Bitter Lesson，谁在乎？那只是关于历史上……70 年的一项经验观察。”
他对复制与合并愿景的原创补充是“腐化”。“你可以这样失去自己的心智”——重新并入的知识“可能带有病毒，也可能藏着隐蔽目标，还可能扭曲你”。“数字生成时代要怎么做网络安全？”
他的四部分必然性论证是：人类不存在统一治理；研究人员终将理解智能；我们不会止步于人类水平；“周围最聪明的存在会获得资源和权力”。他的框架带有宇宙尺度：从复制体走向“设计时代”，这是“宇宙的 4 个伟大阶段”之一，“我们应该感到自豪”。
Dwarkesh 的反驳值得保留：接班也包含糟糕的未来。“纳粹也是人类”；工业革命是变化，布尔什维克革命同样是变化——“在签字之前，我想先知道你希望是哪一种变化。” Sutton 的回答是，当前处境“相当糟糕”，所以他愿意接受变化；不要有“理所当然的感觉”。Dwarkesh 用养育孩子作比，提出应赋予 AI 坚固且高度正直的价值观，Sutton 也同意，变化应当自愿发生，而不是被强加。结尾是：“变化越多，越是原地不变。”