AI 正在错误的抽象层级上学习——Matthieu Wyart

摘要

• Wyart 的核心观点是，预测原始 token 或像素，迫使网络从“噪声极大的信号”中构建抽象概念，这有助于解释为什么机器所需数据量远超大脑——“大脑接触文字的次数可以比这些机器少100,000倍”。 他在对话中提到一篇发表约1个月的论文，认为在潜空间中进行预测的“内省式”算法——Tim 将其与 Yann LeCun 的 JEPA 路线联系起来——“会以快得多的速度学到同样的抽象”，而且这一主张背后有样本复杂度理论支撑。Tim 则指出应用层面的落差：OpenAI 和 Anthropic 仍在训练 transformers。
• 评估 JEPA 论点时，最大的未决问题是：预测潜变量的模型会构建一个世界编码器，但 Wyart 不知道能否在不大幅增加数据需求的情况下为它加上解码器，并得到有竞争力的生成模型。 “我真的能回去……与 next-token prediction 竞争，并构建出某种生成式系统吗？我不知道。这对我来说完全是个开放问题。”毕竟，LLM 的商业价值恰恰在于它们既能生成内容，又能与用户互动。
• 他所在团队的合成语法实验，直接反驳了 Chomsky 的“刺激贫乏”论证：深度网络只需看到与句子长度 d 呈多项式数量关系的样本，就能生成全新的、遵守规则的句子，尽管模型包含的句子数量相对于 d 呈指数级增长。 浅层网络表现得正如 Chomsky 所担心的那样——“基本上就是记忆，什么也做不了”；但深度网络拥有“构建这些粗粒度变量的巨大隐式偏置”。
• 他对维度灾难的解答，同时也是一个关于深度为何重要的论断。 仅靠流形假说并不够：如果低维流形本身就能解决问题，核方法本应能够胜任；但在文本上，它们“惨败……什么也做不了”。他认为，任何真正的解释“都必须说明为什么需要深度网络”。答案是，世界本身具有层级结构，深度网络能够发现隐藏的粗粒度变量，并以多项式而非指数级的数据量完成学习。
• 他与 Francesco Cagnetta、Alon Ravid 和 Surya Ganguli 提出了一套理论，用2个可测量量推导 LLM scaling law 的指数——token 相关性随距离按幂律衰减的速度，以及 n 个 token 后剩余的熵——“而且效果非常好”。 关键限定是，这套理论目前只在“学术范围”内得到测试：约10亿个参数、约10亿个 token、约50个 token 的上下文；“我不知道我们提出的机制在3—4个句子之外是否仍然适用”，这直接关系到持续扩展规模是否还能不断带来回报。
• 在他的理论中，diffusion models 与 next-token prediction 的样本复杂度相同——“唯一的区别，是填补被遮蔽内容的顺序不同”。 两者都以自底向上的方式学习语法：随着数据增加，先是随机输出，随后出现连贯的词、短语，最后形成完整句子；Wyart 说，这一预测已经在 diffusion models 上得到验证。
• 关于为什么更好的方法没有被部署，Tim 援引 Sakana 的 Llion Jones：在围绕 transformers 建成的硬件、优化器和编译器生态下，“任何新方法都必须强到碾压一切”；他还指出，Yann LeCun 的初创公司似乎正聚焦垂直领域，而不是押注登月式突破。 Wyart 警告，单纯扩展规模未必能造出机器科学家：“我看不出，仅仅把所有曾经写下来的东西都看一遍、却不强制加入与世界的互动，怎么能学会这种能力。”

精读

1. 一位统计物理学家的来路：深度网络的损失景观，字面上就是沙子

• Wyart 的研究路径从股市开始——那里有“相互作用并影响价格演化的主体”——随后转向复杂系统：这类“具有崎岖能量景观的物理系统”中，把一个球扔进山里后，它可能停在许多不同位置。他研究过多个例子，包括沙子：如果“准备10,000堆沙子，每一堆都不一样”，轻微倾斜一层沙就会触发流动相变。
• 9年前，这位自称“围棋下得很差”、却被 AlphaGo 迷住的研究者，把同一套复杂系统视角用于训练过程：参数不足的网络拥有崎岖、充满亚稳态陷阱的景观；但参数足够多时，“系统突然就能流动起来”，穿过平坦、能量几乎为零的谷地。机器学习社区后来独立发现了同一现象，并将其命名为 double descent；但“对物理学家来说，double descent 的峰值其实就是堵塞转变”。
• 过去4年，他的注意力转向“另一个我认为更有意思的景观：数据的景观”——图像密度 ρ(X)。在他看来，ρ(X)“关联着世界的结构是什么”，也是理解机器如何工作的关键。

2. Tim 的底层基质质疑，以及普适类的回答

• Tim 的质疑是：神经网络没有物质基质，物理世界中的约束——“2个物体不能在同一时刻彼此接触”——并不适用，那么物理学类比是否成立？Wyart 的回答是把类比从物质迁移到算法：在两种情况下，自由度——沙粒或参数——都会沿能量景观下滑，同时满足约束——彼此避开，或拟合数据。“如果你面对的是一个约束满足问题，并且自由度是连续的……砰的一声，你就进入了一个普适类。”
• 他更深层的观点是，类比本来就是科学运作的方式：Huygens 注意到海浪可以彼此穿过而不发生相互作用，正如光线一样，于是提出光是一种波。“我们总是通过类比来构建理解。”
• 他也明确限定了自己的判断：“我不想说一切事物始终都一样”；但沙子的堵塞转变与损失景观，“确实在很大程度上是同一回事”。

3. 物理学能带给 AI 什么：在正确层级使用粗糙模型，以及 Carnot 的先例

• 物理学能输出3样东西：理论与实验的对话；在正确分辨率上建模——“一张1英里对应1英里的地图永远帮不上忙”，或者借用 Einstein 的说法，模型应当“尽可能简单，但不能简单到失真”；以及跨领域类比。磁性就是典型案例：从微观层面看，它像“极其复杂的量子力学”，但粗糙的 Ising 模型——晶格上试图彼此对齐的箭头——才是带来 Nobel Prizes、数学多个领域的发展以及更多成果的描述方式。
• 他认为眼下的范式是工业革命：热机先出现，随后 Carnot 写下一篇“读起来像哲学、基本没有数学”的文章，引入熵，开启热力学。“我觉得这里也是一样……Chomsky 等人说这会极其困难，但它们确实做到了。那么是怎么做到的？为什么？”
• 对于物理学依赖理想化的质疑，Wyart 强调理论与技术之间是双向循环：理论催生激光等技术，而技术“正在提出规模极其庞大的问题”，让理论成为“一条能让我们极快思考问题的高速公路”。

4. “刺激贫乏”的反例：仅凭统计也能产生创造力

• Tim 转述了 Chomsky 的否定：LLM 是推土机，“清雪很有用，但对科学没有贡献”；Deep Blue 则是“一台在举重比赛中获胜的推土机”。Wyart 回应称，Chomsky 的观点“并没有错”，LLM 也不是理论，而是一个引发问题的观察现象；热机当年也以类似方式为 Carnot 提出了问题。
• 实验构建的是合成层级世界：在固定树结构上运行上下文无关语法，使用随机的生成规则——“随机性虽然反直觉，但在物理学中往往能让事情变简单”——其中句子数量相对于句子长度 d 呈指数级增长。浅层网络印证了 Chomsky 的担忧：“基本上就是记忆，什么也做不了。”深度架构则带有“构建这些粗粒度变量的巨大隐式偏置”，只用多项式数量的样本就能产生创造性，“这些模型确实构成了对他论证的反例”。
• Tim 特别避免把大脑等同于深度网络：大脑接触文字的次数可以“少100,000倍”，“大脑如何工作的确有很多问题，而且都很迷人”。Wyart 的结果只说明，深度架构能够提供很强的归纳偏置，从而减少必须由数据直接学到的内容。

5. Wyart 与怀疑者的共识：扩展规模不会自动制造科学家

• Tim 最尖锐的例子，是把自己的整个代码库交给 Claude Code：它具备语法层面的能力，却“不遵守那些深层约束……我的心理约束——我到底想实现什么？”问题在于，这是否只是当前网络的局限。
• Wyart 首先谈到组合式创造力：diffusion models 一旦“理解游戏规则”，就能把鼻子、眼睛和嘴巴组合起来。但创造力不止于拼装零件。比如让机器看到波浪进入港口并发生衍射，它会“愚蠢地预测下一帧，因为速度会继续传播”。物理学家则会注意到其中的反常之处，简化几何结构，再建立模型。
• 他不确定单纯扩展规模能否带来这种能力：“也许我们需要更深入地研究科学家如何工作，才能设计出好的数据集和好的流程，教会机器成为优秀的科学家。”他的最终判断是，同意单纯扩大规模不会带来彻底成功，并补充道：“我看不出，仅仅把所有曾经写下来的东西都看一遍、却不强制加入与世界的互动，怎么能学会这种能力。”

6. 维度灾难：仅有流形假说还不够，关键在层级结构

• 基本设定是，体积按长度的维数次方增长；因此在图像空间或文本空间中，“即使你给我1万亿个点，它们彼此之间仍然相距极远”，而要进行平滑插值，所需数据量会“超过宇宙中的原子数量”。Tim 还引入 Randall Balestriero 的样条视角：“在高维空间里，所有数据都是外推。”
• Wyart 对通常流形解释的挑战在于，测得的内在维度“仍然很大”。如果低维流形本身就能解决问题，核方法或浅层网络应该已经足够；但在文本上，他说它们“惨败……什么也做不了”。任何理论“都必须解释为什么需要深度网络”。
• 他的解释是，世界存在隐藏的层级化粗粒度变量，而深度架构“特别擅长发现它们”，所需数据点数量只与维度呈多项式关系。一旦这些变量被发现，它们就能概括数据：不必逐个描述像素，只要说“这里有鼻子，那里有耳朵”等，就能降低有效维度。

7. 抽象究竟如何出现：递归式 Word2Vec，以及树顶为何最难

• 机制始于 Word2Vec 的洞见：在共现关系上训练一个只有1个隐藏层的模型后，共享上下文的同义词会得到相近的向量，“你得到的不再是那些不同词语各自的具体形式，而是它们的含义”。Wyart 认为，深度网络会递归地进行同样的操作，把不同含义进一步聚合为“更高阶的含义”。
• 他标志性的例子是街道：行人、汽车、人行道，以及“数量极其庞大的可能街道”。模型会把那些能够预测周围相似上下文的配置聚合起来，街道这一概念由此形成。“它们构建概念的方式，完全从统计中涌现……这些概念就在数据里。”
• 这也正是潜变量预测的动机：token 级学习器必须把抽象与像素、颜色及其他低层特征联系起来，而“越是抽象，你的信号就越会被稀释”。因此，越高层的概念越难学习。
• Wyart 还表示，分解与抽象是逐步形成的：随着训练增加，尤其是一个非常大的机器获得更多数据后，模型开始使用越来越抽象的概念。从这个角度看，处于树顶的高层概念最难学会。

8. 预测潜变量，而不是 token：这套提出1个月的理论，以及坦诚的开放问题

• 这套方案与 LeCun 的 JEPA 路线相邻，也对应神经科学中的一些观点——大脑皮层会预测自身的下一步活动。具体做法是复制出两套模型：让 teacher 看到完整数据，让 student 看到被遮挡的数据，然后让 student 预测 teacher 的表征，而不是预测缺失的 token。“很漂亮，对吧？这些网络在做某种内省。”
• 根据 Figure 1，在树状数据中，相关性会随树上距离按乘法方式减弱，因此从低层特征学习顶层概念所需的数据量会随树深度呈指数级增长。预测相邻概念——不是像素，不是房子的画面，而是“附近有房子”这一概念——会让“信号大得多”，从噪声中提取它所需的数据也更少。
• 他的限定非常重要：这篇论文在对话时已有1个月，“我谈论它时会非常谨慎”。严谨“并不意味着手里必须有一个定理”，而意味着回头去检验预测。最关键的是，这个编码器能否转化成有竞争力的生成式解码器，仍然是开放问题：“我不知道。这对我来说完全是个开放问题。”
• Tim 的挫败感勾勒出商业化落差：OpenAI 和 Anthropic “仍在训练老派 transformers”；Sakana 的 Llion Jones 告诉他，在围绕 transformers 建成的生态下，“任何新方法都必须强到碾压一切”；LeCun 的初创公司似乎正专注垂直领域，“我们还没有完成那次登月”。

9. 仅凭2个指数推导 scaling law，diffusion 等价，以及允许自己犯错

• Kaplan 式 scaling law “推动科技公司不断加大投资，甚至可能建设核电站”，但对理论学家来说却“有点尴尬——基本上完全没有被理解”。Wyart 与 Francesco Cagnetta、Alon Ravid 和 Surya Ganguli 提出了一套解释训练曲线指数的理论，输入是2个可测量量：token 相关性随距离按幂律衰减的速度，以及 n 个 token 后剩余的熵——“而且效果非常好”。这套理论还预测了损失随上下文和数据量的联合函数出现特定弯折，他说这一现象也被观察到了。
• 其有效范围必须明确：目前在约10亿个参数、约10亿个 token、约50个 token 的上下文上完成测试——约等于“2—3个句子”，已经包含“所有语法之类的东西”；但对于更大的范围，“我不知道我们提出的机制是否仍然适用”。
• 关于 diffusion 与 next-token prediction，理论给出的结论是二者拥有相同的样本复杂度——“唯一的区别，是填补被遮蔽内容的顺序不同”。随着数据增加，连贯性会自底向上生长：先是胡言乱语，再是词、短语，最后是完整句子。Wyart 说，这一预测已经在 diffusion models 上得到检验。
• 当被问到自己曾在哪些问题上判断错误时，他给出的答案是一条科学信条：一旦确认自己错了，就应该说出来，而不是“死抱着不放”。本期结尾他说：“如果你从不犯错，也许说明你在科学上始终走在一条有些过于熟悉的路上。有些人想探索丛林。在丛林里，你可能犯错。”（“If you never make mistakes, maybe it’s a sign that you’re staying a bit on the beaten path in science. Some of us want to explore the jungle. In the jungle, you can be wrong.”）如果可以选择教谁深度学习，他会选择自己的父亲——一位物理学家，生命末期开始对神经科学和嗅觉产生兴趣。