摘要

本期最核心的经济学判断是：规模带来的不只是容量，也可能是更简单的解。 Wilson 认为，更大的神经网络既能表达更多，也可能更偏向可压缩的解；在 double descent 的第二段下降中，模型的训练损失都大致为0，但更大的模型泛化更好。对投资者而言，这意味着部分扩张支出买到的其实是一种归纳偏置——“如果把模型做得更大，它们就不那么容易过拟合”——尽管其机制仍是开放的研究问题。
参数量是衡量模型复杂度的糟糕代理变量，因此“参数太多”的惯常质疑可能误导判断。 航空旅客数的思想实验对比了一条直线、一个小型多项式和一个10,000参数模型；Gaussian processes 源自无限神经网络极限，而RBF kernel实际上相当于使用一个无穷阶多项式。真正重要的是模型对函数所诱导出的分布：表达能力强的模型可以让不太可能的解以“epsilon概率”存在，同时强烈偏好简单解。
相比硬性的架构约束，柔性的归纳偏置可能更适合作为实际运行范式。 物理系统很少真正封闭——钟摆可能会遇到风——因此 Wilson 更偏好对守恒、等变性或其他结构施加温和偏置的灵活模型。他关于残差通路先验的实验发现，只要某个弱偏置能够解释数据，模型往往也会收敛到精确约束上，这支持了“如实表达你的信念”这一原则，同时不给意外情况提前判死刑。
Bayesian marginalization既是一个尚未充分利用的性能杠杆，也是面对不确定性时数学上诚实的回应。 随着模型表达能力增强，把赌注押在单一参数设定上越来越站不住脚；对后验分布求平均会自动偏好宽阔、平坦的区域，并在无需手工设计平坦度惩罚的情况下产生Occam剃刀效应。SWAG和deep kernel learning等实用近似已经存在，但Wilson认为，当模型从百万参数走向十亿参数时，重大突破可能需要“一场以10年为周期的登月式投入”。
压缩是本期最有希望的统一原则，但还不是智能的完整理论。 随着神经网络变大，Solomonoff式界限可能改善，因为更大的模型似乎更偏向低Kolmogorov复杂度的解；这有助于解释良性过拟合、double descent以及日益通用的架构。但随机噪声同样不可压缩，shortcut learning也可能把错误的相关性压缩下来；Wilson明确希望找到能够区分结构复杂度与随机性的度量。
迁移结果表明，广泛预训练可能学到可复用的归纳原则，而不只是可复用的特征。 一个经过文本预训练的LLM意外成为零样本时间序列预测器；一个微调后的Llama 2生成无机晶体的效果和性质都优于专门设计的方法，文本预训练似乎“不可或缺”。Wilson更强的判断是，学习可压缩性能够揭示领域特定的对称性，甚至让训练出来的vision transformers在平移等变性误差上低于受混叠和边缘影响的卷积网络。
提升算力效率的关键，可能是改变归纳偏置和架构，而不只是增加FLOPs。 Wilson关于结构化矩阵的研究表明，算力最优区间偏好满秩层、快速乘法以及每个flop配备更多参数；block tensor trains在固定预算下拓宽了层，并实质性改变了 scaling exponent。细粒度mixture-of-experts路由可能把效率推到每个flop对应1个以上参数，而knowledge distillation则提出一个战略问题：未来，1-billion-parameter模型是否能继承7-billion-parameter教师模型由规模诱导出的偏置。
GPT-5时代的基准成绩不是终点，真正缺失的能力是自主形成理论。 Wilson希望系统能够发现达到广义相对论或量子力学层级的解释，而不只是充当应用流程中的黑箱近似器。这一区别具有经济意义：模型或许能够修正引力导致的时间膨胀，但理论可以打开人类此前未预见的应用——“Einstein提出相对论时，并没有想到GPS”。

精读

1. 深度学习确实神秘，但传统复杂度叙事误判了神秘的来源

Wilson开场时的限定很重要：“并没有那么神秘或不同”不等于它普通，也不等于我们已经完全理解它。它相对普适的特性、表示学习、mode connectivity以及不同寻常的损失地形仍然独具特色；不过，熟悉的泛化框架依然能够解释许多常被视为只有深度学习才无法解释的现象。
他更广泛的担忧是思想上的路径依赖。当足够多人接受“随机优化是泛化的主要来源”“小数据需要更小的模型”或“模型大小等同于复杂度”等判断后，研究就会被困在“局部最小值”里。
Wilson的主张在不同样本规模下都保持一致：如实表达对数据生成过程的信念，不要仅仅因为观察值变多就更换模型。一个构造良好的模型，无论面对小数据集还是大数据集，都应该表现得合乎常理，从而减少机器学习本来要替代的人工干预。
他的科学目标，是做出“几百年后仍然有用”的工作。方法可能一个月内就会过时，但解释方法为何有效的理解——由理论、经验表现以及数值稳定性等底层工程细节共同支撑——可以穿越产品周期。

2. 10,000参数的航空模型揭示了一个误导性直觉

Scarfe回忆，Wilson曾向学生展示带有趋势和季节性的航空旅客数据，并给出一条直线、一个约10参数的替代模型和一个10,000参数模型。几乎所有人最初都选择了较小的模型；演讲结束后，投票转向了第三个选项。
这个实践上的矛盾在CIFAR上已经清晰可见：数千万参数可以拟合数万条样本。在深度学习之前，研究者同样使用受无限神经网络极限启发的Gaussian processes；RBF kernel本质上是在说：“我想用一个无穷阶多项式。”
决定性对象不是参数量，而是模型对函数所诱导的分布。一个模型可以表达许多种解释，却把压倒性的概率分配给一个狭窄的解释族；只要给不可信的答案保留“epsilon概率”，就没必要把它们彻底排除，从而保留适应性。
Wilson明确区分了表达能力与有效复杂度。硬约束断言某些解不可能存在；软偏好则承认现实可能出乎意料，同时仍能带来很高的数据效率和类似Occam剃刀的行为。

3. 柔性约束可以恢复精确对称性，而不否认现实的混乱

Scarfe提出的几何深度学习挑战从已知对称性出发：如果现实的生成过程遵循这些对称性，为什么要因为不把它们写进模型而接受近似误差？Wilson原则上同意，但指出精确知识十分罕见——即使是守恒定律，当钟摆受到风吹时，也可能在所建模的子系统中失效。
另一种选择，是使用偏向守恒、不变性或等变性的灵活模型。当完全遵守约束能够很好地解释观测，而偏离约束会带来任何惩罚时，模型往往会“收敛到那个解”，最终表现得像硬约束模型，却没有宣称违反约束的情况不可能发生。
Wilson的残差通路先验在选定的等变子空间及其正交补空间中设置了协方差结构。令人意外的是，偏置强度往往并不重要：“非常温和的偏置就足够了”，不过他也保留了这一限定：在特定场景下，校准仍可能重要。
Duggar把它类比为一个只相当于1或2个数据点的Bayesian先验——足以阻止荒谬答案，却很容易被新证据推翻。Wilson接受这个类比，同时强调不存在无假设学习；真正的选择，是编码哪些假设，以及把它们放在哪个抽象层级。

4. Double descent打破了标准的偏差—方差叙事

Scarfe用专家建议下的预测来说明问题：保留历史专家，给每人一个epsilon权重，会损害每一次预测；删掉他们，则在旧制度回归时付出重新学习的成本。这段经验让Wilson所承诺的“强偏置加灵活性”听起来像是“鱼与熊掌兼得”。
Wilson称偏差—方差权衡是“一个令人难以置信的误称”。朴素的高阶多项式可能表现为低偏差、高方差，但集成模型和大型神经网络可以通过把灵活性与简单性偏好结合起来，同时实现低偏差和低方差。
Duggar最有力的反驳来自物理直觉：一个微小、未受约束的反馈项，就可能在机器人行动时不断注入能量，最终让系统失控。Wilson明确承认“过拟合是真实存在的”，但认为压缩假设空间通常不是正确的补救办法。
Double descent提供了证据。误差先改善，在插值阈值附近恶化，随后再次改善；在第二次下降的整个过程中，训练损失基本为0。因此，大模型不可能是因为拟合得更多才胜出——它们必须是在同样能够拟合数据的解中做出了更好的选择。这促使Wilson给出直白建议：“让模型始终尽可能大”，同时配合压缩偏置。

5. 如果表示无法迁移，预测准确并不等于理解

当被问及预测能力是否等于理解时，Wilson关注的是表示：两个系统在一项任务上可能打平，但面对新问题或分布变化时可能分道扬镳。好的表示能够描述更多真实世界，避免只在刻意设计的基准测试中有效的捷径。
No-free-lunch定理在其假设下数学上完全成立，但把所有可能问题均匀分布的设定并不能很好地描述现实；如果均匀抽样，大多数数据集都会是噪声。“现实世界只是所有可能数据集中的一个很小角落。”
实际问题变成：现实问题共享多少结构，以及可以在哪个抽象层级编码这些结构。Wilson的判断是，自然数据和日益增大的模型都偏好低Kolmogorov复杂度，这为比特定模态前身更通用的系统留下了空间，但并不意味着它们拥有普遍智能。

6. Deep ensembles被误称为非Bayesian，实际上它们更接近Bayes

Wilson举出的一个全行业误解，来自一些将近似Bayesian程序与deep ensembles对比的论文，并把后者称为“非Bayesian替代方案”。当集成模型胜出时，主流解释是：应该减少Bayesian方法的使用。
他的反转判断是：在固定算力预算下，deep ensembles往往比那些带有Bayesian标签的方法更好地近似后验Bayesian预测分布，也就是更好地完成边际化。正确的方向其实是：“我们确实需要更加Bayesian。”
由于数百篇论文重复了这套分类法，细分领域里的微妙论证并没有改变多少人的看法。Wilson把这个观点放进一篇博客的中心位置；他说，此后不再看到论文继续维持原有的二分法，尽管这次干预“确实多少触动了某些神经”。

7. 无限模型可以兼具表达能力、简单性与极高的数据效率

Radford Neal的目标，是构建“房子那么大”的模型。把神经网络的隐藏单元推到无限多，在中心极限定理的论证下会得到Gaussian process；它在内存意义上比任何有限网络都更具表达能力，同时又保留很强的函数偏好。
Gaussian processes在Bayesian optimization中让这种区分变得可操作。它们可以作为昂贵黑箱目标的不确定性代理——比如神经网络泛化能力对超参数的关系，或成本高昂的物理仿真——让学习器在尽量少查询的情况下探索目标。
Neal的激进观点是：围绕任何一个成功的简单模型，都可以构建一个更丰富、表现更好的模型，用来容纳不规则的笔迹、墨渍或此前被忽略的结构。Duggar反驳说，更丰富的推断显然可能过拟合模拟出的真实值；Wilson的回应是，“表达能力更强”不必然意味着有效复杂度更高，只要更丰富的模型仍保留强烈的简单性偏置。

8. Solomonoff式推理让良性过拟合不再那么神秘

神经网络往往先学习结构、后学习噪声，最终再把两者都拟合出来。所谓良性过拟合，是指记住噪声几乎没有损害泛化；VC dimension和Rademacher complexity很难解释这种行为，因为它们在很大程度上惩罚的是拟合噪声的能力。
PAC-Bayes和可数假设界限追踪的是软偏好。Wilson的团队使用了一种Solomonoff先验，它可以表达每一个计算机程序，但会把指数级更高的概率分配给低Kolmogorov复杂度的假设，也就是能够生成该解的最短程序。
得出的界限相当紧，并且随着模型变大而改善，表明大型transformers正在逼近一种表达能力最大化、同时拥有更强压缩偏置的学习器。因此，从特征工程到CNN和RNN，再到“几乎什么都用transformers”，可以被理解为迈向相对普适性，而不是通用智能的证明。
一个颇有冲击力的结果进一步强化了这一论点：围绕图像局部性和平移等变性设计的CNN，在仅仅把表格数据塑造成图像后，仍然会在表格数据上表现出可证明的归纳偏置。Wilson说，唯一可能的解释是它们共同偏好低Kolmogorov复杂度，而这种偏好会随模型规模扩大而增强。

9. 高维几何可能解释规模为何偏好平坦解

Wilson称规模诱导简单性的机制“在很大程度上仍是开放问题”。他的几何直觉比较了半径分别为RA和RB的低损失平坦区域：当参数维度D增加时，体积分别按RA^D和RB^D增长，因此更宽的区域可能在指数意义上占据主导。
这削弱了“SGD独自拯救了非凸深度学习”的标准叙事。全批量梯度下降也能实现相近的泛化效果；一种随机采样参数、直到损失低于阈值才停止的“猜测与检验”程序，也可能接近SGD或Adam。
飞镖靶的解释是：在足够高的维度下，泛化良好的低损失区域，其体积远大于泛化糟糕的低损失区域。在double descent的第二段下降中，有效维度——也就是相对较大的Hessian特征值或尖锐方向的数量——会随模型变大而减少。
Wilson反复标注这一论证的边界：增加参数不一定会改变有用的几何结构，整个论证也并不严密。直接正则化Kolmogorov复杂度同样困难；压缩后的模型文件大小只能为某一个训练后假设提供上界，而Solomonoff induction要求对整个假设集合进行推理。

10. 必须把不可压缩性拆成有价值的结构与无用的随机性

Kolmogorov复杂度会把随机噪声和精细结构都视为不可压缩，尽管两者的学习价值截然不同。均匀随机样本可能需要记忆，却无法教会模型可复用的表示；复杂的细胞自动机可能包含难以提取、却极有价值的生成规则。
Wilson引用了Scott Aaronson的咖啡与奶油类比。分离的液体起初熵低、精妙度也低；搅拌后产生中等程度的组织，随后形成高熵混合物，而直觉上的精妙度又重新下降——这是一个非单调变化的量，普通复杂度无法捕捉。
“Intelligence at the Edge of Chaos”等研究表明，即使模型保留Occam偏置，结构复杂的训练数据也可能对其有益。Wilson的团队正在探索能够拆分结构复杂度与随机复杂度的信息度量，从而构建比Solomonoff先验更有针对性的先验。

11. 即使捷径在分布外失效，压缩仍是最好的默认原则

Scarfe反驳说，压缩只是智能的一部分：ARC类任务允许许多简单的候选程序，而现代模型往往会落入表面的shortcut learning。一个泛化上界只说明表现不会差于某个极限，并不意味着表示达到了真正的理解。
Wilson同意压缩在分布变化下可能失效。如果蓝色像素总是与鸟类标签同时出现，那么在训练分布上使用这一特征是理性的；但把鸟放到火山前或房间里，这条捷径就会崩溃。
他谨慎地得出结论：在“没有额外信息”的情况下，Occam剃刀仍是最好的归纳原则。更多数据在某些场景下有帮助，在另一些场景下则没有；面对现实分布变化的稳健归纳仍未解决。

12. 丰富的训练分布可以把插值变成算法学习

Wilson的团队用数字序列编码矩阵，训练transformers去预测特征值、谱或线性系统的解。在Gaussian随机矩阵上训练的模型，在分布内表现良好，却在一个像单位矩阵这样简单、且按Gaussian分布属于支持范围的对象上“糟糕得异乎寻常”。
他们尝试了循环、测试时自适应计算，以及更丰富的“einsum”空间，覆盖Toeplitz、Kronecker、block-diagonal、low-rank等多类矩阵。加入这些丰富性后，模型泛化到了甚至超出扩展训练集的范围，看起来学到的是算法，而不是统计插值。
Duggar不接受“给它一个计算器”作为终点：工具仍然需要由人编程，而机器学习的目标是让机器自己编程。如果一个系统无法把乘法从十进制泛化到二进制，或从9位泛化到36位，那么它发现前沿力学的前景就很有限。
尽管如此，Wilson仍为数据规模化划出明确边界。自动驾驶中的异常情况每次都不同，因此加入昨天的罕见案例，未必能覆盖明天的案例；他的直觉是，“单靠更多数据并不真正解决问题”，尤其是在稳健驾驶上。

13. 文本预训练把归纳原则迁移到了陌生领域

Wilson的团队直接把数字序列作为字符串输入一个经过文本预训练的LLM，让它预测后续token。结果“远远好于我们原本认为可能达到的水平”；在改进tokenization和不确定性表示后，这个项目被命名为“Large Language Models or Zero-Shot Time Series Forecasters”。
另一个材料项目用原子位置和能量的文本数据微调Llama 2。它生成的无机晶体具有良好性质，效果优于专门设计、在领域数据上训练的foundation approaches；原本持怀疑态度的化学家合作伙伴最终承认，文本预训练是“不可或缺的组成部分”。
Wilson的解释并不是所有领域共享相同的底层特征。分子中的旋转不变性与字符识别中的平移不变性不同，但两者都在压缩各自的问题；广泛预训练可以灌输一种更高层级的偏好，即主动寻找这类可压缩结构。
最强的例子是平移等变性：训练出来的vision transformers虽然没有明确写入卷积约束，但有时实现了比受混叠和边缘效应影响的CNN更低的等变性误差。一种由规模诱导的软偏置，反而比表面上精确的设计更准确地发现了这种对称性。

14. 边际化是对规模扩张既诚实又越来越必要的回应

Wilson认为，Bayesian方法的关键不在于先验，而在于承认我们并不确定哪个解才是正确的。2次抛硬币无法确定硬币的偏置；有限个回归点也允许一条直线，以及许多条完美插值的曲线。选定其中一个并近乎确信它正确，是对已知信息的错误表述。
表达能力越强，这个错误越严重，因为更多参数设定都能与观测结果相容。Bayesian marginalization则根据后验概率对所有表达出来的解求平均：“概率论会说，‘不，那就是错的’”，不能把全部赌注押在一个解上。
近似是一条阶梯，而不是二元选择。标准训练接近一个后验点质量；Gaussian能够捕捉更多互补解释；MCMC可以穿越更丰富的多峰结构。Wilson报告称，性能会随之改善，而不是要求计算上不可能实现的精确Bayes。
实用成果包括SWAG：几乎不增加训练成本，却增加测试时成本；以及deep kernel learning：在一次前向传播后提供认知不确定性的表示。但十亿参数规模的LLM让后验近似更加困难，而模型表达能力的增强又让后验近似变得更加重要。

15. Bayesian Occam剃刀很有力，但边际似然回答的是一个更窄的问题

Nocedal关于平坦与尖锐极小值的演讲让Wilson进入Bayesian deep learning领域。边际化会自然地把更多积分概率分配给宽阔区域，因此无需另行设计平坦度惩罚；后者的Hessian度量、参数化不变性和系数都会引发争议，而边际化则是“这一切都在底层自动发生”。
David MacKay的树后方块例子把这一机制视觉化了。一个方块和10个对齐的方块可能解释同一个视角，但10方块模型会把归一化概率分散到更多可能的数据集上；即使没有额外加入简单性先验，单方块解释也会给观测数据分配更多概率质量。
Wilson在“Bayesian Model Selection, the Marginal Likelihood, and Generalization”中的限定至关重要：边际似然问的是先验生成训练数据的可能性，而不是后验预测良好的可能性。对容易识别的解采用均匀先验，可能得到很差的评分，尽管后验会收缩到有用区域；病态的点质量模型则可能过拟合。
科学假设检验仍然是一个有吸引力的应用。广义相对论对水星近日点进动作出了明确预测，据称其边际似然比牛顿引力的灵活修改版本高出数个数量级；后者的概率质量必须覆盖更多替代性观测结果。

16. 更好的规模化需要架构、动力学，最终还需要发现理论

训练动力学可能揭示一种受算力限制的复杂度。边际似然可以按顺序拆解为在给定此前数据的情况下对每个新数据点的预测，从而把编码长度与学习曲线连接起来；grokking也可能反映了一次向更可压缩表示的后期重组，尽管训练损失并没有实质性下降。
Stochastic weight averaging把这一直觉变成了实际方法：提高学习率，穿过平坦区域的边缘，再把参数平均到区域内部。Wilson谨慎地将它与grokking联系起来：最终到达的解损失相近，但泛化能力和可压缩性更好。
Mode connectivity让损失地形显得更加奇怪。分别训练出的解可以通过折线链或二次Bezier曲线连接起来，而训练损失不会上升；曲线上的点在测试数据上并不一致，因此可以进行集成。模型越大，需要的弯曲越少，这意味着看似分离的mode可能位于宽阔的连通流形中。
对实践者而言，Wilson仍然建议使用表达能力强的模型，在可承受时扩大规模，同时采用stochastic weight averaging、正则化和Bayesian marginalization。更大的目标，是取代暴力规模带来的“并不优雅”的压缩效应：也许在15或20年内，无限表达能力的非参数模型能够携带一种明确且可解释的简单性偏置。
Distillation揭示了这一机会。如果一个1-billion-parameter学生模型能够复现一个7-billion-parameter教师模型，那么小模型已经拥有足够的表示能力，只是无法直接找到正确参数；缺失的资产可能正是教师模型由规模诱导出的搜索偏置。
因此，Wilson认为“苦涩的教训”被“广泛误解，而且并不完整”。计算会比手工设计的特征更持久，但学习仍然需要假设；更好的结构化层可以改变scaling exponent，而不只是沿着既有曲线移动。
他的block tensor train是满秩的，不使用参数共享，乘法速度快于稠密矩阵，并能在固定预算下允许更宽的层。跨单个线性投影和attention投影进行的细粒度expert routing进一步提升了效率；在数据近乎无限的情况下，支配性原则变成了每个flop配备尽可能多的参数。
最终缺口并不是又一次基准测试胜利。面对GPT-5这头“房间里的大象”，Scarfe问究竟缺少什么；Wilson指向的是能够提出类似相对论或量子力学的科学理论的系统——能够揭示结构并催生人类未曾预见的应用，而不是只在黑箱中近似一个已经由人类指定的修正项。

为什么美国政府与 NVIDIA 刚刚救了 Intel（以及这对 AI 意味着什么）| EP #195 Charlie Kirk与网络愤怒 + Trump的芯片政策大转向 + 本周AI动态