碎片化纠缠表征假说（Kenneth Stanley、Akarsh Kumar）

摘要

• 基准测试成功，并不能证明模型学到了有用的世界模型。 Kenneth Stanley 的 PicBreeder 反例用两条路径生成了同一个看似完美的骷髅：开放式进化得到紧凑、模块化的对称性与嘴部控制，而传统 SGD 得到的是“彻底的意大利面”。对投资者而言，这意味着表层能力可能掩盖“冒牌智能”，而糟糕的结构往往要到适应、持续学习或分布外任务中才暴露成本。

• 这期节目把规模化论推向其资本最密集的环节：传统训练可能正在投入巨量资源，弥补错误内部自由度带来的缺陷。 Stanley 有意针对的是“传统 SGD”——固定架构、固定目标、追逐梯度——而不是所有可能使用 SGD 的方式。如果模型能够发现与世界结构对齐的因素，他推测，训练效率可能达到今天数十亿美元乃至数千亿美元基础设施投入的“多个10倍、100倍”。

• PicBreeder 表明，“重要的不只是你到了哪里，还包括你是怎么到达那里的”。 人类在约15个突变中进行选择，每一代只注入几比特信息，但经过几十轮迭代，系统便锁定了对称性等可复用惯例，而没有人明确教过它们。这种路径依赖意味着，数据顺序、课程设计、拓扑增长，以及对未来可进化性的选择，可能与数据集规模同样重要。

• 糟糕的表征可能解释了为什么当前模型能稳定产出衍生式创意，却不能可靠地产出变革式创意。 Stanley 区分了“写一个新睡前故事”和“发明一种全新的文学体裁”：前者是在继承来的分布内重组，后者则需要能够打开新概念路径、因子化良好的抽象。于是，自动化生成与策展的产品可能一开始令人惊艳，却会加速文化模式坍缩——“把流行文化冻结在2025年”——除非人类持续提供真正的新想法。

• 另一种架构思路，是从稀疏、受保护的模块中生长能力，而不是先训练一个稠密巨物、再事后剪枝。 Tim Scarfe 设想从100个参数开始，扩展到1,000个、10,000个和100,000个参数，同时把一个有用的12神经元子网络扩展成120个相关神经元，并保留其抽象。Akarsh Kumar 将自主生成统一、因子化表征的方法称为“万亿美元问题”——可能成为颠覆性机会，但目前仍是研究议程，而非可运行的配方。

• 嘉宾既反对自满，也不相信自主 AGI 即将到来。 Kenneth Stanley 认为当前 AI 已经造成“巨大伤害”，仍维持约三分之一的各类原因合计末日概率估计，但他不认为任何当前可由机器训练的架构会通向 AGI；Scarfe 同样认为，现有系统仍需要人类，因为自主性会暴露其不连贯的行动空间。他们共同划出的边界是明确的：今天的狭义工具可以强力放大人的能力，却不具备实现独立、变革式行动所需的表征。

• 组合层面的建议是分散配置，而不是放弃规模化。 Kumar 希望部分研究者继续测试 LLM 规模化究竟能走多远，同时将明显更多注意力投入人工生命、开放式性、类似 PicBreeder 的选择机制、课程设计和进化机制。机会之所以巨大，恰恰是因为“所有人都只盯着 SGD、SGD、规模、规模”，但这篇论文提供的是生动的反例与开放问题，而不是 Grokking、混合专家或现有优化方法无法缓解这一问题的证明。

精读

1. 相同输出可能掩盖截然相反的智能类型

• Stanley 开场时的观察极具冲击力：一个由 SGD 训练的网络和一个进化出的 CPPN 可以输出同一个骷髅，但它们的内部表征看起来却是“惊艳对垃圾”。传统模型是纠缠的意大利面，PicBreeder 的版本则像经过刻意工程设计。

• 这个反例的意义超过了又一次对黑箱网络的抱怨。没有 PicBreeder，人们或许会认为神经表征天生混乱；而它紧凑、清晰可读的网络证明，“生命不必如此”。

• Stanley 没有因此断言深度学习从根本上失效。论文真正质疑的是“表征乐观主义”——一种未被明说的信念，即良好结果意味着底层机制也良好——并追问这个鲜明的替代方案是否值得开启新的训练议程。

2. PicBreeder 拒绝直接寻找伟大，反而找到了伟大

• PicBreeder 让人群培育由组合模式生成网络（CPPN）编码的图像。这些网络把 X、Y 等坐标映射为色相、饱和度和亮度，使用正弦、余弦等函数，并生成与分辨率无关的图像。

• Stanley 书中的蝴蝶象征着欺骗性：用户明确试图进化出蝴蝶时通常会失败，因为它的中间台阶并不像蝴蝶；而那些顺着看起来新颖或有希望的方向前进的人，却在“出奇少的步骤”里抵达了令人意外的图像。

• 这一教训催生了新颖性搜索，后来又发展出质量-多样性研究。Stanley 提到，AlphaEvolve 的底层使用了 MAP-Elites：这类系统不是直接收敛到一个预设点，而是照亮大量可能性。

3. 直接优化付出了高昂的表征代价

• 当 Stanley 的团队让 NEAT 去追踪一个已知的 PicBreeder 图像时，骷髅等复杂目标通常仍然无法抵达，因为图像相似度提供了具有欺骗性的启发式信号。新月等更简单的目标有时可以恢复，但生成的网络复杂度约为原始网络的3倍。

• Joel Lehman 和 Stanley 后来尝试了 SGD。这个微小的进化架构为梯度下降提供的自由度太少，但只要固定网络足够大，甚至复杂的 PicBreeder 图像也几乎可以被完美复现。

• 输出掩盖了其中的代价：SGD 没有一次性编码骷髅的对称性，而是在左右两侧分别重新表示互不相连的部分。进化网络则把对称性、嘴形、开口、微笑以及其他变换因子化为连贯、可复用的组件。

• 由于每个隐藏的 CPPN 节点都可以在所有 XY 坐标上查询并渲染成图像，这构成了异常直接的证据。比较不依赖某种可解释性代理指标：“我们确实可以直接看到表征是什么。”

4. 传统 SGD 优化的是代理目标，而不是用户真正需要的表征

• Kumar 刻意使用“传统 SGD”这一说法，指的是固定架构、固定目标以及由 SGD 追逐目标构成的整体范式。作者不知道 SGD 本身是否无可救药，也不知道换一种使用方式能否得到更好的因素。

• 他的 Goodhart 式诊断是：训练完美解决了指定损失，但真正的需求是支持适应性、泛化、分布外行为、创造力，尤其是持续学习的表征。这些下游性质，比损失更难形式化。

• Kumar 保留了 Stanley 父亲的类比：两个数学家都能在同一场考试中拿满分，但其中一个可能改变整个领域，另一个却什么也发现不了。因此，“考试”几乎无法揭示真正重要的未来能力。

5. 人类引导可能不足以解释被创造出的信息

• Scarfe 最强的反驳是，PicBreeder 的用户继承了数十亿年的进化成果和丰富的抽象世界模型。他们的偏好可能是一条隐性的模仿学习通道，把对称性、面孔及其他自然模式传递进了网络。

• Stanley 诚实地承认自己并不确定：这是一个“深刻、几乎哲学性的问题”，答案尚不可知。但几十或几百次点击似乎不足以展示闭嘴、张嘴、茎部旋转等维度；而且用户选择的是有吸引力的可能性，并不是在构造训练样本。

• Kumar 进一步强化了信息论角度：用户看到约15个突变，然后点击其中一个，每代只注入几比特信息。经过几十代，这条通道不可能明确描述蝴蝶或骷髅中出现的全部规律。

• 他们提出的机制是层级锁定。用户一旦选中了一个对称祖先，对称性就成为一种惯例；之后的探索在这个惯例内变化、增加新的惯例，并逐步构造出一个优雅的层级结构，而没有人指定最终对象。

6. 一个苹果的权重表现得像未经训练的3D世界模型

• Stanley 最喜欢的样本，是一个进化出的苹果：它包含数百条连接，但其中一个权重可以让果梗从左向右连续摆动。叶子像绕3D轴旋转一样转动，阴影在下方移动，而对称的苹果保持不动——“它已经被分解了”。

• 这个网络从未接受过苹果或摆动果梗的训练。Stanley 认为，若声称这条轨迹展示了运动，就会陷入循环论证：如果果梗本来就在摆动，那么这种能力已经存在。他把它视为一个全新产生的“关于世界的假说”，并将其与 Move 37 在数百万盘棋局之后出现的能力相对照。

7. 压缩有价值，但因子化方式决定其用途

• Stanley 不接受把最大压缩简单等同于智能。一个明确因子化为眼睛、鼻子和嘴巴的脸部表征，可能优于一个更小但缺少这些组件的编码，因为前者能够有原则地生成新面孔。

• Kumar 通过可进化性表达了同一区分：骷髅可以被大幅压缩，却仍然无法支持创造性跃迁。有价值的表征不只是足够小，还能够“沿着任何有趣的方向”变化，同时不破坏既有结构。

• PicBreeder 隐含地选择了这种性质。在两个表面相似的骷髅之间，如果其中一个的组件能够产生更有趣的后代，它就会持续吸引点击；因此，模块化、可适应的谱系往往能淘汰脆弱的意大利面结构。

8. 碎片化表征设定了创造力上限

• Stanley 认为，当前模型具备“衍生式创造力”：让它写一个睡前故事，它确实能写出一个全新的故事，但它写不出文学奖作品，也发明不了一种新的文学体裁。“变革式创造力”需要能够暴露此前不可用方向的抽象。

• 在大模型外包裹进化过程——包括团队开展的“通过大模型进化”工作和 AlphaEvolve——可以把系统推到模型分布之外。与能够直接穿越其表征中编码的抽象层级的人类心智相比，Stanley 认为这种方式效率很低。

• 谈到 Andrej Karpathy 提议对 VO3 生成的文化进行梯度搜索时，Stanley 追问：最初的创造力究竟来自谁？是渲染出做 ASMR 的猿猴的模型，还是构想出这个点子的人类？自动化构思与策展仍然可能令人惊艳，但也可能不断收敛到越来越熟悉的变体。

• 他的警告不仅关乎技术，也关乎文化：反馈循环可能“把流行文化冻结在2025年”，并永远停留在那里。当前 AI 可以强力放大人类发明的萌芽，却无法加速人类尚未想象出的科学、音乐或艺术发现。

9. 智能需要一个恰到好处的自由度数量

• Scarfe 把稠密网络比作一堆沙子或一块黏土：SGD 需要巨大的自由度，之后再由 Lottery Ticket Hypothesis 等方法把结果削减下来。PicBreeder 则从稀疏结构开始，只构建其历史证明有用的部分。

• Stanley 的表述是“一段带有算法的记忆”：使用足够但不过量的容量，尽管找到这条边界在工程上极其困难。

• 他们用 Einstein 类比这种受纪律约束的复杂性。Stanley 提到，Einstein 曾把加入宇宙学常数视为自己最大的错误，尽管今天它出于有效科学理由又成为必要因素——这既说明简单性的力量，也说明删除世界所需要的自由度可能带来的危险。

10. 更好的网络可能需要生长，而不是被削减

• Scarfe 设想，未来的训练从简单数据和100个参数开始，扩展到1,000个、10,000个，再到100,000个参数。一个被发现的12神经元模块，可能扩展成120个相关神经元，同时保持足够隔离，以深化同一个抽象。

• 最终得到的既不是一般意义上的稀疏网络，也不是单一巨型网络，而是具有历史生长过程的模块化结构：由“种子”扩展成专门化结构，而不是让一个庞大的初始网络把所有可用信息纠缠在一起。

• Scarfe 将其与 NEAT 和单调复杂度联系起来。新的信息和拓扑不断加入，同时保留来源；突变发生在可行框架内部，因此后代仍然有两条腿，而不是通过交叉把所有身体惯例随机打乱。

11. 激活函数重要，但训练决定几何结构

• Scarfe 对比了 ReLU 网络的分段线性划分和 CPPN 的三角函数。后者可以延伸到观测支持范围之外。他用 Y 等于 X 平方表达自己的稳健函数直觉：面对未见过的输入，它仍会产生有结构的结果，而不是进入“无人区”。

• Stanley 的反驳值得保留：激活函数并不是全部问题。即便使用 ReLU，建设性的训练过程也可能把一条螺旋划分为可理解的象限和45度区域，而不是普通 SGD 之后可见的那些“古怪角度”。

• Scarfe 进一步扩大了可能性空间：某些 RNN 构造可以达到图灵完备，却仍然无法通过 SGD 训练；手工设计或混合系统则可能需要可扩展记忆和广义自回归。瓶颈不在于神经网络能够表示什么，而在于主流训练能够发现什么。

12. Grokking 可能有所帮助，但无法回答这个反例

• Stanley 承认，Grokking、混合专家、卷积及其他干预措施可能缓解碎片化；论文并没有测试所有可能性。但视觉上的差距如此巨大，他怀疑简单清理就能把 SGD 的骷髅变成 PicBreeder 的结构。

• 他的挑战更基础：Grokking 先创造一个纠缠的混乱结构，随后才移除冗余和碎片。PicBreeder 则证明，表征可以“一开始就是好的”，这至少让建设性生成成为一个正当的替代方案。

• 效率差异可能极其巨大。Stanley 将数十亿美元乃至数千亿美元的训练基础设施投入，与一种自由度已经和现实对齐的假想表征进行对比；他推测后者可能高效“多个10倍、100倍”，但同时强调具体幅度未知。

13. 学习顺序可能制造，也可能阻止表征碎片化

• Stanley 将 PicBreeder 与类似 POET 的开放式课程联系起来：任务自然变得更复杂，但路径保持发散，而不是沿着预设课程表前进。时间顺序因此成为学习结构的一部分。

• 把所有数据一次性倒进同一个批次，会忽略先决条件的顺序。LLM 可能先吸收微积分、再学习算术，并在学习过程中为算术发明一种启发式近似，又在别处学到另一种版本，最终形成重复而弱化的概念，被“碎裂成片”。

• Dr. Dugger 的亲身经历让成本变得具体：在未学微积分的物理课上，他必须记住不同的炮弹公式；进入微积分课后，他可以直接推导这些公式。表面答案相同，但泛化能力截然不同。

• Kumar 将此联系到一个可解释性案例：模型计算23加57时，可能走过一座由近似事实构成的迷宫——“大约55”和“大约25”——靠加权路径碰巧落在正确答案上。它能工作，却无法像真正的算术抽象那样适应。

14. 冒牌智能可以在表面上保持完美

• 论文用“冒牌智能”描述这样一种模型：输出正确，却拥有错误的内部本体论。它生成的骷髅看起来真实，但底层“其实并不是一个骷髅”；它既不认识对象的组成部分，也不认识对象的规律。

• Stanley 把这个比喻扩展到代表全部人类知识的 LLM。一个系统可能对所有分布内问题都给出令人信服的回答，却把知识组织成“一场巨大的骗局”，让持续学习和真正的发明变得成本高昂。

• 讨论还把这一假说与机制可解释性联系起来：多义神经元可能同时参与加法和黑洞等无关概念，而概念则分散在许多电路中。要解释一个清晰的层级结构已经很难；要解释碎片化、纠缠的结构，可能从根本上更难。

15. 生物进化是受约束的发散，而不是优化

• Stanley 认为，遗传算法把人类对进化的比喻带偏了，因为它把选择变成了向一个目标收敛。自然进化没有对应的终点；它在受生存约束的同时不断发散。

• 飞行和光合作用体现了这种反转。在优化实验中，二者都可以被设为备受赞誉的目标；但在自然界，它们都是可存活性的副作用，而对 Stanley 来说，“副作用才是真正的主事件”。

• 因此，生存充当的是约束，而不是一条能够直接预测创新的梯度。说生物体在优化生存，并不能解释光合作用为何出现；在起点处，没有人能从这个约束推导出这一成就。

• Dr. Dugger 补充了资源与能量压力，而 Stanley 坚持另一种 Goldilocks 式平衡：压力过大会压制试验，生存过于容易则会让世界充满不动的团块。开放式系统需要一个不平凡的“最低标准”，同时避免全球竞争坍缩为局部爬山。

16. 渠化在进化探索的同时保留结构

• Stanley 认为，自然的表征之所以统一且因子化，是因为变化保留了最深层的惯例。子代与父代不同，却仍然保持双侧对称，通常也保留手臂、腿和继承来的身体结构。

• 生物学把这称为渠化：发育过程“在山坡上挖出了一条沟渠”，因此突变像地震，但水流仍沿着既有沟渠前进。相比之下，传统遗传算法的突变会破坏表型的核心规律。

• 人工编码可以轻易从双侧对称跳到三侧对称，也可以从5根手指跳到10根；但生物学几乎从不这样变化。对 Stanley 而言，自然证明了自主发散过程——而不仅是人类点击 PicBreeder——也能发现既保持可进化性、又不会解体的表征。

17. 开放式搜索的历史越长，就越难预测

• Stanley 所说的“必然性之锥”在起点附近很窄，随着时间推移不断扩张。平行进化可能反复发现光合作用或眼睛，却大概不会反复发现人类；Kumar 提到的孔雀，就是一种没人应该期待能够预测的偶然形态。

• 新颖性也会不断积累关于宇宙的信息。眼睛利用光子，耳朵利用声波，生物体逐渐成为“一部百科全书”，记录物理世界中可用的自由度——尽管许多不同配置都可能暴露同一种底层可能性。

• Scarfe 追问，真正的智能是否仍然需要那个提供进化惊人计算量的物理世界。Stanley 认为互动可能确实必要，但也认为互联网正在成为越来越直接的代理环境，模型可以通过它探索、做出选择、决定自己的时间顺序，并或许以更高效率学习更多东西。

• 他们举出的商业案例保留了其中的悖论：校车安全可能通过让校车消失来解决；Scarfe 说，YouTube 最初是视频约会网站，而为游戏打造的 GPU 最终在 AI 领域赢得了硬件彩票。“我们以为自己想要什么”，可能让目标搜索看不见替代它的市场。

18. 研究议程应以表征为先，并且有意保持多元

• Stanley 的建议是，衡量当前模型是否包含冒牌表征，测试缓解方案，并把创造力和开放式性视为一等问题。针对指定答案进行推理固然有用，但当智能意味着在不知道目的地的情况下发现价值时，这种方式“与创造力背道而驰”。

• 他的模型是一个在操场上玩耍的孩子，或一个研究者跟随有充分理由的直觉，因为某条路径“打开了一个新的操场”。只训练直接解决问题，教会系统在目的地给定后如何前进，却没有教会它识别哪个尚未探索的方向具有潜力。

• Kumar 将开放式性应用于整个研究领域：继续扩大 LLM 规模，以了解这一范式究竟能走多远，但不要再把“所有鸡蛋放在同一个篮子里”。学术界应明显增加对人工生命、进化、类似 PicBreeder 的系统，以及 IID 批次重复数百万步之外的替代方案的投入。

• Stanley 将对架构的怀疑与对伤害的漠视区分开来。他给出约三分之一的各类原因合计末日概率，并表示 AI 今天已经造成“巨大伤害”；但他看不到任何当前可由机器训练的架构会通向 AGI。结尾的区分是明确的：强大的狭义智能，与通用智能之间存在类别上的差异。