大多数人对进化的误解|Akarsh Kumar
摘要
- Tim Scarfe 的收尾修正是:进化“绝非随机”,选择会保留局部胜利,让部分指数级组合搜索转化为线性搜索。 在 Core War 中,尽管模型零样本生成 Redcode 的能力很弱,Akarsh Kumar 用 LLM 引导的进化循环仍击败了约 300个由人类编写的程序中的96%。这里真正的工程信号,是不完美的模型先验、客观验证和累积选择的组合,而不是 LLM 单独发挥作用。
- 人工生命把研究对象从地球上已观察到的生命,扩展到“生命可能是什么样”,在可能的物理、化学、生物和智能空间中进行搜索。 Kumar 认为,从单个样本无法推导一般原理,就像检查一辆汽车无法解释所有汽车。对投资者而言,关键期权在于:这是一个可计算的实验室,用来测试哪些规则系统能够产生持久性、自组织和开放式复杂性。
- Kumar 将今天的“统计智能”与一种基于路径依赖和规律的智能区分开来,后者的结构会记录自身的获得过程。 人类和进化是按序复杂化的,而模型可以在没有先学算术的情况下直接训练微积分;Kumar 承认,这种异质路径“可能就是更好”,但他怀疑,学习路径本身提供了异常强的正则化、鲁棒性和泛化能力。
- 当涌现、复杂性或有趣性等属性难以转化为清晰的数学目标时,基础模型可以作为人类判断的可扩展代理。 这套工作流有意接受不可约性:“直接模拟,看看会发生什么”,再让视觉语言模型判断结果,然后重新搜索。这样的宽泛语义目标也让优化更容易——“任意一只猫”比某一只像素级精确的猫更容易找到——并降低最终得到“被明确指定的东西”而非“真正想要的东西”的风险。
- 开放式行为似乎集中在规则空间的狭窄区域,而不是均匀分布在整个空间中。 Kumar 的团队在一项实验中运行并嵌入全部260,000条规则后,发现了一大片不具开放式特征的系统,以及一座规模小得多、包含最具吸引力模拟的“岛屿”。这个“金发姑娘区间”凸显了自动化发现的价值:稀缺的并不只是算力,而是正确的人工物理。
- 这些模拟反复展示出:全局组织可以从极简的局部交互中涌现,包括利用人工物理维持自身的类细胞结构。 Game of Life 只需要二元细胞和少数邻域规则;Boids 将局部转向变成群体飞行;Particle Life 则在6种粒子之间使用一个6×6的交互矩阵,并能生成带有类膜涂层和分化内部结构的移动物体。
- 人工生命仍是一项长期 AGI 押注,而不是“粒子级模拟会直接产生智能”的近期判断。 Kumar 的方向是提取一种高效的进化抽象,同时保留进化的有用属性,未来可能让统计模型充当批评者,让有机分解的系统成为被创造的对象。这场对谈同时提醒,不要把所有筹码押在单一路径上。
精读
1. 一般理论需要研究超越单一已知形态的生命与智能
Kumar 将人工生命定义为研究“生命可能是什么样,而不是生命现在是什么样”。生物学描述的是地球生命这一当前实例;人工世界则让研究者寻找能够横跨“所有可能智能空间”和各种生命形态的机制性原理。Kumar 认为,只观察人类大脑,就像检查一辆汽车后宣布所有汽车的工作方式都一样。
这种对比与当代模型训练形成了鲜明反差:动物遵循自然顺序——“我会先学这个,再学那个,再学下一个”——而模型可以在没有先学算术的情况下直接学习微积分。Kumar 承认,这种异质灵活性“可能就是更好”,但他认为仍有必要研究,宇宙是否从根本上偏好按序构建。
普通的课程学习并不够,因为固定课程表已经预设了终点。受《Why Greatness Cannot Be Planned》启发,Kumar 希望建立一种“偶然发现式课程”,允许系统探索任何可能通向有趣结果的路径,同时保留沿途积累的有用发现。
Kumar 坦诚承认自己尚无答案:为什么复杂化应该带来更好的表征,他还无法解释。自然进化、人类学习,以及组装理论等思想似乎都具有顺序性,但要证明这种顺序是必要的,或证明它并非必要,都会是“一项重大发现”。
2. 路径依赖的规律为纯统计智能提供另一条路径
Tim Scarfe 将这一论点与计算不可约性联系起来:获得复杂表征可能需要合成其组成模块,因为“没有捷径”。Kenneth Stanley 的相关表述是,基准测试成绩只记录系统最终到达了哪里,但“重要的不只是你到了哪里,还包括你是怎么到达的”。
新颖性搜索说明,进化并不等于盲目随机。随机搜索会忘记自己的历史;新颖性搜索知道已经发生过什么,并主动避免重复。被记住的路径会约束未来探索,可能将搜索强力引向结构化表征,而不只是减少选项数量。
Scarfe 将这种路径依赖描述为一种异常强的正则化。他把数据视为一种正则化,把权重衰减视为偏好低范数解的机制,也把尊重已学对称性的课程学习视为另一种、可能更强的形式。讨论提出,应当在研究统计智能的同时研究“基于规律的智能”,而不是放弃前者。
Scarfe 将 FE 方法描述为自动学习对称性。CNNs 编码了平移不变性,transformers 编码了置换不变性,但很难想象一条人为设计的方程能够表达昼夜不变性。在 Picbreeder 演化出的解中,归纳偏置不必占据整个搜索空间:“这些规律已经写进电路里了。”
3. 人工宇宙将涌现变成可搜索的科学对象
人工生命不必以我们的世界为基础,因为研究者可以自行选择基础:替代物理、人工化学,或经过改变的元素交互。Kumar 关注的是一个反事实问题:为什么某种物理会产生开放式复杂性,而与之相近的另一种物理却坍缩成“纯粹的随机噪声”?
Conway’s Game of Life 是最干净的样本:二维网格中只有存活或死亡的细胞,以及少数邻域规则,例如一个死亡细胞在其8个邻居中恰好有3个存活时变为存活。由此产生振荡器、飞船、长时间交互和“疯狂程度的复杂性”。
这个社区甚至会用系统的因果速度来衡量移动模式:信息每个时间步最多传播一个细胞,称为 (C),因此滑翔机的速度可能是 (C/16)。这种玩具级尺度反而是优势——它构成了一个足够简单、可以被研究的人工宇宙,而不是声称这个玩具已经捕捉了现实。
Scarfe 问道,反复出现的滑翔机究竟是某种基本规律的“影子”,还是网格和解释器造成的产物。Kumar 对两种可能性都持开放态度:不同世界产生了截然不同的滑翔机,其中一个甚至像一列驶离轨道的火车;但如果在同一基底中所有规则都出现收敛,也许能揭示更深层的基底约束。
4. 局部交互规则可以生成修复、群集与持久性
Lenia 将元胞自动机连续化,可以生成在屏幕上缓慢爬行的图案。神经元胞自动机则用一个小型神经网络替代局部3×3区块更新,由此创造出一个可搜索的物理空间,让局部规则反复自组织出目标形态。
2020年的“Growing Neural Cellular Automata”壁虎展示了外观与生成能力之间的差异。删除持续更新的蜥蜴的一部分后,它会重建自身:这个系统学会的是通过局部交互重建形态的能力,而不只是学会“蜥蜴长什么样”。Kumar 的延伸目标是:学习生长出智能的过程,而不是智能的一张快照。
Boids 从局部决策中推导集体运动。Kumar 回忆鱼群在一条接近的鲸鲨周围改变队形:也许是一条鱼先发现危险,再将附近的鱼向左牵引,协调运动由此传播开来。将每个个体的决策规则参数化后,研究者就可以追问,改变局部策略会如何重塑整个群体。
Particle Life 为粒子分配6种颜色编码的类型,并使用一个6×6矩阵定义吸引、排斥或中性互动。有些矩阵产生平淡噪声;另一些则生成带红色边界和分化内部结构的移动类细胞物体。Kumar 将其理解为结构在“利用物理规律”维持自身——但这不是普遍意义上的生命,因为持久性只出现在部分模拟中。
5. 基础模型让模糊的涌现目标能够规模化落地
论文《Automating the Search for Artificial Life with Foundation Models》用一个参数化族群替代单个手工编码的模拟。规定100种可能的元素、但不预设它们之间的交互,比创造一整张元素周期表更容易;自动化流程可以搜索缺失的物理规律。
这套方法不试图解析式预测动力学,而是接受计算不可约性:“直接模拟,看看会发生什么,再把它接入基础模型。”模型为复杂性或有趣性等人类判断提供可扩展的近似;在这些目标上,脆弱的公式容易触发 Goodhart 定律——最终得到的是“你要求的东西,而不是你想要的东西”。
语义目标扩大了解空间。要求“任意一只猫”,就不必逐像素监督某一只精确的猫;要求任意开放式模拟,也不必强行指定一串预设状态。基础模型内部破碎的表征在这里是可以接受的,因为它只充当批评者,其输出用于引导一个结构更有机的系统逐步形成。
结果显示,规则地图高度不均匀。团队运行了全部260,000条候选规则,用 CLIP 嵌入其输出,发现一大片不具开放式特征的行为,旁边只有一座包含“最酷模拟”的小岛。一个更激进的思想实验——明确属于推测——是搜索数千万亿个粒子的物理规律,让系统从复制子一路演化到捕食—被捕食动力学和外星动物。
6. LLM 引导的进化将薄弱提案转化为累积式程序搜索
Scarfe 追问有趣的模拟与有用的通用智能之间存在的鸿沟。Kumar 称人工生命是“一项非常长期的押注”:目标不是模拟每个低层级粒子,而是提取一种极其高效的进化抽象,保留智能所需的属性——而且高效到足以在10年后运行。
Core War 提供了一个具体测试场。程序被称为 warriors,会在一个名为 Redcode、图灵完备且类似汇编的语言中,从随机内存位置执行;每个程序都试图在对手的执行线程到达之前写入一条非法指令,从而使其崩溃,同时保护自己。Scarfe 的总结是:“这是《权力的游戏》,但属于图灵机时代。”
进化循环使用 LLM 作为变异算子,并采用 MAP-Elites,因为搜索景观具有欺骗性且存在非局部性。系统先演化出一个能够击败初始程序的 warrior,再演化出一个能够同时击败前两个程序的 warrior,如此反复,保留不断扩大的对抗性谱系,而不是只针对最新对手进行贪婪优化。
第一轮就击败了约300个真人 warrior 数据集中的96%,尽管模型在零样本和 best-of-(N) Redcode 生成上的表现都很差。后续 warrior 越来越多地击败未见过的人类程序,同时行为方差下降,逐渐趋向一个通才。进化只需要变异“1%的时候有效”:选择会保留每个有用片段,让下一轮搜索能够在其基础上继续构建。