先锋 趋势 方法 投研 作者
关于智能的所有定义都错了。原因何在——Michael Bennett
返回节目精读

关于智能的所有定义都错了。原因何在——Michael Bennett

摘要

  • 今天的模型或许已经算得上能自动化工作的 AGI,但 Bennett 认为它们距离类人智能仍很遥远。 他无法把足够多的工作交给 Grok 或 ChatGPT,而生物系统只需“极少一部分能量和学习数据”就能完成更多事情。因此,与本期主题真正相关的瓶颈是样本效率和自适应架构,而不只是经济上的有用性。

  • Bennett 将智能定义为受约束条件下的高效适应,更偏向 Pei Wang 提出的“有限资源下的适应”。 François Chollet 关于技能获取的框架适合做基准测试,但仍然取决于预先选定的任务范围。一旦身体形态、可用行动和环境发生变化,表面上的难度也会变化——所以,分数衡量的只是特定任务和设定下的智能。

  • 软件不能脱离解释它的机器与世界单独评估。 程序要经过语言、编译器、硬件,最终进入物理世界;改变这套栈,行为可能彻底改变,甚至可以变得任意愚蠢。Bennett 的结论是,类人 AGI 可能需要模块化、细胞式的硬件,把适应能力逐层下放,因为今天的计算机更像“一个僵化的官僚体系,只在最高层做决定”。

  • 基准测试的速度提升是真实的,但它并不能证明通用智能。 主持人提到 Grok 4 在 ARC-AGI 上的得分约为 16%,略高于领先尝试的约 15.5%;Humanity’s Last Exam 则从约 26%跃升至46%。Bennett 称基准测试是有用的“刻度尺”,也是“绝佳营销”,尤其当代码和完整结果都无法获得时。他坚持的测试仍然朴素:模型能否可靠地完成长数字加法。

  • 实际可行的架构可能是混合式的:用近似处理噪声规模,用搜索保证精确性。 LLM 式近似适合处理规模庞大、噪声很高的数据集;搜索则提供精度,AlphaGo 和 AlphaStar 就是典型案例。NARS 和 Hyperon 将这一思路扩展到模块化系统,可接入 LLM、符号推理、资源限制和新组件——只要整合有效,“什么都往里装”反而是优势。

  • Bennett 认为意识可能是必要的适应机制,而非可有可无的现象性附加物。 因果自我通过区分由自身造成的变化和外部变化而形成,体验则是跨尺度展开的“效价织锦”。这张织锦是否必须同时存在,留下了一个尚未解决的基底问题:纳米机器人群可能算有意识,单线程模拟可能不算——除非意识可以“摊”在时间上。

  • 在 Bennett 的框架里,AI 安全是系统设计与委托问题,而不是孤立的策略对齐问题。 AI 接入的是更大的“人类液态大脑”;如果与集体的信息结构隔离,组件可能脱离整体,而过度的自上而下约束又可能消灭所有可行策略。对投资而言,含义在于架构:有韧性的智能可能依赖受控自治、自我修复和全栈适应,而不是围绕固定模型不断加长规则手册。

精读

1. 智能是受约束条件下的适应,而非任务累积

  • Bennett 从 Legg–Hutter 定义讲起:智能是在广泛环境中实现目标。但生物智能让他转向“适应的效率”,尤其是样本效率和能量效率。最终,他更认可 Pei Wang 更早、也更简洁的表述:“有限资源下的适应”。

  • 主持人承认,Wang 的定义听起来几乎是同义反复,但 Bennett 为它的简洁辩护:复杂定义往往需要投入比理解现象本身更多的精力。主持人还指出,Wang 的表述构成了 NARS(非公理化推理系统)的思想基础。

  • François Chollet 的定义强调获取技能的能力。Bennett 认为,这更像面向基准测试的专门化定义,而不是普遍适用的解释。Chollet 的形式化框架继承了 Legg 和 Hutter 关于 Kolmogorov 复杂度的思想,尽管 Chollet 明确表示仅靠压缩并不足够;主持人则提出,真正的智能可能是生成压缩技能程序的元过程,而不是这些程序本身。

  • AIXI 提供了另一种理想模型:利用 Solomonoff 归纳、也就是对奥卡姆剃刀的形式化,构建通用强化学习智能体,作为智能的上限。Bennett 认为这个模型很有吸引力,但不接受它所假定的客观性——复杂度取决于解释者,就像一个概念的最短描述取决于语言;因此,只要不断改变解释标准,性能就可能被扭曲。

2. 智能存在于完整的因果栈中

  • Bennett 对固定任务定义的质疑,首先针对的是其中的抽象:目标、行动和环境都是人类选择的简化。使用不同抽象的两个系统,可能以截然不同的表面难度抵达同一个结果,因此任务无法脱离身体形态和认知发生的环境单独讨论。

  • 这套栈从 Python 经过 C、机器码、硬件,最终抵达物理定律。Bennett 认为没有原则上的终点,尤其是人类对物理的认识仍不完整。要提出客观的行为判断,理论必须说明在所有可能的抽象层中哪些性质仍然成立,而不能偏袒某个方便的硬件接口。

  • 因果关系是多尺度且双向的。细胞追求局部目标,同时受到集体约束;人也会独立行动,却要回应法律和社会系统。我们既可以从细胞向上读到器官和有机体,也可以从士兵向上读到班、排和连。

  • Bennett 修改后的图表用食品券和 UBI 区分抽象与委托控制:两者都在分配资源,但食品券严格限制资源用途,UBI 则把支出决策委托给个人。同样的区别存在于生物、计算和社会系统中——资源去中心化不等于决策权下放。

3. 有用的抽象源于因果相关性与效价

  • 主持人问,抽象是真实存在的,还是必须由人手工植入 AI。Bennett 的回答是自适应学习:“椅子”是一个有用的分类器,因为它可能带来正效价或负效价;“半把椅子”通常不值得拥有独立概念。心智会为电视、光、椅子和桌子建立分类器,因为这些区分会影响行动。

  • 这种选择性也可能解释表面上的“心智盲视”:某种行为即使算得上智能,也可能因为没有给我们带来相关效价而不被察觉。Bennett 将这一可能性与 Mike Levin 的研究联系起来,甚至延伸到费米悖论:观察者是否会忽略那些行为与自身关切没有交集的智能。

  • Judea Pearl 的干预框架让 Bennett 进一步走向关于自我的因果身份。一只停在肩膀上的苍蝇必须区分:世界的移动是因为肩膀动了,还是由苍蝇自身造成;否则它就会被拍死。跨物种来看,区分自身造成的变化与外部变化,是有效行动和主观体验的共同基础。

4. 纯软件心智是现代计算二元论

  • Bennett 对“简洁优先学习”的替代方案,分别被称为“弱策略优化”、弱约束、W-maxing,开玩笑时也叫“Bennett 剃刀”。它应当通过因果相关性构建关于自我和世界的表征。细胞、细胞集群和有机体持续受到吸引与排斥,形成跨尺度的“效价织锦”,而不是先有中性的符号、再在其上附加价值。

  • 具身认知拒绝把心智封闭在身体内部:记忆可以延伸到纸张、物体、他人和周围世界。Bennett 讽刺说,AI 重新创造了笛卡尔二元论:“我们只是把松果体换成了图灵机”,把软件视为与物理表现神秘相连的心智实体。

  • 主持人追问,这是否意味着所有功能主义都站不住脚。Bennett 收窄了自己的说法:“计算二元论”是一根“卷起的报纸”,针对的是那些只规定软件、却忽略解释者的智能定义,因为“软件做的任何事都必须经过解释器,而解释器决定了它做什么”。

  • 他同样拒绝把“永生计算”作为有用的对照概念:无论代码看起来多么容易复制,每个软件产物都只有有限个物理副本。Bennett 说,他见过最严谨的处理可能来自 Alex Ororbia 和 Karl Friston,但最后的结论是:“只有会死的计算。”

5. 基准测试胜利无法证明类人 AGI

  • Bennett 接受规模至上论在经济上的关键前提:如果 AGI 指的是能够完成工作、自动化经济大部分环节的系统,“当然,我们已经有某种形式的 AGI 了”。但如果目标是类人智能,当前系统仍然样本效率过低,仍有很多本应由真正有能力的助手接手的工作落在他自己身上。

  • 对 ARC-AGI 的说法,Bennett 持谨慎态度,因为没有代码和详细结果的头条成绩很难审计。即使是强大的基准测试,也无法裁定智能:ARC-AGI 有价值,但 Bennett 强调,Chollet 本人也不会称它完美。

  • 针对主持人提到 Grok 4 在 ARC-AGI 上取得约 16%的得分、略高于约 15.5%的领先尝试,Bennett 给出了一个经验主义式的非答案:“证据要看结果。”如果它开始完成大量有用工作,那就足以证明进步;在此之前,他想先看看这个新模型能否可靠地完成长数字加法。

  • Humanity’s Last Exam 从约 26%升至46%,引出了更尖锐的判断:基准测试是“绝佳营销”。它们会展示测量尺所指方向上的进步,但具有适应能力的人类必然会针对缺陷优化,并找到利用测试的方法。

6. 混合系统把噪声近似与精确搜索结合起来

  • 借鉴 Richard Sutton 的“苦涩教训”,Bennett 将今天的工具归结为近似和搜索。LLM 式近似之所以强大,正是因为它能够容忍噪声、处理规模庞大的数据集;搜索则遍历明确的可能性,为导航等任务提供所需的精度。

  • AlphaGo 和 AlphaStar 等系统把两者结合起来,用学习得到的近似模型作为启发式工具,引导搜索。主持人的反方论点因此很重要:即便 LLM 无法计算,也不代表架构讨论已经结束,只要它能够调用精确工具。

  • NARS 和 Hyperon 试图实现更广泛的类人灵活性。Bennett 提到 2023 年 AGI 大会上展示的 NARS–LLM 实验;Hyperon 则被设计成去中心化、可适应的基础设施,可以接入异质模块。对于主持人所说的“大杂烩”,他表示认可,并认为模块化让系统能够随着各组件成熟而持续改进。

7. 意识可能是智能无法省略的适应机制

  • Bennett 关于因果自我的研究,与昆虫中央复合体和哺乳动物中脑的再传入研究汇合。再传入机制区分“向下按椅子”和“椅子向上顶压”;这种本身带有效价的感觉运动自我,可以扩展成更高阶的“对预测的预测”,为主观体验提供组成要素。

  • 针对 David Chalmers 所说的哲学僵尸——一个在行为和功能上与人完全相同、却没有意识的实体——Bennett 构建了一套形式化框架,起点只有“所有可设想世界”中的变化或差异。在这个框架内,他的结论是明确的:不存在一个同样聪明、同样高效却没有意识的人类对应物,因为意识是必要的适应,而那种非意识的信息处理并不可信。

  • 主持人追问,这是否只是把意识称作幻觉,或抛弃了现象主体性。Bennett 明确拒绝这两种解读:他认为,意识的许多特征必然源于状态变化和因果效价,而不需要先把现实划分为物质与非物质实体。现象状态通过不同抽象层之间的吸引与排斥嵌入因果结构,而不是一个附加在其上的副现象装饰。

  • 这套论点仍留下一个不确定性。如果意识织锦必须同时实现,那么分布式有机体或纳米机器人群可能有意识,而单线程 CPU——甚至人类群体或蚁群式“液态大脑”——可能没有;如果实现可以摊在时间上,模拟和液态大脑又可能符合条件。“我们怎么知道自己是不是被模拟的?不知道。”

8. 委托适应连接起 AI 安全、癌症与生命

  • Bennett 将安全问题重新放回整个系统:AI 不是孤立的智能体,而是接入人类“液态大脑”的另一个组件。因此,设计问题在于联合群体如何容纳并协调异质部分,而不只是让单个模型的策略在孤立状态下实现对齐。

  • 他的“栈定律”曾让一位导师指责他在做“自由意志主义生物学”。这一定律认为,高抽象层面的适应取决于下层的可适应性。生物会把适应能力下放到栈的底层;传统计算机则像“一个僵化的官僚体系,只在最高层做决定”。

  • Mike Levin 关于癌症的框架提供了失败模式:一旦细胞脱离集体的信息结构,就会退回到原始的繁殖和消耗。Bennett 将这种断裂形式化为两条路径:外部条件可能让集体的所有策略都无法实施,或者过度的自上而下控制可能消灭原本可行的局部策略。对 AI 的处方是精确约束危险领域;不可能实现的整体条件会让系统崩解。

  • Bennett 说,生命几乎必然需要“simping”和“waxing”的结合。他的暂定解释是:岩石靠 simp-maxing 维持存在,而能够自我修复的有机体则在变得更复杂的同时,扩大自身能够承载的弱约束范围——“生命就是以 simp 为代价不断 wax”。这套解释已经投稿,但尚未经过同行评审;他希望听到 Friston 的批评。

  • Bennett 还把文化定义为人类知识的储存库,并引用 David Krakauer 对文化的描述:“光速进化”。他认为这些想法与自己的整体框架相容,同时承认论文仍处于暂定阶段。