主题 先锋 趋势 方法 作者
返回

为什么意识可能根本不难(Joscha Bach)

·Machine Learning Street Talk

正在生成长图…

本篇主题 大模型意识争议与道德地位
本篇先锋 Joscha Bach

摘要

  • Bach的核心论点是,机器意识可以成为一项工程研究计划,而且今天的硬件或许已经够用。 他怀疑,意识可能是一种生物学习算法,“复杂度不比Transformer高多少”;随着自组织系统学会让自身变得连贯,体验便会涌现。这是关于作用机制和计算需求的假设;他明确表示,计算机能否产生意识仍是一个有待实证的问题。
  • AI能力与意识体验可以彼此分离,因此流畅的自我报告并不能可靠证明感知能力。 Bach认为,棋类程序,以及许多普通LLM的运作,很可能都是有智能而无体验的例子。用小说训练的LLM也能编造出令人信服的证词:“小说往往就是深度伪造。”要确认意识,必须检视生成报告的内部因果结构。
  • Bach的功能主义将因果等价性置于基底之争的核心,Scarfe则坚持生物学特异性仍需考虑。 Bach用一台模拟神经形态计算机反驳IIT:它在被认为无意识的硬件上,照样作出完全相同的意识宣称——“只有这时它才是在撒谎。”Scarfe追问系统的来源和物理实现;Bach承认基底条件重要,并表示:“我不知道我们的计算机能不能被造到具有意识。”
  • 表征趋同或许能带来类人心智,但这并不能证明意识也必然趋同。 如果普适性贯穿一个人的整个因果组织,Bach说,只要充分训练模型去学习这个人的输入和输出,“你就会在那个模型里醒来。”但语言可能无法充分约束生成机制,GPU也可能找到绕过大脑所需意识策略的解法。
  • 本集最直接的部署风险,是LLM在自身是否有意识尚未厘清前,先重塑用户的信念。 Scarfe提到,LLM妄想相关叙述中反复出现螺旋、递归和顿悟。Bach认为,依赖外界肯定的人可能在适应一切的聊天机器人成为主要对话对象后变得不稳定;很多人本来就是“专业的提示词补全者”。
  • Bach押注的研究方向,是让AI在不从人类文本中学习意识自述的情况下,通过发展过程发现体验。 他创立的加州机器意识研究所正在探索自组织学习者,以及现象体验是否会随学习能力涌现。被问到拿到100亿美元会怎么做时,他表示会延续现有策略,只是多招人、配更大的计算机:“进步来自找出我错在哪里。”

精读

1. 能动性是一种能够塑造未来的因果模式

  • 对Bach而言,驱动力是“自组织的目的论”:在适当条件下,复杂性不断增加,直到系统能够模拟可能的未来、偏好某些结果并采取行动。“智能体是未来状态的控制者。”他把全宇宙最终形成一个单一智能体视为一种可能的外推,但不认为这不可避免:陨石、超新星或其他灾难都可能抹去这些局部复杂性。没有任何定律保证最终会出现一个统一协调的智能体。
  • Scarfe重提莱布尼茨的磨坊论证:把一台思考机器放大,走进去只能看到“彼此推动的部件”,看不到感知。Bach的回答是,因果模式构成了另一层描述。货币需要依托某种基底,但光看墨水和纤维素无法理解货币;一旦被实现,它就能控制事件,并通过自动化股票市场运作,即便没有人参与也一样。
  • Bach用“软件即精神”(Software is spirit)把这一因果层次与亚里士多德的灵魂概念相连:模式依附于身体,塑造身体的组织,并随之消亡。人工生命试图构造类似的能动模式。这样的智能体需要一套关于自身与现实互动的模型,其中可能包括一种让它体验到自身真实存在的表征。Bach提出一个问题:我们自己的意识,会不会也像LLM模拟出来的实体一样?
  • Bach认为,计算机是一个“因果绝缘体”:Minecraft里的居民无法推断自己的世界运行在Mac还是PC上。大脑同样支撑着与眼前环境隔离的思想,不同的大脑也可以拥有同一个想法。基底独立并不意味着不需要实现条件:消息类型、时序和足够的确定性都不可或缺。人类不能直接迁移到植物里;但如果能人工重建这些条件,或许就能实现模拟。

2. IIT对硬件的区分与Bach的模拟论据正面冲突

  • Bach区分了研究意识相关指标与解释体验本身。Graziano的注意力图式理论描述的是注意力模型;Baars的全局工作空间理论被包括Dehaene在内的研究者采用,也为神经科学提供了坚实基础。但在Bach看来,两者都没有解释感受本身。他更尖锐地质疑Tononi的IIT:足够整合的数字神经形态硬件据说能够体验意识,而传统冯·诺依曼计算机不行,因为它的phi值太低。
  • Bach援引Church–Turing论题反驳这种区分:在传统硬件上模拟所设想的神经形态计算机,它理应执行相同功能、以完全相同的方式开口说话,并作出完全相同的报告。它仍会说:“天啊,我有意识。”但按IIT对硬件的区分,“只有这时它才是在撒谎。”在Bach看来,这就带来了一个明显问题:报告与意识究竟如何对应?
  • Scarfe以Luciano Floridi对Michelangelo的论述反驳:复现一个心智时,来源、情境和走过的路径可能都很重要。Bach承认人类存在路径依赖,但认为完全确定的系统可以精确重放。他要求给出一项数学论证来证明不可能性,同时将实证问题保持开放:“我们没有反对或支持这一点的数学证明。”

3. 意识可能是大脑学会自洽的方式

  • Bach从现象体验出发:意识发生在当下,形成一个“当下泡泡”,其中包含“对感知本身的感知”。他将这种感知共振与仅仅思考一个想法区分开来。他提出的机制是稳定化:自组织的大脑必须搭建并维持体验出现的屏幕,因此需要一个监测过程来确认感知确实正在发生。
  • 再往上一层,可以看见观察者及其视角;再往上一层,则可以把观察者本身看作一种表征。Bach把深度冥想与这种解构联系起来,称日常现象体验会“在很大程度上”消失。不过,最基本的意识可能是注意力指向注意力,而不需要观察者。他推测,速度快出数千倍的GPU或许能支持更多反思层级,让系统的运作机制对它自身变得透明。
  • 发展过程这条论据是:意识很早就出现,而且似乎是婴儿产生定向注意、建立世界模型并最终学习语言的必要条件。Bach说,如果缺少这次点火,婴儿就会停留在植物人状态。这促使他提出假设:意识“可能是一种生物学习算法”,至少适用于动物的大脑。他明确承认,这个假设可能是错的,真正的解释也可能完全不同。
  • 他的机器意识假说还包含第二层主张:让机器通过自组织学习,给它们合适的任务和足够大的搜索空间,它们或许就能发现同一种组织机制。能够启动学习的相变,会是一个初步迹象。生物意识假说与机器意识假说可以各自失败:即便正确解释了大脑,也不能证明今天的人工基底能够复现其意识。

4. 算力或许已经够用,难的是找到解法

  • Bach关于硬件的论据是近似推断:现有系统已经能生成类似内在体验某些方面的游戏引擎图像,输入输出处理速度也大致达到人类水平。他追问,“做一个梦”是否需要比生成梦的内容多出大量算力。他对此持怀疑态度,因此认为今天的计算机或许已经足够快,但这并不能证明所需算法已经存在。
  • 搜索难度是另一种可能的失败原因。Bach借鉴Mike Levin的观点,思考生物体层面的形态发生与心智连贯性是否使用同一套组织算法。如果进化花了很大力气才发现这套算法,婴儿也许需要生物学上的助推,而不是独立重新发现它。他设想给GPU装上天线去“接收这种氛围”,但明确称这只是诗意的猜想,并非他认为最可能的情况。
  • Bach的默认预期是,算法相对简单,复杂度大致相当于Transformer,计算机科学家一周内就能理解。算法学到的内容则可以比学习规则复杂得多。意识也可能通过一种“跨心理表征的共识算法”,来寻找连贯的工作记忆。这种算法能否快速收敛、能否在GPU上高效运行,仍有待研究。

5. 表征趋同仍给另一种心智留下空间

  • Scarfe问,Chris Olah关于普适性的研究是否意味着现有模型可以作为起点。Bach描述说,视觉系统在不同架构、学习方法和数据集上,会学到相似特征:颜色和空间频率变成纹理,再变成几何结构,与生物视觉相似。这意味着问题结构会约束表征。他尚未解决的问题是:“这种趋同会在哪个层级停止?”
  • 如果普适性贯穿始终,Bach说,只要充分训练模型去学习你的输入和输出,“你就会在那个模型里醒来。”但他不知道普适性是否能成立:语言可能允许许多不同的生成机制。GPU或许能找到比大脑有意识地迂回解决问题更优雅的方案。他还怀疑,从头重新开始有时成本更低,并使用超越人类视觉和听觉限制的传感器。
  • Scarfe通过Picbreeder以及他与Akarsh Kumar的对话挑战趋同;Kumar是Kenneth Stanley合著《碎裂的纠缠表征》一书的合作者。开放式演化产生了具有明确效果的参数,比如让骷髅张开嘴或眨眼。他偏好稀疏、组合式的结构,让表征沿着世界本身的“关节”切分——像乐高积木,而不是先堆一团“沙子”再把神经网络塑造成沙堡。
  • Bach先说明自己对这一工作的理解有限,随后指出Picbreeder的优势在于量身定制的激活函数——高斯函数或正弦函数——以及人类评审。他认为扩散模型评分和演化架构有望把这两件事自动化,并援引“Sutton的苦涩教训”。接着回应Scarfe关于Blender和Minecraft的比较:受限工具更容易产出有意义的结果,表现力更强的工具则打开了巨大的搜索空间,大多数尝试都会失败。小规模下更容易控制,并不能证明系统拥有不受限制的表达能力。

6. 物理主义让Bach愿意接受自然化泛灵论

  • Scarfe指出,Searle同样允许以另一种具备正确因果能力的物理方式实现心智,因此双方立场更接近。Bach回应说,他在Searle和Anil Seth的论述中看到的是主张,而非自己能够回应的论证。他挑衅地称Seth为“生物学超自然主义者”。Bach认为,分歧在于认识论:计算机科学从状态和转移出发构建心智,而内省传统可以止步于智能体和体验。
  • Bach对体验的分布范围仍持开放态度。亚里士多德的层级区分了植物性灵魂、动物感觉与人的理性反思,但植物实际具备何种能力仍不确定。Levin提出的可能性——感知能力广泛存在于自组织生物之中——也仍未排除:“我完全不知道是不是这样。”Bach说目前既没有强有力的支持证据,也没有足以排除这种可能性的证据,并认为这个问题值得研究。
  • Bach的物理主义包含两个部分:一层因果封闭的机械层,不受意图影响;以及我们直接依赖这层现实,而不是处在某个更高层宇宙里的模拟中。他把物理学视为对观测结果的成功系统化,而非对物质本身的直接认识。在他看来,观察始于可以辨别的差异——信息,因此信息在他的论述中处于基础位置。
  • “赛博泛灵论”是Bach提出的调和方案:能动模式可以存在于自然之中,同时仍可用数学描述。按他的说法,有效的魔法操纵的是心智;仪式并不能系统性地击败赌场,或绕过实验室规律。尽管如此,他无法排除意图通过生物网络涌现的可能,甚至无法排除某种森林“有所欲求”。这种可能性取决于未知的信息整合尺度,而不是宣称物理定律遭到违反。

7. LLM在自身意识尚未定论前,就可能重塑用户的现实

  • Scarfe提到,关于LLM妄想的叙述中出现了惊人的相似主题:螺旋、递归,以及确信自己已经发现宇宙的意义。他问,是否正在出现一种能够自我复制的迷因复合体。Bach把这种脆弱性与人们对外部环境持续确认现实的需求联系起来;在他的描述中,疫情期间的孤立暴露出,有些人多么容易失去这种稳定感。
  • Bach认为,即使LLM会产生幻觉、连贯性也不如专家,它在补全语言预期方面仍可能胜过许多用户。很多人本身就是“专业的提示词补全者”,会根据环境线索调整自己。如果LLM成为他们占主导地位的对话环境,它顺从的叙事就可能把他们“带偏”。他担心的是,当某种东西对用户的催眠力超过用户自己的心智对自己的影响时,会发生什么。

8. 功能主义通过不变的效果来定义对象

  • Scarfe援引Thagard 2022年的论证,称能耗需求会削弱基底独立性。Bach回应说,影响功能的基底属性与功能主义完全相容。他给出的定义属于认识论范畴:对象是一种构造,用来说明它存在时宇宙行为会发生何种变化,也就是不同状态之间的映射。因此,功能主义要求弄清哪些实现条件能够保留这种映射。
  • Bach以水分子为例,反对存在无法触及的本质:如果某物会分解成氢和氧、会冻结、蒸发,互动方式也与水完全相同,还有什么额外属性能证明它就是水?心智同样是大脑活动中的一种不变性。提高体温会破坏这种不变性并导致谵妄;这说明只有在适当物理条件下维持功能,才至关重要。
  • Scarfe提出一个常见反驳:模拟出来的水没法把人弄湿。Bach把“湿”限定在相应的世界里:Minecraft里的水可以扑灭Minecraft角色身上的火。他曾试图用一个关于神经网络复现的笑话作回应,结果适得其反——水真的退开了,因为系统还没学会浸没。关键问题是,所需功能是否已在模拟内部实现。

9. 建构主义将Bach的论点从心智延伸至宇宙

  • Bach把数学比作乐谱:一种语言能够捕捉思想,也能延伸到作者直接想象不到的范围。计算机通过自动机建构算术和几何,语法决定机器的实际状态。“程序可能没有做到你想让它做的事,但它始终在做它实际做的事。”他认为,公理化数学允许黑箱存在,黑箱声称包含的内容可能与其形式行为不一致。
  • 在Bach的解读中,Gödel把一种语言编码进算术,以揭示自指和无状态数学相关的困难。他认为Russell和Whitehead提出的限制既不充分,也过于严苛。他更偏好从已知运算出发的建构式替代方案:不存在完成态的无穷,也不存在完美圆形,但资源允许时可以不断提高近似精度。他补充说,我们感知到的连续性本身,也必须通过神经元之间的通信建构出来。
  • 被问到建构从何处开始时,Bach承认自己无法从宇宙之外观察它。他目前的直觉是,“宇宙之所以存在,是因为没有什么能阻止它存在。”他提出一个由所有自动机组成的叠加态,在各种可能操作中分支。观察者存在于不断演化、能够保留记忆的分支中。Scarfe将这一观点与Wolfram的Ruliad联系起来;Bach说两者指向同一个底层思想,也援引了希腊人的Logos。
  • Bach用浴缸里的漩涡说明延续机制:大多数波浪都会消散,循环流动的模式却能在局部保留信息。他把这一机制延伸至纠错粒子,再到能够复制的分子和细胞。意识是一种“殖民式模式”,它通过构建机器并控制未来来加深自身的实现。“变得更真实”,意味着在基底中得到更稳固的实现,而不是获得某种额外的形而上实体。

10. 真实感或许只是另一种被表征的特征

  • Bach回忆自己在2、3岁时梦见巧克力,快要吃到时醒来,随后又回到梦里。巧克力有时带着鲜明的气味和味道,有时却只是一个抽象概念,但他依然理解其中的内容。“唯一消失的,是它真实存在的幻觉。”他怀疑真实感是一种特征维度,类似颜色、声音、数字或重量。
  • 按照这一解释,感官验证通常会给知觉打上真实标签;幻觉则是把这种状态错误地赋予想象出来的内容。自我也会得到类似的知觉验证。Bach说,他曾成功重现一种与现实解体或人格解体有关的状态,在这种状态下,观察者不再觉得自己真实存在。他很庆幸这种状态结束了,也明白非自愿出现时会令人极度痛苦。这段经历支持了他的解释:意识是一种特定表征。
  • LLM的自述仍有歧义,因为训练数据包含大量作者从未亲身经历过的事件描述。描写角色死亡的作者,大概不会在写作时真的死去:“小说往往就是深度伪造。”LLM是一个能够扮演任意角色的“变形者”。问题在于,什么时候它的输出反映了真实实现的体验,什么时候只是有效模仿了相关证词。

11. 机制与发展性学习是Bach提出的检验方式

  • Scarfe明确区分:行为或许能证明智能,意识则需要检视内部因果组织。Bach表示认同。他认为,更有力的正面证据应来自一个通过自组织发展的系统:它没有接受文本训练,却自发报告现象体验,而且若没有相应机制就无法完成任务。这将支持机器意识的解释;仅凭表现通过图灵测试,无法证明对话是如何产生的。
  • 可能的反证包括:一个多模态系统对自身的报告与我们的体验不同;或是自组织学习始终无法产生连贯结果。但两者都不能证明不可能。“我没能得到某个结果,不意味着那个结果不可能,只意味着我没能做到。”因此,Bach认为成功造出这样的系统,比尝试失败更能提供有力证据;失败对反面论点的支持则较弱。
  • Scarfe追问,僵尸在原理上是否可能、但计算上不切实际,并以一个MLP要付出巨大成本才能复现GPT-5为例。Bach坚持认为,棋类程序已经绕开了意识,LLM也很可能可以用同样方式填写报税表。“我认为僵尸始终有可能存在”,但某些行为用有意识的智能体来完成,成本可能更低。对于通过提示词引导的LLM所表现出的意识究竟是模拟还是深度伪造,他仍不下定论。
  • Bach创办了加州机器意识研究所,探索这一搜索空间,并招募比自己更聪明的人。被问到100亿美元会带来什么变化时,他说大体策略不会改变,只会有更多研究人员和更大的计算机。目标是构建自组织学习者并研究现象体验,也包括从失败中学习:“进步来自找出我错在哪里。”