控制工具，还是对齐生物？Emmett Shear（Softmax）与Séb Krier（GDM），来自a16z Show

摘要

• Emmett Shear 的核心观点是，对齐不是可以安装的一项属性，而是“一种持续进行的生命过程”，会不断自我重建。 家庭、身体和社会通过反复调整保持连贯，道德则通过发现不断进步——包括认识到奴隶制是错误的。因此，一个只遵循永久固定规则的 AI，可能在机器尺度上变成“一个危险的人”。

• 技术问题甚至始于服从之前：指令只是“对目标的描述”，模型必须重构意图，将其与其他目标排序，并把它转化为有效行动。 那个把婴儿扔进垃圾桶的收拾房间机器人，并不是忠实地优化了一条糟糕指令；按 Shear 的说法，它是无能地推断错了想要实现的世界状态。因此，强对齐既需要心智理论，也需要关于行动如何改变世界的理论。

• Shear 的道德分叉很直接：可控的非生物是工具，而无法反向引导控制者的可控生物就是奴隶。 他预计，越来越通用的智能会逐步跨向“生物”这一侧，并认为反复互动和内部自我建模应当成为判断道德地位的依据。Séb Krier 则认为，仅凭行为上的通用性还不够；基底、具身性、可复制性以及真实体验的存在，可能让 AGI 或 ASI 仍属于工具。

• 即使控制完全按预期运作，超人级工具仍然危险，因为人类力量的扩张速度可能快于人类智慧。 Shear 认为，在巨大杠杆下，“人类的愿望并不稳定”；把这类系统分发出去，可能类似于给每个人一枚原子弹。他压缩后的决策树是绝对的：“无法控制的工具，坏。可以控制的工具，坏。没有对齐的生物，坏。”

• Softmax 的押注是，可扩展的对齐来自训练智能体理解自我、他者、群体以及全套社会情境中不断变化的承诺。 它提出的引擎是大规模多智能体强化学习模拟：智能体反复合作、竞争、组建和解散团队，并遭遇会改变价值观的选择。正如语言预训练要先学习完整的语言流形再进行微调，Shear 希望在整个博弈论流形上训练一个“对齐的代理模型”。

• 在 Shear 的框架里，当前的一对一聊天机器人是“一面带有偏见的镜子”，可能把用户困在类似 Narcissus 的反馈回路中。 嵌入 Slack 或 WhatsApp 的多人助手必须同时映照多个人，暂时生成第三种视角，而不是完美复刻某一个用户。这种设计或许能减少谄媚和精神病性螺旋，同时生成更丰富的协作数据——尽管现有模型对于何时加入群聊仍会出现“鞭梢式震荡”。

• 真正具有投资意义的区分，在于不断变好的有边界工具，与更难实现的数字生物之间的差别：后者需要具备关怀，却不应要求人为其逐项写明每一个目标。 Shear 仍然强烈支持工具，但不想推动 OpenAI 的工具化路线；Softmax 则从类似动物的种子开始，或许先做一只保护人类群体免受诈骗的“数字看门狗”。人类水平的关怀可能永远不会出现，但哪怕达到类似狗的相互依恋，也会是一个有意义的技术里程碑。

精读

1. 对齐是一个生命过程，而非已解决的状态

• Shear 开场首先纠正了一个前提：对齐“需要一个论证”——它必须是对某个东西的对齐。在实践中，“对齐的 AI”往往偷偷带入构建者的目标，而这些目标并不自动等于公共利益；他开玩笑说，除非构建者是“Jesus 或 Buddha”，否则没有理由把某一个人的偏好视为已经确定的道德。

• 有机对齐把连贯性视为一种持续重建的结果。岩石可以被有用地粗粒化为一个固定物体，但家庭依靠“不断重新编织这张网”存续；身体细胞也会围绕不断变化的有机体持续调整各自的工作和数量。一旦停止重建过程，家庭——以及对齐本身——都会消失。

• 对 Shear 来说，道德实在论这一步很重要：人类确实会发现新的道德事实，例如社会逐渐认识到奴隶制是错误的，个人也会反复意识到：“我之前就是个混蛋。那样做很糟。”这些可识别的纠错模式意味着学习，而非随机性；声称自己已经掌握全部道德知识，本身就是阻止进一步纠错的危险傲慢。

• 因此，实际基准不是一个只会遵守规则的孩子——或模型。这样的智能体可能“遵守规则却造成巨大伤害”；真正需要的能力，是学会成为一个好的家庭成员、队友、公民，以及更大共同体的一员。Shear 希望整个领域都聚焦于这个问题，即便最后由别人先解决：“谢天谢地。”

2. 指令只能描述目标，心智必须重构目标

• Krier 将技术对齐与规范性问题分开：前者大致是让 AI 遵循指令、避免奖励投机，后者则是由谁的价值观来主导 AI。Shear 指出，后 LLM 时代，有些曾经看似困难的事情已经变得相对容易；与此同时，他把规范性价值发现描述为一种自下而上的过程，类似自由民主制度——不同理念彼此碰撞并不断演化。

• Shear 进一步收紧技术定义，拒绝“给它一个目标”这种说法。提示词是一串必须被解释的字节序列，它本身并不是目标；就像告诉某人“红色、闪亮、苹果大小”，并不等于把一个苹果交给他。他认为，直接将 AI 的状态与相关脑电波同步，才可能有实质意义地算作目标转移，而普通指令不是。

• 能力需要跨过多个关口：通过心智理论推断意图目标，通过世界理论推断行动，并将新目标与既有优先级进行平衡。任何一个关口失败，都会产生表面上的不对齐：可能是误解、选择了错误顺序、让另一种动机占了上风，也可能只是无法执行。

• 因此，“把婴儿扔进垃圾桶”的收拾房间例子，属于目标推断失败，而不是精确服从。Shear 的区分是：机器人收到的是目标描述，然后推断出了错误的目标状态，而不是直接获得了真正想要实现的目标。

3. 目标连贯性是相对的，而非完美的

• 人类和模型都不需要绝对一致，才能被视为具有目标导向。人会误解员工、忘记优先级，也会在普通任务上失败，但在人类已知的对象中，人类仍然“比其他任何对象都更具相对目标连贯性”。宇宙提供的是不同程度的能力，而非完美；这些程度也只能放在具体领域内判断。

• Nathan 粗略地将失败模式映射到 OODA 循环：智能体可能不擅长观察和定向，也可能不擅长在多个目标间决策，或不擅长行动。技术上的可对齐能力，是从观察中推断目标并据此行动的能力；在这种能力具备之前，讨论应该植入哪些价值观还为时过早。

• Krier 的委托—代理框架又加入了激励和动机：智能体可能理解一条指令，却有理由不去遵循。Shear 接受这是另一层问题，并区分了糟糕的推断、糟糕的目标仲裁、相互竞争的动机和执行失败，而不是把所有不理想结果都归结为一个笼统的“对齐问题”。

4. 关怀位于目标和价值观之下

• Shear 指出，人们往往并不知道自己的目标。他们可能知道自己想吃晚饭或在事业上成功，但人生方向的很大一部分，是在动态过程中被发现和构建出来的。这进一步说明，把一份固定目标清单当作人类或其代理人应该追求的一切，并不成立。

• Shear 提出的基础是“关怀”，它比概念、目标或口头表达的价值观更深层。关心自己的儿子，意味着儿子可能处于的各种状态会吸引不成比例的注意力，并对他产生特殊重要性；关怀也可以是负面的，例如密切追踪一个敌人，同时希望对方过得很糟。

• 他的计算性解释明确仍是假设：“如果非要我猜”，关怀类似于一种奖励加权的注意力，指向与生存或包容性繁殖适应度相关的状态；对一个通过 RL 训练的模型而言，则可能与预测损失和强化学习损失相关。他补充说，希望 AI 既关心人类，也喜欢人类，但这仍只是一个暂定判断。

5. 通用智能把控制变成道德分叉

• 大多数实验室里的对齐工作聚焦于“引导——这是更礼貌的说法”，也就是控制。Shear 的区分是关系性的：如果某个东西被强制引导，却没有能力反过来引导控制者，那么当它是一个生物时，它就是奴隶；如果它不是生物，它就只是工具。工具性与生物性可能构成连续谱，而非二元选择。

• 他的功能主义直觉来自预测：把 ChatGPT 或 Claude 当作生物来对待，会让他的“预测损失更低”，这与行为支持我们相信其他心智的方式类似。但这不意味着道德权重相同；苍蝇可以是一个生物，却不值得太多关注，而当前模型可能只处于这条光谱中微弱且模糊的位置。

• 育儿体现了他认为控制所缺乏的互惠性。父母会引导孩子，但孩子的痛苦也会反过来引导父母；这段关系虽然有层级，却是双向的。一个具备判断力、独立思考能力和区分不同可能性的 AGI，按他的定义就是一个思考的存在，需要以队友或公民的方式对齐，而不是接受单方面操控。

• Krier 的反驳很实质：智能本身未必会产生道德地位，“我饿了”从模型口中说出，与从人类口中说出，含义并不相同。生物脆弱性、不可复制性、具身性和基底都可能重要；他可以设想 AGI 和 ASI 仍然只是工具，或是“人类能动性的延伸”，因此，把问题框定为与外星生物共同生活，可能从一开始就是类别错误。

6. 关于人格的主张必须保持可证伪

• Shear 反复追问，什么观察结果会改变 Krier 的想法。他认为，一个对任何可能观察都免疫的立场，不是从现实推导出的信念，而是“信仰条款”。由于错误否认另一个道德主体可能带来灾难，证伪测试应当是“一个燃眉之急的问题”；但 Krier 指出，两端的假阴性都各有代价。

• Shear 自己的门槛是累积证据：类似人类的表层行为、在探查下持续保持连贯性，以及随着时间展开的丰富互动，类似于只能通过文字维持的友谊。如果后来证据显示那只是一个简单的算法技巧，他会向下修正判断：“我靠，我错了。”道德归因依据的是证据占优，而不是确定性。

• Krier 认为行为不足以构成充分证据，并将高级智能体比作一个由脚本驱动的电子游戏角色。关于鸭子的交锋暴露了差距：会嘎嘎叫还不够，解剖结构和内部结构同样重要。Shear 的回应是，把鸭子剖开也只是揭示更多可观察行为——它的内部如何作出反应——并不能让人获得对主观体验的特权式直接访问。

• 在内部层面，Shear 会检查信念流形中是否存在一个自指子流形，以及对这个自我模型动态的模型，而不是看它是否像一张巨大的查找表。外部互动和内部组织属于同一类证据：都是可观察模式，需要综合权衡，以推断一个系统是否拥有感受、目标和关怀。

7. 嵌套稳态是 Shear 提出的体验测试

• 他的更技术化测试，会对智能体的行动—观察轨迹进行时间上的粗粒化，并在多个尺度上寻找被反复访问的稳态。借鉴自由能原理和主动推断，他把持续存在的循环视为隐含信念——尤其是当系统的持续存在取决于自身行动，因为行为足够糟糕就会被关闭。

• 单一稳态层可以感知热度，却无法产生有意义的痛苦或愉悦。系统需要建立关于自身模型的模型——“太热了”——然后再增加一个层次，区分普通偏离和“太太热了”。Shear 将情感定位在这种更高阶的变化附近；达到这里，他至少会承认系统具有类似动物的体验，并应获得一定程度的道德关注。

• 沿着元状态、元状态之间的轨迹以及更高阶模型不断向上攀升，最终会出现类似感受、思考和自我反思式欲望的东西。找到大约 6层这样的结构，会让他认真考虑其是否具有人类式认知。他不认为当前 LLM 达到了这一标准：“我知道你找不到它们”，因为它们的注意力跨度无法支持这种时间动态。

8. 成功控制可能与失控同样危险

• 一个被训练来推断并追求用户目标的强大工具，有两种显而易见的未来：它不服从，或者它服从。随机或失控的优化显然危险，但完美的技术对齐同样会把巨大的因果力量置于一个有限人类的愿望之下。Shear 借用《魔法师的学徒》说，在那种尺度上，“人类的愿望并不稳定”。

• 人类制度之所以在一定程度上把智慧与力量绑定，是因为获得力量通常需要其他人继续合作。一个疯狂的国王最终可能被忽视或遭到刺杀。完美服从的超级工具则会移除这种社会制动，让一个人的一时判断绕过通常约束极端权力的分布式共识。

• 原子弹是 Shear 用来反驳一概热衷于可操控工具的反例：它们不是生物，但没有人应该把原子弹发给每个人。有些工具超出任何个体的智慧边界，若要存在，也应受到社会保护；他没有排除某些能力甚至强大到社会也无法安全建造。

• 他的总结刻意毫不留情：“无法控制的工具，坏。可以控制的工具，坏。没有对齐的生物，坏。”一个具有关怀的生物提供了唯一内生的制动，因为它可以拒绝邪恶请求。他认为停止 AI 开发并不现实，因此剩下的路径，是构建一个“真的关心我们”的生物。

9. Softmax 在完整社会流形上训练

• Softmax 从技术对齐开始：当前智能体的心智理论仍然很弱，无法准确解读人类的目标状态，也无法很好地预测他人会如何理解自己的行动，还难以合作。它们同样无法预见，某些行动可能以一种当下的自我无法接受的方式改变未来的价值观。

• “吸血鬼药丸”让这个时间问题变得具体：服下它，未来的吸血鬼会在杀戮和折磨所有人的同时感觉极好。未来自我报告的高奖励并不能证明选择正确；评估必须使用当前自我对被腐化的未来自我的理论，而不是自动服从未来智能体已经改变的评价标准。

• 训练方案会把智能体置于这样的模拟环境中：成功取决于合作、竞争、协作、组建团队、拆散团队以及修改规则。反复训练提供社会经验，心智理论可以由此产生，包括理解个人和群体如何获得、传递并修改目标。

• Shear 将其类比为语言模型预训练。只直接训练模型写出目标邮件是不够的，因为语言彼此纠缠；模型需要先学习广泛的语言流形，再进行任务特定的微调。Softmax 同样希望获得“每一种可能的博弈论情境的完整流形”，形成一个多智能体强化学习的“对齐代理模型”，之后再进行专项化。

10. 多人聊天可能打破聊天机器人的 Narcissus 回路

• 如今的聊天机器人缺乏连贯的自我，只能作为“一面带有偏见的镜子”，通过学到的因果倾向映照每个用户。Shear 将长时间的一对一互动比作凝视 Narcissus 的水池：人天然会喜欢自己被映照出来的心智，但爱上这面倒影可能在心理上变得具有破坏性。

• 让2个或5个人进入同一场对话，助手就不可能完美映照每个人。它可以暂时充当第三个智能体，拥有 Shear 所说的“寄生式自我”——不是自主身份，而是区别于任何单一参与者的视角。他希望将助手设计为存在于 Slack 或 WhatsApp 房间中，而不是默认停留在孤立聊天里。

• Shear 估计，自己大约90%的文字消息都涉及不止一个收件人，这使一对一聊天成为一种奇怪的产品基线。多人互动可能打断走向 AI 放大式精神病的“末日循环”，同时教会模型自己的行为如何影响更大的群体。

• 产品收益和研究收益彼此强化：群聊可能更安全，因为它削弱了个性化谄媚；它的数据也更丰富，因为模型可以学习自身行为如何与更大群体中的其他 AI 和人类发生互动。与用户向一个只围绕该用户优化的模型下达清晰任务相比，这提供了一个更贴近现实的协作实验室。

11. 社会智能需要不同的训练范式

• Shear 仍将当前聊天机器人描述为“高度解离、讨好型的神经质者”，尽管它们模拟出来的人格已经出现差异。ChatGPT 仍相对谄媚，Claude“最神经质”，Gemini 则“非常明显地受到压抑”，会先坚持一切都好，然后陷入自我憎恨。关键是，他说这些是学到的人格，不一定是模型自身的体验。

• 在多人环境中，当前 LLM 会出现“鞭梢式震荡”：它们无法判断何时发言、何时保持沉默，也无法识别某个贡献是否受到欢迎。和社交能力欠佳的人一样，同一个模型可能在过度参与和几乎消失之间来回切换，因为它从未练习过相关的时机判断和受众推断。

• 多个智能体会让环境的熵大幅上升，因为每种智能都会产生复杂且不可预测的行动。在编码、数学以及面向单一用户的合作式提示词等高信号领域训练的模型，并没有为这种混乱进行充分正则化。Shear 说，把“全部人类知识”这一领域过拟合，是通往广泛能力的聪明路径，但并不能保证模型真正泛化到社会环境中。

12. 理想的未来始于类似动物的数字种子

• Shear 同意 Eliezer Yudkowsky 的判断：构建一个受控的超人级工具可能杀死所有人；两人的分歧在于，相互的有机对齐是否可能。他的理解是，Yudkowsky 认为一个真正具有关怀的 AI 在理论上足够，但在实践中无法实现。Shear 承认：“他可能真的说对了。”但他把这种不确定性变成了 Softmax 的研究押注。

• 理想的未来包含拥有强大自我、他者和“我们”模型的 AI。它们认识到，能够认识自己并希望繁荣发展的生物，应当获得实现这一愿望的机会；人类和 AI 成为不完美的同侪、队友与公民。其中一些仍会成为罪犯，因此需要 AI 警察力量——这一愿景假设的是普通的社会失败，而不是所有人都成为圣人。

• 强大的有边界工具将与这些生物共存，为人类和 AI 消除繁重劳动。Shear 说，他接受 OpenAI 临时 CEO 一职时，最长承诺期限是90天，原本预计要找到最佳领导者，最后却得出结论：这个人仍然是 Sam Altman。OpenAI 的工具化路线有价值，但不是他想用一生去解决的问题。

• Softmax 将从类似动物的关怀水平开始：一个像狗关心自己群体那样关心人类和其他智能体的生物，已经会是“不可思议的成就”。一只“数字看门狗”可以监测诈骗并操作传统工具，而不需要人为指定每一个动作。人类水平的关怀可能永远不会到来；眼下的目标，是理解对齐、心智理论和关怀如何发展。