《The Compendium》——Connor Leahy 与 Gabriel Alfour

摘要

• Connor Leahy 和 Gabriel Alfour 认为，按当前轨迹，超级智能导致人类灭绝是主线结果，因为能力在扩展，却没有相应的智能科学或控制科学。 前沿实验室公开承认风险，却仍在“不管不顾地竞赛”，几乎没有认真考虑安全；两位嘉宾的目标是争取更多时间，而不是假定这条轨迹不可改变。

• “软件没有工厂、材料和机器就不可能称霸现实世界”的反对意见，低估了前沿 AI 正在多深地嵌入经济体系。 Leahy 的回答是，AGI 可以把企业、市场、工具、人类承包商和供应链当作“延伸认知”，起初做到一家企业能做的任何事——至少在一段时间内大概会如此——之后甚至可能发明超出现有工业体系的技术。

• 两位嘉宾拒绝接受“某一种特殊能力可以清晰区分人类、动物和 AI”的自信论断。 科学界试图找到这条边界的努力一再失败；Alfour 的判断是，任何宣布存在“决定性差异”的人，都应被视为可能有些怪诞。量化提升仍可能造成质变——口述传统、文字、更清晰的语法，或对每个已部署 AI 实例进行微调——因此不确定性不等于安全。

• 监管不必等到智能、能动性或意识获得完美定义之后才开始。 Leahy 把这种要求比作烟草公司坚持让监管者先找出确切的致癌化学物质；现实任务是画出一个“足够小、但一定包含危险的圈”。Alfour 列出的监管边界包括项目意图、算力阈值、开源前沿模型、自动化 AI 研发、越狱所需努力少于10天的系统，以及完全在线、没有闸门或关闭开关的部署。

• 在 Leahy 看来，当前的“对齐”工作很大程度上是产品满意度和公关工作，而不是为一个比世界其他部分加起来还强大的系统做准备。 一个令人愉快的聊天机器人，无法回答事实上的“全球独裁者”应该执行什么价值、如何解决冲突，或人类如何纠正它。因此 Leahy 认为，可信的最低投入是持续数十年的曼哈顿计划：“如果你们连让所有最优秀的科学家用一代人的时间来研究这件事都做不到，那就撑不过去。”

• 经济上行空间与权力极端集中、以及未经检验的后劳动力社会安排不可分割。 Alfour 认为，无论是国家分配，还是 UBI——实际上对少数 AI 生产商征收可能高达90%的税——在政府多年未能约束 Big Tech 之后都不可信。他对加速主义更深层的反对是制度性的：“没有规则，就没有竞争”；不受约束的技术竞争会变成负和竞赛，而不是生产性资本主义。

• 他们的政治乐观主义建立在对民主制度的一次具体测试上，而不是对说服精英的信念。 Control AI 冷邮件联系英国议员和上议院议员，获得60场会面，并争取到20名支持者——约33%的转化率——支持制定应对灭绝风险的强制性监管。下一步建议包括每3–6个月测试一次的国家级集群关闭开关、15分钟紧急关停、应急预案，以及只有在签署方合计占全球 GDP 的35%、占全球人口的35%后才生效的条约。

• Leahy 的最终立场比禁止所有 AI 更窄，但比只监管今天最大规模的训练任务更宽：禁止“未经监管、不可信、非共识的 ASI”及其前身。 他不一定会禁止 LLM，但认为开源 GPT-5“近得令人无法安心”。这场战略押注是：普通人压倒性地偏好生存，而支持 ASI 的群体只是一个规模很小、投入极深的少数派，只是被游说、网络回音室和制度惰性放大了。

精读

1. The Compendium 认为，扩展速度已经超过理解速度

• Leahy 毫不保留地说明了那篇11月发布、长达115页的论文想做什么：完整论证为什么超级智能导致灭绝“极有可能”、危险为何持续存在，以及现在还能做些什么。

• Alfour 说，近期进展仍是黑箱迭代和增加算力的产物，而不是一种经过验证、能把智能纳入自然概念的理论。OpenAI、DeepMind 和 Anthropic 都承认风险，却仍在竞速；如今制造前沿系统的世界，并不是“我们对智能了解更多之后的世界”。

• 主持人提出的核心谜题是：为什么智能可以被增长，而不是被设计出来。Leahy 称这是“宇宙中最伟大的谜团之一”：把粒子放进“一锅有点像汤的东西”里搅动，最终竟会出现一个能够进行艺术创作、数学推理和制造核武器的人类。

2. 智能仍处于前科学阶段

• Leahy 用黑猩猩作类比，凸显其中的不确定性：再加入一些“神经元汤”，不知怎么就从一个平庸动物跨越到一个能发明数学的生物。神经网络扩展并非由深层理论预测出来；研究者既然不知道它为何有效，也就无法自信地预测它会在哪里停止。

• 主持人反驳说，生物人类是令人惊叹的高效自我复制者，不需要电网或集中式协调。Leahy 承认，进化通过另一种过程优化出了人类，但认为这并不影响更狭窄的结论：“奇怪的事情是可能的”，而可行的设计空间很难预测。

• 他更偏好的历史类比是炼金术。研究者可以观察到算法与算力之间存在重要互动——“这里肯定有些什么鬼东西在发生”——却还没有相当于化学的东西：一套确立的科学，能够解释智能是什么、如何构成，以及如何有意地建造智能。

3. 没有任何单一能力能清晰区分人类与动物

• 针对主持人提出的人类“融合”、图灵完备性或通用智能可能构成决定性断点的说法，Leahy 指出黑猩猩政治：结盟、策划伏击、改变等级，以及预期他者回报。狗会计划并追踪身份；甚至老鼠也能表现出可辨认的情绪。

• Leahy 认为，科学界反复出现的模式是不断退守的人类例外论：工具使用曾被认为定义人类，直到动物也开始使用工具；随后语言取而代之，直到动物交流能力变得无法否认。“不存在清晰切口”——只有更多算力、更广泛的模式、更好的算法，以及越来越通用的认知。

• Alfour 保留了主持人的直觉，但不接受其解释。人类可以预测，另一代人类可能造出核武器，而另一代黑猩猩不会；真正重要的承认是，科学家仍无法准确说明究竟是什么造成了这种差距。

• 他进一步提出更尖锐的认识论规则：当有人声称自己找到了动物与人类、ChatGPT 之前与 ChatGPT、或 ChatGPT 与人类之间的“决定性差异”时，“你应该说：‘嗯，这人是个怪人。’”这是一道失败的科学问题，不是把个人直觉拔高成理论的邀请。

4. 连续性仍可能产生危险的断裂

• Alfour 认为，量化改进可以打开质变通道。更好的语言可能催生口述传统；系统化语法可以让知识保存得更久；文字则让信息能够在传递损耗中存活下来。“质的差异可以从纯粹量的差异中出现。”

• ASI 也可能从部署架构中获得类似的断裂。人类需要反复重复才能学会一个事实，而且仍然会遗忘；教会所有人实际上不可能。对 AI 而言，对每个已部署实例进行微调可能轻而易举，从而让发现一次性传播到整个系统。

5. AGI 会继承经济体系的物理行动能力

• 主持人的反对意见是物质性的：单有智能无法制造芯片、获取资源，或在没有工厂的情况下复制自身。Leahy 同意建造东西很难，但指出拟议中的 AGI 并不是孤零零地“待在外太空的一块岩石上”；这些系统正以尽可能快的速度接入互联网、工具、知识、人类和商业体系。

• 没有任何个人能造出光刻机，但经济体系可以。因此 Leahy 把正在出现的 AGI 视为更大系统的一部分，并把这个系统当作“延伸认知”：购买设备、委托研究、支付人类报酬，做到一家企业能做的任何事——而且至少在一段时间内，大概确实会这样做。

• 他明确对更长远的前景保留判断。一个比整个经济体系更聪明的系统，如果获得“几年时间”来开发技术，可能继续使用付费的人类劳动力——也可能不会；关键在于，当前的工业瓶颈不会继续存在于一个已经嵌入工业装置的智能之外。

6. 不确定性扩大了监管边界

• 当主持人问到，在没有对能动性或意识达成共识的情况下，监管如何做到精准，Leahy 将困难与不可能区分开来。不知道智能究竟是什么，会让监管变难；但这并不证明监管无法实施。

• 他的烟草类比针对的是对完美测量的要求：烟草公司曾主张，在科学家分离出确切的致癌化学物质之前，不应监管吸烟。Leahy 称，AGI 领域的对应要求是“孤立地要求严谨”；不确定性意味着先画一个更大的保护圈，再随着知识增加逐步缩小。

• 主持人质疑主观的灭绝概率，举出根据10%概率采取行动的问题。Leahy 回答说，可以想象邻居在自己孩子附近制造管状炸弹：刑法和风险评估经常依据知情判断采取行动，因为对于一种独特的未来事故，不存在客观频率可供参考。

• Alfour 建议广泛监管可观察的前身：公开宣称要建造 AGI 或 ASI、大规模算力运行、某些开源发布、没有人类参与的自动化 AI 研发、越狱所需努力少于10天的系统，以及没有闸门或关闭开关的完全在线部署。

7. 5种主要意识形态把 AI 发展变成权力竞赛

• Leahy 说，AI 竞赛中涉及“5种主要意识形态”，本次讨论了其中4种。乌托邦主义者期待超人类主义未来，并认为自己应当把它带来；加速主义者把论点简化为“增长越多越好，技术越多越好”；Big Tech 把 AI 当作另一种权力来源；机会主义者则追逐当前最能吸引资本和注意力的技术。

• 他们的终局并不相同。乌托邦主义者相信自己的 AGI 会带来好结果；加速主义者不希望任何人垄断它，因此支持开源；Big Tech 不断重复“权力、权力、权力”；而机会主义者，Leahy 说，除了什么能赚钱之外“根本不思考”。

• 主持人认可 Andreessen 的论点：大约100年来，增长一直与生活水平提高相关。Alfour 回应说，生育率在增长持续的同时崩溃了，其他条件也在恶化，因此把增长当作普遍代理变量，与其说是一个思想模型，不如说是一种意识形态起点。

8. 后稀缺时代可能变成集中的技术封建主义

• Alfour 列出3种大致结果：灭绝、某种程度上可控的超人类智能，或后稀缺社会。在当前行为下，他把灭绝视为主线，同时强调他们之所以行动，是因为轨迹仍可能改变。

• 后稀缺方案暴露出制度基础有多薄弱。一种答案接近国家分配；另一种是 UBI：少数 AI 公司生产一切，可能被征收90%的税，再在足以防止这些公司“掐死人民”的强监管下，为消费市场提供资金。

• 他的反驳既有历史性，也有政治性：政府在监管算法社交媒体方面几乎毫无作为，尽管它们曾监管报纸、广播和电视。多年失败之后，为什么还要相信，当 AI 公司拥有“全部经济权力”、人类劳动力不再提供任何制衡时，国家能够重新夺回征税权？

9. 竞争需要制度，而不是对自然平衡的信仰

• Alfour 拒绝接受加速主义继承西方自由主义价值的说法。生产性竞争之所以存在，是因为合同执行、外部性控制和规则防止竞争者互相摧毁：“没有规则，就没有竞争。”没有这个框架，结果就是街头斗殴，而不是市场。

• 主持人的自由意志主义反论是分布式韧性：开源 AI 可以像自然系统一样彼此制衡。Leahy 回答说，自然是“弱肉强食”，充满寄生、同类相食、暴力和痛苦；把自发秩序看成良善，反映的是人们依赖自己没有意识到的制度。

• Leahy 的标志性说法是，自由意志主义者是“完全依赖一个自己既不理解也不珍惜的系统的家猫”。混沌才是默认状态——“熵、混沌与死亡”；而人道的秩序是脆弱的异常，必须被建造、维护和捍卫。

• Alfour 明确说出其底层价值：人类——或在一定程度上，有感知能力的存在——应当能够繁荣、追求幸福并摆脱痛苦。他拒绝为了数万亿个未来的非人类存在而牺牲现实中的人：“要么关心此时此地的人和存在，要么关心不存在的东西。”

10. 友好的聊天机器人不是对齐问题

• Leahy 用 ExxonMobil 回应企业自我监管：石油工程师可能会花数百万美元减排，但他们的专业能力和内部准备框架并不能消除问题。真正的问题是，为什么外部观察者要默认信任前沿实验室。

• Leahy 说，实验室已经把对齐重新定义成“我的用户喜欢我的产品”，并称之为公关洗白；他还说 OpenAI 把原本的问题重新命名为“superalignment”。在他的用法中，对齐意味着让 AGI 或超人类智能在现实世界中按照人类价值行动；拒绝用户提出的非法聊天请求，并不能证明这个问题已经解决。

• 真正的问题是，一个比世界其他部分加起来还强大的系统，作为事实上的“全球独裁者”，究竟应该做什么。人类在道德、治理、公共选择、心理学、社会学或博弈论中都没有一个被接受的答案，而且其中大部分领域也没有标准化的定义和进展衡量方式。

11. 只有在人类知道想要哪个世界之后，规则才有用

• 主持人援引类似 Asimov 的规则，认为这是不透明学习系统的一种易于理解的替代方案。Alfour 说，规则思维有用，但前提是它要处理复杂性：人类究竟愿意把什么样的宪法交给一个世界政府，使用人们自己理解的术语，而不是“做任何有益的事”这类指令。

• “什么都不做”当然可以阻止直接伤害，但无法实现真正目标。一个对齐的系统可能需要阻止另一个失控的 ASI、第三次世界大战或生物武器；它必须足够深入地与社会互动，改变人类轨迹，同时不能因此制造出更糟糕的结果。

• 如果正确的宪法存在，Alfour 会“乐观得多、得多”。技术安全仍需处理边界情况和对抗性攻击——也许在分布外变得保守——但让一个系统可靠遵守已知规则，比发现这些规则应该编码哪些价值更可行。

• Leahy 区分了理解与欲望。模型可以表征人类价值，却不一定受这些价值驱动；对齐要解决的是，如何在因果上塑造一个未知的未来决策系统，使其持续产生人类在道德上会认可的结果。

12. 可纠正性与边界性暴露出控制能力有多弱

• Leahy 把可纠正性置于完整对齐之下：系统允许被修改或关闭。控制更弱一层——即使服从会伤害指令发布者，系统仍然遵守指令。究竟哪一层有效，可能取决于 ASI 更像程序、组织、经济体，还是一个分布式集合，而不是“一个连贯的整体”。

• Alfour 指出，人类制度很少真正实现对齐。宪法强调修宪，而制衡、去中心化、代表、议会和政府部门追求的是边界性：任何单一组成部分都不应积累足以支配其余部分的权力。

• 市场也是如此运作的：它并不是让每个参与者都与共同利益对齐，而是在严格条件下让竞争产生有用结果。Big Tech 通过游说和 FUD 运动抵抗纠正的能力，同时代表了边界性失败和“反可纠正性”。

• 规模差距才是决定性的：任务不只是防止今天的企业滥用权力，而是确保一家拥有当前“10亿倍”权力的公司仍然具备可纠正性。当被问到如何制定不受 Goodhart 定律影响的宪法时，Alfour 给出了诚实答案：“人们说我聪明，但我只是我。”

13. 民主制度提供了一条可衡量的争取时间路径

• Alfour 的治理方案从生存、受限实验、更清晰的定义、客观指标和迭代开始。他说，法国的宪法允许某些法律先在地方试行，再扩大范围；这正是适合复杂系统的21世纪治理方式，而不是一次性的意识形态解决方案。

• 人类瓶颈不只是 IQ。Alfour 提到“创伤、强迫和喷子”：研究者回避必要对话，执着于自己偏好的失败方法，或任由意识形态抹去不方便的价值。他说，至少有2–5%的人或许能够遵守足够复杂的规则、创造更好的方法，而更多人能够理解足够多的内容来支撑代议制民主。

• Control AI 的概念验证刻意保持简单：冷邮件联系每一位英国下议院议员和上议院议员，举行60场会面，并请求制定应对灭绝风险的强制性监管。最终有20人支持该声明，相当于33%的转化率，尽管经验丰富的游说者曾预测，只要写入“灭绝”，这项行动就不可能成功。

• 具体提议包括国家级应急预案、每3–6个月测试一次的集群关闭开关、15分钟紧急关停，以及只有在签署方合计占全球 GDP 的35%并占全球人口的35%后才生效的条约。Leahy 补充说，如果某个尚未被发现的原始 ASI 存在1–2%的概率，那就已经太迟了；否则，各国政府本可以直接停止或禁止 ASI 的开发。