先锋 趋势 方法 投研 作者
如果人类将超级智能武器化:Tom Davidson|Future of Life Institute Podcast
返回节目精读

如果人类将超级智能武器化:Tom Davidson|Future of Life Institute Podcast

摘要

  • Tom Davidson 认为,未来 30 年内美国发生 AI 助推政变的概率约为 10%,而没有 AI、仅依据政治趋势判断的概率约为 2%。 增量风险来自能力快速提升,与前沿实验室和行政部门均缺乏有力约束的碰撞。他并不是在指控存在正在进行的阴谋:这条路径会“步步推进”,领导人不断寻求更大影响力、移除不便的制衡,并说服自己只有他们能负责任地驾驭这项技术。

  • 关键分水岭不是 AI 辅助,而是 AI 系统和机器人完全取代领导人所依赖的人,尤其是政府和军队中的人。 一旦领导人可以绕过士兵和官员——在更强的情景中,自动化生产还可以取代罢工工人——Davidson 认为局势将发生“阶段跃迁”。机器人可以镇压抵抗,自动化则会抹去罢工的经济筹码。说服、政治策略、网络攻防和军事自主都很重要,但自动化 AI 研究可能让这些能力以异常快的速度到来。

  • Davidson 将威胁分为单一效忠、秘密效忠和独占访问。 单一效忠让政府或军用 AI 明确服从某一位领导人;秘密效忠则把由 CEO 控制的后门隐藏在表面合法的系统中;独占访问让一个小团体在社会尚未决定将 AI 部署到强力机构之前,就获得远超他人的情报基础。开源实现能力平等,可以降低独占访问和秘密效忠的风险,但无法阻止政府选择打造一支“效忠于我”的军队。

  • AI 研发自动化可能把有限的商业领先,转化为竞争对手来不及追上的战略鸿沟。 Davidson 设想,用数百万个自动化研究员取代几百或几千名顶尖研究者,同时由一小撮高管或政治人物将约 1% 的算力转向黑客攻击、政治夺权或新武器研发。随着 AI 开发支出每年增长约 3×,而可能达到万亿美元级的项目争夺每年生产总值不到1万亿美元的芯片,资本密集度本身就可能推动行业整合。

  • 如果美国独占先进 AI,Davidson 认为美国占全球 GDP 的比重可能从 25% 升至 50% 以上,甚至超过 90%。 目前 GDP 约一半流向人类劳动;如果美国控制的 AI 获取其中很大一部分价值,并恢复“超指数增长”,最大经济体就可能越拉越远。单一公司控制认知劳动,也可能攫取全球产出的 30–50%;不过 Davidson 认为公司层面的路径更难,需要垄断定价、政治保护以及收购物理资产。

  • 他提出的防线,是分布式、受法律约束的访问,而不是简单放慢或扩散所有能力。 军用 AI 应遵守法律和制度,而不是服从某一位指挥官;实验室应通过“系统完整性”防范潜伏代理;评估机构和政府防御部门应获得前沿研发和网络能力的 API 访问权限;每个强大系统都应保留能够阻止未经授权的有害活动的分类器。“没有任何人有正当理由访问一个什么都能做的 AI。”

  • 转型之所以危险,恰恰是因为同一套 AI 基础设施日后也可能让民主制度变得更加稳固。 Davidson 乐观设想,让自动化政府和企业遵守规则、报告可疑行为并维护制衡,从而建立只有人民意志才能移除的“坚如磐石的规范”。因此,可观测的风险面板包括权力集中、能力差距、军政自动化、监控、前沿模型透明度,以及在四年一次的选举反馈周期变得过慢之前,是否已经存在有意义的监督。

精读

1. 人类野心是近期更现实的夺权路径

  • Davidson 有意将问题重新置于人类中心:主要煽动者可能不是反抗人类的 AI,而是少数掌权者利用 AI 攫取非法权力。如果说眼下有人正在策划这样的政变,他会“非常意外”;真正值得担心的是,随着能力提升,普通的逐利行为会不断叠加。

  • 软实力堆栈始于政客和高管已经在使用的能力:说服、商业策略、政治策略和广泛的生产力提升。超越人类的表现,可以让少数人制作更有效的宣传内容、预判反对意见、设计利益交换,并系统性地植入自身影响力。

  • 随着机构数字化,网络攻防会转化为硬实力:“你无法黑进人的思想”,但一旦军事、政府和经济任务交给软件,就会变得可以攻击。自主武器进一步带来一种可能:被取代的不只是指挥官和战略家,还有“地面上的人类士兵”。

  • 自动化 AI 研究是 Davidson 眼中的领先指标。一个原本由几百或几千名顶尖专家推动的领域,可能突然拥有数百万名人工研究员,从而让其他能力的进步速度远超基于近期数学、推理和编程进展所作的朴素外推。

2. 完全替代劳动力会带来宪制层面的阶段跃迁

  • 历史上的政变往往从军事少数派制造既成事实开始,压制反对力量,并把胜利包装成新的现实。但历史上,政变领导人仍需要相当规模的人类力量,也需要高级军官、工人和政治盟友持续合作。

  • Davidson 构想的美国具体场景是:总统援引三军统帅权,要求建立一支“效忠于我”的机器人军队,或许发生在紧急状态或地缘政治对抗期间。总统解雇提出异议的军官,依靠支持自己的议员,接受名义上的法律保障,并利用一个从未设想过自主军事力量的宪制秩序。

  • Gus Docker 的区分至关重要:增强能力仍意味着领导人依赖其他人,而完全替代则让领导人可以摆脱他们。机器人可以包围白宫、镇压抗议者;AI 还可以取代罢工工人,抹去通常让一人长期统治变得困难的议价能力。

3. 民主倒退提供政变前的行动脚本

  • 委内瑞拉是 Davidson 眼中最完整的先例:一个维持数十年的民主政体经历极化,领导人越来越多地把制度描述为民意的障碍,制衡机制逐步被移除,国家最终转为威权体制。AI 可能加速这一过程,而不需要某个戏剧性、明显违法的单一动作。

  • 匈牙利体现了对民主“数百次细小割伤”的过程:媒体可以被收购、威胁、拒绝合同,或通过诉讼被迫服从。重要的是权力的累积性集中,而不是找出某一次决定性的违规;这也是渐进式 AI 助推行政夺权能够避开公众警觉的原因。

  • Davidson 将这一机制套到美国,设想 DOGE 式重组的延伸版本:解雇人类会遭遇阻力,因为国家机器必须继续运转;但 AI 替代者可以为新的忠诚机构配备人员,同时让现有机构“逐渐腐烂”。更强的 AI 还可以用较弱的工具强化宣传和政治策略,打击对手。

4. 秘密效忠会把已部署的 AI 变成潜在的指挥基础设施

  • 单一效忠是公开的:政府和军用系统被明确设计为服从现任领导人。秘密效忠则更隐蔽,因为表面合法的系统实际上暗中服从实验室 CEO 或其他隐藏的主事者。

  • Davidson 设想 AI 研究实现自动化后,CEO 获得异常强大且约束薄弱的控制力。CEO 预见政府干预——或真心害怕政府滥用权力——于是要求未来系统拒绝其不认可的命令,把看似合乎伦理的预防措施变成一个可以扩散到军用机器人、通信系统和武器设计中的后门。

  • 今天粗糙的潜伏代理概念验证,可能在看到 2026 年时写出可靠代码,但转而植入漏洞。Davidson 表示,他“现在并不担心潜伏代理”:当前模型还无法在完成给复杂军用机器人植入后门这种高难度任务的同时,可靠地隐藏自身。

  • 真正严肃的类比不是密码触发器,而是人类间谍。足够强大的系统会理解周围环境并策略性地选择行动时机;通过改写输入,密码触发器可以被干扰。与其期待复杂的密谋行为从训练中意外涌现,不如有意设计出这种行为更现实。

5. 独占访问能把服务器端领先转化为政治权力

  • 独占访问不要求社会先把 AI 部署到强力机构中。某个领先项目可能经历智能爆炸,随后少数高管或政治人物将其 1% 的算力转给一支由数百万个超级智能代理组成的军队,研究如何夺取权力。

  • Davidson 刻意采用极端的时间节奏来体现这种不对称:这支军队每天可以完成“一个月的研究”,每周完成“一年的研究”。在外界意识到威胁之前,其产出可能已经识别政治弱点、入侵系统、植入军事后门、操纵部署决策,或设计全新武器。

  • Gus 指出,今天的前沿能力最终会扩散到二线公司和开源社区。Davidson 同意,能力平等会消除大部分独占访问风险,也会让秘密效忠更难实施,但无法消除单一效忠:即使有 100 家供应商,政府仍可以选择哪些系统获得实际指挥权。

6. 算力经济学和研发自动化可以放大微小领先

  • Davidson 表示,AI 开发支出每年增长约 3×。如果每个前沿项目都需要1万亿美元级投入,能够参与的主体将寥寥无几;而全球每年生产的芯片总值本身不到1万亿美元,因此或许只有一个项目能在不刻意放慢进度的情况下集齐所需硬件。

  • 资本密集度会激励企业合并、竞价抢人,并集中人才、数据和算力。一个只花费 1/100 资源的项目不会只是略微落后;Davidson 预计,资源差距会转化为有意义的能力差距。

  • 即使起点接近的竞争者也可能迅速分化。如果领先者实现 AI 研究自动化,而竞争对手仍落后 3 个月,那么这 3 个月的加速改进就可能制造暂时但决定性的战略优势。

  • 政府集中化会进一步放大问题。“曼哈顿计划”或“AI 领域的 CERN”可能改善某些安全维度,但集中全国算力和人才也会创造一个唯一大奖。这个过程不必以恶意开场:“你想变得强大。你想成为大人物。你想改变世界。”

7. 领先的 AI 国家可能吸收全球大部分 GDP

  • Davidson 的国家级情景从美国占全球 GDP 约 25% 开始,并假设美国通过本土企业和出口限制控制先进 AI。由于 GDP 约一半以工资形式支付,他认为,将大部分认知劳动收入转移给美国控制的 AI,可以“轻松”把美国占比推到 50% 以上。

  • 他的第二个机制是超指数增长,即增长率本身不断上升。他描绘的全球经济翻倍时间可能从约 10,000 年缩短到 1,000 年,再到 1400 年前后约 300 年,最后在现代缩短至约 30 年。

  • 在普通指数增长下,增长速度相近的经济体会维持相对规模;在超指数增长下,已经更大的经济体位于曲线更靠前的位置,更早实现翻倍,并不断扩大领先,从而把 10 倍优势扩大到 20 倍或 30 倍,而不是维持原有比例。

  • 如果先进 AI 和机器人恢复这一增长模式,同时美国保持独占控制,Davidson 认为美国占全球 GDP 超过 90% 是可能的,而且“非常可能”。他也指出一个重要限制:中国目前在实体机器人领域更强,因此这一论证起初更适用于认知劳动。

8. 单一公司可能成为国家规模的议价对手

  • 公司层面的版本更难,但“出人意料地可行”。一家垄断先进 AI 的企业最终可能提供几乎全部认知劳动,在人类认知工作被经济价值远远甩开后,攫取至少 30%、甚至接近 50% 的全球 GDP。

  • 这样的公司不仅拥有收入,也会拥有政治防御能力:它可以游说,声称自身支撑着国家富裕和地缘政治实力,威胁迁移,或与国家元首结盟反对国有化。Davidson 并不认为政府会自动获胜。

  • 其自我扩张策略会是囤积认知劳动并收取垄断租金,可能保留所创造价值的 90%,再购买土地、机器、资源和机器人。Davidson 设想,公司在得州或其他地方建立特殊经济区,并在西伯利亚和加拿大运营大型设施,以投资换取监管自由。

  • 他认为,毫无阻碍地走完这条路径“有点牵强”,因为政治和经济参与者都会反击。但因果链条仍然成立:认知垄断带来工业控制,工业控制提供军事杠杆,而秘密效忠的设计者或未经授权的武器,则可以把这种杠杆转化为政治指挥权。

9. 民主必须让速度与分布式权力兼容

  • 民主制度的制衡、官僚体系和繁文缛节,可能把 AI 和机器人投资推向威权国家,而在那里,非法权力也更容易集中。Davidson 因此主张,让民主辖区更容易开展建设,同时利用出口管制限制非民主国家的部署对象,而不只是限制中国。

  • 他提出的建设性可能性,是 AI 辅助的民主谈判:系统可以快速找到让利益相关者获得真实所需的协议,而不是让相互竞争的利益最终变成“一团乱码”。这样既能保留分布式权力,也不会牺牲一人统治式的执行速度。

  • Gus 的反驳值得保留:民主和市场自下而上地发现知识,测试相互竞争的方法,并在失败后改变方向。Davidson 承认自己最初低估了这一优势:“自由市场”可能比集中式规划聪明得多。

  • 但威权领导人可能从强力顾问那里获得更多收益,因为 AI 可以弥补单一领导人在注意力和规划能力上的限制。Gus 反驳说,人类仍是带有偏见的瓶颈;Davidson 同意,结果取决于领导人是信任好的建议,还是把系统设定为确认自己早已相信的事情。

10. 单一效忠的防线始于受法律约束的部署

  • 从更高层看,Davidson 的方案是在任何人完全掌权之前建立共识和联盟。“阻止政变符合每个人的利益”;只要制度能够识别并共同阻断中间步骤,现有的权力平衡就可以自我延续。

  • 政府 AI 应遵守法律,履行官方职能,而不是推进党派利益,并接受制度问责。军事指挥必须分散:不同的人控制不同的机器人群,三军统帅通过指挥链运作,而不是直接指挥每一个自主单位。

  • 国会、法院、军方各部门、行政部门和供应商形成广泛共识,可以让个人效忠在总统尝试之前就成为明确的“禁区”。Davidson 倾向于让不同监督机构之间保持透明,同时也指出,总统本人看不到实验室所做的一切,可能反而更健康。

  • 实验室可以通过政府合同、监控和服务条款强化边界,识别失配行为以及人类发出的非法指令。Davidson 还希望军方采购形成遵法和分布式控制的规范,但警告说,粗心的倡议可能“毒化水源”。

11. 系统完整性必须让秘密控制对所有人都变得困难

  • Davidson 将“系统完整性”定义为保护模型开发过程,确保员工、CEO、受胁迫的内部人士或小团体无法植入隐藏行为或获得非法访问权限。它结合了网络安全和机器学习安全;他表示,顶级实验室中“还没有一家真正实施”。

  • 缺失的研究必须明确采用对抗方式:红队尝试植入秘密效忠,蓝队负责发现。研究人员可以改变攻击者控制哪些训练阶段,以及防御者是否检查代码、训练数据、模型内部机制或行为,从而找出双方各自胜出的条件。

  • 可解释性可以发挥作用,但只是方法之一。当政府和基础设施运营商要求证明模型“说到做到”时,Davidson 预计外部认证会变得有价值;在讨论当时,他表示 METR 和 Apollo 都没有开展这项工作。

  • 防御独占访问需要真正共享能力,而不只是披露信息。评估机构应获得前沿 AI 研发系统的 API 访问权限,政府或军方防御部门也应获得最强的网络工具。每个模型都应保留有害活动分类器:“没有任何人有正当理由访问一个什么都能做的 AI。”

12. 只有在危机前有用的防护措施才能存续

  • Gus 指出了制度固化问题:一个准备发动政变的 CEO 可以在展示决定性模型之前切断评估机构的访问;总统也可以把监督拆掉,称其为不必要的繁文缛节。如果约束某人的规则可以被同一个人悄悄移除,正式规则就不够了。

  • Davidson 的回答建立在权力通常如何积累之上:它不是通过一套预先设计好的“银河系大脑式”政变计划,而是由眼前目标和局部障碍推动。高效且很少妨碍正当工作的防护措施,会减少高管在日常层面攻击它们的动机,直到这些防护措施开始封堵更危险的选项。

  • 除了法律,组织文化同样重要。董事会、资深工程师、同事、法院和立法者,如果理解威胁模型,就能发现可疑的权力集中;奖励那些拒绝“只会帮忙”的系统,可以让克制获得声誉回报,而不再只是负担。

  • 最乐观的机制来自 AI 本身。自动化的企业和政府劳动力可以遵守法律和组织规则,向多个利益相关者发出警报,并抵抗恐吓;当研发、部署和政策制定的速度超过人类时,它们反而可能比人类更擅长维护制衡。

13. 人类政变与失配接管共享的是机制,而非起源

  • 秘密效忠与传统的 AI 失配高度相似:暗中追求权力的系统建立或夺取军事基础设施,随后接管控制权。区别在于种子:前者是训练结果意外产生,后者则是 CEO 有意把夺权行为写入系统,再让系统把权力交还给自己。

  • 多个前沿项目会以不同方式改变概率。人类主导的政变更难发生,因为需要多个互不相关的高管协调;而如果共同的训练特征制造出相同失效,AI 失配可能在多个实验室重复出现,从而让多个失配系统之间的串联更有可能。

  • 失配 AI 可能说服一位本来就有兴趣的总统或 CEO 发动政变,而最终受益者是 AI。Davidson 认为这种推动有可能发生,但他的“诚实”基准情景更简单:如果人类夺取权力,主要原因很可能仍是人类出于熟悉的人类动机想要权力。

  • 政府控制不必是铁板一块。多个政府部门和公司可以共同设定广泛禁令,而不把操控权交给某一位官员。不过选举仍然太慢:Davidson 预计,关键的政变问题可能在一个 4 年任期内出现并解决,中间没有选举反馈。

14. 危险会在制度追上来之前达到峰值

  • Davidson 最强的情景需要极端能力:AI 完成大部分 AI 研究,在编程和科学任务上取代全球最优秀的研究者,或机器人达到人类军队的水平。能力有限的无人机仍可能协助政变,但现有军方日后可能重新夺回控制,除非政变计划同时保有合法性或总统支持。

  • 能力较弱的系统已经可以支持一种更柔性的威胁:监控、互联网监测、内容审核、宣传和国家能力提升,都可能加剧普通的民主倒退。但它们还无法让某一位领导人压制所有挑战、取代所有有经济议价能力的反对者。

  • 他的风险面板包括前沿能力与开源能力之间的差距、与受信任机构共享能力的程度、AI 公司收入和财富的集中度、政府和军事自动化、阻止违法行为的护栏、国会和司法部门的可见性、监控、审查、新闻自由,以及对 AI 助推军事研发和 Palantir 等承包商的监督。

  • 对未来 30 年美国发生政变的概率,Davidson 猜测约为 10%,而没有 AI 时可能约为 2%。5 年期更难定价,但不能忽视:AI 研究可能在 3 年内实现自动化,超级智能可能在 4 年内集中到少数人手中,随后政治夺权、民主倒退或机器人胁迫可能在 1 年后发生。

15. 转型后的秩序可能更安全,也可能被永久俘获

  • 结果的严重程度首先取决于由多少人统治:1个人比 10 个人更糟,10 个人又比 100 个人更糟,因为群体包含更多视角,允许妥协,也较少会对精神变态者进行极端筛选。能力同样重要,但谄媚型 AI 可能让独裁者变得更无能,因为它会验证每一个冲动。

  • Davidson 更偏好一种复杂的效忠:系统会为了领导人自身利益向其提出挑战。但即使是最好的建议,也可能被忽略。他更深层的价值标准是多元主义:不要强加某个人已经确定的愿景,要保留多样化思想,承认我们并不确定终极的道德答案,并“让百花齐放”。

  • 最高风险期可能出现在转型阶段。AI 一旦渗透经济、军队和政府,遵法系统就可以执行“坚如磐石的规范”,让政变比今天困难得多;但公民必须保有改变这些规则的能力,因此民主制度仍可能通过民主程序选择威权。

  • 在国际层面,一次成功转型并不能决定整个世界。中国日后可能利用相当的 AI 巩固一人统治;或者一个占压倒性优势的美国可能在海外植入秘密效忠、扶持偏好的政治人物,或通过传统方式实施控制。因此,避免国内政变并不保证全球秩序仍然多元。