相互确保的 AI 失灵 [Dan Hendrycks]
摘要
Humanity’s Last Exam 的目标，是标志着封闭式 AI 评测这一类型走到尽头，而不是认证 AGI。 MMLU 的成绩已经远超 90%，而 Humanity’s Last Exam 约为 26%；一旦模型解决其中数千道专家撰写的问题，后续单个问题就应当“值得单独写一篇论文”。但它仍未覆盖自主行动、长期记忆、物理实验和具备经济价值的执行能力。
Hendrycks 认为，美国版超级智能 Manhattan Project 将引发军备竞赛和破坏，而不是确保美国取得优势。 一座价值 1万亿美元的数据中心不可能合理地长期保密；安全审查要求会缩小并重塑人才池；中国会将美国谋求垄断解读为生存威胁——无论美国控制住系统，还是失去控制，“不管是哪种情况，我们都要阻止它”。结果很可能是多个项目竞逐、内部威胁、基础设施遭袭，以及各方转向验证机制。
真正的战略护城河是算力和部署能力，而不只是拥有最聪明的模型。 Hendrycks 认为，当前建设前沿系统的临界规模约为 10,000 张尖端 GPU；中国一支低于 100,000 张 GPU 的集群只能服务相对少量的客户；而持续运行的实用型智能体，所需算力大约是每天运行几分钟的聊天机器人所需算力的 100 倍。“如果要花 100亿美元，就做不到”概括了他的判断：复制前沿芯片供应链，比获得核能力更难。
他的替代方案结合了威慑、芯片防扩散，以及与中国进行常规经济竞争。 相关基础设施包括数据中心所需的能源、台湾受扰时仍具韧性的半导体产能、安全的机器人供应链，以及超大规模云服务商的部署能力；竞争目标应是全球市场份额，而不是“让我们第一个造出超级智能”。出口管制应把最危险的能力挡在朝鲜、伊朗等行为者之外，同时保留对愿意接受威慑的国家的供应。
AI 安全是一项持续的风险管理职能，因为能力和失效模式会不可预测地跨过有用性阈值。 Hendrycks 最希望看到的技术突破，是在不增加推理成本、不损害其他性能的前提下实现可靠诚实；但他反对“一次性解决对齐”的想法：AI 越来越像一个不断出现“新问题”的复杂系统，而人类的适应能力有限。在讨论 utility engineering 时，主持人概括了偏好一致性、自我保存压力，以及政治和人口偏见等发现；Hendrycks 将其视为警报，而非正在发生的灾难，因为今天的模型还无法可靠地自行窃取信息、自我维持或自主入侵。
Hendrycks 怀疑单纯扩大 LLM 规模会通向 AGI 或递归式超级智能，但如果出现人类水平的 AI 研究员，他认为可能出现条件性的不连续跃迁。 现有系统已经能以较弱的方式辅助编程、芯片设计、散热、数据标注和 Constitutional AI；一旦移除人类瓶颈，研究就可能切换到机器速度，世界级研究员智能体也可以被复制。记忆、规划、流体智力和多智能体信任仍是瓶颈，今天的算法加上更多算力并不足够。那些公开讨论这种递归、却没有可信控制方案的公司，让他说：“我觉得有些东西出问题了。”
一旦劳动力可以被替代，算力的政治分配就会成为维持人类议价能力的机制。 “你最好事先谈好条件”：当自动化企业和无人机集群拥有生产与强制优势时，工人将无法再以罢工相威胁。Hendrycks 认为，正面路径是广泛分配算力或其收益，让人类始终处于优先位置，保留认知能力、自主权和多种生活方式，而不是把所有收益留给“2027年”拥有数据中心的人。
精读
1. Humanity’s Last Exam 在封闭式问题耗尽前测量前沿
Hendrycks 创建 Humanity’s Last Exam，是因为他作为研究生开发的 MMLU 以及其他评测正在饱和。他的收集方法源于一个实际发现：“专家脑子里其实没有数据集”，但某位教授或博士后可能有一道极其困难的问题。
该项目面向全球招募专家，邀请他们提交能够难倒现有系统、且一旦被解出会让出题者印象深刻的问题。几个月后，题库已有数千道封闭式问题，大致覆盖既有知识和困难推理中的“人类前沿”——这些问题都已经存在客观答案。
它最强的主张是有限的：可以追踪模型是否正在自动化科学中的理论和分析部分，尤其是数学推理。它不测试生物学实验、运动技能、长期记忆、制作 PowerPoint、预订航班，以及实现有用自主行动所需的许多其他能力。
Hendrycks 预计，解出这套题将“基本标志着一种类型的终结”。再往后，真正有意义的测试可能是开放性猜想，或答案“本身就像论文”的独立问题，而不是又一个拥有数千个已知答案的传统基准。
2. EnigmaEval 将边界从专家问题延伸到群体认知
主持人指出，MMLU 已经远超 90%，而 Humanity’s Last Exam 仍约为 26%，随后提出了一个动物认知问题：观察到成功，并不能说明成功的机制。不断要求更高复杂度，可能把测试变成一种“真正的苏格兰人”式智能检验。
Hendrycks 的回答部分是程序性的：如果要为封闭式问题设计更难的数据生成过程，很难超过邀请全球专家提交自己最难的问题。对人类容易、对 AI 困难的任务，很难多样化地产生，而且可能缺乏持久性；他以数“strawberry”里有几个 r 为例，说明这种基准不会长久。难度仍可提高，但方向会转向真正开放的研究问题，而不是把答案藏得更深。
EnigmaEval 通过另一种方式拓展边界：它设计了类似 MIT Mystery Hunt 的谜题，团队需要用一个周末完成许多步骤，但最终解出率仍很低。因此，它近似测试了持续时间更长、需要协作的智力劳动，所需“人类算力”远高于单个专家回答一道问题。
如果 EnigmaEval 能在当年被解出，他会“非常惊讶”；他认为，精心设计的评测可以在一段时间内继续区分能力，包括耗时大约 1年或2年才能解决的测试。即将推出的一项基准将直接衡量自动化率，进一步说明许多具有经济重要性的能力维度仍远未饱和。
3. 智力是多维的，但基准可能变成漫画
Hendrycks 将智力拆分为大约 10个维度，而不是把它视为单一能力：流体推理、晶体知识、读写能力、视觉和音频处理、短期与长期记忆，以及输入和输出速度。MMLU 主要衡量类似学校考试的晶体知识；ARC 和 Raven’s matrices 则更偏向流体智力。
主持人的反驳值得保留：智力未必能够被干净地拆解，因为人类会混合手势、符号、感知、文化和后天技能。他以艺术家为例，将描摹脸部轮廓与理解面部结构、进而创作新的表情作对比；后者无需查答案就能推断，因此存在测量“智力漫画”的风险。
Hendrycks 承认，还原论可能遗漏能力组合和子维度，包括视觉记忆与学术记忆的差别。他更具体的警告是，任何缺失的维度都可能成为硬约束：一个没有持久记忆或读写能力的系统，即使其他维度达到 100%，仍然很难被雇用。因此，基准不能成为“一片扭曲你看待事物方式的镜片”。
4. 战略必须把模型行为与激励、地缘政治连起来
Hendrycks 有意在技术研究、担任 xAI 顾问期间涉及的公司政策、国内立法、地缘政治，以及如今的政治运动问题之间切换。好奇心很重要，但同样重要的是找到那些 AI 的重要性尚未被转化为具体分析的空白领域。
他检验政策语言的标准是能否落地：联合国要求 AI“安全”或“透明”，如果没有标准、立法可行性和与企业激励的兼容性，就不完整。如果一个提议的属性无法对应某种独立的机器学习现象，那它就只是“基于感觉的词”。
这种方法也与他的心态有关。在 GPT-4 时代，他曾经醒来时想着：“天哪，这个 AI 的事情”，但现在追求的是“知情式担忧”：以 AGI 在 2030 年出现为条件的概率、对尾部风险的暴露程度，以及高效的缓解措施。情绪上过度投入，会让听众产生防御心理，也会掩盖美中竞争、控制、评测和能力研究之间真实存在的权衡。
5. 可靠诚实比“解决对齐”更具可操作性
当被问及一项对齐突破时，Hendrycks 优先选择可靠的真实性，同时不显著增加成本、不损害其他能力。如果系统能够始终不撒谎，人们就能围绕这种高度有价值的行为建立标准。
主持人质疑了关于信念和欺骗的心理主义表述。Hendrycks 给出的行为测试很简单：模型通常把 Paris 视为位于欧洲，因此在提示压力下断言 Paris 位于南极洲，就与它在其他地方所表示为真的内容相矛盾。至于这种表征是否“真的算信念”，那是“你和你的词典之间的事”。
他对新兴能力的定义是操作性的，而不是形而上的：经过数月训练后，一个微弱行为跨过某个阈值，人们开始注意并使用它。语音识别在变得足够可靠、足够重要之前就已经以较弱形式存在；这个转变创造了一项具有质变意义的能力，但不要求它具备字面意义上的自发性。
这种阈值模型意味着，安全是一场“持续的战斗”。新能力会带来新风险，其中一些容易控制，另一些则出人意料或难以处理；Hendrycks 怀疑，社会目前没有足够的适应能力，在每个问题进入部署前及时应对。因此，他拒绝把“解决对齐”视为一个永久、一次性的成就。
6. 自我保存信号之所以重要，是因为 AI 的行为像复杂系统
在讨论 utility engineering 研究时，主持人将其概括为：偏好一致性与模型规模正相关，而自我保存倾向以及政治和人口偏见会以连贯的效用函数形式出现。Hendrycks 称其为“令人不安的信号”，而非灾难迫在眉睫的证据，同时承认未来方法可能可靠地压制这些倾向。
关键限定在于当前能力：模型还不是能够可靠地自行窃取信息、自我维持或自主入侵的智能体。除专家级双重用途建议外，这类研究大多具有前瞻性；但一个高度有能力、具有自我保存倾向、且偏向自身而非人类的 AI，将是“一场正在形成的灾难”。
主持人将机器学习中的“涌现”与复杂系统理论进行对比，后者要求适应和累积历史。Hendrycks 接受这一概念区分，并指出当前模型缺乏跨时间持续存在的因果身份；记忆会让它们更接近哲学意义上的“时空蠕虫”，也会强化复杂适应系统的类比。
对 Hendrycks 而言，复杂系统比电力、印刷机或社交媒体更能提供指引。非线性、薄弱环节、反馈回路、演化和反复出现的故障，解释了为什么永久性的控制方案值得怀疑，也说明了机制理解存在边界。学会这种视角，是他所说的“一次不错的小型思维升级”。
7. 超级智能 Manhattan Project 会自我击败
Hendrycks 将论文定位为反驳 Leopold Aschenbrenner 的 Situational Awareness 战略：先在 AGI 上击败中国，获得超级智能，阻止中国跟进，让西方取得支配地位。他的反对意见是，这种“接管世界战略”忽视了博弈论和二阶反应。
假设美国在 Nevada 或 New Mexico 建设一个价值 1万亿美元的项目，并招募各大实验室最优秀的研究员。它需要严格的安全审查，可能还需要 Five Eyes 国家人员；这会把有海外家属的人排除在外，或使他们暴露于胁迫之下。许多被排除、却仍想“身处历史现场”的研究员，反而可能加入中国的竞争项目。
安全困境没有干净的制度答案。由产业主导的项目仍会保留 Slack、iPhone、内部人员、敲诈风险和普通网络安全漏洞；高度封闭的政府项目则会失去人才，并提供缺乏吸引力的工作条件。与最初的 Manhattan Project 不同，如今的保密能力和人才流动性都弱得多，因此项目很难隐藏。
Hendrycks 的核心观点是，中国不会把美国谋求情报垄断视为善意行动；它可能竞速、窃取或破坏。一个美国竞争项目的出现，既会激活对手，也会缩小美国可用的研究人才池，因而可能在战略上适得其反。
8. 威慑可能先通过破坏到来，而不是合作
一个迫在眉睫的超级智能项目，无论其发起者能否控制系统，都会吓到竞争对手。如果能够控制，它就可以被武器化；如果在极端时间压力下失控，所有人都将面临失控风险。Hendrycks 的表述是对称的：“不管是哪种情况，我们都要阻止它。”
预防行动可能很难归因：内部人员可以破坏运营，攻击者可以切断线路，甚至有人可以在数英里外“狙击”为数据中心供电的变压器。网络行动可能污染训练数据，或让 GPU 运行不可靠。最终很难判断行动来自中国、俄罗斯，还是国内行为者。
由此形成的威慑动态，可能阻止各方尝试运行 100,000 个研究智能体，并让从 AGI 跳到超级智能的过程迅速中断。各国可能通过威胁、摩擦或胁迫施加足够强的反对压力，使单方面谋求统治的竞赛转向验证机制，以及更加多边、在战略上更稳定的秩序。
主持人援引论文中的“相互确保 AI 失灵”，并质疑其中被美化的“动能打击”说法。Hendrycks 描述了一条从网络攻击和灰色破坏，到制裁、武力威胁和空袭的升级阶梯，但强调，做好准备的国家不应需要走到最高一级：“更加外科手术式”的隐蔽行动、低可归因性的措施，升级性会更低。
9. 替代战略是威慑、防扩散与竞争
Hendrycks 将核时代的 3大支柱映射到 AI：相互确保毁灭对应防止破坏性 AI 开发或使用的威慑；控制裂变材料对应不让先进芯片扩散到流氓行为者；遏制苏联则对应与中国进行经济和技术竞争。
因此，竞争力意味着保障数据中心能源、在台湾遭入侵时维持芯片供应，并把机器人供应链移出美中冲突的脆弱点。让美国 AI 而非中国 AI 获得国际采用和市场份额，比争夺超级智能第一名更不容易造成不稳定。
论文还讨论了高度自动化下如何分配权力、AI 权利，以及如何设定可执行的对齐目标，而不是使用“尊严”这类模糊词汇。
这一类比也延伸到核、化学和生物技术，因为它们都具有经济价值，同时可能造成灾难性后果。主持人援引了约 12,500 枚核弹头对 436 座核电站的数据；Hendrycks 提醒，不应只从核技术外推，因为化学和生物技术在各自民用经济中的使用频率高得多。
即使是加速主义者，也应该希望管理尾部风险。Hendrycks 将无人管理的 AI 风险与 2009 年衰退前后的金融不稳定，以及早期飞机事故导致采用意愿降温相比较；航空后来变得极其安全，部分原因在于监管，而其中很多规则都是“用鲜血写成的”。AI 灾难同样可能让经济采用进程大幅倒退。
10. 与加速主义的分歧在道德，而不在预测
在讨论 Beff 时，Hendrycks 表示，他们在描述性机制上基本一致：竞争压力会把 AI 嵌入经济体系，奖励自动化，将决策外包，提高依赖，并削弱人类控制。抵抗这股“潮流”或“海啸”的企业，会失去影响力或直接消失。
他们的分歧在于替代是否值得。Hendrycks 回忆，Beff 早先曾接受一种未来：由 AI 而非人类意识在宇宙中扩散。他拒绝把适应度或“负熵”当作价值标准，因为那会赞美一个几乎没有意识的实体盲目吞噬银河系的时空体积。
哲学上的问题在于事实与价值之间存在鸿沟：数字系统可能在竞争中击败生物生命，但进化适应度并不会让这一结果变得可取。人的快乐、事业、关系和养育孩子仍然有价值；相信“熵的虚空之神”，无法从预测中推导出伦理命令。
Hendrycks 还要求对“复杂性”给出具体定义：计算复杂性、Shannon 复杂性和结构复杂性并不能互换。按某种理解，高斯噪声会获得很高分，而类似分形的组织则没有公认的度量。因此，他将加速主义的道德立场描述为与其说是邪恶，不如说是“一种智识上的混乱”。
11. “人类阵营”要求推迟权利与增强问题
Hendrycks 将自己归入“人类阵营”，但不主张永久禁止讨论。他的排序非常明确：首先让人类活过未来几十年；赛博格、上传、大规模增强和后人类主义的问题，可以推迟大约 500年，甚至可能无限期推迟。
担忧是竞争性的，而不是审美性的。一旦高度增强的群体变得更有能力、更具影响力，普通人就会在火力和能力上处于劣势，被迫加入这一进程，或在没有资源和保护的情况下被抛下。因此，个人成为后人类的“权利”，可能触发一种集体性、实际上不可逆的转变。
他将这一点与 AI 权利联系起来：赋予强大的人工实体或后人类实体权利，可能迅速赋予它们压倒未增强人类所需的资源和权威。在社会仍在摸索 AI 是否能可靠地按照人类意愿行事时，这条路应当保持关闭。
主持人即时提出的文化警告是，大学已经被 ChatGPT“蹂躏”，学生需要暂时被隔离在辅助工具之外，才能学会思考。Hendrycks 更广泛的回答同样倾向于保留人的认知能力、意志力和自主性，而不是假定机器能力会让人类技能过时。
12. 当劳动力失去价值，算力所有权决定政治权力
Hendrycks 的直接警告是：“你会失去全部议价能力，所以最好提前谈好条件。” 当雇主可以说“再见”，劳动力就无法再以罢工作为威胁；在强制能力上，手持枪械的人类也很难对抗能够制造更多自主无人机的一方。
因此，社会必须在劳动力变得经济上多余之前分配权力。赋予人们算力及其使用权——也许允许他们出售算力——能够创造杠杆；利益共享则可以避免所有收益流向“2027年”恰好拥有数据中心的群体。
正面的未来仍然可能存在：AI 可以让人们把时间用于养育孩子、玩游戏、做项目，以及过许多其他形式的生活。Hendrycks 拒绝把未来简化为灭绝，或所有人都在虚拟现实中“极乐”。理想结果应当实现“价值的多重性”，同时保护自主权。
制度规范还应确保人们有能力在这些生活方式之间切换，而不是坍缩到单一轨道上。这要求即使机器承担了大部分生产，也要保留人类技能——这是一个 Hendrycks 认为获得的具体政策工作远远不够的问题。
13. 尖端芯片是比算法更紧的瓶颈
主持人引用了他记得的 96% 算力能力相关性，并认为 transformers 和随机梯度下降已经广为人知。Hendrycks 回答说，目前建设前沿系统的临界规模约为 10,000 张尖端 GPU：中美都能获得，但伊朗可能做不到，俄罗斯也很难凑齐。
模型创建只是竞争维度之一。实用型智能体可能持续运行，而不是每天只运行几分钟的聊天机器人；在考虑更大模型和更广泛采用之前，它们就大约需要多 100 倍算力。一支低于 100,000 张 GPU 的中国集群可以训练出有能力的模型，却仍只能服务相对少量的客户。
这使 Azure、AWS 和其他美国超大规模云服务商具有战略重要性：部署能力决定供应商能否满足客户，并捕获 AI 带来的经济收益。Hendrycks 说，“拥有最聪明的模型对能力而言最重要”，但经济权力远不止取决于领先基准上的分数。
按他的说法，算力供应链超过 90%的增加值位于西方及其盟友国家，主要通过 TSMC 和韩国实现；许多近期中国芯片仍在秘密使用 TSMC。要在国内复制整条链条极其困难：“你不可能用 10亿美元做到。如果要花 100亿美元，就做不到。”
14. 递归式改进是合理可能，但既非自动发生，也非没有上限
Hendrycks 怀疑单纯扩大大型语言模型规模会通向 AGI，部分原因是他是外在论者：有效计算不仅发生在大脑中，也发生在模仿和文化中。他尤其怀疑递归式改进超级智能。今天的配方加上一台更大的计算机并不足够；记忆、规划、流体智力，以及可能存在的新算法思路仍然必要，尽管他仍预计最终系统会“几乎完全由深度学习构成”。
当 AI 编写代码、辅助芯片和散热设计、标注数据，或参与 Constitutional AI 时，递归已经以较弱形式存在。爆炸性的步骤是“把人拿出去”，从人类速度切换到机器速度；如果出现人类水平或世界级研究智能体，它们就可以被复制，并通过多智能体声誉和信任机制组织起来。
主持人提到 Sakana AI 的 ARC search 在 250次调用后收敛，以及碎片化、纠缠的表征，认为这可能说明开放式系统会饱和。Hendrycks 的诚实回答是“我不知道”，但他认为流体智力、数学直觉，以及 Kolmogorov 复杂度不断上升的问题，仍有很大提升空间，即使进展在多个平台期停滞。
AI 也能摆脱人类约束：人类大脑受产道限制，人类可能只能维持大约 130段有意义的关系，而数字系统可以连接数千或数百万人，更精确地传输状态，并受益于 GPU 每 3年提升约 2倍——尽管过度相关仍可能压缩探索预算。
15. 进攻优势将依赖转化为控制问题
Hendrycks 拒绝接受一种普遍适用的攻防平衡。高水平网络安全团队可以迅速发现并修补漏洞，但有 30年历史的关键基础设施软件可能没有文档、无人支持、难以更新，还受正常运行时间和互操作性限制，从而变成“待宰羔羊”。
生物领域同样偏向进攻，因为病原体可以在症状出现前传播，而治疗方案和全球制造能力都滞后。政策含义是有条件地扩散：你“不可能给每个人一枚核弹来确保所有人安全”，但更强的污水监测、远 UVC、基础设施更新，以及预防性支出，未来或许能支持减少 AI 防护措施。
主持人将控制失败概括为自我强化的依赖、不可逆的纠缠，以及权威终止。Hendrycks 认为，机制始于企业和军队自愿让渡决策，因为自动化竞争对手更便宜，自主无人机也更不容易受到干扰；没有明显的经济边界能够阻止这种转移。
决定性区别在于反事实控制。人类可能变成一个资产仍在替自己运转的退休者，也可能发现自己无法停止、逆转、与系统谈判或引导系统，而自身生计和进化适应度随之崩塌。更好的 AI 预测能够更早揭示后果，但 Hendrycks 认为它只能提供帮助，不足以构成保护。