超级智能前夜的国家安全战略与 AI 评测：Dan Hendrycks
摘要
- Hendrycks 的核心判断是，AI 安全首先是国家战略问题，而不只是实验室层面的对齐问题。 实验室“注定要竞速”；它们可以低成本限制专家级生物学能力的访问、应对网络风险，但即使美国和中国的系统都服从指令，战略竞争、军事快速融合、劳动力自动化以及不断上升的风险承受度仍然存在。
- 眼下的国家安全图景参差不齐：推理模型正逼近专家级病毒学能力，但 Hendrycks 不认为 AI 目前已足以帮助恶意行为者发动毁灭性电网攻击。 这“很可能在1年内改变”。讨论还涉及网络防御、无人机、电子战、指挥控制可靠性和算力安全等近期应用与风险领域。
- Hendrycks 否定自愿暂停，也否定美国单方面冲刺超级智能，因为两者都经不起对手反制。 条约需要核查机制或武力保障，模型权重可能被窃取，而一座“从太空完全可见的1万亿美元沙漠算力集群”会被视为争夺支配地位的行动，中国将试图加以遏制。
- 他提出的“相互确保 AI 失灵”（MAIM）机制建立在共同脆弱性之上：各国不会推进破坏稳定的超级武器项目，因为对手可以监视或瘫痪其数据中心。 芯片和无人机竞争仍将继续；协调重点在于阻止流氓行为者获得能力，类似核、生化武器机制将大国竞争与共同防扩散利益分开。
- DeepSeek 式效率削弱了对华能力封锁，因此 Hendrycks 会主要用出口管制追踪芯片、约束流氓行为者，再用威慑约束大国意图。 他的80/20方案很具体：设立 CIA AI 间谍小组，由网络司令部准备破坏选项，实施许可和发货通知制度，并核查最终用途——包括调查此前提到的10% NVIDIA 芯片究竟流向何处。
- 当模型从令人印象深刻的“预言机式能力”迈向可靠的代理能力时，经济将迎来相变。 Humanity’s Last Exam 的目标是在封闭式学术基准接近上限时让其退出历史舞台——这将意味着模型在部分数学和 STEM 领域达到超人水平——但代理仍然“接近地板”；一旦它们能够完成数字化工作，Hendrycks 预计“整个氛围会彻底改变”（the vibes really shift）。
精读
1. AI 安全远不止让模型服从指令
Hendrycks 说，他很早就选择 AI 安全，是因为沿着 AI 的发展轨迹观察，它看起来会是“本世纪最重要的事情”，而它的诡异之处和令人不适的含义又让其他人望而却步。这项使命从来不只是防止系统失效：还包括保持清醒判断、把技术导向生产性用途，并覆盖那些“系统性投入不足”的尾部风险。
他对机构分工的判断很直接：“即使现在，实验室里的安全工作也没有那么多”，而各家公司“某种程度上注定要竞速”，否则就会失去相关性。它们可以拒绝“帮我制造病毒”的请求，减少恐怖主义或某些事故，并研究可控性；但地缘政治竞争对最终结果的决定性更大。
在他的分类中，对齐只是安全的一部分。AI 可以可靠地服从美国或中国，却仍然处于一场迫使各方快速推进军事融合、提高风险承受度的竞争之中；“它们是否按你的要求行事”并不能消除权力集中、战略压力，也不能消除永远无法获得高度智能系统的风险。
Guo 反驳说，实验室领导者不会声称自己什么都做不了，而且每个人“在这个方程式里都有自己的利益”。Hendrycks 的回应是结构性的：设计调整和拒答数据无法阻止劳动力遭遇大规模冲击，也无法阻止数字化工作的自动化；与此同时，政策制定者仍认为 AI “只是在贩卖炒作”，不相信企业员工真的预计 AGI 会在未来几年出现。
2. 国家安全能力正在不均衡地到来
Hendrycks 将当前能力与发展轨迹分开看：他不认为 AI 目前已与恶意行为者发动毁灭性电网攻击有关，但这“很可能在1年内改变”。病毒学进展更快；推理模型正逼近专家级文献知识，甚至可能协助实际湿实验，因此已经具备国家安全相关性。
Guo 提到防御性网络安全领域的 Culminate 和 Sibyl，以及生物科技领域的 Chai 和 Somite，说明收益也在同步出现。Hendrycks 看不到太大取舍：把专家级病毒学能力放在企业级合作关系之后——“直接找销售”——而不是向一个新账户开放，让对方询问如何培养病毒。
除了生物安全，Hendrycks 关注的能力栈还包括国家和非国家网络攻击、无人机开发、非传统电磁脉冲研究，以及更强的态势感知。仅仅定位加固后的发射场或核潜艇，就可能威胁二次打击能力和相互确保摧毁；这是一种信息能力提升，本身不是武器，却“极具破坏性”，并会造成不稳定。
3. 自愿暂停与单方面冲刺超级智能都行不通
Hendrycks 反对自愿放慢发展的理由是执行问题：没有核查机制或“某种武力威胁”，克制只会让守规矩的一方变弱，而更糟糕的行为者继续前进。Guo 将其类比为网络攻击和企业间谍活动：条约和规范并没有带来多少可靠的合规。
封闭式的美国冲刺则有相反的缺陷。Hendrycks 指出，一些顶级 AI 公司有“30%以上”的员工是中国籍；排除他们可能把不可替代的科学家送到中国，降低美国的胜算，而留下他们又必然带来信息安全暴露。他在移民问题上的偏好仍然是，让极具天赋的 AI 研究者更容易留在美国。
更深层的失败在于没有进行二阶推理：中国不会坐视美国建造一座公开可见、旨在制造能够“对我们发号施令……直到时间尽头”的系统的1万亿美元算力集群。Hendrycks 将这一想法类比为核时代短暂出现过的先发摧毁苏联论，但同时指出，AI 的跨国人才和知识流动意味着这样的机会窗口实际上并不存在。
“相互确保 AI 失灵”（MAIM）将这种脆弱性转化为威慑。如果快速自动化研发看起来是在争取决定性支配地位，对手就可能威胁攻击数据中心，或通过“在 Slack 上利用一个零日漏洞”监控实验室；共同暴露在攻击面前，可以遏制超级武器项目，同时不终结无人机、芯片或常规系统领域的竞争。
4. 威慑约束意图，算力管制遏制扩散
Hendrycks 眼下主张的国家战略并不华丽：设立一个专门关注外国 AI 项目的 CIA 小组，然后让网络司令部准备瘫痪海外数据中心的选项，以应对破坏稳定的项目。间谍活动提供预警；建设这些能力并“购买这些选项”，才能让威慑真正具备执行力。
在芯片方面，他提出仿照裂变材料追踪的许可制度：如果盟友在硬件改变位置时通知美国，就可以获得豁免；执法人员则开展有优先级的最终用途核查。他质疑的是执行，而不是可行性——他问，有没有人去新加坡查过此前提到的10% NVIDIA 芯片究竟流向哪里；一次基本的最终用途核查就应该能查明目的地。
DeepSeek 的高效训练并没有推翻这一判断，反而削弱了“曼哈顿计划”式幻想，即某个超级大国可以稳健地阻止另一个国家构建模型。中国很可能仍会获得一部分芯片；即使把管制彻底收紧，中国也可能转而窃取模型权重。管制的主要目标应是阻止能力扩散到伊朗等流氓行为者，必要时争取中国合作；而威慑则用来约束破坏稳定的意图。
Guo 的挑战在于经济层面：如果 AI 足够强大，没有哪个大国会放弃这种能力。Hendrycks 表示同意，但他还没有确定答案，不知道一种神奇的3倍减速是否有帮助；如果把出口管制的“疼痛旋钮”完全拧向中国，反而可能提高其入侵台湾的动机，因为一旦 AI 芯片成为未来经济力量的货币，芯片就会变得更加关键。
5. 评测揭示出一个惊人却仍无法行动的前沿
Hendrycks 将 Humanity’s Last Exam 放在从 MMLU、MATH 数据集到 ChatGPT 之前 ImageNet-C 等工作的演进路径上。全球各地的教授和研究者贡献了极其困难、答案客观且封闭的问题——也就是他们在研究中会遇到的那类问题——试图为考试式学术基准走到终点。
如果模型表现接近上限，就意味着封闭式答案题这一类型“大致已经走到尽头”，并可能表明模型在相关领域已经具备超人级数学家或 STEM 科学家的能力。但这并不能证明模型具备开放式能力，因此不能把基准饱和与系统能够自主完成真实工作混为一谈。
下一代评测因此会向模型提供数字化任务，让它们工作数小时，再检查是否完成。当前系统作为代理仍然“极其有缺陷”，接近地板水平，不过 Hendrycks 也承认，这“可能一夜之间改变”；如果没有尚未饱和的测试，公众既看不到能力处于什么水平，也看不到能力提升的速度。
这个前沿极不平整：系统可以解决困难的物理问题，却不会叠衣服；可能在数学上超越人类，却仍然无法预订机票。证明检查器可以验证超人级数学，而更好的“品味”等特质可能难以核验；就目前而言，Hendrycks 预计模型会先展现强大的“预言机式能力”，然后才获得可靠的代理能力。