No Priors 第105期｜对话 AI Safety 中心主任 Dan Hendrycks
摘要
Hendrycks 认为，AI 安全首先是地缘政治和经济问题，而不是实验室仅靠模型对齐就能解决的问题。 实验室“注定要竞速”，可以加上基础安全措施，但无法通过设计模型来消除劳动力重构、权力集中或美中战略竞争。即便两个国家的系统都能完美服从本国意志，也可能被迅速整合进彼此竞争的军队，迫使双方提高风险容忍度。
短期能力并不均衡：AI 尚未在所有国家安全领域形成决定性影响，但推理模型近期已开始产生生物国家安全含义，并正逼近专家级文献知识和湿实验室辅助能力。 Hendrycks 怀疑当前系统能否独立发动一次灾难性的电网攻击，但警告生物能力近期已变得更具现实影响。他提出的控制方式很简单：身份不明的用户询问如何培养病毒，就拒绝回答；合法生物科技公司则可以“直接找销售”（“just speak to sales”）。
军事讨论远不止聊天机器人，还涉及无人机、电子战、指挥控制和态势感知。 Hendrycks 提到无人机、武器研发，以及更准确地探测核潜艇或加固发射场；即使这种能力本身不是武器，也可能破坏二次打击能力。Guo 又补充了电子战，并讲了一个华尔街类比：人类判断最终退化成一排人不断点击“接受、接受、接受”。因此，可靠性既是产品约束，也是战略安全变量。
单边克制和直奔超级智能的竞赛，都经不起 Hendrycks 的二阶检验。 没有核查或强制力的自愿暂停只会削弱参与者；但一个清晰可见、耗资1万亿美元、旨在确保主导地位的沙漠集群，则会招致间谍活动、网络攻击或先发制人的打击。他说，在一些地方，顶尖 AI 公司超过30%的员工是中国籍；排除这部分人才会损害美国自身努力，并可能反而增强中国。
Hendrycks 与 Eric Schmidt、Alexandr Wang 提出的“相互确保 AI 故障”（MIM），旨在威慑破坏稳定性的超级武器项目，而不是叫停普通 AI 竞争。 各国将监控对手项目，并保留网络能力，禁用试图实现决定性战略突破的数据中心：“我们不会制造超级武器，也会盯着其他人是否在制造超级武器。” 芯片、无人机和常规系统的竞争仍将继续。
算力管控应优先提高芯片去向的可见性，并防止其扩散给流氓行为体，而不是假设可以无限期阻止中国获得先进能力。 Guo 提到 DeepSeek 和近期发布的模型，对“需要10万枚芯片才能确保算力安全”的简单前提构成挑战；Hendrycks 同意，高效训练削弱了曼哈顿计划式战略，中国最终也可能窃取模型权重。但他仍认为，基础的最终用途核查或许能揭示此前围绕新加坡讨论的“NVIDIA 芯片的10%”究竟流向了哪里。
关键能力拐点在于可靠的代理能力，而不只是封闭式学术基准上的更高分数。 Humanity’s Last Exam 衡量封闭式专家知识的剩余前沿；接近满分将意味着出现类似超人类数学家或 STEM 科学家的能力。Guo 也提到 Enigma，但 Hendrycks 的回答聚焦于 HLE，以及更广义的封闭式问题与代理能力之分。代理系统目前仍“接近地板”：模型能解高难度物理题，却不会订机票；Hendrycks 预计，等它们能可靠完成持续数小时的数字工作后，经济“体感真的会发生变化”。
精读
1. 地缘政治先于模型设计约束 AI 安全
Hendrycks 之所以进入 AI 安全领域，是因为他认为这项技术的演进轨迹影响重大，而其中令人不安的尾部风险却被“系统性地忽视”。他的目标不只是防止灾难：还包括理解技术走向、把它引向更有益的方向，并管理那些单靠模型技术无法解决的冲击。
他对机构的判断很直接：实验室可以拒绝“帮我制造病毒”之类的请求，但它们“某种程度上注定要竞速”。一家真正选择退出的公司可能被淘汰，而不同的拒答数据也无法改变大规模劳动力重构或自动化数字工作的前景。
因此，对齐只是安全的一部分，不能与安全画等号。一个可靠服从美国、另一个可靠服从中国的 AI，仍可能被迅速嵌入彼此竞争的军队；即使两个系统都完美执行本国决策者的意志，战略压力也会推高风险容忍度。
Guo 的反驳值得保留：实验室负责人不会说自己什么都做不了，而且每个参与者都在经济利益上与结果绑定。Hendrycks 承认，公司可以推进可控性研究并参与政策倡议，但仍坚持认为，更大的问题由地缘政治决定。
2. 短期风险呈锯齿状，但访问控制能解决很多问题
Hendrycks 区分了发展轨迹与当前能力：在许多国家安全领域，AI 目前还不够强，但“这很可能在一年内改变”。当前系统大概还无法被恶意行为体用来发动灾难性的电网攻击；与此同时，推理模型正逼近专家级生物学文献知识和实用湿实验室辅助能力。
Guo 以防御性网络安全和生物发现公司为例，说明竞争也会带来短期收益。Hendrycks 不认为这里存在巨大的安全与收益权衡：身份不明的用户若要求逐步指导如何培养病毒，可以被拦截；经过验证的生物科技客户则能通过企业账户获得相应能力——“直接找销售”（“just speak to sales”）。
他的威胁地图区分了行为体和应用场景：生物武器更适合作为非国家行为体风险来理解；网络行动则同时影响国家和非国家行为体。Hendrycks 提到无人机、包括新型 EMP 在内的武器研发，以及态势感知，包括定位潜艇或加固发射装置。Guo 又把讨论扩展到电子战、无线电、雷达、目标识别和指挥控制，尤其是在乌克兰战场上的应用。
Guo 讲了一个华尔街轶事：人类监督最终退化成一排人不断点击“接受”。Hendrycks 说，进一步自动化决策并不会让他意外，问题最终转化为可靠性研究。
3. 暂停和垄断竞赛都过不了二阶检验
没有“牙齿”的自愿暂停只会让更糟糕的行为体取得进展。条约需要核查、可信的执行机制，或使用武力的威胁；网络攻击和企业间谍活动都很难证明，仅靠规范就能维持秩序。
芯片或无人机可以直接竞速，但 Hendrycks 反对竞相把超级智能武器化。间谍活动使持久垄断难以实现，但排除中国研究人员同样会适得其反：他说，在一些地方，顶尖 AI 公司超过30%的员工是中国籍，其中许多人可能回到中国。他支持放宽对顶尖 AI 研究人员的移民限制，同时认为这一问题应与南部边境政策分开处理。
如果美国建造一个“从太空完全可见”的1万亿美元算力集群，意图争夺主导地位，中国不会坐视不理。Hendrycks 将其类比为早期关于先发制人打击苏联的核战略设想：跨国人才、相互依赖和有限时间窗口，可能意味着所谓安全垄断的窗口从未真正存在。
4. MIM 将共同的网络脆弱性转化为威慑
Hendrycks 与 Eric Schmidt、Alexandr Wang 提出的“相互确保 AI 故障”（MIM），是在 AI 变得关键且能够自动化 AI 研发后，将核时代的共同脆弱性逻辑应用于 AI。一个对手若接近制造决定性超级武器，就可能面临间谍活动、破坏行动或针对其数据中心的网络攻击；这种预期旨在威慑破坏稳定性的项目，而不要求停止所有 AI 发展。
这个类比也有边界。Hendrycks 预计，各方会在共同利益重叠的地方协调——例如阻止危险能力落入恐怖分子手中，就像管控化学武器和生物武器；也会避免出现能够让一个国家“碾压”另一个国家的项目，但无人机等常规系统的竞争仍将继续。
校准力度很重要，因为如果 AI 芯片成为“经济力量的货币”，把对华出口管制的压力旋钮拧到最大，可能反而增强中国入侵台湾的动机。Hendrycks 指出，中国本来就想这么做；更严厉的管制只会再增加一个理由。
实际政策组合可以更窄：由 CIA 设立小组追踪外国 AI 项目，由网络司令部采购禁用能力，实施芯片位置许可制度，为盟友设置通知豁免，并优先开展最终用途核查。
面对 Guo 以 DeepSeek 提出的挑战，Hendrycks 同意，高效训练削弱了沙漠集群战略：管控无法稳健地消除大国的能力，也无法让其放弃 AI 的经济价值。中国可能最终仍会获得一部分芯片，或窃取模型权重；但管控对于提高可见性、阻止其扩散给流氓行为体仍有价值，尤其是在官员真正调查新加坡等转运路线的情况下。他说，AI 芯片出口管制并不是美国工业与安全局领导层的优先事项，基础核查本可以揭露流向中国的转运。
5. 评测会先展示类似神谕的智能，可靠代理能力则在之后
Humanity’s Last Exam 延续了 Hendrycks 早期的基准测试工作，包括 MMLU 和 MATH 数据集。Guo 也提到 Enigma，但 Hendrycks 在这里的回答聚焦于 HLE，以及更广义的封闭式问题与代理能力之分。教授和研究人员提交了异常困难、研究级且答案确定的封闭式问题，形成了他所说的考试式学术评测可能走到的“终点”。
接近满分的表现，大致意味着封闭式基准测试这一类型已被穷尽，并表明系统在封闭式问题上具备类似超人类数学家或 STEM 科学家的能力。但这并不能证明系统能胜任开放式工作，因为开放式工作不仅要求知道答案，还要求定义任务、推进任务并完成任务。
代理能力评测应改为分配真实的数字任务，允许系统工作数小时，再检查任务是否完成。当前系统作为代理“极其有缺陷”，仍接近地板，尽管 Hendrycks 留有余地，认为这一点“可能一夜之间改变”。
前沿能力仍然呈锯齿状：系统能回答高难度物理问题，却不会叠衣服；可能在数学上超过人类，却不会订机票。对于可验证的推理，人类或许仍能把 AI 生成的证明交给证明检查器；相比之下，如果系统形成更好的“品味”，就更难确认。
Hendrycks 认为，AI 会先获得“非常出色的、类似神谕的技能”，之后才可能可靠地替人类采取行动。一旦系统具备代理技能，产生重大经济影响的障碍就所剩无几，AI 也会“进入一个独立的类别”。