摘要

Toner 的基准情景不是超级智能即将到来，而是文明尺度的转型已经足够可能，值得现在就开始准备。 2016年，“短时间线”意味着未来20年内或一生之内出现先进 AI；到2025年，它可能意味着2020年代结束前就出现超级智能，因此即便是“通往先进 AI 的长时间线也已经短得离谱”。对投资者而言，这指向的是对评估、韧性和政府能力的持续需求，而不是相信一个5年倒计时。
**OpenAI 最新、最明确的披露是：Q*并未触发董事会2023年的决定。**Toner 表示，董事会知道后来以 o1 和 o3 发布的推理研究正在进行，但没有收到所谓突破性信件，也没有据此采取行动：“那整篇 Reuters 报道完全是假的。”由于保密义务和法律责任，治理折价仍难以量化，完整公共记录无法形成。
当前沿 AI 员工能够指出哪条规则被违反时，前沿 AI 监督的效果会好于仅凭主观担忧获得保护。 Toner 倾向于要求披露安全与安保计划、能力和风险评估，以及建立清晰标准、供员工援引的内部流程。这些员工现在可能拥有最大的议价能力，因为他们“正在积极地替代自己”，而机构性失灵可能以“温水煮青蛙”的方式到来，没有一个显而易见的危机节点。
适应性缓冲，是应对 AI 市场的战略答案：前沿开发成本越来越高，而昨日的前沿能力却在迅速商品化。 DeepSeek 只落后部分美国系统1到2个月就匹配了推理能力，基础模型能力则约落后6到9个月，且成本更低，使永久性的非扩散控制越来越侵入性强、也越来越脆弱。实际应对方向转向疫苗产能、疫情监测、网络修复，以及在能力扩散前分发防御工具。
只要发布不太可能造成严重且不可逆的伤害，迭代式部署才仍然有用。 Toner 更偏好附条件的“如果—那么”闸门——在具备指定理解或缓解措施前不得推进——而不是固定暂停或基于投入的速度上限；后者既需要目前不存在的立法，也会立刻遭遇“中国怎么办”的质疑。在全面制度尚未出现的情况下，透明度、测量科学、可解释性、对齐研究和政府技术人才，是现实可行的基础设施。
“击败中国”同时充当了地缘政治论点和 AI 行业在华盛顿的最短游说路径。 Toner 将竞争置于权力转移、海上通道和国际规则的背景下，谈话也涉及台湾。她表示，这一叙事恰好支持“资金”“政府合同”“不监管”和免于承担责任。因此，即便没有解决根本的战略问题，中国叙事仍会实质影响 AI 公司的经济利益。
军事 AI 应按具体使用场景评估，而不能被包装成通用型战场伙伴。 用于视域测绘、医疗分诊、舰船运动异常检测或数据库检索的边界明确工具，与让 LLM 生成“3个不升级冲突的行动方案”有根本区别。Toner 与 Amelia Probasco 提出的框架——范围、训练数据以及人机交互——把可靠性和对抗鲁棒性置于演示流畅度之上。
“军队版 AlphaGo”不是可信的近期均衡，因为真实战争无法被装进一个干净的模拟环境。 战场、后勤、经济、政治和公众态度相互作用，而对手还会主动攻击模型的假设。Toner 的诚实结论是，她不知道超级智能之下民族国家、民主制度或中国共产党会变成什么；核心事实是战略不确定性，而不是某种已经确定的作战 doctrine。

精读

1. 在 AGI 还不受重视时，Toner 就认真对待它

Toner 于2021年加入 OpenAI 董事会，但早在公司2015—2016年成立时就已认识这家公司及其许多人。当时她刚开始在旧金山从事 AI 政策工作。由于 AlexNet 于2012年问世、深度学习已经在推进，她起初觉得自己“来得太晚”；后来2018—2019年的关注浪潮以及2022年的 ChatGPT，又改变了她的看法。
当时，明确以构建 AGI 为目标创办一家组织，即使在机器学习圈内也显得“奇怪”、 “逆势而行”；DeepMind 几乎是唯一一家认真这样表述的研究机构。Toner 认为，她在中国和国家安全领域的专业能力对获得董事会席位很重要，但同样重要的是，在真正理解这一议题的人还极少时，她已经多年认真看待 OpenAI 的使命。
她最初的时间线，只有相对于那个时代才算短：未来“20年内”或“我们这一生”出现非常先进的系统，已经足以构成准备的理由。如今，“短时间线”可能意味着2020年代结束前出现超级智能；她对这一点仍远不如以前确定，但依然认为这种可能性“值得投入大量思考，也值得投入大量准备”。
Toner 否认阻止 AI 杀死人类是她从事这一职业的动机。她的出发点是历史性的：重大技术会“把社会变得更好或更坏，往往既有更好也有更坏”，而 AI 很可能在她有生之年带来这样的转型。问题在于她的工作能否帮助这一转型走向更好的结果，而不是 AI 是否“必然”会杀死人类。

2. Q*故事是假的，但 OpenAI 的背景仍受限制

Toner 目前受到的限制非常具体：董事会保密义务、在其中微小不一致都可能产生影响的法律程序，以及涉及不必被卷入公共争议人士的私人谈话。大量尚未公开的内容“几乎都是无聊的细节”，并不存在一个仍未揭开的“巨大、深层、黑暗秘密”，足以彻底改变她在 TED AI Show 上给出的图景。
有一个曾经保密的事实如今已经明确，因为相关推理工作已经公开。董事会知道后来以 o1 和 o3 发布的研究正在进行，但“我们从来没有收到过什么关于突破的信”，也没有根据员工来信作出决定。Toner 的明确纠正是：“那整篇 Reuters 报道完全是假的。”
Erik 追问，OpenAI 改变世界的使命是否已经演变成一种英雄主义或“主角”文化，并受到精英绩效教练和情感抽离的塑造。Toner 不愿泛化：董事会成员并不适合描述员工的日常文化。她更担心结构性问题——技术工作通常可以与社会治理分开，但如果技术进展跑在社会前面、只有开发者能够避免巨大的后果，这种分离就会“脱离分布”。

3. OpenAI 的技术警告与政策立场正在分道扬镳

Nathan 描述了 OpenAI 反复出现的剧烈反差：那篇关于被混淆的奖励作弊的论文，是 AI 失效风险最清晰的警告之一；但不久后，公司向白宫提交的政策文件却展现出升级对华姿态，并要求获得使用受版权保护材料训练的广泛自由。他还将其与 Sam Altman 的“我们的价值观或他们的价值观；没有第三条路”并置，称该机构对外发声几乎“精神分裂”。
Toner 也觉得这种反差令人困惑，并认为它已经变得更加明显。一种可能的解释是，员工在公开评论和研究方向上拥有相当大的自由，而官方政策则经过不同的审查路径。她希望技术人员能够关注公司在政治上主张什么，因为这些信息可能与公司自身研究发出的警告严重矛盾。
她优先希望缩小前沿开发者与其他所有人之间的“巨大信息差”。有用的披露包括能力与风险测试结果、安全流程说明，以及解释系统被训练来做什么的模型规格。目标不是让政府用清单规定答案，而是提供足够的可见度，让外部参与者理解这些系统并作出反应。
美国围绕10^26次运算的报告门槛看起来“基础不稳”，但 Toner 没有听说它已经被确定取消；Nathan 则表示，欧盟 AI 法案正在围绕约10^25以上的模型制定透明度规则，同时面临将规则稀释的压力。Toner 的理由并不是超过某条算力线的每个模型都危险，而是最新、最强的模型承载着最高的“未知的未知风险”，应接受额外审查。

4. 危机发生前，吹哨人需要可执行的标准

传统吹哨通常针对违法行为：例如 SEC 为金融 misconduct 提供了明确渠道。但前沿 AI 员工可能观察到不诚实或风险极高的行为，却没有任何法律被违反。仅仅规定“如果你担心，就拨打这条热线”，既无法为员工提供可用边界，也无法让公司知道如何处理。
Toner 偏好的设计，是把保护措施与披露或流程要求绑定起来。公司可以公开或私下提交安全与安保计划，由此建立一套标准，员工可以据此举报某项评估被跳过、信息被错误陈述，或承诺的缓解措施被放弃。即便只是强制要求执行某项内部流程，只要员工能够据实说“实际上，我们没有执行这个流程”，也会有帮助。
制度设计必须考虑拟议系统的用户：技术员工可能缺乏法律常识、感到害怕、长期极端加班，也没有时间处理模糊地带。“如果用户是吹哨人，” Toner 问道，用户体验会是什么？资格条件、下一步行动、保密方式和举报去向，都必须清楚明白。
前沿员工现在可能处于“他们一生中最有权力的位置”，因为他们正在积极自动化自己的工作，而科技劳动力的议价能力已经在减弱。等待一次戏剧性的断裂，可能因此两头落空：员工会变得不再不可替代，违规行为也会以“温水煮青蛙”的方式累积——每次都令人担忧，却没有一次显然是必须行动的单一时刻。

5. 适应性缓冲胜过永久性非扩散

Toner 对社会适应能力抱有信心。自印刷机到电视和电话，新技术一次次引发“天要塌了”的论断，但社会最终建立起制度、规范和防护栏，使其总体上产生积极结果。AI 作为可能的后继智能也许不同，但她反对把每一种滥用风险都视作历史上前所未有。
AI 开发同时沿着两条曲线运行。推动前沿需要越来越多的算力、资金和集中化专业能力，使第一次演示更难以实现。但一旦某种能力存在，工程改进又会反复降低其成本和难度，形成一个暂时窗口：社会已经观察到这种能力，但大规模滥用仍相对困难。
DeepSeek 展示的是这个窗口，而不是跨越前沿。Toner 形容它的推理系统只匹配了1到2个月前的系统，基础模型则约匹配6到9个月前的模型，但价格更低。具体公布的开发成本并没有方向性事实重要：接近前沿的性能正在变得更便宜，也更容易复制。
因此，永久性 AI 非扩散将要求不断升级的侵入式管控。核控制之所以可行，是因为炸弹需要大量高度浓缩、专业化的材料。如果核效率像 AI 一样不断提升，直到“几英亩”农田里分散的铀就足以制造一枚小型武器，IAEA 最终就得检查农舍。Toner 认为，这正说明了为什么锁住广泛可用的计算能力最终不可持续。

6. 韧性更多取决于部署，而不是前沿能力

适应意味着利用缓冲降低后果：扩大疫苗生产、污水监测、疫情检测和检测试剂分发，让生物攻击能够更快被识别和应对。这也包括普通的反恐问题——FBI 追踪哪些人、如何更早发现阴谋——这些与前沿模型甚至生物材料都没有太大关系。
在网络安全领域，Toner 质疑“AI 对攻击者帮助更大，还是对防御者帮助更大”这一狭窄问题。真正的运营问题是，可用的防御产品能否到达水处理设施、电网和化工厂，而这些设施往往由不具备前沿 AI 专业能力的团队运营。实验室里再出色的模型，在能力被封装、传播并集成进系统前，也无法保护基础设施。
Nathan 以 AI 辅助形式化软件验证为一个乐观案例，称其可能带来数个数量级的提速。Toner 认可这一潜力，但强调时间差：一个发布的模型可以比数千名基础设施运营者改造旧代码库、管理 IT 与运营技术之间的分工并安全部署新防御工具更快地触达一个失意少年。
即便防御者最终获益更多，转型期仍可能很危险。Toner 说，基础设施提供方“不会那么灵活”，因此长期防御优势并不能抹平从发布到采用之间的滞后。把它理解为“一个转型期，而不是永久性的危险状态”，有助于制定更好的政策，但不代表可以在这一窗口期掉以轻心。

7. 今天的政策工具箱是基础模块，而不是完整制度

Toner 尚未看到一套她认可的全面前沿风险制度，部分原因是政策制定者并不知道究竟会出现什么问题、何时出现。现实可行的工具箱，是一组能够改善未来选项的基础模块——这是对不确定性的适当回应，但如果进展让“时间所剩无几”，就可能不够。
Dean Ball 提出的监管市场就是其中一个组件：由政府认可的私人监管机构评估开发者，合规者可以获得责任保护，而认可资格或保护也可以被撤回。Toner 认为，这“当然比什么都没有好”，在州一级也“可行得多得多得多”；但她怀疑这一机制能否抵消推动前沿公司尽可能加速的“残酷金融激励”和其他压力。
其他基础模块包括公共资金支持 AI 测量科学、可解释性和对齐研究，建立重点研究机构，以及增强政府内部的技术能力。透明度本身无法解决失效问题，但能让更多参与者在问题出现时作出反应。她偏好的减速机制同样是附条件的：把“如果—那么”闸门绑定到理解程度或风险缓解，而不是任意设定几个月的暂停期。

8. 在不可逆伤害发生前，迭代式部署才有效

Nathan 为 OpenAI 最初的迭代式部署逻辑辩护：逐步让社会接触不断改进的系统，应该比私下开发超级智能、再一次性公布更少造成冲击。他担心 Ilya 的新公司计划在超级智能之前不发布任何产品，GPT-4.5 可能因算力成本高于需求而被撤下，而 Miles Brundage 的评论则暗示内部部署正变得更具战略重要性。
他提出的相对速度上限，会把内部开发与公共发布绑定起来：公司只能训练出不超过其已发布最大模型某个倍数的系统，从而在少数人追求可能改变全球力量格局的系统前，强制形成一定程度的外部可见性。他将其视为一种保障，防止公司恰恰在内部能力最具后果时放弃迭代学习。
Toner 原则上同意迭代式部署，前提是每次发布都不太可能造成“真正严重且不可逆的后果”。它的价值来自发布、观察、调整、再试一次；当实验无法召回时，这套逻辑就失效了。因此，任何严肃的迭代政策都需要标准，用来识别下一次迭代何时不应进入现实世界。
她不太确信行业整体已经发生撤退，也怀疑 Nathan 的速度上限能否实施。它很可能需要联邦立法，而国会不会通过；随后立刻会出现“这是不是意味着我们输给中国了？”的质疑。概念上合理的控制措施，如果没有政治机制仍会失败；她再次偏好把进展置于已证明的理解和缓解措施之上。

9. 危机可能打开国会窗口，也可能触发过度反应

Toner 同意，许多议员根本不相信超级智能预测，但她补充说，机构失灵与 AI 是相互独立的问题。一位经验极其丰富的国会观察者告诉她，众议院可能“比内战结束以来任何时候都更低效”。即便技术冲击改变了人们的信念，制定深思熟虑的联邦法律仍将是一项艰巨任务。
一些政策专家正在预先起草一部“AI 版《爱国者法案》”，预计危机会创造一个短暂的立法窗口。Toner 认为提前准备是合理的，但警告最终法案可能只是在应对上一场战争，或借机塞入无关议程。三里岛事故提供了反例：美国在一次事故后实施了不成比例的监管，实际上关闭了核能发展，却没有将其风险与替代能源进行比较。
因此，开发者有自利动机在事故发生前安装可信的防护栏；否则，Toner 认为系统会走向“巨大的条件反射式过度反应”。触发点可能在视觉上足够鲜明，而不一定在统计意义上足够严重：Kevin Roose 与 Sydney 的对话，即便是在 GPT-4 上被高度诱导，仍引发了恐惧；不受限制的名人声音克隆也可能引发与其底层风险不成比例的反弹。

10. “击败中国”既是地缘政治主张，也是游说捷径

Toner 从权力转移逻辑出发：美国是既有强国，中国是崛起中的强国，而国际规则的控制权至关重要。和平的权力转移在历史上并不常见，例如美国超越英国就是如此。战后 Pax Americana 用主权、稳定边界以及支持贸易和航行自由的制度，替代了大量“强权即公理”的行为逻辑。
美国在1980年代、1990年代和2000年代一直试图让中国成为“负责任的利益攸关方”，即便其间发生了天安门广场事件，最终仍推动中国加入 WTO。Toner 认为，随着 Xi 于2012年上台、中国变得更加不自由主义并在南海采取敌对姿态，这一项目已经明显恶化。Nathan 则另行提出台湾问题，以及中国可能对日本、菲律宾和韩国资产周边采取侵略行动的问题。
Nathan 的反驳值得保留：美国 CEO 已经从警告不要参加对华竞赛，转向要求美国取得不可被挑战的领先地位；与此同时，中国实验室公开发布模型，美国人却在讨论如何维持单极世界。Toner 回应说，对于一个寻求关注和人才的追赶者而言，开放在战略上是合理的；这并不能证明其“纯粹出于善意、缺乏竞争精神”。
尽管如此，Toner 仍认为 CEO 们的措辞逆转“相当惊人”。她的解释是政治经济学：“我们必须击败中国”是华盛顿唯一能够达成共识的信息，因此成了公司争取资金、政府合同、免于监管以及责任保护的“最短路径”。美国重新滑向自身的强权即公理姿态，也进一步削弱了这场竞争的道德清晰度。

11. 军事 AI 已经横跨边界明确的自动化与广泛判断

Toner 与 Amelia “Emmy” Probasco 的论文借鉴了不寻常的作战经验：Probasco 曾在海军操作 Aegis 导弹防御系统。Aegis 于1960年代和1970年代在没有深度学习的情况下开发，1980年代部署，如今已经能够探测来袭导弹，并自动识别和交战目标——这说明重要的武器自动化早于今天的 AI 讨论。
她们关注的是决策支持，因为军事 AI 讨论往往止步于自主武器。其范围包括计算视域的计算机视觉系统——例如狙击手或其他操作员能够看到什么——也包括战场医疗分诊和舰船运动异常检测。这些都是边界明确的功能，可以减轻战争迷雾，却不声称具备一般性的战略判断能力。
在更宽泛的一端，包括 Palantir 和 Scale AI 在内的公司，已经将基于 LLM 的系统营销成更接近通用型“战场伙伴”的产品。相关演示把有充分依据的检索——定位最近的部队，或查询其导弹库存——与开放式推理结合起来，而后者的可靠性和来源则远不清晰。

12. 战场伙伴的安全性取决于范围、数据和界面

Toner 最尖锐的例子，是一次让模型“生成3个不升级冲突的行动方案”的演示。系统看起来能在这一政治约束下起草战术和路线，于是她追问：“LLM 到底怎么知道什么会升级、什么不会升级？”精致的界面掩盖了尚未解决的问题：这种判断由谁定义、测试和验证？
第一项评估维度是范围：边界紧密的活动可以按照预设运行条件进行测试，而一个庞杂的助手会回应操作员想到输入的任何内容。通用性越强，可信的语言被误认为具备作战能力的表面就越大。
第二项是数据：系统用什么训练，训练数据又与当前冲突有多大程度的匹配？军事环境既新颖又充满对抗性。对手会主动欺骗传感器、污染假设，或诱导系统采取超出训练分布的行为，因此普通基准测试中的可靠性不足以作为代理指标。
第三项是人机交互：产品必须说明自己能做什么、不能做什么，避免用户过度信任，并帮助操作员在压力下作出可靠决策。Toner 认为，军事组织长期低估了界面设计的重要性，尽管糟糕的呈现方式和被误解的自动化都曾造成非预期结果。

13. 战争不是一场足够干净、可以交给 AlphaGo 的游戏

Nathan 担心出现一个“军队版 AlphaGo”：自我对弈和模拟不断爬坡，最终得到运行速度超过人类指挥官、却无法解释的超人战术和极高杀伤力系统。Toner 认为这离现实还很远，因为可信的模拟必须把单场战斗与战区后勤、全球资产部署、经济、政治、公众态度以及无数未知互动连接起来。
Dan Hendrycks、Scale AI 的 Alexandr Wang、Eric Schmidt 及其合作者提出了“相互确保的 AI 失灵”概念：一个威胁要构建超级智能并永久统治的力量，会促使竞争对手破坏其项目。Toner 认为这种多方博弈逻辑有用，包括脆弱项目可能改变行动者选择这一点，但它无法与核武器相互确保摧毁的稳定性相提并论。
核威慑是可理解的：各国知道武器能做什么、第二次打击能力如何运作，也知道为什么没有人希望发生交换。超级智能的形态和战略价值仍不清楚。破坏一个项目可能比安全地建成一个 AI 项目更容易，但这种不确定性无法产生冷战威慑那种“水晶般清晰的战略逻辑”。
David Chapman 对抽象理性与实践中的“合理性”所作的区分，构成了 Toner 更深层的反对理由。国际象棋、围棋和 StarCraft 并不是现实所近似的干净原型，而是从混乱世界中切割出来的“非常特殊的案例”，在那个世界里，人们会行动、观察并重新调整。她最后仍给出了诚实的非答案：她不知道在超级智能世界中，民族国家、民主制度或中国共产党会变成什么。

Lemkin与O'Driscoll：为何种子期投资是给傻瓜玩的我们很快会见底吗？