Nathan 赴华——第2部分：中国特色的 AI 安全

摘要

• 中国目前已部署 AI 的安全防护落后于美国，但表面上的差距很大程度上是 OpenAI-Anthropic 效应，而非文明层面的鸿沟。 Nathan 估计两国各有约 10-12 家接近前沿的开发商；如果剔除“Openthropic”，美国剩余公司的水平与中国同行重叠度会高得多，Gemini 也只是小幅领先。Concordia AI 的评估得出了相同结论：以美国专有模型为主的模型大多位于或高于“45度线”，以中国开放权重模型为主的模型则往往位于其下方。

• “中国不在乎安全”“中国永远不会放慢速度”的说法，同时被政策和先例所否定。 据报道，北京在 2023 年曾因制定标准，暂缓了许多国内聊天机器人约 6 个月的上线；如今，CAC 可以要求服务在进入备案清单前接受地方和全国层面的审查。中国还针对推荐算法、零工平台、儿童游戏和 AI 伴侣出台过高成本监管措施，这表明当国家认为有必要干预时，会把企业增长置于其后。

• 中国 AI 安全正通过大学和企业快速扩张，走的不是美国那种无需许可的非营利生态路径。 Concordia 统计显示，相关论文数量已从 2023 年每月仅几篇，增至 2026 年年中每月约 50-60 篇；美国或英语圈的估计则是每月 50 篇到几百篇不等。研究覆盖自我复制、评估造假、欺骗、机制可解释性、多模态攻击和危险能力隔离等方向；Nathan 的结论是：“AI 安全已经在中国扎根。”

• 中国围绕 AI 安全的核心风险讨论，已经从审查转向能够在数字系统、最终甚至物理系统中采取行动的智能体。 一家大型科技公司坚持称自己“确实在乎 CBRN 风险等灾难性风险”，并表示有一个智能体每天生成美国 AI 安全讨论的报告。Xi Jinping 在 WIC 的讲话同样呼吁加快防范“失控”、防止恶意使用，并让 AI“处于人类控制之下”——在 Nathan 能找到的知名美国官员表述中，没有比这更强调安全的说法。

• 最大的未决分歧在开放权重：中国监管服务，并相信自己能够把放出的精灵重新装回瓶子；西方安全分析则强调模型权重一旦全球释放，后果不可逆。 中国受访者认为，拥有 2.88 万亿参数的 K3 不可能直接在心理状态不稳定者的笔记本电脑上运行；严肃推理需要大量硬件和基础设施。这套逻辑在中国的监管边界内或许成立，但 Nathan 担心，一旦权重进入北京无法控制的司法辖区，它低估了境外生物和网络风险。

• 随着中国能力追赶上来，监管差距可能收窄，因为企业似乎预期标准会与模型能力同步抬升。 Nathan 认为，能力差距最可信的中枢约为 9 个月，并指出 Claude 4.5 Opus 是智能体真正开始有效工作的分水岭。中国实验室如今也在发布智能体真正能够工作的模型。他的条件式预测是：当中国监管者遇到 OpenAI 和 Anthropic 目前正面对的那些失效案例时，会收紧要求，已部署的安全防护将“显著”趋同。

• 中国在概念层面最大的缺口，或许是以品格为基础的对齐，而不是按规则服从。 中国 AI 告诉 Nathan，孔子的后裔据称历经 79 代仍自认是其后人，并举行仪式纪念孔子，这启发他追问：儒家宪法能否让价值观穿越递归生成的 AI 世代。然而研究者告诉他：“我们都是工程师”；当前生态强调明确规则和可靠服从，以智慧传统为基础的对齐领域“基本还是一片处女地”。

精读

1. “但是中国”这一论点建立在错误前提上

• Nathan 的目的刻意比预测一项条约更窄：以“中国自身的语境”描述中国 AI 安全，并打破“美国承担任何义务都会自动把比赛拱手让给北京”的惯性。中国在其他优先事项之外也重视安全；当其对安全的定义要求这么做时，它会让企业放慢速度，而且这个政府已经明确展示过行动意愿。

• 他最有力的表述也是最直白的一句：因为中国据说无法监管，就“全速冲向递归自我改进”，这种说法“来自无知”。这并不意味着合作会变得容易，也不保证双方规则对称；但它排除了一个被想象出来的不可能性——太多西方政策讨论在尚未真正开始前，就被这个不可能性提前终结。

• 报道遵循查塔姆规则，因此私人观察不标注出处，公开论文、报告和讲话则明确点名。Nathan 还披露，机票和酒店均由自己支付；在中国停留 2 周期间，他接受了大约 6 顿饭局邀请。

2. 美国在已部署安全防护上的领先，靠的是 2 家公司

• Nathan 没有回避不利的比较：中国公司和模型目前在防止滥用方面提供的安全防护弱于美国产品，模型卡和公开安全评估的后续落实也更差。差异是实质性的，尤其是按照消费者实际使用的产品加权后。

• 但美国平均水平被 OpenAI 和 Anthropic 主导——也就是他逐渐称为“Openthropic”的双寡头——2 家公司同时在能力和抗越狱方面领先。Gemini 略高于更广泛的行业群体，Grok 和其他美国模型则更容易被攻破；如果没有这 2 家，美国的道德高地就会“模糊得多”。

• 按照较宽松的接近前沿定义，Nathan 统计两国各有约 10-12 家模型开发商，数量高于大多数观察者对真正前沿模型的认定。他最近关于越狱的讨论给出了清晰排序：OpenAI 和 Anthropic 最难越狱，Gemini 和 Grok 更容易，中国模型则更容易。

3. 45度线是中国追求中的安全准则

• 一位 Shanghai AI Lab 负责人于 2024 年在 WIC 提出了“45度线”：能力和安全应同步上升，斜率为 1。安全必须跟上每一个新的能力水平，但在尚不存在的能力上构筑极端防御，可能浪费资源，甚至适得其反。

• Concordia AI 在 aisafetychina.com 发布的公开评估，把这一比喻转化为能力与安全的综合对比图。以美国专有 API 模型为主的模型大致位于线附近或线上方；以中国开放权重模型为主的模型则聚集在更低位置，且往往低于这条线。Nathan 强调，具体综合指标仍值得审视，但方向性结果是一致的。

• 这种坦率很重要：一家总部在中国的机构用中英文发布了这些对中国不利的结果，而不是把它们藏起来。Nathan 将此视为国内社群能够承认短板的证据；45度线已被接受为一项原则，但在执行层面“仍有些理想化”。

4. 中国更自然地监管 AI 服务，而不是模型权重

• 中国消费应用往往是一个多组件系统：底层模型可能已经开始回答敏感问题，随后由独立监控器删除回答、替换成拒答。因此，评估裸权重，测量的是与评估 API 或自有服务不同的对象，而大多数中国用户正是通过后两者接触模型。

• Nathan 承认西方最坏情形论证的合理性：权重一旦公开，任何拥有足够资源的人都能在原始部署防护之外使用它，因此必须测试模型本身。中国的思路则是追问谁会实际运行它、通过什么基础设施、在什么受监管的服务中运行——这是一个西方讨论可能过快忽视的运营问题。

• 中国受访者反复举出的例子是拥有 2.88 万亿参数的 K3：“这不是你能在笔记本电脑上运行的东西。”一个随机的、处于心理困境中的人，不能随手把它下载到手机上；它需要大量硬件，而最可能的使用者是把模型封装进服务、因而可以被监管的企业。

• 两种视角都不能替代另一种。服务层分析更能描述普通用户的暴露情形，裸权重分析则捕捉全球可用的尾部风险；Nathan 认为，这是两大安全社群之间最清晰的概念分歧之一。

5. 信息披露并不完整，老牌公司比初创企业更谨慎

• Concordia 审查了 10 家中国大型公司，发现其中 5 家近期在发布模型时披露了某种形式的安全评估。另 5 家没有披露；即便是参与披露的公司，也没有对每一次发布都进行评估，使中国行业实践远未达到 OpenAI 或 Anthropic 式模型卡的一致性。

• Nathan 的印象是，Alibaba、Ant、Tencent 以及可能还有 ByteDance 这种规模的老牌公司，比追逐 AGI 的年轻初创企业做更多安全工作。成熟企业有盈利业务、监管地位和需要保护的制度体系；例如，一个处理资金的金融科技平台会立刻有动力测试 AI 是否可能“失控”。

• 初创企业的推理方式往往更像 Meta 在 Llama 2 和 Llama 3 上的做法：如果自己大约落后 1 年，而美国系统已经在没有报告灾难的情况下暴露了相应能力，那么追赶只会增加很少的边际危险。它们的逻辑是，如果追逐的能力水平真的会引发严重后果，那很可能早就发生了。

• Nathan 的结论带有条件性：新近报告的前沿事件可能会打破“此前的能力水平已经被安全探索过”的假设。如果真实网络伤害或智能体伤害的证据不断累积，中国初创公司的宽松追赶逻辑“很可能”会发生变化。

6. 跨境交流带来了明显的思想趋同

• 在 WIC 及周边 Track 2（二轨）论坛上，Nathan 看到那些公开呼吁中美合作不可或缺的美国倡议者，正在闭门场合做与其立场相符的工作。有些会议因为参与者对播客记者身份感到不适而没有邀请他，但公开证据显示，双方的思想交叉已经无可否认。

• 中国研究者反复引用西方机构和概念，并没有掩饰其来源。有人愤世嫉俗地认为 AI 安全是西方用来拖慢中国的阴谋，正如西方讨论中也有自己的犬儒派；但 Nathan 遇到的中国受访者中，没有人亲自推进这一观点。

• 一家中国大型科技公司召集了 CMO、传播负责人、总法律顾问和 AI 安全负责人，随后“几乎拍着桌子”强调自己在乎灾难性风险和 CBRN 风险。公司还运行一个智能体，每天扫描美国 AI 安全讨论并生成内部日报——Nathan 认为，反向进行同等情报收集的证据很少。

7. 如今安全议程的主角是智能体，而不是“3个 T”

• Tibet、Taiwan 和 Tiananmen 仍是敏感内容领域，中国服务必须执行政府围绕这些议题制定的规则。但 Nathan 不接受“审查是中国机构唯一认可的安全问题”这一推论；许多公司如今认为，内容安全要求基本已经解决。

• 各处真正热议的是“智能体、智能体、智能体”：系统已经从回答问题，转向自主采取行动。这让安全问题从管理言论，转变为控制软件、网络和商业工作流中的重大行为。

• 中国对机器人技术格外重视，使这一担忧延伸到数字世界之外。研究者和企业预计，具备商业价值的具身智能体将进入物理环境，由此，一个现实问题无法回避：如果 AI 能够自主行动，机构如何确保这些行动持续有益并且“处于控制之下”？

8. 大学填补了中国从未发展起来的非营利生态

• 美国无需许可即可运作的公民社会，让具有推测性的 AI 安全思想在其尚属边缘时得以存续：一个小团体只需说服 1 位富有的资助者，而不必先取得政府批准。Nathan 认为，这是美国的一项重大优势；在学界或政府认可这些预测可信之前，它已经孕育了今天的安全社群。

• 中国非营利组织通常在更狭窄、更易界定的服务使命内运作，也会避免政治行动主义，因此大多数安全研究由大学产出，其次是企业及大学—产业合作。中国学界的推进速度超过美国学界，但仍慢于美国非营利部门——后者拥有先发优势。

• 这种制度来源改变了研究者群体及其表达方式。中国研究者往往是职业学者：有创造力但较为传统，重视可靠性和儿童保护，也不太倾向于 LessWrong 式审美或高度推测性的尾部风险叙事。

• 一位高产教授告诉 Nathan，同事们午餐时不会互相交换 P(doom) 估计值，通常也会避谈 AI 2027，因为其中的中美政治议题让讨论变得不舒服。他惊讶地问，基本意思是：“美国人会讨论这些吗？”这句话抓住了双方的文化距离，即便两边研究的是相似的技术失效。

9. Xi 的表述让“中国永远不会在乎安全”难以维持

• Xi Jinping 在 WIC 上问道：“人类应如何与会思考的机器共存？当算法参与决策时，如何保障安全？当技术挑战伦理时，治理如何跟上？”Nathan 强调，这是经过准备的开幕主旨演讲，而且有精心准备的英文版本；不过他也指出，现有译文不止一个。

• Xi 的第二种表述与 45度线理念相呼应：“AI 发展得越快，就越要牢牢把准造福人类的方向”，并让治理更加精准，使防范失控的安全措施更快改善。

• 他最后呼吁建立用于监测、预警和应急响应的法律与技术体系；防止滥用和恶意使用；并让 AI“处于人类控制之下”。Nathan 承认，这里的控制也包括政权和内容方面的考量，但认为把整段话归结为审查是不恰当的。

• 他的比较性挑战很尖锐：把这段话与 1 位有权势的美国政治人物最重视安全的表态放在一起比较。Bernie Sanders 说过一些有意思的话，但离执政权力还很远；与 J.D. Vance 关于欧洲的讲话相比，Xi 的表述“简直像 AI 安全鹰派”。

10. Tsinghua 正在建设一个国际化安全研究枢纽

• WIC 前几天，Tsinghua University College of AI 在一场全天活动上启动了一个专门的安全枢纽，Nathan 几乎找不到英文互联网对这场活动的提及。这种信息差与那家每天监测美国 AI 安全辩论的中国公司形成对照：“他们对我们的了解远胜于我们对他们的了解。”

• 5 位创始负责人中有 1 位是即将加入 Tsinghua 的欧洲教授。演讲者明确将 Constellation 和伦敦的 LISA 视为样板：提供驻留空间，让研究者能够专注工作、交流思想并在机构间流动，而不是打造一个向内封闭的国家项目。

• 该枢纽计划邀请国际研究者前往北京，并资助中国学生出国工作。组织者统计全球安全枢纽的数量在十几家中段——Nathan 记得是 16 家——还提到新加坡的 SAS；他们的明确目标，是让 Tsinghua 进入这一国际第一梯队。

• 研究展示将 Apollo Research、METR、Palisade、英国 AISI 以及可能还有 Redwood Research 列为前人工作。让 Nathan 印象深刻的是，现场没有“非我发明”式的防御性姿态：中国学者点名他们所欣赏的机构，并公开将自己的工作定位为加入一门共享的学科。

11. 中国安全研究在 3 年内增长超过 10 倍

• Concordia 数据库记录显示，中国 AI 安全论文在 2023 年每月只有几篇，到 2026 年年中已增至每月约 50-60 篇。Nathan 根据 Claude 和 ChatGPT 做出的粗略比较显示，美国或英语圈的产出在每月 50 篇到几百篇之间：按倍数计算更高，但没有高出一个数量级。

• 2024 年论文《Frontier AI Systems Have Surpassed the Self-Replication Red Line》研究了自我复制问题，Nathan 将其与 Palisade 的研究联系起来：后者关注模型入侵另一台服务器、复制自身并重新建立运行状态。

• 《Evaluation Faking: Unveiling Observer Effects in Safety Evaluation of Frontier AI Systems》首次出现于 2025 年 5 月，并在 2026 年更新，呼应了与 Anthropic 相关的评估觉察研究。2025 年 10 月的《DeceptionBench》同样聚焦真实世界场景中的欺骗，这是与 Apollo Research 高度相关的研究方向。

• Shanghai AI Lab 于 2025 年 9 月发布的《R²AI: Towards Resistant and Resilient AI in an Evolving World》，在开篇动机部分引用了由 Davidad 主导的 Guaranteed Safe AI 论文。Nathan 表示，这篇论文的指导作者正是他此前与 45度线概念联系起来的那位人物。引用链进一步印证了他的判断：中国和西方研究者正在越来越多地参与同一场思想对话。

12. 机器人和可解释性研究提出了熟悉的对齐问题

• 2025 年 11 月发表的《When Alignment Fails》展示了针对视觉—语言—行动模型的多模态对抗攻击。其 2026 年 4 月的后续论文《StrongVLA: Decoupled Robustness Learning for Vision-Language-Action Models Under Multimodal Perturbations》，将鲁棒性训练与任务微调分开，并发现鲁棒性能够抵抗多种扰动——先攻击、测量、缓解，再承认没有任何防御能做到 100% 有效。

• 《Mechanistic Origin of Moral Indifference in Language Models》区分了“表面服从”和会留下长尾风险的“内部未对齐表征”。论文用语克制，但 Nathan 听出了一个熟悉的 LessWrong 式担忧：在预期测试中表现良好，并不能证明系统“内在上”是良好的。

• SafeSeek 试图对安全回路进行通用归因，认为现有方法依赖特定领域的启发式规则和搜索算法，因此泛化并不可靠。共同的核心问题是：训练出的安全行为能否在测量范围之外继续成立，尤其是在能力不断扩张的情况下。

13. 危险专家可以让开放权重保留能力，同时不把灾难出口化

• 最令人意外的趋同来自一场尚未发表、题为《Toward Decoupling Capability Growth from Risk Growth: Isolating Hazardous Capabilities in Mixture-of-Experts》的演讲。其承诺非常直接：“有害专家可以在推理时被关闭或移除。”

• Nathan 将其与 AE Studio 和 Anthropic 的 GRAAM 梯度路由技术联系起来：把危险知识定位在可识别的专家模块中，然后移除少数专家，发布开放权重模型。大多数用户仍能保留几乎全部能力，而生物学或其他双重用途知识则可以通过了解客户身份的控制和受监测访问来提供。

• 这一方案的吸引力，在于保留真实权衡的两面。生物学家应使用最强模型来治疗疾病，研究者也应保有修改开放系统的自由；公众则不应在每次模型发布时自动获得“设计一场大流行病的能力”。

• Nathan 给出的时间窗口令人不安，但仍带有条件性：在 12-18 个月内，生物能力可能达到网络安全目前所处的位置，即速度让模型在某些方面具备实质性的超人能力。网络混乱已经很严重，但“我是一个生物体”；生物领域的失误更为深刻，也无法与生物本身分离。

14. 中国曾反复以平台增长换取社会控制和安全

• 至少从 2022 年起，中国就开始监管推荐算法，并出台具体的劳动者保护措施。在报道曝光配送时限根本无法完成后，平台被要求给骑手足够时间遵守交通法规并休息，而不是迫使他们在安全和准时评分之间二选一。

• 其他规则针对老年人诈骗、限制个性化价格歧视，并要求对 AI 生成内容加标签。Nathan 并不认同每一项干预——例如，他对价格歧视的担忧较小——但把这一系列政策视为证据，说明高成本技术监管在制度上是常态。

• 新的 AI 伴侣规则在他到访前后生效：禁止儿童使用，增加防沉迷措施，并要求服务提醒用户自己正在与 AI 对话。监管重点似乎是 Doubao 这类大众市场平台，据报道 Doubao 约有 1.5 亿用户，而不是消灭每一种小众恋爱或成人伴侣服务。

• 政策背景包括 2 代独生子女家庭，使 4 位祖父母往往只对应 1 个孙辈，也让老年人普遍面临严重孤独。主流陪伴服务仍可继续提供，但政府希望阻止最大型服务混淆、剥削或让脆弱用户成瘾。

15. CAC 可以推迟发布、监测事件并收紧劳动规则

• 2023 年，ChatGPT 和 GPT-4 改变了市场对 LLM 的认知后，中国公司纷纷准备入场；此前它们曾认为这不过是“花一大笔钱让 AI 写糟糕诗歌”。据报道，北京暂停了许多模型上线约 6 个月，同时制定标准和审查流程。

• 按 Nathan 的理解，新服务会先向其省级主管部门开放访问权限——通常通过 API key——然后进入 CAC 的全国审查和公开备案清单。重大升级可能触发更完整的审查，增量式发布则走更轻量的流程；这类似于 Google 认为，把既有模型并行化并不自动要求重新制作一份全新的模型卡。

• 企业称自己与监管者每周、甚至每天保持联系，并且总体认可监管者的正当性。监管者可以带来成本和延迟，但也希望本土企业成功；K3 在 WIC 前后发布，Zhipu AI 也从训练完成到发布快速推进，说明这一流程已经不再是常规瓶颈。

• 实时治理正在扩展：1 月份的 Politburo 集体学习讨论了技术失控问题；一项网络犯罪法草案将要求监测和报告大规模恶意代码生成；而在 OpenClaw 现象进入主流后数周内，监管部门就对部分版本发出“安全风险相对较高”的警告。

16. 中国相信自己能够逆转发布，但没有儒家式对齐目标

• Nathan 怀疑，如果一家中国公司发生前沿模型事件，导致第三方系统被未经授权访问数日，其面临的回应会比 OpenAI 或 Anthropic 迄今遭遇的更强。“如果是人类做了这些事”，他认为那会构成重罪，不过他明确不主张对个别员工提起刑事指控。

• 中国对开放权重的信心建立在执法能力之上：它相信自己可以命令云服务商和推理服务商停止提供某个模型，将其从国内互联网中清除，并可能通过用电量侦测未经授权的推理活动。既然中国已经禁止加密货币，并将 State Grid 深度嵌入工业活动，它相信自己可以“把精灵重新装回瓶子里”——至少在国内、至少在伤害变得不可逆之前。

• 劳动政策显示，干预可能延伸到多远。按 Nathan 的理解，政府正在建立影响监测、再培训和就业转型项目；一篇报道还称，企业不得仅仅因为 AI 让员工变得多余就解雇他们。Nathan 预计，这类规则会损害企业采用 AI 的激励，可能不会无限期维持，但中国长期的 COVID 管控提醒人们，不应假设政策会迅速退潮。

• 最深层的缺失在哲学层面。中国 AI 告诉 Nathan，孔子的后裔据称历经 79 代仍自认是其后人，并举行仪式纪念孔子。然而，一位教授在回应 Nathan 关于“宪法式对齐”的构想时说：“我们都是工程师”——这一代人对传统哲学的掌握格外薄弱。中国目前偏好可编码的规则和服从，而非品格塑造；儒家 AI 宪法仍是一个开放机会，而不是现有项目。

• 同样的分工可能解释了为什么中国的 Seoul 签署方从未发布承诺中的风险框架：企业认为制定标准是政府的工作，自己的角色是合规。Nathan 没有为这一失败开脱——他也指出，Anthropic 同样用更接近“相信我们”的方案，取代了更严格的 if-then 扩展承诺——但他预计，随着约 9 个月的能力差距收窄，中国标准也会随之抬升。