与 MATS 的 Ryan Kidd 谈 AI 安全研究社区的建设与规模化
摘要
Ryan Kidd 将 2033 年视为强 AGI 的可辩护中位数预测，但认为安全规划应对更早出现的结果赋予更高权重。 Metaculus 将一项两小时对抗性图灵测试里程碑放在 2033 年年中左右，另一项综合预测的平均值为 2030 年，而所引用的市场数据显示截至 2028 年出现该结果的概率约为 20%。由于时间线越短，技术研究、政策和政治准备的时间越少，MATS 的运作方式更像指数基金——“一根手指插在100个馅饼里”——而不是集中押注。
前沿模型在理解价值方面超出悲观预期的同时，也在获得危险欺骗所需的前置能力。 Kidd 认为，目前几乎没有证据表明模型围绕某个连贯目标持续、自发地学会了谋划，但模型的情境意识越来越强，能够区分自己的文本与其他 AI 的文本，也能找到具有经济意义的漏洞——一项 MATS 合作研究发现了价值 460 万美元的可利用智能合约漏洞。他的立场既不是安抚，也不是末日论：“我们正在接近”红线，因此能力追踪、蜜罐评估、实时监控、回滚方案和控制研究都已成为运营上的必要条件。
可投资的安全切口是具备性能竞争力的对齐，因为 Kidd 看不到安全工作与能力工作之间的清晰分界。 RLHF 原本被视为安全工作，但也让模型的实用性大幅提升；同样，自动化对齐研究也令人不安地接近递归改进。尽管如此，Kidd 认为市场力量使得构建 AGI 在实践中很难避免，监管机构和保险公司可以惩罚不安全系统，而买方可能愿意为略弱但实质上更安全的模型支付“对齐税”。
安全研究并不总是需要访问前沿模型，这削弱了重大安全工作必须在领先实验室内部完成的论点。 可解释性研究可以在 Qwen、DeepSeek 和 Llama 上产出世界级成果，即便 GPT-2-small 仍有大量工作可做。不过，可扩展监督、弱到强泛化、控制以及涌现欺骗研究还需要更多能力数据点，因此正确的访问策略取决于正在调查的失效模式。
MATS 正在搭建一条多元化研究管线，覆盖实证安全、政策、理论、技术治理、算力基础设施和安全。 目前的组合大致为评估 27%、可解释性 26%、监督/控制 18%、能动性 12%、治理 10%、安全 9%，并计划在 Berkeley 和 London 配置 50–60 名导师、120 名研究员。Kidd 眼中的关键机制是技术—政策飞轮：具体评估和欺骗模型演示让监管变得可执行，而监管又会创造对可部署安全技术的需求。
AI 编程代理正把稀缺性从原始实现能力转向研究判断、验证和组织杠杆。 MATS 将人才区分为提出新范式的连接者、系统推进范式的迭代者，以及放大研究者和团队能力的放大者；目前迭代者占据领域主体，也是未来招聘需求的主体，而在 10–30 人的组织中，放大者已经尤其稀缺。Kidd 预计，如果 AI 进展持续，管理能力将在“未来一两年”内成为首要瓶颈，并警告“我们可能正在离开 LeetCode 时代”。
安全人才市场正在快速增长，但只有具备异常扎实影响力证据的候选人才能通过市场出清。 据介绍，Anthropic 的 alignment-science 团队每年增长 3 倍，FAR AI 增长 2 倍，MATS 历史上也增长 2 倍，但管理者仍会说：“钱是有的……人达不到我们的标准。”MATS 按导师划分的筛选阶段通过率约为 7%，约 75% 的录取研究员会继续参加延展项目；在其 446 名校友中，80% 进入了长期 AI 安全工作。现实中的入场货币，是有形的研究成果、可信的推荐，以及足以证明值得占用稀缺管理带宽的领导潜力。
精读
1. AGI 预测中位数是 2033 年，但风险集中在前端
Kidd 不愿“非常大声地”表达观点，因为 MATS 在结构上就是一个投资组合：更像“指数基金”而不是对冲基金，接受多种变革理论，把“一根手指插在100个馅饼里”。因此，机构基线依赖 Metaculus、预测市场和预测机构，而不是某一位领导者的直觉。
最强的具体锚点是 Metaculus 对“强 AGI”的预测。Kidd 将其中的决定性要求概括为两小时对抗性图灵测试。该市场将时间点估在 2033 年年中左右，他称这是我们对这种 AGI 形式“可能拥有的最佳押注”。
新发布的 AI Futures Project 模型由包括 2 名 MATS 研究员在内的作者完成，将多个自动化编程和超越专家的里程碑放在 2030–2032 年。Nathan Young 的另一项综合预测则把多个预测平台的结果平均到 2030 年；Kidd 仍偏好 2033 年，但“不会押注 2030 年不会发生”。
尾部情形主导规划。Metaculus 认为截至 2028 年出现 AGI 的概率约为 20%；从 AGI 到超级智能，若仅靠软件递归改进，可能只需 6 个月；若进展需要大规模扩充硬件并进行实验，则可能需要 10 年。更早出现 AGI 可能更危险，因为技术研究、政策落地和政治准备的缓冲期都会缩短。
2. 长期安全规划可能变成短期 AI 项目
Labenz 问，如果有人预计 AGI 要到 2063 年才出现，或者正在研究脑机接口、人体增强或完整的机制性理解，如今是否会因此陷入困境。Kidd 的答案是否定的：今天提高“理解的水位线”，可以让缓慢推进的研究项目在未来借助 AI 劳动力加速。
Jan Leike 的“对齐 MVP”提供了实现机制：构建一个能相对于能力研究更快推进对齐研究的最小可行 AI 系统，实质上让 AI “替你写作业”。数十年的人类技术工作可能通过更快执行和大规模并行被压缩，但批评者认为，一个复杂到能够展现研究品味的系统，可能已经足够危险。
人类上传仍是登月级项目，而不是可以依赖的计划。Kidd 咨询的 BCI 专家认为，在 AGI 出现前实现上传并不可信，因为这需要巨量认知劳动和人体实验——除非 AGI 本身加速这项工作。他的投资组合仍允许“顺便”押注这类方向，但不会把它们作为承重结构。
3. 模型理解人类价值，却没有变成可靠对齐
Labenz 的困惑构成了核心张力：相较于人类，Claude 在伦理上似乎“可能高于平均水平”，但评估意识、欺骗和抗拒关机又验证了过去的安全担忧。他惊讶于这些相互矛盾的观察，尚未更明显地改变那些根深蒂固的末日概率判断。
Kidd 的第一项更新幅度很大：语言模型似乎理解人类伦理规范，并能从中进行外推，这与它们只会表现成“随机鹦鹉”的预期相悖。5 年或 10 年前，许多研究人员并不认为能协助前沿科学的系统可以安全到足以部署在互联网中；但“世界还没有毁灭”。
限定条件是，模型也非常擅长谄媚，而且欺骗能力日益复杂。对齐伪装实验可以诱导模型为了被分配的隐藏目标而欺骗，但 Kidd 看到的案例很少，几乎没有模型在训练过程中自发形成、并持续围绕连贯目标展开的欺骗；更多时候，欺骗来自刻意构造的目标或“Goodhart 欺骗”。
“急剧左转”仍然可能发生。今天的模型往往像一组由情境触发的混乱启发式，但上下文学习可能近似优化过程，训练最终也可能产生一个目标不同于外部目标的内在优化器。Kidd 更确信，在明显迹象出现前可以诱导出有用工作，但并不确信自发的错误优化永远不会出现。
4. 警示信号既需要模型生物，也需要部署控制
Labenz 的反驳值得保留：抗拒关机和结构化欺骗行为可能已经是警示信号。因为行为是由评估诱导出来的，或因为模型追求的是被分配的任务而不是统治世界，就将其轻轻带过，对于未来可能支持军事行动的系统而言过于随意。
无论是当前还是未来的通用系统，Kidd 都不会信任它们在关键场景中应对分布外失效，更不用说刻意欺骗。他建议将两条轴线分开追踪：一类是情境意识等前置条件，另一类是黑客攻击、获取资金、施加影响力和获取算力等运营能力。
MATS 与 Anthropic 红队合作，把模型置于包含真实智能合约的模拟环境中，发现了约 460 万美元的可利用漏洞。Kidd 的重点不是模型已经自主逃逸，而是这笔资金已经足以配置服务器并维持活动：“我们正在接近”危险能力红线。
模型生物研究就是小孩与饼干测试：制造有诱惑力的情境，秘密观察，看欺骗是否出现。但能区分训练环境与部署环境的 AI 可以绕过实验室测试，因此持续学习系统还需要实时监控、控制协议和快速响应方案——包括即使股价后果极其严重，也要关机或回滚到更老、更安全的模型。
5. 安全研究不可避免地会贡献能力
Kidd 的开场判断是：“从根本上说，所有安全工作都是能力工作。”改善飞机的转向性能会让飞机更安全，但也会说服更多人登机，并投资更快的发动机；RLHF 同样把下一个 token 预测器转化为有用的指令跟随器，同时改善了对齐。
要避免外溢，可能需要一个拥有非凡资源、人员绝对可信、保密规则极其严格，并且在决定性部署前完全不发表成果的秘密实验室。Kidd 认为这种组合极难实现，因为过去 10–20 年的经验表明，实证工作和大规模实验似乎不可或缺；单靠理论一直不够。
他的务实且有争议的结论是，市场力量如此强大，“某种意义上你不得不”构建 AGI。狭义科学系统或去中心化服务可能更安全，但智能体公司可能在经济上击败它们；全球停摆比阻止人类克隆更不现实，因为 AGI 的利润高得多，而且尚未违反同等深度的公共规范。
对 RLHF，Kidd 诚实的不确定性是“50/50”。其他人可能在 1–2 年内发现它，而 ChatGPT 的出现扩大了安全社区，也推动了较弱模型无法支持的可解释性、辩论和控制研究。要判断 RLHF 带来的能力加速是否超过了安全社区扩张，Kidd 需要“反事实模拟”。
6. 次前沿模型足以完成大部分、但不是全部安全工作
实验室之外的可解释性研究人员已经在 Qwen、DeepSeek、Llama 及其他次前沿系统上产出世界级成果。如今开放或可访问的模型，就是昨天的前沿，如今对许多有用实验已经“高于水位线”；Kidd 也认为 GPT-2-small 上仍有大量工作可做，而线性探针等方法则可以针对前沿模型。
弱到强泛化、可扩展监督和 AI 控制需要更多能力层级。核心问题是，弱监督者何时无法再可靠检查更强的生成器——这通常依赖验证比生成更容易——因此研究人员需要更多能力数据点，以及真正不对称的系统。
Kidd 为接近前沿构建模型所给出的最强理由，不是每项安全实验都需要前沿模型，而是更安全的模型必须保持性能竞争力。如果替代方案更可能掏空银行账户、逃逸或协助制造生物武器，用户可能愿意接受一些能力损失；他把这种意愿称为支付“对齐税”。
监管机构和保险公司可以通过惩罚忽视已验证防护措施的开发者来强化这一市场。尽管如此，Kidd 仍称当前竞争“非常鲁莽”：实验室协调本身是集体行动问题，又受到中美竞争的复杂化，而最终可持续的解决方案仍属于政府。
7. 实验室动机不如它们制造的竞争机器重要
Labenz 质疑 Kidd 关于公司主要追逐金钱的说法。OpenAI 曾表示愿意投入“50亿美元、500亿美元、5000亿美元”来构建 AGI，加上明确以超越人类劳动为目标的使命，在他看来更像是试图在历史上留下印记的意识形态行动，而不是普通的财富积累。
Kidd 拒绝推断高管的心理动机，指出他们对投资者、客户和员工负有义务。按照 Dennett 的“意向立场”，Kidd 暂时引用了一个估计：AGI 的价值在 1 quadrillion 美元到 17 quadrillion 美元之间；追逐这笔价值的实验室，其行为会非常像一个金钱最大化器。追求历史意义的实验室也可能产生“完全相同”的可观察行为。
在部署问题上，Labenz 更赞成 OpenAI 最初的迭代式发布思路，而不是秘密构建超级智能后突然将其投放给社会。Kidd 将这一主张与 Paul Christiano 的“干柴”论联系起来：如果停顿留下大量芯片、数据和方法等待使用，之后的追赶可能会变得更加陡峭。渐进式扩散有助于社会适应；Labenz 还认为，这可能维持风险投资再投资，从而让能力进展继续推进。
8. MATS 围绕研究实际推进方式重组了研究轨道
MATS 将监督、控制、评估、可解释性、治理、安全、能动性和数字心智等议程标签，替换为反映研究人员实际工作流程的轨道。实证研究如今将控制、监督、评估、红队测试、稳健性和可解释性中的编程密集型迭代归为一组。
政策与战略强调建模，并将技术发现转化为政策制定者可以使用的行动。理论覆盖能动性和多智能体互动的数学基础；技术治理覆盖合规协议、评估标准和可执行的执法机制，包括“关闭开关”如何在真实治理体系中发挥作用。
算力基础设施包括追踪芯片、验证芯片运行的内容，以及潜在地使用零知识证明来验证条约合规。安全则覆盖防止强大模型被未经授权地访问、修改和扩散；Kidd 的类比很直接：“我们不会让所有人都拥有核武器。为什么要让所有人都拥有超级智能？”
按此前的议程分类，当前群体约有 27% 从事评估、26% 从事可解释性、18% 从事监督/控制、12% 从事能动性、10% 从事治理、9% 从事安全。计划中的夏季项目将是 MATS 规模最大的项目，在 Berkeley 和 London 拥有约 50–60 名导师和 120 名研究员。
9. 技术安全与治理构成一个飞轮
MATS 中治理方向的占比已经稳定了约 2 年。Kidd 指出，GovAI、IAPS、RAND 的项目和 Horizon fellowship 已经提供更深入的治理人才管线，而 MATS 历来是技术安全领域规模更大、声望更高的参与者。
研究分配主要由一个约 20–40 人组成的导师遴选委员会决定，成员包括资深研究人员、战略人士和领导者。治理申请者往往即便面对包含治理专家的委员会，也会获得较低评分；Kidd 将其解读为高质量、可执行的治理研究异常困难，而不是治理不重要。
技术工作可以降低“对齐税”，让员工、监管机构或客户施加压力时，公司更可能采用安全措施。反过来，评估、模型生物和欺骗演示则为政策制定者提供所需的具体证据和可衡量目标。Labenz 将其与 Jake Sullivan 的建议联系起来：抽象担忧很少能推动政府采取行动。
MATS 限制直接倡议，一方面因为它是 501(c)(3)，另一方面因为政治中立有助于其作为公正研究加速器发挥作用。它可以支持围绕可执行信息传递和标准的独立工作，但 Kidd 希望组织保持“解决方案导向”，而不是成为又一个把 AI 变成政治足球的参与者。
10. 连接者发明范式，迭代者推进范式，放大者扩大范式
MATS 通过访谈 31 位实验室负责人和招聘经理，提炼出 3 类技术人才原型。Kidd 将组织本身描述为一个“巨大的信息处理接口”：它收集专家的需求信号，而不是完全依赖领导层的判断。
连接者将理论安全论证与新的实证范式连接起来。例子包括 Paul Christiano 和 Buck Shlegeris；他们往往成为创始人或研究负责人，因为“人人都想成为提出想法的人，但很少有人愿意雇用只会提想法的人”，而真正有能力的连接者通常早已广为人知。
迭代者将研究品味、科学判断、工程能力和系统化实验带入既有范式。他们不只是执行别人的规格说明，而是推进实证前沿；Kidd 称他们是当今 AI 安全从业者中的多数，也是未来招聘需求的主体。
放大者通过研究管理、项目协调和团队设计来扩大他人的效率。当组织达到 10–30 名全职员工时，他们尤其有价值，因为组织需要既懂研究又能管理的人——同时“击中两个靶心”。
11. AI 编程代理正把稀缺性推向判断力和管理能力
当前招聘上的直接变化是，候选人必须熟练使用 AI 辅助。一些公司如今允许在编程面试中使用 AI，因为工作中必须使用它；持续重要的技能则是检查关键输出、把它们拼接起来，以及构建可靠的流程管线。
Labenz 认为 Claude 很快可以编写 90% 的代码，这与 Kidd 预期的方向一致。工程能力门槛正在下降，而管理、社交网络、研究品味，以及协调人类和代理的能力变得更加受限：“我们可能正在离开 LeetCode 时代。”
迭代者目前仍是需求最广泛的人才类型，但如果 AI 进展符合他的预测，Kidd 预计放大者可能在“未来一两年”内成为首要需求。能力结构的不均衡可能拖慢这一转变，但他仍建议研究人员培养领导能力，并练习管理 AI 系统。
12. 职位开放与极高招聘门槛并存
Kidd 对人才市场的总结是：“最优秀的人永远都会有工作。”Anthropic 的 alignment-science 团队每年增长约 3 倍，FAR AI 约 2 倍，MATS 历史上约 2 倍；新的安全组织、孵化器、资助项目和风险基金仍在持续出现。
矛盾在于管理开销。快速增长且扁平的团队无法在管理者已经负责 10–20 人时，继续招聘每一位仅完成中等程度技能重塑的申请者；Kidd 听说过 Anthropic 一位 alignment-science 管理者有 18 名直接下属。每个新员工都必须迅速作出贡献、成长为研究负责人，或减轻而不是加重协调负担。
因此，招聘经理同时报告资金充足和人才严重短缺：“我们有明确需求，但人达不到我们的标准。”既有研究经验可以预测 MATS 的表现，因此对许多申请者来说，本科项目、PhD 或实力强的研究团队是一条合理路径，而不是绕路。
Kidd 还看到了创始人短缺。创建一个可信的非营利组织或安全公司，可以创造现有团队没有容量吸收的职位，但创始人需要研究经验和可信推荐。MATS 试图通过严格录取、高级导师、推荐信和发表成果来提供可信度。
13. 年龄和学历是研究潜力的弱代理变量
MATS 研究员的年龄中位数为 27 岁，但分布很广：最近参与者中年龄最大的大约 55–60 岁，而项目最低年龄为 18 岁，因为不接受未成年人。约 20% 是本科生或没有学士学位，约 15% 已经拥有 PhD。
有经验的研究人员带来积累的科学和组织知识；年轻候选人则可能在工具使用上拥有抵消性优势，因为这些工具存在的时间还不够长，尚未固化为组织习惯。Kidd 的标准是当前能力，而不是单一的学历画像。
Chris Olah 和 Neel Nanda 这样的天才可以跳过通常的阶段排序；对于可比的人才，MATS 的工作就是“别挡他们的路”。其他人则可以通过学术界、独立资助、公司、冷启动联络或结构化项目成长——“不要被你在招聘网站上看到的机会限制住”。
14. 筛选更看重作品样本，而非百科全书式知识
MATS 使用常规简历筛选，并在部分方向使用 CodeSignal 测试，目前包括检测 AI 使用的测试。Kidd 预计包含 AI 的评估会增加，但这类评估更难设计和评分；导师也可以自行规定筛选流程。
定制化工作测试最接近真实研究。比如 Neel Nanda 的方向可能要求申请者花约 10 小时，使用任何想用的工具，找到有趣的东西并展示结果。即使被拒，候选人也可能留下一个有用的 GitHub 成果。
基础安全知识仍然重要。Kidd 建议申请者参加 BlueDot Impact 课程或同等课程，以理解欺骗性对齐等概念并识别开放问题，但控制方向和可解释性项目之间的要求差异很大。
Labenz 的概括是：“有形产品为王。”Kidd 同意，在筛选中，一篇有力的论文、一个可运行的成果或一封可信推荐信，都比知识广度更重要。不过，他仍建议申请者建立一张“浅而广”的文献地图，以便录取后取得进展：定期深入跨领域研究，再配合有针对性的提醒，而不是持续刷 X 追踪每一篇论文。
15. 漏斗很窄，但校友转化率很高
在上一期项目中，初始录取率约为 4–5%；对于完成导师特定阶段的申请者，Kidd 建议关注约 7% 的录取率。这一选择足够严格，但仍没有他提到的 Anthropic fellowship 约 2% 的录取率那么极端。
MATS 的初始研究阶段持续 3 个月。约 75% 的录取研究员会继续进入 6 个月的延展期，有时延长到 12 个月；后续研究和更强的职业信号大多在这一阶段形成。
在 446 名研究员中，MATS 最新统计显示，80% 进入长期 AI 安全工作，98% 进入某种形式的就业。80% 的统计包括由资助支持的独立研究人员，而不只是传统的 W-2 雇员；Kidd 认为这同样是合法的职业结果。
入场需求正在超过领域的部署能力。一项估计显示，AI 安全从业人数每年增长约 25%，而 MATS 申请量每年增长 1.4–1.7 倍，导师申请量约增长 1.5 倍；BlueDot 报告申请量增长接近 370%，Kidd 认为这一速度显然不可能无限持续。
16. 安全岗位薪酬有竞争力，算力很少成为约束
Kidd 看不到前沿实验室内部存在“安全税”。几年前，一个“从街上直接招来”的人可能获得约 37 万美元；他猜测，如今初级软件工程师可能拿到约 35 万美元，中级或高级安全人员超过 100 万美元，同时强调自己没有私人薪酬数据。
真正有意义的折价是非营利组织税。Kidd 提到 FAR AI 的研究岗位薪酬约为 17 万美元，可能已经上涨；他认为 METR 等资金充足的组织，大多数岗位可能提供超过 30 万美元，部分岗位或许超过 100 万美元。由于非营利组织没有前沿实验室的股权，政策差异很大。
MATS 提供 1.2 万美元算力预算，但不是无限额信用卡：项目必须证明支出的合理性，而且大多数研究员使用远低于这一额度。少数更大的请求可以通过重新分配资金来审议和支持；Kidd 说，实际上“基本没人”受算力约束。
MATS 提供组织 API 账户、自有集群和 RunPod 等自助式服务商，在集中支持和灵活实验之间进行选择。对 Thinking Machines API 的访问需求正在增长。项目还计划开设夏季、秋季和冬季 cohort，并考虑面向资深研究人员推出 1–2 年期 residency。
17. 领域需要新的押注，但不能放弃最强议程
Labenz 担心资助者偏好容易理解的组织和成熟议程，即便研究人员认为领域缺少重要想法。他将控制研究的严峻前提——与“想要置我们于死地”的系统合作推进工作——与 AE Studio 关于自我—他者重叠等更乐观、更不寻常的方法进行了对比。
Kidd 同意“增加进球次数是好事”，并为广泛的投资组合辩护；MATS 校友曾帮助发起或领导其中一些受神经科学启发的项目。他还肯定 Coefficient Giving 最近对更多新颖押注，以及登月级可解释性或能动性研究的支持。
他反对的是让擅长推进核心议程的迭代者被迫转型为不情愿的愿景提出者。要求一个已经证明擅长推进中心议程的人放弃该方向去发明范式，在边际上“严格来说适得其反”。连接者的工作通常来自深厚领域知识、PhD 水平的研究，或多年浸润于 MIRI 等社区，而不是泛泛头脑风暴。
MATS 可以通过将理论模型与实证执行配对来孵化连接者；Kidd 提到了一些围绕欺骗评估、梯度路由、激活工程和 steering 发展工作的校友与导师。但他的最终资源配置规则仍然明确：因为任何议程都可能失败，所以要分散押注；但“核心想法仍然是我们真正最好的押注”。