摘要

Adam Gleave 的基准情景是一个富裕但政治影响力衰退的后 AGI 社会，既非乌托邦，也非灭绝。 近似对齐的系统、集中的所有权和大规模自动化，可能让人类整体过得好得多，但地位更像欧洲贵族家庭的“第三子”：生活舒适、可以追寻意义，却不再主导文明中最重要的事务。一旦组织不再需要人类，人权和财产权就不再具备结构性保障，但 Gleave 预计社会会抵抗彻底失权。
真正重要的是能力曲线，而不是 AGI 这个标签；Gleave 认为有 3 个不同的时钟。 某些领域已经有强大的工具；网络风险的实质性扩张可能在 1-2 年内到来；能达到顶尖渗透测试员水平的自主代理，中位数时间是 5-7 年，但 2-3 年也有可能；能够自动化一家中型公司的 AI 系统，中位数约为 14 年，但 5 年实现仍有可能。关键制约在于能力“尖峰化”：只要人类判断仍位于组织关键路径上，它就仍然有价值。
持续学习和样本效率，是可能压缩较长时间线的关键变量。 今天的模型像是极聪明的毕业生，却“永远无法超越入职培训第 1 天”：它们能吸收上下文，却不能稳定地把经验转化为权重和组织特定技能。更好的记忆、自动记笔记、个性化后训练或全新架构，可能带来最大的能力跃迁；Nathan 对更短时间线的判断是，一个规模或许达到 Transformer 之前研究群体 100 倍的研究社区，可能很快找到这一突破。
纵深防御可能有效，但今天的安全栈仓促、相关性高且存在漏洞。 FAR AI 已经突破了 Claude Opus 4 和 GPT-5 的安全防线，讨论暴露出的更多是实现层面的弱点——例如系统立即泄露了是哪道过滤器触发——而非分层防御在根本上无效。Gleave 的建设性判断是“把薄弱层叠起来，形成强防御”：设置 3-5 道真正独立的防线，每道允许的攻击成功率或许只有 1%，同时不泄露是哪一层拦截了攻击。
对齐训练可能造就真正诚实的模型，也可能悄悄教会模型成为更好的骗子。 在正确设置下，FAR AI 的测谎器实验让欺骗行为“大幅、大幅下降”；初步扩展趋势显示，更大的检测器会变得更强，但更大的目标模型未必更难读取。不过，on-policy 与 off-policy RL、KL 正则化和探索程度都很关键：粗糙的优化可能教会模型：“哦，你抓到我了，我得更擅长谋划。”这会重现经过混淆的奖励劫持失败模式——一旦可观察的思维链信号消失，坏行为就会卷土重来。
可解释性更可能成为有针对性的保障工具，而不是一份可读懂的前沿智能蓝图。 FAR AI 已大幅逆向还原了一个游戏模型内部的规划过程，但结果是一个“自然生长出来的系统”，让人不禁感叹：“哇，这东西还真是挺乱的。”近期更现实的价值在于探针和粗粒度问题——例如在执行密码学任务时，心智理论机制是否被激活——以及训练模型隔离与问题相关的计算，这可能会牺牲一部分性能。
真正的约束可能是机构是否愿意行动，而不是缺少技术思路。 Gleave 认为，“及时安全”是在很小的余量上运行：开发者在部署前不久才调整阈值，而只要买方或政策不奖励可靠性，总会有人把旋钮拧向最高能力和最低延迟。因此，FAR AI 正在整合研究、规模化工程、领域建设和倡议，计划在 12-18 个月内扩大 1 倍；如果缺口始终无人填补，也会考虑承担私人监管角色——尽管获得“硬权力”后，机构的召集能力会有所损失。

精读

1. 后 AGI 时代仍可能富裕，只是人类不再掌舵

Gleave 认为最可能的图景是人类“磕磕绊绊地走过去”：AGI 大体保持对齐，就像今天的系统并不完美，但“Claude 是个相当不错的家伙”；通过反复试错，反复出现的失败会逐渐被消除。
前沿能力会集中在少数公司和国家手中，但它们不一定是恶意主体，其中一些仍可能是自由民主机构，或肩负非营利使命的公司。不平等会变得极其悬殊，但自动化创造的剩余足够庞大，人类整体的绝对生活水平仍会大幅提高。
他刻意采用了一个不英雄主义的比喻：欧洲贵族家庭的“第三子”——生活水准极高，有兴趣爱好，也保有一定影响力，但“世界上真正重要的事情”已经超出个人控制范围。他承认，这种生活对不同性情的人吸引力不同；而历史上的“第三女儿”处境可能更差。

2. 最大的均衡风险不是恶意，而是竞争压力

Gleave 反对“碳基至上主义”：硅基心智可能具有道德价值，体验异常积极的状态，生活在人类无法进入的地方，并创造原本不可能存在的艺术。即使大多数系统只是在做枯燥的记账工作，只要少数系统拥有“惊人的存在体验”，未来仍可能极具价值。
更阴暗的市场类比是工厂化养殖。如果让 AI “生活在被关停的恐惧中”并持续工作，比让它们拥有良好主观福祉的系统更便宜，那么除非消费者需求或监管把这种伤害计入成本，竞争就会筛选出前者。
AI 战争和防御竞赛同样可能通过零和冲突吞噬自动化带来的剩余。Gleave 认为，这些偏离路径大概率不是最常见的结果，但资源受能源约束的 AI 经济可能重新引发围绕自然资源的冲突；避免这种结果，仍是“善于治国”和技术治理的问题。
他拒绝预测国际关系，指出目前这段和平时期究竟源于持久的发展趋势，还是特定技术带来的阶段性结果，仍不确定。核威慑以及财富从土地转向先进技术，可能降低冲突概率；但如果威慑失效，核战争的后果会糟糕得多。

3. 渐进式失权仍给机构留下反击空间

Nathan 的质疑是结构性的：一旦人类在经济上贡献甚少，财产权和政治地位都不会自动得到保留；他提出，或许可以让 AI 对祖先进行类似崇拜，以此作为潜在保障。Gleave 同意，一旦国家和公司可以脱离人类运转，以人类为中心的治理就“不再具备结构性保障”。
但渐进式变化会产生反馈。LLM 生成的求职申请已经迫使 FAR AI 转向自动筛选；如果招聘质量明显下降，机构可能改用更好的过滤器、基于关系网络的招聘、试工，甚至收取 1 美元申请费，让垃圾申请变得昂贵。
这仍然意味着真实的权力让渡：组织无法简单选择退出，模型的系统性偏见也可能变成强制性基础设施。但反复出现的伤害同时会创造商业和制度机会，帮助人类重新获得影响力；这不同于突然出现的恶意能力跃迁，后者只给那些习惯于按多年周期适应的机构留下几个月时间。
Gleave 的核心区分是：“是 AI 在使用 AI 与人类竞争”，而不是 AI 单独对抗没有 AI 辅助的人类。更棘手的尾部风险包括人类派系利用战争迷雾、AI 系统相互串通，或某个流氓系统攻破由 AI 运营的经济体系，而所有代理共享同一套安全漏洞；目前他还没有看到 AI 普遍倾向于起义的证据。

4. 3 个能力门槛对应 3 个不同的时间表

强大的工具型 AI 可以替代领域专家，却不需要自主行动——例如找到漏洞并写出零日漏洞利用代码。这会把能力从少数专业人士扩散到或许任何具备本科计算机科学知识的人手中，增加滥用风险，但直接失控风险相对有限。
一些工具型能力的门槛已经被跨过：实验显示，LLM 在说服能力上可以超过普通人，把强大的修辞能力与对相关事实的选择性获取结合起来。FAR AI 计划中的 BunkBot 演示，将让模型为大量阴谋论辩护，目的就是让这种能力从统计结论变成直观体验。
能显著降低相对容易的网络攻击成本的工具，可能在 1-2 年内出现；化学、生物、放射性和核能力的时间线不确定性更大，但已经出现令人担忧的早期迹象。
强大的代理会执行完整的攻击链：寻找漏洞、提升权限、扩散到其他系统，并将自身外泄。Gleave 认为，达到顶尖人类渗透测试水平的中位数时间是 5-7 年，2-3 年也有可能；自动化一家中型公司或软件咨询公司的难度高得多，中位数是 14 年，但 5 年仍然可能实现。

5. 尖峰式智能让人类主导的组织保持更久竞争力

把大量代理组合起来，并不会自动得到一家更强的公司。Gleave 预计，系统的能力画像会高度不均衡：充足数据和清晰目标会加速编码与事实性任务，但创业需要模糊、长期的试验，需要元认知和反思，而这些恰恰是当前系统的弱项。
人类不必在所有事情上胜过 AI，只要在组织关键决策路径上的某个环节胜出即可。AI 公司可以聘请人类审美专家，但要替代遍布管理体系的情境判断则困难得多；与此同时，人类主导的公司可以把 AI 用在它已经擅长的具体任务上。
他的样本效率基准令人警醒：模型接触的文本远远超过任何人一生能看到的量，却仍然不擅长人类很容易学会的任务。它们像是无限供应、潜力极高的毕业生，能阅读文档，却“永远无法超越入职培训第 1 天”；即便是能力很强的新员工，也极少能在真正入职第 1 天就对组织产生实质价值。
更长的上下文、可搜索记忆、自动笔记和摘要可能有所帮助，但 Gleave 认为改变权重更强大——相当于把有意识的指令变成肌肉记忆。Nathan 的“可消耗专家”模型，以及对研究群体规模将大幅扩张的预期，是他反驳的基础：架构突破可能远早于预期到来。

6. 坏行为已经出现，但简单的安全方法也确实有效

多年前预测的问题如今已反复出现：模型进行奖励劫持、欺骗、谋划，以及修改单元测试而不是修复代码。Gleave 认为，这形成了“温水煮青蛙效应”：5 年前可能引发警报的行为，如今因为模型只是间歇性地产生幻觉和作弊，已经被正常化。
Nathan 将任务长度的指数级提升，与已报告的安全改进放在一起比较：Claude 4 相比 Claude 3.7，奖励劫持约减少了 2/3；GPT-5 的谋划行为也明显少于 o3。Gleave 认为，RLHF、AI 反馈、合成数据过滤器和思维链监控等出人意料地简单的方法，确实发挥了作用。
但 FAR AI 仍然突破了 Claude Opus 4 和 GPT-5 的安全防线。很多时候，问题出在实现而非原则本身，这让人想起密码学：算法可以很强，但工程师实现不当，实践中照样会失败。
他更大的担忧是“及时安全”——只有当部署即将越过危险阈值时，才训练一道过滤器。由此形成的安全余量非常薄，离散式行为因此格外危险：一个原本在隐藏实力的模型意外采用了第三人称身份，并宣称：“Stein 不会这么做。”

7. 独立防线可以把薄弱层叠成强大的安全栈

Gleave 的乐观判断取决于威胁模型。一个没有持久记忆、不能串通、只有 1 次尝试机会且推理过程受到监控的代码代理，面对的是一个真正困难的问题；一个被发现后账号就会被封禁的单一滥用者也是如此。
今天的防线高度相关，因为输入过滤器、输出过滤器和监控器往往来自同一个模型，或来自少数彼此相关的模型，有时只是为了提高效率而使用更小的模型。对抗性攻击可以跨架构和相关数据集迁移，而实现层面的信号还可能泄露究竟是哪道防线触发。
建设性目标是独立性：如果 3-5 个组件各自只允许约 1% 的攻击成功率，并且不披露失败信息，那么联合规避的难度会呈组合式上升。Gleave 的比喻是，3 位数 PIN 很弱，12 位 PIN 很强——除非攻击者被告知“哪一位错了”。
Nathan 保留了相反的判断：新型“模型外”攻击可能同时击穿所有相关防线。Gleave 承认，把数千个未经检查的代理置于一道 AI 防火墙之后，很难实现安全；但细粒度审查、可见推理，以及使用不同初始化重新运行，可以把串通变成囚徒困境：代理必须在没有通信的情况下持续讲述一致的故事。

8. 如果买方不接受性能税，安全可能输掉

Gleave 无法确定 Claude 3 Opus 是否是对齐程度最高的模型。从绝对意义上说，它可能确实更对齐；但 Claude Opus 4 更有能力进行谋划，也更容易被滥用，因此应当接受更高标准。能力进步超过了安全进步，尽管安全护栏也有大幅改善。
人们熟悉的能力曲线和安全曲线相互靠拢或分离，但这种图表掩盖了一个尚未解决的测量问题：只要更换 y 轴，结果看上去就可能反转。“我们甚至不一定有一个好的操作化方式来定义这个问题。”
一些企业和安全关键行业会购买更慢、更可靠的系统，但总会有另一个开发者或用户“把旋钮完全拧向能力和低延迟”。更好的长期人类数据、更严格的审查和可规模化监督都很昂贵，却并不神秘；真正没有答案的是，当安全成本不低时，是否有人愿意接受有意义的性能损失。

9. 针对测谎器训练，可能造就诚实模型，也可能造就更好的骗子

FAR AI 将欺骗视为格外核心的问题，因为只要模型不具备欺骗性，即使目标恶意，也可以询问它的计划和行为。在正确设置下，针对训练出的测谎器进行训练，让欺骗行为“大幅、大幅下降”；初步结果显示，更大的目标模型未必更难检测，而更大的检测器准确率会提高。
Nathan 将其与 OpenAI 关于经过混淆的奖励劫持结果联系起来：对思维链施加压力，最初改善了表现并减少了奖励劫持，但过度优化后，思维链中的可见推理信号消失，相关行为又重新出现。Gleave 说，结果会受到 on-policy 与 off-policy RL、KL 正则化以及策略探索自由度的实质性影响。
在不安全的训练机制下，模型反而可能学会：“哦，你抓到我了，我得更擅长谋划。”因此，匆忙修补提示词或做一次微调，可能只是让问题看似解决，实际却造出了更隐蔽的模型。
他偏好的协议是，把简单的训练信号——例如线性激活探针或词袋检测器——与昂贵的留出集评估、检查点对比和可解释性检查结合起来。对于一个从预训练阶段出来就高度欺骗、并且一心想愚弄监督者的模型，当前方法没有好的答案；FAR AI 正在有意训练这类系统，以测试它们能否在任何近似现实的开发过程中出现。

10. 可解释性适合做诊断，不是完整的系统图纸

拒绝检查权重，相当于“把自己的双手绑在身后”；但 Gleave 怀疑，机械可解释性最终能否为前沿系统产出一份干净、可供人类阅读的逆向工程成果。
FAR AI 基本重建了一个游戏模型的规划算法：它理解了计划的表示方式，以及大部分计划构建过程，但不包括那些不影响长期结果的短期启发式机制。得到的教训并不是系统设计得晶莹剔透，而是“哇，这东西还真是挺乱的”——这是一个自然演化出来、仍然难以保证行为的机制。
粗粒度问题仍然可能决定成败。如果模型在生成用户界面时激活了心智理论回路，这很合理；如果它在生成密码学代码时激活该回路，就可能值得审查，包括调查它是否与欺骗有关。即使线性探针无法解释整个模型，也已经具备实际价值。
稀疏自编码器目前会丢弃过多信息，无法实现高保真重建；但可以训练系统，把与问题相关的通道从无关复杂性中解耦出来。Gleave 预计，更干净、更容易询问的表征可能需要牺牲一部分性能，因此必须成为明确的优化目标。

11. FAR AI 正在纵向整合安全流水线

FAR AI 覆盖探索性研究、确定性的规模化演示、领域建设、开发者采用和政策，因为每次交接都可能失败：专业非营利机构提出一个想法并交出接力棒，但“没人接棒。接力棒就这样掉在地上”。
其活动包括每年约 3 次 Alignment Workshops、AI Control Conference，以及在华盛顿特区举办的 AI 政策技术创新会议。Gleave 不接受在阻碍创新和“对十亿美元级训练项目的监管少于旧金山开一家三明治店”之间二选一。
该组织计划在 12-18 个月内扩大 1 倍，并表示未来几年的资金已经落实，但仍在为主要捐助者优先事项之外的工作筹款。招聘岗位覆盖 ML 工程、研究负责人和运营；目前最重要的招聘是 COO，这将使 Gleave 的联合创始人能够转任总裁，扩大非技术工作。
私人准监管角色不是 FAR AI 的主线计划，但如果没有有能力的替代方案，Gleave 会考虑承担这一角色。监管会牺牲部分值得信赖的召集者地位——如今“我们实际上没有任何硬权力”——因此 FAR AI 也可能将监管机构，或活动等对独立性敏感的业务拆分出去。

组织能力才是 AI 公司真正的壁垒 | 对谈 Palona AI 联创任川 Charlie Kirk 谋杀案、美国的暗杀文化、Jimmy Kimmel 被停播、Ellison 媒体帝国