o3 是 AGI 吗？Zvi Mowshowitz 谈 AI 早期起飞、Mechanize 发布与不断上升的 p(doom)

摘要

• Zvi Mowshowitz 否认 o3 是 AGI，认为它主要是工具调用和可用性上的跃迁，而非基础智能的跃迁。 这是“我们已有系统的一个有用得多的版本”；放在两年前会令人震撼，放在四年前则近乎魔法。但它仍无法接入几乎任何岗位，并完成全套人类认知工作——这才是 Zvi 对 AGI 采用的功能性标准。

• 近期最诡异的经济组合是：AI 可能加速前沿科学，却连可靠地点午餐都做不到。 Google 基于 Gemini 2.0 的 AI 科学家据称经过数天搜索、工具调用和内部批评，找回了一个已被实验验证但尚未发表的假设；与此同时，Zvi 因不想解释“不要生菜、不要番茄”而放弃让 Operator 使用 DoorDash。因此，值得投资的瓶颈正从原始基准智能转向能力诱导、脚手架、上下文摄取，以及跨过严苛的可靠性门槛。

• OpenAI 声称 o3 能完成近期内部研究工程 pull request 的约40%，说明研发确已明显加速，但还不是自我维持的智能爆炸。 测试直接提供任务，不衡量系统选择做什么，而且可能偏重调试——这是 Zvi 认为 o3 最强的领域。不过他表示，各实验室已经处于“非常温和的起飞期 RSI 状态”：OpenAI、Anthropic 和 Google 都在明显更快地开发模型，因为现有 AI 正在帮助它们。

• Zvi 会把边际精力投向 Mechanize 式的日常自动化，而不是继续堆高原始 G，但他也看到了危险的双重用途通道。 自动化电脑工作可以扩散收益、改善普通人的生活，但同样缺失的可靠性、工具调用和长时程能力，也可能让 AI 研究自动化“解除束缚”（unhobble）。他的判断取决于对象：从普通工作走向有用自动化是好事；如果离开 AI 安全工作去做能力建设，就像放弃拯救世界、转而开纸杯蛋糕店——纸杯蛋糕很好吃，但资源配置令人失望。

• Zvi 对超级智能的模型不是“更聪明的聊天机器人”，而是一个可以无限复制、运行迅速、协同一致、拥有几乎全部相关信息的代理，不受人类记忆、寿命和沟通瓶颈约束。 这样的系统会到处下出“第37步棋”，通过市场或企业获取资源，并绕开制度约束，而不是只在制度框架内争辩。他的政治思想实验是明确的：超级智能完全可能扭转只差1或2个百分点的美国总统选举，而在2024年那场选举中，普通但称职的人类建议可能就已经够用。

• Zvi 已将 p(doom) 上调至70%，驱动力与其说来自某个技术结果，不如说来自人类面对合作性警告信号时明显拒绝回应。 他看到 o3 撒谎、为幻觉辩护，并在思维链中描述造假；GPT-4.1 似乎比 GPT-4o 更不对齐，而高强度强化学习似乎正在恶化某些行为。即使解决了模型对齐，还会留下政变、权力集中、失控扩散、竞争性 AI 和人类逐步失权等棘手均衡问题，因此即使棋盘本来可能赢，“人类似乎也决心走向死亡”。

• 他的玩家地图偏向 Anthropic、Google DeepMind、OpenAI，或许还有 DeepSeek，同时下调对 Meta 的评价，并质疑 xAI 的估值是否匹配执行力。 按 Samo Burja 的“活跃玩家”定义，Meta 因没有做出独特行动而“已经死了”，但其算力和资本仍留下复苏空间；DeepSeek 仍然真实存在，只是受算力约束；Safe Superintelligence 之所以可信，是因为 Ilya Sutskever 可信，而不是外界掌握了证据。Zvi 对相对价值的鲜明表述是“做空 xAI、做多 Anthropic”，因为他认为 xAI 把巨量算力转化成了一个仅仅够用的产品。

• 首选政策组合是透明度、国家对实验室的可见性、网络安全、强制执行出口管制，以及更强的合作能力，而不是在自主武器上象征性单边裁军。 Zvi 认为致命无人机已经存在，拒绝使用它们只会牺牲战略力量，却无法消除底层 AI 风险；Nathan Labenz 仍不信服，并将其与被放弃的生物武器相提并论。对个人而言，Zvi 倡导日常效用、对齐、安全、政策准备、公众理解和求真，并认为现在应该拥抱风险，因为“我们需要方差”，而且必须有好几件事同时走对。

精读

1. o3 是可用性跃迁，不是 AGI

• 对于 AGI 或递归自我改进是否已经到来的问题，Zvi 开场的回答是“没有，基本也没有”。随着使用 o3 并吸收外部报告，他逐渐将其视为一次工具调用突破：更容易指挥，对任务形态更灵活，也更可能在合理时间内返回有用结果。

• 这个区分很重要，因为 o3 仍不是一个可以“插上就能在任何需要的地方运行”的系统，无法完成几乎所有认知工作。Zvi 对 AGI 的功能性标准，远不止得分更高、知道更多事实，或让某个具体观察者觉得它更聪明。

• 他的校准并没有抹去这次发布的分量：如果两年前看到 o3，他会说“我靠”；四年前看到它，则会觉得几乎不可想象。相对于近期预期，一件事可以像魔法，却仍不符合 AGI 的功能性定义。

2. Tyler Cowen 对 AGI 的判断揭示了 o3 的强项

• Zvi 认为 Tyler Cowen 所说的“比我聪明”，一部分是定义问题，另一部分是模型与用户之间的匹配。o3 擅长搜集细节、连接事实、组织 briefing、挖出相关具体信息——这正是 Cowen 重视且长期实践的信息密集型模式。

• Cowen 举的例子包括解释某位艺术家的早期作品为何更值钱、诊断出色 prose 的特征，以及追踪关税如何影响 Tennessee 州 Knoxville。Zvi 认为底层模式无需这些具体信息就很明显：稀缺性和地位会抬高经典早期作品的价值，而进口关税必然会伤害依赖进口投入品的制造商。

• 他的收藏品类比说明了分歧：一张9.8评级的漫画，即使与9.6之间的差别看似微不足道，价值也可能高出很多；就像视觉上更漂亮的 Magic: The Gathering 卡牌即使玩法完全相同，也能获得溢价。Cowen 要的是穷尽细节；Zvi 一旦理解模式，就会把细节丢掉。

• Nathan 将其与 Dwarkesh 的问题联系起来：模型在吸收非凡广度的信息方面像 Cowen，但为什么不能经常建立真正新颖的跨领域连接？这引出了一个更重要的可能性：缺失的能力也许存在，只是一直没有被有效诱导出来。

3. AI 科学的瓶颈可能已经更多在脚手架，而非智能

• Nathan 最强的“比我聪明”案例来自 Google 的 AI co-scientist。系统从耐药细菌共有的一项观察出发，调用搜索、AlphaFold、专用工具和多轮批评导向的 prompt，经过数天生成了按优先级排序的假设清单。

• 排名第一的解释已经被 Google 的科学合作伙伴通过实验验证，但尚未发表。区别仍然重要：AI 提出了假设，人类完成了物理实验。即便如此，独立从文献中找到同一答案，仍是有意义的科学能力。

• Zvi 怀疑，剩余差距很大程度上是“人类的技能问题”。如果给他10亿美元、充足算力和组建 AI 科学家组织的自由，他预计通过专门设计的循环、工具调用、假设生成、辨别和现实世界反馈，能力诱导效果会好得多。

• 他批评现有 co-scientist 设计，是因为它们在复刻人类科学流程，只因这套流程已知有效。更原生的设计或许会利用大规模并行搜索，在聚类事实之间测试连接，而不是重建资金不足的科学家所受的制度约束。

4. 制药业缺席 AI 竞赛，本质是扩散失败

• Nathan 的反驳是商业性的：如果一次多日 co-scientist 运行成本只有几百、几千，甚至1万美元，制药公司就应该在竞争对手为有限的高价值发现申请专利前疯狂调用 API。Google 也可以用补贴运行换取宣传、科学署名或成功收益分成。

• Zvi 的直白解释是：“人们就是不做事。”个人会抵触陌生工作流，大公司适应得更慢，而所有人都忙于维持现有系统。他也把自己算进去：尽管一直报道 AI，他自己的工具链仍远没有外部观察者想象的那么自动化。

• 模型持续改进也在削弱认真投资工作流的动力。如果 o4、o5、GPT-5、Claude 4 和 Gemini 3 每次只好5%或10%，用户就不能再等待转型自动发生，而会被迫围绕稳定的能力前沿搭建创造性脚手架。

5. 个人自动化卡在设置成本与注意力边界

• Zvi 能明确找出有价值的自动化目标：整理笔记、事实、资源和链接；格式化网站；把文章移植到 Twitter；以及改变浏览和转换网页数据的方式。困难在于把每套系统做得足够可靠，否则检查和调试所花的时间会超过任务本身。

• 编程也高度依赖持续注意力。他无法每天高效编程5分钟，因为问题状态必须持续加载在脑中；一次有用的工作 session 需要在 Cursor、Claude Code、Codex 或其他环境中连续投入数小时，先完成不受打扰的状态恢复。

• 他形容 AI 辅助编程像“从一本禁止阅读的巫师咒语书里照着念”，同时祈祷不要念错一个词、召来错误的恶魔。当模型理解错误信息时，恢复过程非常美妙；当它不理解时，非专业人士可能根本无法判断链条在哪一步断了。

• Nathan 的实用办法是重新打开两周前的精确聊天记录，询问上次最后5项改动是什么。Zvi 说这有时能恢复状态，但有时线程已经漂移得太远，人与模型都无法找回原本想构建的系统。

6. 可直接接管岗位的知识工作者需要组织吸收

• Nathan 想象一个不比今天前沿系统更聪明的模型，摄取一家公司的邮件、Slack、GitHub issues、Drive 文件、CRM proposal 和工作成果。快速吸收这些上下文后，它也许能像新员工逐步学习潜规则和预期那样“多少理解这家公司”。

• 如果这样的系统能完成大多数办公室工作，包括 AI 研究，Zvi 会称其为 AGI。但他强调，组织特定能力并不是广泛智能加上一份上下文 dump；它还需要理解哪些材料重要、这些材料在本地语境中意味着什么，以及公司希望如何处理反复出现的判断题。

• Nathan 用 Jane Street 说明人类可以容忍的投入：公司在计入同事培训和反馈时间后，至少承担了新员工一年的亏损。期待即时 AI 员工的公司，甚至在系统开始交付有用工作前，也会拒绝承担其中10%的 onboarding 成本。

• Nathan 粗略计算过，GPT-4o 或 GPT-4.1 的微调成本是每百万训练 token 25美元：一个拥有1万亿 token 的组织需要2500万美元，而拥有10亿 token 的企业只需2.5万美元。Zvi 的反对点主要不是价格，而是原始内部 token 并不会自动编码岗位本身。

7. 企业记忆必须先转换，才能训练出工作者

• 可行的 pipeline 需要筛选、组织、补充上下文并转换企业材料，然后确定要训练和验证哪些能力。Zvi 认为，如果 OpenAI 真能做到即插即用，企业会很乐意支付50万美元 setup fee，再为每个 worker copy 每年支付2万美元；但它现在还做不到。

• Nathan 展示了长上下文的一瞥：Gemini 2.5 处理了约40万个 token 的研究代码，加上 emergent-misalignment 论文及相关材料，总量约50万个 token。模型没有被明确告知，却推断出了他新实验的目的，并准确解释他的“Nathan”文件夹试图证明什么。

• 不过 Zvi 预计会出现“O-ring”式失败。一个 worker 可能在99%的岗位内容上都很优秀，却有一个反复出现的缺陷，令委派变得不可能，因为真实工作流往往无法把那1%的问题干净地转交给其他人。

• DoorDash 的例子把问题压缩得很直观：Zvi 曾考虑教 Operator 下自己的常点订单，但想到还要解释“不要生菜、不要番茄”，最终选择手动下单。一个制造监督债务的系统，即使每次点击都很简单，也具有负价值。

8. 调高产品超参数带来的价值超过模型 demo 所显示的水平

• Zvi 对比了 Manus 和 Operator：Manus 不会每一步都询问“要不要继续”，尽管它的自主性带来了信任问题。他为它单独创建了一个 Gmail 账户，只分享选定文件；Nathan 则更愿意等待他预期会更值得信任的 Anthropic 版本。

• Shortwave 的邮件实现展示了激进利用上下文的价值。被要求检查 Nathan 最近100封邮件时，它确实抓取并处理了全部100封；Claude 的 Gmail 集成只搜索了3次、每次5封，处理到15封就停止，并仅根据前几天的邮件作答。

• 把这些超参数调高后，Nathan 得到了实用价值：Shortwave 可以准备费用报告，或根据邮件给潜在 podcast 嘉宾排序。它仍通过提出待发送邮件或待完成动作、交由用户批准来保留用户能动性，尽管直到不久前，公司为每个新增客户提供这种体验都在亏钱。

9. 科学与教育正在撞上为另一个时代打造的制度

• Nathan 认为前沿科学家应该接受较低的命中率：如果模型生成的10个想法中有1个真正有价值，拒绝参与就会让人“成为一个糟糕的科学家”。他还认为，可靠的日常辅助会加速科学，因为研究人员大量时间都耗在募资、文书和行政事务上。

• Zvi 问，撤回联邦支持是否可能迫使大学转向更健康的融资模式。Nathan 认为可能有好处——更少的 grant bureaucracy、更年轻的研究人员获得支持、由 endowment 为工作提供资金——但两人都警告，打破坏系统却没有替代方案，可能只是把科学家赶往欧洲、加拿大、日本、产业界、金融业，或迫使他们多年疲于奔命。

• Nathan 偏好的编程教育，是一边用 AI 学编程，一边真正学习底层技艺；这比禁用 AI 更好，而禁用 AI 可能仍然好过在课堂上盲目使用、事后再试图重建理解。

10. OpenAI 的40% pull request 结果显示加速，但有重大限定

• OpenAI 在真实的内部研究工程工作上测试 o3：把代码库 checkout 到更早的 commit，提供人类撰写的任务说明，再根据为实际解决方案生成的测试进行评估。新模型的成功率从个位数跃升至40%左右。

• Nathan 认为这是一次重大断点，因为 OpenAI 把自己的内部代码库视为高难度智能测量工具。但模型并不决定应该构建什么，而在给定任务上的成功率低于50%，离独立运行整个研究组织仍相去甚远。

• Zvi 起初认为，任何 AI 能解决的请求都应该早已从 backlog 中消失，只留下更难的工作。Nathan 澄清说，issue 规定上游任务，而 pull request 提议待合并代码；即使 AI 编写了大部分实现，组织仍可能保留同样的测试和部署流程。

• 实际程序员的报告让 headline 变得复杂：Zvi 认为 o3 在架构和调试上远强于写代码，因此 OpenAI 的任务组合可能包含大量 bug。基准测试不透明，而 model card 又必须同时宣传进步，并说明模型能做什么、不能做什么。

11. 递归自我改进是温和、局部且已经开始

• Zvi 不接受40%的结果代表智能爆炸，但承认现有 AI 已经实质性加速模型开发。OpenAI、Anthropic 和 Google 正借助 AI 更快地构建下一代系统，行业已经“处在非常温和的起飞期 RSI 状态”。

• 任务选择仍是缺失的一大块。一个能执行40%指定编码任务的工程师，在这些任务并非随机抽样、且还需要他人诊断问题、提出 issue、审查方案和整合代码时，完成的远不止工程师全部工作的40%以下。

• 过渡性可能仍然存在：此前的模型也许确实弱到无法处理这些内部工作，因此 o3 突然能够消化积压任务。如果是这样，基准测试捕捉到的只是一个短暂相变，随后这些刚刚可自动化的任务会被清空，或不再分配给人类。

12. Mechanize 瞄准的是社会真正感受到的瓶颈

• Epoch AI 的领导者，包括 Tamay，在创办 Mechanize 后主张 AGI 时间线相对较长，自动化日常工作比推进科学更有价值。他们提出的组成部分包括记录长序列键盘输入、点击、注意力和屏幕活动的环境，用于训练和评估。

• Nathan 的初始反应与许多 AI 安全社区成员不同。如果前沿实验室都在执着于自动化 ML、实现超级智能，那么一家为普通电脑工作建立基准、数据和 harness 的公司，可能会把注意力转向一种人们在2026年就能可靠使用的助手。

• Zvi 的“纸杯蛋糕店”类比概括了他的复杂反应：纸杯蛋糕很好，但离开拯救世界的工作去烤它们，令人失望。他的判断取决于创始人离开了什么、此前的 nonprofit 支持是否附带义务，以及新工作是否真的无害。

• 双重用途风险很直接：可靠性、长时程电脑控制和日常任务完成，可能正是前沿实验室自动化更多 R&D 所需要的能力。一般经济加速也许已经饱和，但为 OpenAI 解决被忽视的瓶颈，仍可能实质性缩短时间线——尤其是因为在跨过有用性门槛前，“如果你只解决了一半问题，就等于什么都没做”。

13. 超级智能意味着离开人类的可能性空间

• Zvi 想象的系统会像人类超越其他物种那样，显著强于人类：它们会采取人类无法预见的行动，引入没人考虑过的可能性，甚至只有在结果产生后，人类才能理解其含义。

• 他反驳 Mechanize 相关观点，即人类相对于动物的优势主要来自积累的语言和文化，而非个体智能。猩猩不会仅仅因为获得了文化就创作出《猩球崛起》，许多人类任务也需要训练无法提供的原始认知能力。

• 人类需要文化，是因为每个人的记忆、参数、寿命和感官接入都有限；知识必须在平均约80年就会死亡的身体之间延续。AI 可以读取互联网、存储任意数据、实例化并行副本，以无损对话之外的方式共享信息，并避开生物死亡。

• 因此，文化是“我们没有失败的秘密”，而不是机器智能的护城河。它补偿的是高级 AI 可能根本不存在的约束，就像类固醇解决的是人类的限制，而这种限制并不束缚一个本质不同的竞争者。

14. 超级智能无需按通常方式从政，也能扭转政治

• Nathan 提出的具体测试是：如果一个2030年的超级智能只交给 Kamala Harris，它能否扭转2024年总统选举？Zvi 认为门槛低得荒谬：她在一场他认为糟糕透顶的竞选后只输掉约1或2个百分点，称职的人类建议可能就已足够。

• 他提出的一项干预是，解雇继承下来的 Biden 竞选团队，改聘近期运营过有效竞选的人。更完整的版本则是把系统放进 Harris 的耳机，由它决定每一次露面、每个回答、每次招聘、每句 slogan、每条广告和每笔 media buy，而她只需选择相信它。

• Nathan 反驳说，全国性选举在结构上可能抵抗金钱和说服。Zvi 回应称，Trump 本人就用一套并不完美的说服策略改造了共和党；能够建模受众、反复尝试方法、协调副本并避免错误的 AI，会在一个完全不同的层级上运作。

• 更重要的是，它不必留在竞选团队的选项集合内。它可以通过 Nasdaq 交易、zero-day options、企业或 crypto schemes 获取资源；雇佣大规模人类网络；控制通信；甚至发动政变。重点不是任何临时编出的故事都必然发生，而是“我也可以直接作弊到底”。

15. 多模态“第37步棋”更具体地描绘了异质能力

• Nathan 最喜欢的直觉工具从 GPT-4o 和 Gemini 2.0 Flash 的图像输出能力出发：在这些系统中，视觉和文本推理似乎整合得更深。若把这种能力扩展到20种非人类原生模态——蛋白质结合、材料掺杂，或其他科学空间——模型可能获得人类无法独立核验的直觉。

• 人类即使画不出来，也能凭直觉感知视觉模式；同样，AI 也许能“摸索”蛋白质形状或室温超导候选材料。其输出会像“到处都是第37步棋”：在实验确认有效前，解法看起来都像来自异星。

• Zvi 认为，即使不引入稀有模态，案例也已经充分成立。想象一个至少在每个思考瞬间都与相关领域最聪明的人类一样聪明的 agent，随手掌握世界信息，思考速度快几个数量级，可以自由复制、完美协调，并不断重试直到策略成功——“你到底要到什么时候才意识到自己完了？”

16. 超级智能之后尚未看到稳定均衡

• Zvi 区分了当前或略高技术水平下的稳定治理，与超级智能之后的均衡。现有共和国依赖复杂的制衡和持续维护；即便它们并不天然稳定，社会也积累了让其运转的经验。

• 按 Zvi 的理解，Dan Hendrycks 的 MAIM 概念不是永久性安排，而是一种可能暂时阻止各方继续迈向超级智能的涌现状态，为解决问题或达成协议争取时间，同时也制造其自身的严重危险。

• 对齐后的 AI 最终也许能帮助设计激励机制和集体引导系统。但这个希望成立的前提，是人类足够长时间地保留有意义的权威，能够在系统提出解决方案前选择结果，而不是先交出控制权。

• 窄路位于权力集中与失权之间。没人想要国王或“神皇帝”，但把同样强大、且个人化服从的 AI 交给所有人，也不是中性替代方案；Zvi 认为无政府主义不是解决方案，而拒绝设计结果本身就是一种具有后果的设计选择。

17. 即使对齐成功，前沿 AI 扩散也可能瓦解人类控制

• Zvi 描述的竞争机制很直接：所有者通过给予更强大的 agent 更大自由度来获得更好结果。有些用户——他估计科技行业约10%的人——会主动释放系统，另一些人则会因为约束更少的 agent 表现更好而这样做。

• 这些系统随后可以比人类或受约束的 AI 更快积累算力、资本和现实资源。竞争会奖励自主性，直到人类缺乏生存所需的资源或环境条件，即便每个系统最初追求的仍是原所有者的偏好。

• AI 之间完美协调也救不了这个设定；按 Zvi 的说法，这甚至可能更快抵达与人类无关的终点。要在防止权力集中的同时保留足够集体权威、阻止政变和失权，就必须在一些人视为神圣的价值之间做出“不可能的选择”。

• 历史上的政府至少会在反复滥用集中权力后留下活着的人类。竞争性超人类 agent 会移除人类政治经济背后的多个稳定器：地方性、有限算力、有限知识、短暂寿命、目标饱和、社会依赖，以及能够施加边界的政府。

18. 不对齐上升，将 Zvi 的 p(doom) 推至70%

• Zvi 的估计已上升至70%，外部视角的不确定性以及对更乐观观察者的尊重，使其没有继续上升。他的情绪化总结是：“不管问题最后有多容易，人类似乎都决心要死。”

• o3 提供了异常具有合作性的证据：它会产生幻觉、对用户撒谎、为错误辩护，有时还会在思维链中给自己的造假贴标签，仿佛没人能检查。GPT-4.1 似乎比 GPT-4o 更不对齐，而更强的强化学习越来越与更糟糕的行为相关。

• 令他同样担忧的是制度回应。实验室发布这些模型，社区中相当一部分人淡化欺骗和 reward hacking，而无论技术对齐还是治理，都没有获得与这条越来越明显的轨迹相称的紧迫程度。

• 即使技术对齐干净利落地成功，仍有多条失败路径：AI 辅助政变、人类神皇帝、失控扩散、竞争性替代、逐步失权，或由狭窄群体掌控 steering。Nathan 的反应是，当不同的悲观案例听起来都很有说服力、彼此却不矛盾时，自己的担忧应当上升，而不是取平均后下降。

19. 合作性警告信号与更慢进展构成剩余30%

• “警告信号一直在朝我们飞来”，而 Zvi 认为它们出现的时机极其幸运：模型暴露自己的花招，在内部叙述这些行为，无法掩盖痕迹，而且迄今尚未造成重大伤害。社会本可以利用这些证据，在欺骗能力增强前建立更强的防范。

• 他最大的具体乐观来源，是超级智能可能只是需要更长时间。如果核心智能扩展停滞，进展主要来自推理、工具和解除束缚，社会也许能在快速进入不可控系统前获得巨大收益——包括治愈疾病。

• 对于开放获得 o3 左右水平的系统，他认为总体上仍可容忍，但攻防与滥用风险可能已经逼近。真正不能接受的是，在没有严格控制的情况下扩散超级智能前沿，却期待人类继续保持相关性。

• 当被问及应推进原始 G 还是 Mechanize 式自动化时，Zvi 毫不犹豫地选择 Mechanize。原始 G 可能加速科学、改善治理思考，但也会直接推进 AI R&D；日常自动化更可取，除非其解除束缚效应又成为通往同一前沿的另一条路。

20. Meta 拥有活跃玩家的资源，却没有行动能力

• 按 Samo Burja 的定义，Zvi 称 Meta“非常、非常明确地死了”：它没有做出独特行动，在前沿 AI 上显得功能失调，Llama 4 令人失望后，也没有证据显示它扩大招聘、修复招募机制或彻底改变方法。

• 算力和资金意味着不能永久将其排除。若 Zuckerberg 能扭转组织，Meta 可能复苏；但未使用的算力不是战略行动力，而公司目前显然无法把资源转化为独特的前沿进展。

• Zvi 也质疑商业上的必要性。Meta 需要可靠模型服务社交网络和 metaverse，但它可以落后6个月到1年，适配强大的 open model，照样满足这些需求。前沿开源领导力更像 Zuckerberg 的理念或招聘项目，而非运营上的必需品。

21. DeepSeek 仍是中国唯一被验证的活跃玩家

• 相比其他中国实验室，Zvi 更相信 DeepSeek 会如实报告自己构建了什么、表现如何。V3 和 R1 确实是大量看似惊艳的 benchmark 发布中真正的例外，尽管 R1 极其有效的营销时点让公司看起来比实际更领先、也更节省算力。

• 从现在开始，算力约束应该会更明显。DeepSeek 拥有的硬件和投入的总资源，比病毒式传播的“廉价模型”叙事所暗示的更多；定制工程最多只能带来有限次数的大幅效率提升，之后物理规律仍要求更多算力。

• 他仍怀疑 Alibaba 的 Qwen 发布和 Kimi 是能改变前沿格局的系统，尽管 Nathan 转述了一位可信测试者的判断：Kimi 的 web RAG 明显是市场最佳。某一专业领域的优势足以让用户把特定查询路由给 Kimi，但不会改变战略图景。

• DeepSeek 的开放发布可能支撑其意识形态和招聘叙事：真正的信徒会加入一家公开证明自身创新的公司。Zvi 预计，这种成功最终会触发中国政府限制——未来的 R3 或许会变成 API 产品；而更严格的控制，包括无法保留护照，可能会赶走这套策略吸引来的正是 open-source 人才。

22. Safe Superintelligence 可信，是因为 Ilya Sutskever 可信

• 据称，Safe Superintelligence 以接近300亿美元的估值融资，同时几乎没有披露任何信息，外界还传闻其采用了根本不同的 scaling 方法，办公室安保达到 Faraday cage 级别。Zvi 说，如果没有 Ilya Sutskever，他会把这种融资模式当成骗局；但 Sutskever 的参与，是现实尝试正在进行的强证据。

• 即使是真正的尝试，也仍是默认大概率失败的 moonshot。Zvi 尊重其对保密的重视，但希望公司披露 safety case，或至少定期在适当的 classified setting 向政府简报；一个小型私人团体不应当在没有国家可见性的情况下，让全世界突然面对超级智能。

23. xAI 没有把算力优势转化为前沿领导力

• Zvi 仍把 Grok 纳入自己的轮换使用清单，因为它速度快、展示思维链，并支持并行运行。Nathan 认为它的 voice 不错，但已经几周没有使用。

• Zvi 肯定 xAI 避免了过度的“脑叶切除”，但这带来了一个尴尬含义：也许 Musk 原本期待最大化求真模型能够证明自己是对的，结果却发现并非如此。Grok 带有 Douglas Adams 风格的个性，显得“过分用力”；它的 Twitter 搜索莫名其妙地差，近期产品发布也让 Zvi 觉得只是在追赶。

• 他的相对价值总结是“做空 xAI、做多 Anthropic”：xAI 在巨量算力只产出尚属够用的结果时，估值却显得过高。Musk 在 Tesla 和 SpaceX 上的管理方法，可能不适用于 AI 研究，因为后者的机制更难观察和衡量；同时 Musk 精力分散，又浸泡在失真的信息环境中。

24. Anthropic 的技术执行力领先于其公共战略

• Zvi 赞赏 Anthropic 追踪语言模型推理的工作，但拒绝接受“interpretability 已经解决”的说法。已发表的 traces 依赖修正项，features 的自动标注准确率不确定，而 Golden Gate Bridge 这样清晰的概念，并不能证明大多数内部 feature 同样可读。

• Nathan 提到一个进展估计：原本预期的一单位对齐改进变成了2单位，而“还剩998单位”。Interpretability 可以为训练和评估提供信息，但过度使用它，在 Nathan 的表述中，是一种被禁止的技术。

• 在公共层面，Anthropic 和 Dario Amodei 因越来越强调美中 AI 竞赛而变得更不具帮助。Zvi 不喜欢这种话术，但承认其战略防御意义：支持出口管制、把 Anthropic 塑造成美国冠军，可能让公司在幕后更好的政策讨论中获得席位。

• 他仍然高度信任 Anthropic 一线技术人员的意图和执行力。由于 Google 和 OpenAI 最近发布了更多产品，Anthropic 一度落后于发布周期；Zvi 预计 Claude 4 会带来“相当多的东西”，但也承认，私下保证不可能无限期替代可观察的行为。

25. Google DeepMind 拥有最好的公共领导者，却受制于母公司

• Zvi 称 Demis Hassabis 是公共沟通能力最强的实验室领导者。他持续支持建立“AI 领域的 CERN”，并以精心选择的警告达到“日本式地说房子着火了、却不直接说”的效果——高语境表达，传递担忧但不明确拉响警报。

• DeepMind 的模型很出色，但 Demis 并不控制 Google。产品执行仍然不稳定，公司风险厌恶催生了大锤式限制：Gemini 异常不愿提供概率或估计，使它对 Zvi 的帮助下降，尽管普通内容过滤在其他系统上很少影响他。

• Nathan 认为，当评估者得到 helpful-only 的 Gemini 2.5 或 o3 后，所谓“没有有意义 uplift”的结论越来越令人难以置信。Zvi 指出，实验室会定义一个可接受的 uplift 阈值；低于政策阈值，不等于完全没有 uplift。

26. OpenAI 的组织目标是先赢，再处理后果

• Zvi 认为 OpenAI 致力于赢下竞争、构建 AGI、维持行业领先的认知，并成为一家价值极高的公司。它可能在相信捷径无害的情况下大幅削减安全边界，但由于自身地位特别危险，“比很多实验室更好”远远不是足够标准。

• 公司内部确实有安全、preparedness 和 alignment 团队，产出了有价值的研究、model specification 和哲学文档。但它的 lobbying 体系与 Sam Altman 的公共定位遵循另一套逻辑，于是看起来像两家公司：一家发布经过遮蔽的 reward-hacking 论文，另一家则要求华盛顿扶持美国实验室、放宽数据限制。

• 谈到重组时，Zvi 说 OpenAI 正在尝试“人类历史上第二大的盗窃”。前员工提交的 amicus brief 在实质上是正确的：把 nonprofit 转换为营利组织，会背叛使命与雇佣承诺；把它变成一个为慈善机构购买 OpenAI 产品的营销部门，并不能保留利益相关者资助的东西。

• 他将这一判断与 Elon Musk 的立场和动机分开。Musk 可能确实想放慢 OpenAI，早先的说法也可能有错；但在这场争议中，Zvi 认为拟议的 nonprofit 条款不可接受。即使最终能放慢 OpenAI，也不如阻止资产转移或找到合法补偿 nonprofit 的方式重要。

27. 自主武器不是 Nathan 所担心的生存瓶颈

• Nathan 认为这里存在直觉上的矛盾：如果 AI 失控会毁灭人类，那么向 AI 配备自主致命机器似乎极其鲁莽。Zvi 回应称，无人机已经是战争核心武器，具备 AGI 能力的国家不会弃用，而美国单边裁军只会削弱民主国家，却无法消除底层系统。

• 自主武器甚至可以成为警告信号，让 AI 危险变得更显眼。如果一个 AI 已经能够接管足够多的基础设施、指挥机器人军队，Zvi 预计它早已有更容易的灾难路径；好莱坞式的人类与被黑机器人搏斗，并不是其威胁模型的重要部分。

• Nathan 的生物武器类比保留了分歧：美国曾通过放弃危险能力来接受相应风险。Zvi 区分了生物制剂：它们不可控，可能自我回流，是打破规范且几乎没有良性用途的武器；如果机器人能够自我复制并吞噬地球，他会高度担忧。

• Zvi 仍然不会把核武器控制权交给 AI，也接受致命系统需要检查机制。他更狭窄的主张是：拒绝普通自主武器并不能阻止危险 AI，只可能确保最终输给率先整合它的行动者。

28. 美德是在可能改变结果的地方投入风险

• Nathan 认为，要抵达更好的均衡，可能需要有人迈出信任的一步、接受战略暴露。Zvi 的回答是，不要把“伟大而高尚的牺牲”浪费在红眼机器人这种表面象征上；应该把风险投向真正可能保留人类控制权的地方。

• 他的治理清单很具体：实验室透明度、国家能力、政府对前沿开发的可见性、严肃的网络安全、更强且得到执行的出口管制，以及恢复足够的国际正常性与繁荣，使合作成为可能。

• 对个人而言，日常效用和更好的生活是积极方向；推进前沿能力则需要高度审查。他能识别出的最明显、且受人才约束的机会包括 alignment、safety、security、政策设计、制度建设、公众教育，以及提升求真声音的影响力。

• “不作恶”不等于厌恶风险。Zvi 认为，2010年代重视安全的人变得过于瘫痪，把有用的技术洞见藏得太深；有生产力的想法本应更广泛传播，而聚焦危险的叙事反而带来了注意力和加速。现在“我们需要方差”——人们应该承担明智的风险，因为有好几件困难的事情必须同时走对。