主题 先锋 趋势 方法 作者
返回

席卷数学的雪崩,正向 AI 开发而来

·Dwarkesh Podcast

正在生成长图…

本篇主题 前沿模型扩模与超级智能

摘要

  • Patel 的中位数预测是:如果实验室不主动减速,也没有政府强制放缓,AI 将在 2028 年达到人类顶尖 AI 研究者的水平。 他认为这一进程至少有 25% 的概率拖到 2032 年之后,但 2027 年实现也并非不可能。更广泛地看,他预计 AI 到 2030 年将在各领域达到人类顶尖水平,最快可能明年就实现——几个月前他还把这个说法称为“大胆论断”,并表示自己当时并不认同。
  • Patel 将 Anthropic 在范围明确的任务上进展翻倍,视为 AI 已开始加速自身发展的证据。 METR 判断,这一加速很可能有多数来自 AI 的使用;Anthropic 则称,Claude 目前主导其 26% 的 AI 研发工作,高于 2 月时的不到 1%。
  • 与数学相比,AI 研究可能更能受益于那些能解决可验证问题、却不必提出新理论的机器。 无论是否加深人类理解,经验证更有效的训练方案都有价值。Patel 指出,Transformer 的诞生也依赖“持续且有策略地匹配数十种不同的想法组合”——他认为,AI 正在数学领域展现这种能力。
  • 如果研究者全天候以人类 10 倍的速度工作,按每周日历时间计算,产出约为人类的 50 倍。 Patel 估计,前沿实验室约 80% 的算法进展来自排名前 50 的研究者;自动化可以规模化复制这类人才。研究者更快、更聪明、数量更多,进展也会加速,但实验算力和边际收益递减会限制增幅。
  • Patel 认为,研究可能迎来短暂的“火花式”跃进,也可能走向纯软件奇点,两者概率各为 50%。 关键区别在于,研究者能力提升的速度能否超过新想法越来越难发现的速度。即使只是短暂跃进,也意味着把 3 到 6 年的进展压缩进 1 个日历年;他将这比作从“GPT-3.5 跨到 GPT-6 Astra”。
  • 这一预测取决于 AI 能否成为通用学习者,在数月内掌握现实世界的专业能力。 Patel 预计,足够先进的系统会在加速器设计上超过 NVIDIA;在市场准入相同的情况下,也会胜过 Citadel 和 Jane Street。他的依据是,训练能教会模型“在新情境中快速上手”,但现实经验和延迟反馈仍然重要。
  • 在 Patel 的预测中,持续学习和实验算力仍是实质性瓶颈。 他对模型无法累积经验的质疑已有所缓和:更长得多的上下文或许就够用,AI 也可能自己解决在线学习问题。至于算力,他的应对思路是“用劳动力换算力”:让充足的研究者设计规模更小、信息量更高的实验,并更细致地审视结果。

精读

1. 数学进展改变了自动化研究的判断

  • Patel 首先谈到已经发生的加速。据称,METR 在 Anthropic 驻场 3 个月后发现,过去 1 年里,范围明确的任务进展速度翻了一倍,其中多数加速很可能来自 AI 的使用。Anthropic 另称,Claude 主导其 26% 的 AI 研发工作,而 2 月时这一比例还不到 1%。

  • 数学能力的时间线是:2023 年还无法稳定完成四位数加法;2024 年在高中数学竞赛中表现较弱;到 2025 年,已达到国际数学奥林匹克金牌水平。今年早些时候攻克了若干小众开放问题后,据 Patel 称,在那篇文章发表前 1 个月,OpenAI 用 88 小时解决了一个千禧年大奖难题。他形容,当前 AI 正在把范围明确的数学问题“像热刀切黄油一样”迅速解开。

  • Toby Ord 提出的限制条件很重要:目前几乎没有证据表明这些系统能够提出有力的问题,或开辟深刻的新领域。Patel 接受这一区分,但认为它在机器学习领域意味着另一回事:数学看重概念理解,AI 实验室看重经验证有效的方案。因此,即使只是“对随机猜想反复尝试”,也可能极大推动 AI 研究。

  • Transformer 为这一机制提供了具体例子。2017 年论文发表前,研究者已经发现注意力机制和残差网络是有用的思路。Chris Olah 称这一架构是“多种想法的自然组合”。要让它胜过已有方法,研究者还需通过大量实验,将大约 6 种已知改进组合起来。Patel 认为,这种持续、巧妙的重新组合,与 AI 如今擅长的数学工作相似;如果当时要求 Claude 3.7 改进注意力机制,它或许也能发明 Transformer。

2. 自动化研究者或将把数年进展压缩到 1 年

  • 今年早些时候,Patel 预计这一过程还要耗费本世纪大部分时间;现在,他对 AI 达到人类顶尖研究水平的中位数预测已提前至 2028 年,前提是实验室不主动减速,也没有政府强制放缓。他认为拖到 2032 年之后的概率至少为 25%,但也认真看待 2027 年实现的可能。Ajeya Cotra 根据 METR 数据外推,若 AI 让进展速度接近翻倍,且加速平稳持续,结论将是“1 年内达到极端超级智能”。Patel 对这种直接外推仍存疑,因此给出的中位时间更晚。

  • 他的劳动力模型包含 3 个要素:10 倍速度、全天候工作(折算每周产出约为 50 倍),以及能够匹配人类顶尖研究者水平的复制体。他估计,前沿实验室约 80% 的算法进展来自排名前 50 的研究者。费马大定理的形式化证明展示了并行化的可能:任务可以拆成模块,每项任务都能在本地检查,因此不同智能体可以独立工作。AI 开发也能拆分为数据筛选、RL 环境、内核等工作流,但实验算力和边际收益递减会限制整体提速幅度。

  • 后续走向取决于递归改进能否跑赢研究收益递减。Patel 指出,AI 公司现在每年都得把研发算力提升 4 倍、员工人数翻一倍,才能维持同样的进展速度。他认为,纯软件奇点的概率为 50%——无需增加算力也能迅速进步;另有 50% 的概率出现“火花”,即把 3 到 6 年的进展压缩到 1 年,之后才需要更大规模的实验。即便是把 4 年压进 12 个月,也意味着又一次从“GPT-3.5 跨到 GPT-6 Astra”的跃迁,而且起点已是今天强得多的基线。

3. 通用学习能力可将进展带入经济领域

  • Patel 并不认为所有现实世界的答案都能预先写进模型权重。回应企业经营、法庭和选举等例子时,他区分了领域知识和通用能力:搜集信息、规划、坚持、记忆与协作。即使 RL 规模仅为他预期智能爆发时的一小部分,系统也已能将能力迁移到陌生的编程项目中。他将此视为早期证据,表明可验证训练能够教会模型“在新情境中快速上手”。

  • 他设想的训练基础设施包括数万个额外 RL 环境,以及模拟经济体:数百万个 AI 在其中经历数百年的企业竞争。通过历史回测,还可以要求模型仅凭 1700 年以前的信息发现广义相对论。他将这比作进化:对草原生存能力的筛选,塑造出一种通用学习者,最终能够设计半导体,尽管进化过程从未直接优化过这项能力。

  • 《财富》500 强的例子让部署场景更具体:AI 第一天早上就能读完企业的每封邮件、所有 Slack 消息和文档;到当天结束时,其复制体还能采访每位员工和主要客户。季度反馈仍然需要日历时间。但 Patel 预计,AI 将在数月内于各领域达到人类顶尖水平;在他的中位情景中,这会发生在 2028 年或 2029 年。

  • “火花”之后,他预计 AI 在加速器设计上会胜过 NVIDIA;在市场准入相同的情况下,也会在交易上胜过 Citadel 和 Jane Street。远程访问材料实验室后,AI 还可能开展更出色的超导体研究。即使软件进展停滞,故事也不会结束:全球 AI 算力在过去 5 年里每年增长约 3 倍,而 AI 设计的芯片和晶圆厂可以继续支撑扩张。

4. 研究各环节都有可量化目标

  • 对预训练而言,留出集损失提供了直接目标。Patel 承认,小规模改进未必能在更大规模上奏效,但他认为,这种“研究直觉”本身也能训练:GPT-7 可以练习预测,参数量从 1 亿增至 100 亿后,某项改进是否仍然有效。可验证性既支持反复进行 RL 训练,也让智能体在合并贡献前可以独立检查结果。

  • 更好的预训练还会产生复利效应:能力相当的小模型能降低训练、RL rollout 和研究者复制体的成本,从而收紧改进循环。Patel 提到,Magic 宣布其基础模型达到 DeepSeek v4 Pro 等领先开源模型的水平,而训练算力仅为原始 GPT-3 的一半;按今天的成本计算约为 50 万美元。他认为,未来再提升几个数量级也并非不可能。

  • 后训练的可量化目标包括:达到某一分数所需的算力、数据和时间;适应陌生环境的能力;以及研究表现本身。Anthropic 的 CoBench 收录了研究者和工程师当年解决的约 500 道题。推理效率则可以用 GPU 利用率、KV cache 大小、FLOPs 和延迟衡量。Patel 认为,样本效率和在线学习同样可以通过具体指标评估。

  • 数据生产也属于这一循环。Patel 与普林斯顿学生 Jerry Huang 的研究发现,过去 6 年里,数据改进对预训练算法进展的贡献,是模型改进的 3 倍多。他还提到,DeepSeek 将其后训练中“几乎所有已观察到的收益”归因于更好的合成数据和环境,而这些数据与环境正越来越多地由自动化方式构建。

5. 学习能力和算力都可能成为循环的瓶颈

  • Patel 最大的观念转变涉及持续学习。他曾用 1 年半时间反对这一观点:“每次开启新会话,都是它上班的第一天。”现在他认为,数月长度的有效上下文或许就足够;即便模型缺乏持续学习能力,也可能自行发现解决办法。但他仍认为,持续学习最终无法解决、且其他优势也无法弥补的可能性相当大。

  • 另一个质疑是,研究者必须先发明正确的目标,才能对其进行优化。Patel 的回应是,现有翻译基准测试捕捉到了 Transformer 的突破,正如编程和数学基准测试捕捉到了推理能力的提升。更广泛的测试——例如发现科学成果或掌握从未见过的游戏——也能评估新的范式。他认为,这个质疑的分量低于其他问题。

  • 实验算力是更严峻的约束,但 Patel 认为可用资源仍然可观。如果目前的增长趋势延续,到 2027 年底,OpenAI 可为近 10,000 个智能体分别提供足够算力,让每个智能体每天完成一次 GPT-3 规模的训练。最初 Transformer 论文中的最终模型,用 8 张 P100 训练了 3 天;按今天的租用价格计算约为 50 美元,算力约为 GPT-3 训练量的万分之一。

  • 他的应对思路是“用劳动力换算力”:检查 rollout、终止出错的环境、细致开展消融实验,并设计信息量更高的合并实验。改进外推能力也能提供另一种杠杆:GPT-4 论文称,其最终损失是根据算力少 10,000 倍的实验预测的;μP 则能将超参数选择从小 100 倍的模型迁移过来。一位研究者的说法让他印象深刻:“上方的神明与下方的蚂蚁,遵循的必定是同一套原理。”