先锋 趋势 方法 投研 作者
为什么我不认为 AGI 已近在眼前
返回节目精读

为什么我不认为 AGI 已近在眼前

摘要

  • Dwarkesh 的核心判断是:AGI 的瓶颈在持续学习,而不是原始智力。 LLM “只能停留在开箱即用的能力水平”,无法像人类员工通过在岗学习那样,吸收会不断复利的高层反馈。他花了 100 多个小时为自己的播客流程搭建 LLM 工具,这段经历“拉长了他的时间表”。
  • 他直接反驳 Anthropic 研究员 Sholto Douglas 和 Trenton Bricken:如果 AI 今天停止进步,消失的白领就业岗位将少于 25%。 这与他们的判断相反:现有模型已经具备足够的经济价值,能在 5 年内自动化白领工作任务。
  • 他给出 3 个理由,押注 Sholto 和 Trenton 关于 2026 年底实现“可靠计算机使用代理”的预测会落空。 更长的执行周期会拖慢进展;不存在大规模多模态预训练语料库——“想象一下,试图用 1980 年之前所有可用文本数据训练 GPT-4”;即便是“简单”的想法也需要数年,GPT-4 到 o1 就用了 2 年。
  • 他的 50/50 时间表是:到 2028 年,AI 能在一周内完成小企业全套税务,水平相当于一名合格的总经理;到 2032 年,AI 能像人类一样自然地在工作中学习。 后者相当于一个积累了 6 个月审美经验的视频剪辑师。“我们现在处于计算机使用的 GPT-2 时代”,而 GPT-2 到 GPT-4 用了 4 年。
  • 乐观的一面是,一旦持续学习问题被解决,就会触发一次断点。 一个 AI 把所有副本的学习成果汇总起来,“基本上就是在学习经济中的每一份工作”,即使没有纯软件层面的奇点,也可能出现某种看起来像广泛部署的智能爆炸。
  • 对投资者而言,结构性不对称在于:“AGI 时间表高度服从对数正态分布,要么就在本十年,要么就落空。” 训练算力每年增长 4x 不可能在本十年后继续,无论受制于芯片、电力,还是训练所占 GDP 的绝对比例,因此此后的 AGI 年度概率会坍塌。如果最终落在他 50/50 赌注中较慢的一侧,世界可能会在 2030 年代、甚至 2040 年代仍显得“相对正常”。

精读

1. 瓶颈不是智力,而是模型不会持续学习你的工作

  • Dwarkesh 从自己为后期制作流程搭建 LLM 工具的 100 多个小时经验中得出的事实判断是:转写重写、识别片段、逐段共同撰写文章——这些都是“简单、封闭、短周期、输入输出均为语言的任务”,正好位于模型能力谱系的核心位置,但它们的表现只有 5/10。人类有用,主要不是因为原始智力更强,而是因为人类能建立上下文、追问失败原因,并在实践中吸收改进。财富 500 强企业并非采用速度慢;问题在于,“确实很难从这些 LLM 身上得到正常的人类式劳动力”。
  • 他最具代表性的类比是:教萨克斯时,每个学生犯一次错就把他送走,再把改进后的书面指令交给下一个学生。“无论提示词打磨得多好,没有哪个孩子能只靠阅读你的指令学会吹萨克斯。但这正是我们唯一能用来‘教’LLM 任何东西的方式。”
  • 他的编辑之所以变得优秀,是因为他们会留意细节并内化他的品味,而不是依靠“为不同子任务定制 RL 环境”。RL 微调不像人类学习那样有意识、能适应环境。他可以设想一个更聪明的模型从高层反馈中为自己建立有机的 RL 循环,但这听起来很难,也未必能跨任务、跨反馈方式泛化。模型在单次会话中确实会变聪明:比如他重写 4 段糟糕文字后,模型的建议会改善——“你的东西烂透了”;但这种默会理解会在会话结束时蒸发。类似 Claude Code 的滚动压缩在文本原生的软件工程之外“很脆弱”;甚至 Claude Code 本身,也经常会在 /compact 之前撤销双方共同打磨出的优化。

2. 与 Anthropic 的分歧:没有学习能力,自动化上限很低

  • 针对 Trenton Bricken 在播客中提出的观点——即便 AI 进展停滞,白领任务也会在 5 年内被自动化——Dwarkesh 的反驳是:白领就业中消失的比例不到 25%。Claude 4 Opus 在技术上可以重写他的文字稿,但如果不会随时间进步,“我还是会雇一个人来做这件事”。会做某个子任务,不等于具备员工能力。

3. 为什么“2026 年底帮我报税”的预测值得怀疑

  • Sholto 和 Trenton 预计,到明年年底,代理可以通过邮件索要发票、整理企业支出,并提交 Form 1040。Dwarkesh 有 3 个反对理由:更长的执行周期意味着要先跑满 2 个小时,才能知道它是否做对了,同时还伴随高算力消耗的图像和视频处理;不存在大规模的多模态计算机使用预训练语料库——他引用 Mechanize 的说法:互联网文本“足以攻克自然语言处理,却不足以让模型成为可靠、胜任工作的代理”;还有历史经验——DeepSeek 在 R1 论文中解释的 RL 流程,从高层看似乎很简单,但 GPT-4 到 o1 仍然用了 2 年。“这正是我的观点!”
  • 他保留了自己的全部保留意见:也许文本训练能提供良好的 UI 先验,也许 RL 的样本效率很高,也许模型可以生成数百万个玩具 UI 来练习——“但我还没看到任何公开证据,能让我相信这些模型突然变得没那么吃数据,尤其是在它们明显缺乏实践的领域。”

4. 冷水泼得够多了——“它确实在起作用”

  • 读 o3 或 Gemini 2.5 的推理轨迹,你会觉得:“它真的在推理!”看着 Claude Code 根据模糊规格零样本生成一个能运行的应用,最准确的解释“就是它由一个婴儿般的通用智能驱动”。悲观主义者“没有在这些最强模型最擅长的领域实际把玩过它们”。
  • 而且他的概率分布很宽:为 2028 年出现失配的 ASI 做准备,“仍然非常合理”——这完全可能发生。

5. 带日期的赌注——以及为什么要么就在本十年,要么落空

  • 50/50 的分界线是:到 2028 年,AI 能在一周内完成小企业全套税务,水平相当于一名合格的总经理——目前处于“计算机使用的 GPT-2 时代”:没有语料库,奖励更稀疏,行动原语也更陌生,但更多算力和研究人员“可能正好抵消这些劣势”;到 2032 年,实现人类水平的在岗学习——“7 年是很长的时间!7 年前的今天,GPT-1 才刚刚发布。”2026—27 年出现很酷的演示当然没问题,但 GPT-3 当年也很酷,却并不实用。
  • 一旦持续学习被攻克,副本之间就能汇总学习成果,“一个 AI 基本上就是在学习经济中的每一份工作”——即使算法不再有任何进步,也可能迅速变成超级智能。最先出现的不会是 OpenAI 直播宣布的成品,而会是一个“早期的残缺版本”——“会有大量预警。”
  • 收尾的逻辑是:训练算力每年增长超过 4x,不可能在本十年后继续,无论受制于芯片、电力,还是训练所占 GDP 的绝对比例;2030 年之后,AI 进展主要必须来自算法进步,但即便如此,所有低垂果实也会被摘完,所以AGI 的年度概率会坍塌——时间表服从对数正态分布,“要么就在本十年,要么落空”(他自己的补充是:准确说应是“每年的边际概率下降,只是没那么上口”)。如果最终落在他 50/50 赌注中较慢的一侧,世界可能会在 2030 年代或 2040 年代仍显得“相对正常”;而在其他所有世界里……我们必须预期一些真正疯狂的结果。