AI 核心的数据黑洞

摘要

• Dwarkesh 的核心论点是：AI 的进步主要来自拓宽数据分布，而不是样本效率出现了明确改善。 强化学习“基本上是一种合成数据生成”，而模型仍是“弗兰肯斯坦怪物”（a Frankenstein’s monster）——由10亿个精心构造的样本嫁接而成，再全部缝合在一起。
• 可交易的结构性判断是：Dwarkesh 认为，真正驱动进步的是数据，而不是超参数、训练技巧或架构。 这也解释了为什么开源模型能在数月内追上前沿模型（Epoch 报告的滞后期为4个月）。数据“可以轻松从公开 API 中蒸馏出来”，这意味着训练技巧构筑的护城河可能比市场原先以为的更薄。
• 差距大得惊人：人类到成年时接触约2亿个 tokens，而前沿模型接触的是数十万亿至数百万亿个 tokens。 这意味着“接近100万倍的差距”。青少年只需20小时就能学会开车；即便把16年的成长和建立物理直觉也算进去，所需数据仍比 Waymo/Tesla 使用的数据少3-4个数量级。如果 AI 能像人类远程操作员那样学习，机器人产业将成为10万亿美元级产业。
• 单纯扩大规模无法弥合这一差距：按 Chinchilla 常数，参数量无限增加也只能将数据需求削减10倍，而人类的效率高出数千至数百万倍。 人类根本处在另一条 scaling curve 上。
• 看多逻辑依然成立：即便训练效率低得离谱，各大实验室仍可能赚得盆满钵满。 技能可以摊销到数十亿次会话上；围绕专家标注和 RL 环境生产数据的产业每年营收已达数十亿美元，很快将达到数百亿美元规模。
• Dwarkesh 的逆向判断是：2028年对人类软件工程师的需求将高于现在。 主要因为 AI 提供了互补性投入；软件工程很可能是一种分布外工作，尽管它恰恰是 AI 被认为最先取代的职业。

精读

1. 智能就是样本效率——但进展并不明确

• Dwarkesh 开场给出的定义是：智能，就是在某个领域做到胜任所需的数据量；而且“我们在训练样本效率上到底取得了多大进展，其实并不明确”——进步主要来自加入更多、更优质的数据，RL 则是“一种合成数据生成”，把算力砸向验证器或评分标准。
• 由于模型必须对正确解保有一定先验概率，因此每项技能都需要“多到令人咋舌的人类专家轨迹”。他的直觉案例来自 Mercor/Surge 的职位列表：Word 文档润色员、M&A 尽调撰稿人、咨询顾问市场研究模板制作员。每项技能至少对应数百名专家；使用 GRPO 时，为解决 credit assignment，每个任务还要跑数百至数千次 rollout。
• 最具标志性的图景不是一个学会技能的人类，而是“一个弗兰肯斯坦怪物”——由10亿个精心构造的样本嫁接而成，再全部缝合在一起。

2. 数据或许解释了前沿模型的快速追赶

• 他对 Epoch 发现的解读是：开源模型落后4个月，真正的驱动因素是数据；“数据可以轻松从公开 API 中蒸馏出来，而超参数、训练技巧和架构优化却做不到”。如果后者才是最重要的因素，开源模型追平的难度应远高于现实所见。

3. 近100万倍的差距，量化来看

• 按每小时约2,000词计算，人类到成年时接触约2亿个 tokens，而前沿模型接触的是数十万亿至数百万亿个 tokens——差距“接近100万倍”。人类几小时就能学会远程操作机械臂；如果 AI 也能达到这种水平，机器人将成为10万亿美元级产业，市场上会有一支“无穷无尽的 Unitree G1 大军”。
• 开车只需青少年练习20小时；即便把16年的物理直觉积累也算进去，所需数据仍比 Waymo 和 Tesla 使用的数据少3-4个数量级。

4. 3个反对意见，逐一拆解

• 把进化视为预训练——Dwarkesh 认为 Karpathy 在其播客中提出过这一观点——并不能解释问题。基因组“只有3GB”，其中仅1-2%编码蛋白质，“空间根本不够存下这些参数”。进化找到的是超参数和损失函数，而神经连接组是从零构建的。即便接受这一解释，每项新增技能仍需要海量数据：受过教育的人学习一门新的编程语言，并不需要100名教授。
• 多模态 tokens 也不是答案：盲人和聋人仍然具备通用智能，因此感官 tokens“并不真正是让人类变聪明的东西”。聋人手语使用者摄入的语言 tokens 可能远少于2亿，所以100万倍的差距“可能还被低估了”。
• 继续扩大规模也不够：人类拥有100万亿个突触，模型约有5万亿个参数；但 Chinchilla 常数表明，参数量无限增加也只能将数据需求削减10倍。相比之下，人类的效率高出数千至数百万倍——“人类根本处在另一条 scaling curve 上”。

5. 实验室为何仍能赢——以及 OOD 挑战

• 白领工作的押注是：常见任务本来就更常见，因此实验室可以把它们纳入分布；收入曲线显示，即便没有类人学习能力，这条路线依然能释放“巨量价值”。他的类比是：一个人如果必须读完 GitHub 上每一个公开代码仓库，才能成为合格的软件工程师，“在教育早期就该领 Social Security 了”；但 AI 以数GW级功率持续灌入训练，将成本摊销到数十亿次会话，因此实验室“训练效率低得荒谬，却依然能大幅盈利”。
• 真正的挑战在分布外（OOD）工作，而且取决于具体职业。软件工程很可能就是这类工作，尽管它恰恰是 AI 被认为最先取代的职业——他的押注是：“2028年对人类软件工程师的需求会高于现在”，主要来自 AI 这一互补性投入。
• 对于后一类工作，实验室的计划是先自动化 AI 研究，再让自动化的 AI 研究员解决样本效率问题——这一点留待未来文章展开。当前关于智能爆炸的讨论“非常笨拙”：人们要么否认 AI 能加速 AI，要么“假设最后会冒出某种上帝”，却没有去推演如何在 LLM 之上、基于 LLM 特有的智能形态实现快速进展。