摘要

推理时算力将成为近期的爆发点，而且经济性好得离谱。 Noam Shazeer 算了一笔账：即使模型每个 token 需要1万亿次运算、每次运算成本约$10^-18，也就是“1美元能换来100万个 token”；让 LLM “比读一本平装书便宜100倍”，比软件工程师或律师便宜100万倍以上。“利用推理时‘多想一会儿’必然会带来爆发”，这将直接传导至推理优化芯片和数据中心需求。
自我改进反馈环被当作一种现实可能性，而非确定会发生的结果。 Jeff Dean 希望把芯片设计从18个月、150人压缩到少数人运行自动化搜索，届时 TSMC 3-5个月的流片时间会成为瓶颈——而这恰好接近一次训练运行的时长。当被直接问到能力是否会以加速速度爆发时，回答是“很有可能”；Dwarkesh 则透露：“我已经不打扫车库了，因为我在等机器人。”
算法进步在推动每一代 Gemini 时，作用不亚于甚至超过硬件。 架构、数据配比和训练方式的变化，让模型“每个 flop 变得更强”；如今顶尖实验室用于自动化搜索新想法的算力，可能已经是训练 Transformer 所需算力的100万倍。理想中的能力门槛，是从10步任务拆解80%的可靠性，提升到100-1,000步达到90%——“这是一次巨大的、巨大的跃升。”
Google 已经在大规模使用自家模型。 一个基于内部 monorepo 进一步训练的 Gemini 模型，意味着 Sundar 所说的：Google 代码库中约25%的已提交字符由 AI 生成；路线图则是把上下文窗口从数百万 token 推向万亿级 token——“让所有开源开发者都能把全世界的源代码放进上下文”——前提是解决二次注意力的算法近似问题。
算力需求正以乘法方式堆叠，直指2030年。 推理扩展让每次请求变重50-1,000倍；全球只有10%-20%的电脑用户发现了聊天机器人；模型规模还在持续增长，Jeff 认为这3项因素各自都可能带来2个数量级的提升。Noam 更进一步，设想全球 GDP 增长100倍，并问“太阳是多少，10的26次方瓦？”；Jeff 则明确保留意见：“我不确定完全同意……即使只走到中途，也肯定会需要大量算力。”他没有评论未来资本开支，但提醒大家“看看我们过去的资本开支”。
这里勾勒出的下一代架构，是有机、模块化的“blob”。 Mixture-of-experts 被推向更极致的形态：专家模块的算力成本相差100-1,000倍，模块可按语言、数据领域或个人独立训练，进行外科手术式替换，并持续蒸馏。Pathways 基础设施已经支持这种形态，但 Gemini 尚未使用这些能力——“也许我们应该用起来”。如果这条路线胜出，只有能把数据中心级模型整体放进 HBM 的公司才有资格参与，TPU pod 持有者将获得结构性护城河。
Google 明明发明了几乎所有关键东西，却为何仍然迟到：搜索文化设定了过高的正确性门槛。 “你希望100%的时候都给出正确答案”，再加上安全顾虑，让 Google 低估了聊天机器人在搜索之外的用途；ChatGPT 出现前，Meena 已经在 Google 内部存在。至于发布 Transformer，Noam 并不后悔：“蛋糕不是固定大小”——不过“这些年我们确实少发布了一些正在做的东西”。如今 Gemini 2 已登顶 LMSYS Chatbot Arena。
Jeff 不相信数据快用完了。 Jeff 说：“我不太相信这一点”；他认为可以通过 dropout、对全世界文本训练100个 epoch、更难的训练目标，以及此前几乎没被使用的视频数据和行动模型，继续榨取现有数据的价值。真正让他们不安的效率基准是：“一个人看过10亿个 token，却已经很擅长很多事情。”

精读

1. 从25、26名员工到“Project Platypus 到底是什么？”

Noam 于2000年加入 Google，公司为他安排了一位“什么都懂”的导师——就是 Jeff；而 Jeff 之所以什么都懂，“因为基本上所有东西都是他写的”。Jeff 对公司规模扩张的描述是：起初你认识每个人，后来只认识每个工程师，再后来只认识每个项目，最后你会收到一封邮件，告诉你 Project Platypus 周五上线。解决办法，是建立一张关系网络，让你“通过一层间接关系，通常就能找到正确的人”。
Noam 的加入故事是：1999年参加招聘会时，他以为 Google 已经很大，于是直接跳过；2000年一时兴起投了简历，最后被墙上的一张每日搜索查询量的蜡笔图说服——“看起来非常像指数增长”。他的计划是先赚到创业公司的钱，然后“想做多久 AI 就去做多久”。此后他的轨迹是：“我好像每12年就会加入一次 Google：2000年、2012年和2024年。”
Jeff 对 Google 为什么一直是一家隐形 AI 公司的解释是：“组织全世界的信息，让它普遍可访问、可使用”是一项“非常宽泛的使命”，要完成它，必须拥有相当先进的 AI。

2. 算法追随硬件，量化则是软硬件协同设计问题

Jeff 说，过去10年里，你只需等待18个月，就能获得更快的通用芯片；如今制程节点需要3年，多核性能提升也已趋平，但专用 ML 加速器能为那些不属于“堆满各种 C++ 代码、试图运行 Microsoft Office 的复杂程序”的计算任务提供更高效率。Noam 对这个时代的概括是：“算术非常、非常便宜，而搬运数据相对昂贵得多……基本上整个深度学习的崛起，都大致源于这一点。”
Dwarkesh 引用了 Larry Page 的一句话——他也承认可能记错了：“我们的第二大成本是税，最大成本是机会成本。”被错过的机会在于芯片面积：“把它填满算术单元！”如果反过来，内存便宜、算术昂贵，AI 可能会更像“对超大内存进行大量查表”。
在精度方面，TPUv1 把整块芯片押在当时并不确定的 INT8 serving 上；如今 INT4、FP4，甚至1 bit 量化都进入讨论——“只有0和1，再为一组 bit 配一个符号位”。这对20年前专攻超算浮点数的人来说近乎异端。组织层面的教训是协同设计：单独问算法设计师，他们会以“很烦”为由拒绝量化；但看完整体图景后，你可以告诉他：“你的模型会快3倍，所以你得处理这个问题。”

3. 1990年的反向传播论文、2007年的2万亿 token N-gram 模型，以及从12小时到100毫秒

Jeff 的本科论文在32处理器 Hypercube 上实现了反向传播中的模型并行与数据并行——“4页内容，再加30页 C 代码”。他当时天真地希望32个处理器就能训练真正的神经网络，但实际少了6个数量级的算力：“我们大约需要多100万倍算力”，而这批算力在2008-2010年前后才到位。
2007年，Franz Och 的翻译团队凭借巨大的 Bleu 分差赢下 DARPA 比赛，但问题是：“我们没法上线……翻译一句话要12小时。”每个词都要进行100,000次磁盘寻址。Jeff 花了2-3个月，在200台机器上构建了一个内存中的压缩表示，存储跨越2万亿个词的五元语法统计，并配套批处理 API，把翻译从“要跑一整晚”压缩到100毫秒。Dwarkesh 说，关于 Jeff Dean 的那些 Chuck Norris 式传说——“光速原本是每小时35英里，直到 Jeff Dean 用一个周末把它优化了”——突然从段子变成了纪录片。
Noam 在2001年写过一个拼写纠错器，单机运行、全部驻留内存，Jeff 随手输入各种被打乱的查询，它几乎都能纠正，包括“scrumbled uggs Bundict”。Noam 说：“嗯，我想那应该就算语言建模吧。”

4. “世界上最好的问题”，以及促成规模化的猫神经元

两人都没预料到 N-gram 会席卷世界——当时“很多人对贝叶斯网络很兴奋”。但 Noam 对神经语言模型的转变，是整期节目的核心命题：这是“世界上最好的问题”，因为它表述简单——预测下一个词的概率分布；拥有近乎无限的自监督训练数据；“而且它是 AI complete。如果你能把这件事做得很好，基本上什么都能做。”
Transformer 是否不可避免？Jeff 认为，很多想法“部分已经存在于空气中”——神经图灵机和注意力机制都在流传；但仍然“需要某个团队真正去做”，把已有想法改造组合起来，同时解决那个真正尚未解决的部分。
Jeff 说，早期 Brain 没有 GPU，只能让2,000台 CPU 机器、16,000个核心在1,000万张 YouTube 视频帧上做无监督学习。结果，一个顶层神经元在从未被告知“猫”是什么的情况下，竟然“对猫触发了”。这个模型比此前训练过的任何模型大约大50倍，并让 ImageNet 20,000类别的当时最佳成绩相对提升60%——“把神经网络做大似乎是个好主意，所以我们应该继续推进。”

5. 不是信息检索公司——“真正酷的是1,000万亿美元”

Jeff 重新定义 AGI 时代的 Google：“我们是一家‘组织全世界信息’的公司，这比信息检索更宽泛。”如今这也包括创造信息，例如替你起草给兽医的信；整合100个网页、处理不存在单一来源的信息；以及非人类模态，如“自动驾驶汽车上的奇怪 lidar 传感器、基因组信息或健康信息”。
Noam 一如既往地直白地描述机会规模：“组织信息显然是一个万亿美元机会，但1万亿美元已经不酷了。真正酷的是1,000万亿美元。”价值释放点在于，系统不仅回答问题，还会“真的替你做事，写你的代码”。
Jeff 举了一个尚未完成的愿景：任何视频都能用数千种语言观看——“我们还没完全做到，但这绝对是我在地平线上看到的事情。”

6. 关注万亿级 token——monorepo 全部进入上下文，25%的代码由 AI 编写

Noam 对幻觉的解释是：数十万亿个训练 token 被“搅拌”进参数后，变得“软乎乎的”；而上下文中的信息得益于注意力机制，会变得“非常锋利、非常清晰”。当前模型已经能处理数百万 token——数百页 PDF、50篇论文、数小时视频；但终极目标是万亿级：“它能不能关注整个互联网？……我所有的邮件、文件和照片……让每个 Google 开发者都能把全部 Google 代码库放进上下文。”
瓶颈在于朴素注意力的二次复杂度——“没有希望直接朴素地扩展到万亿级”，因此必须采用“大量有意思的算法近似”。Dwarkesh 补充了内存的不对称性：参数大致每个记住一个事实，而上下文中的每个 token，在每层都要付出从 KB 到 MB 不等的 key 和 value 存储成本——“你拿一个词，最后把它膨胀成10 KB。”
与此同时，已经上线的版本本身就很重要：Gemini 在 Google 内部代码库上进一步训练后，按 Sundar 的说法，已提交代码中约25%的字符由 AI 编程模型生成，并经过人工监督。

7. 100万名研究员，每天一个突破

Jeff 对 ML 研究的模型是：“如果你有一个绝妙的想法……即使你很聪明，它成功的概率也只有2%。这些事情大多数都会失败，但如果你尝试100个、1,000个或100万个，就可能撞上某个惊人的东西。我们有充足的算力。”如今顶尖实验室拥有的算力，可能已经是训练 Transformer 所需算力的100万倍。Dwarkesh 将其外推到10万人的研究社区——仅 NeurIPS 就有15,000人——再放大1,000倍；Noam 接着说：“每天一个突破？……听起来有可能不错。”
这需要相应的纪律：所有人都想以最大规模运行实验，“但我认为这是人类的问题”。正确做法是先做一个1/1000规模的问题，再用它筛选100,000个想法。Jeff 的愿景是，研究员“轻轻地引导一个更加自动化的搜索过程，而不是亲自照料大量实验”，让想法筛选进入生产配方的速度提高100倍。
唯一无法并行化的是最大规模的 N=1 实验：你需要“把一群杰出的人放进房间里”盯着结果。Jeff 的解决方案是：“更多硬件是一个好办法。更好的硬件也是……我们指望你们。”当 Dwarkesh 认为自主编程被低估时，Jeff 展现出自己的克制：“我只是不喜欢炒作那些还没完成的东西。”

8. 反馈环：几个月设计芯片、1,000步可靠性，以及“很有可能”的爆发

Jeff 的芯片周期压缩论是：如今从“我们应该造一块芯片”到交付 TSMC，大约需要18个月；其中晶圆厂环节在先进节点上只占3-5个月，而且随着金属层增加还会变慢。如果把设计搜索自动化到只需“少数几个人”，晶圆厂时间就会成为主导；而由于流片时间与一次训练运行相当，“你可能可以同时进行这两件事”，把 ML 硬件的预测窗口从2.5年缩短至6-9个月。
当被直接问到，这是否会让能力快速爆发、越过人类智能的尾部时，回答是：“很有可能。”Jeff 更愿意用具体指标表达：今天的模型能以约80%的可靠性把问题拆成5-10步；如果能做到“100到1,000步，90%的时候都成功”，那将是“惊人的进步”。“我们不需要新硬件来实现这一点，但有的话我们也要。”Noam 接话：“永远别拒绝新硬件。”
Dwarkesh 在“未来是缓慢推进20年，还是人类历史上最重要的2年”之间的立场是：“我已经不打扫车库了，因为我在等机器人。所以我可能更接近第二派。”

9. 推理时算力：比平装书便宜100倍，到处都是提升空间

Noam 给出了关键算术：每个 token 需要1万亿次运算、每次运算成本约$10^-18，也就是“1美元能换来100万个 token”；相比之下，读一本平装书每美元只能处理10,000个 token，推理成本比客服代理便宜10,000倍，比医生或律师便宜100万倍以上。“我们能不能增加计算量，让它变得更聪明？我认为我们很快就会看到的大部分能力起飞，都属于这种形式……必然会带来爆发。”
Dwarkesh 想要一个可调节的“旋钮”：面对难题时增加推理算力，但“你大概不希望花海量算力去计算‘1加1等于多少’”；系统“应该决定使用计算器工具”。线性扩展推理算力是否已经解决？答案是：“我们正在研究算法。”如今增加10倍算力能带来更好的答案，但目标是让每10倍算力带来的质量跃升高于当前水平。
Noam 的指南针是 Rich Sutton 的 Bitter Lesson：“真正极其有效的两种技术是学习和搜索”；搜索“必须成为解决方案的一部分”。效率层面，drafter 模型可以让小模型先提出4个 token，再由大模型验证——“大模型被用作验证器”——从而打破逐 token 解码的瓶颈。约一周前推出的 deep research 工具，则预示了异步界面的问题：20个后台任务同时运行，并不断回来询问输入，比如“我找到你去柏林的航班了……”

10. 多数据中心训练已经可行，两位共同负责人争论异步与同步

Google “已经在做这件事”：Gemini 1.5 技术报告披露，模型训练跨越多个 metropolitan area，通过高带宽、高延迟链路连接。Noam 的逻辑是：如果每一步需要几秒，50毫秒延迟就无关紧要——“只要能在一步计算所需的时间内同步全部参数，就已经足够好了。”
两人之间存在一场值得保留的真实分歧。Jeff 倾向同步：“非常舒服……实验变得可复现，而不是结果取决于当时是否有 web crawler 在同一台机器上运行。”Noam 则说：“我喜欢异步，它能让你扩展得多得多。”他的方案是用可重放的操作日志实现异步但可复现；不过随着规模增长，“可能会推动我们比现在多采用一些异步。”
调试的现实是，神经网络“对噪声极其宽容”，所以配置错误往往只会静默地降低性能：“你的代码可能有 bug。大多数时候它什么也不改变；有些时候它让模型变差；还有些时候它让模型变好——然后你会发现新东西，因为此前从没在这个规模上尝试过这个 bug。”系统集成有50%的概率失败，取舍则在于代码库与算法复杂度，以及每个研究员都希望自己的发明被上线。

11. 100万个邪恶 Jeff Dean：把安全当作工程问题

Jeff 在末日论者与否定风险者之间取中间立场，引用自己参与撰写的《Shaping AI》论文：两种极端都属于“放任主义”；真正的任务是把部署“塑造和引导”到教育、医疗等方向，远离“电脑会接管一切”。“这是一个工程问题：如何工程化地构建安全系统？”这类似于飞机软件所拥有的安全记录。Dwarkesh 的反驳是，737不会被关在盒子里运行2年，然后出来变成版本1000。
Jeff 对控制问题的技术押注是：“分析文本似乎比生成文本更容易……语言模型真正分析语言模型输出、识别其中问题的能力，实际上会成为解决很多控制问题的办法。”他还有一个商业层面的理由：部署往往受安全限制，“所以把这件事做得非常、非常好，会变得极其重要。”
对自我改进反馈环，Noam 的安全阀是人工把关：系统可以探索算法想法，但“我们会决定”什么进入核心代码库；这是“有人类监督的自我改进”，而不是“完全自我改进”。当 Dwarkesh 提出100万个邪恶 Jeff Dean 可能比核战争之外的任何事情都更糟时，Noam 面无表情地回答：“训练数据从哪里来？”最后 Noam 说：“那不会赋予人们力量……所以我反对。”Dwarkesh 回答：“我也是。”

12. 2030年的 Fermi 估算：天文数字，Jeff 对 Noam 保留意见

Jeff 把几个乘数叠加起来：推理扩展让单次请求的算力需求提高50-1,000倍；如今全世界只有“10%的电脑用户发现了聊天界面，或者说20%”，因此用户渗透还会带来“另一个数量级或两个数量级”；更大的模型再增加1-2个数量级。结论是：“你需要极其高效的推理硬件。”
Noam 则完全放开想象：个人助理耳机“可能就像你是 Joe Biden……内阁里的耳机”，花2倍算力成本就能换来“5、10个 IQ 点”；每天花10美元或20美元，让更聪明的助手把你从10倍工程师变成100倍、甚至1,000万倍工程师；全球 GDP 增长2个数量级，能源问题被解决，数十亿机器人建造数据中心，“太阳是多少，10的26次方瓦？”Jeff 留下了明确的保留意见：“我不确定完全同意……即使只走到中途，也肯定会需要大量算力。”
至于 Google 的建设速度是否足够激进，Jeff 说：“我不会评论未来的资本支出，因为我们的 CEO 和 CFO 可能不希望我这么做。但……你可以看看我们过去几年的资本开支，就会看到我们确实在投资。”

13. 有机 blob：模块化专家、外科式升级，以及已经为此建好的 Pathways

Jeff 描述的下一代范式，是一种比今天更有机的结构。当前 MoE 过于规整：专家规模相同，路径很快就重新合并。他希望由不同团队独立训练模块，例如“东南亚语言”或“理解 Haskell 代码的推理模块”，再把它们接入基础模型——“Google 内部有100个团队，大家共同改进模型，这算是一种持续学习。”模块也能解决数据治理：针对个人私有数据的模块、只用 YouTube 数据的模块、仅限内部使用的模块，都可以按使用场景隔离。
Jeff 的保留意见来自科学方法：在快速进步阶段，受控的从零开始对比，才能“帮助我们判断该构建什么”。Dwarkesh 的回答是版本化模块：冻结基础模型，把模块 N 换成 N-prime，这可能让研究“便宜、快速得多”。每个模块还可以持续蒸馏：大版本蒸馏成小版本，删除大版本，加入新容量，然后在“1,000个不同地方”重复，全部在后台运行。
关键细节是：“Pathways 这个系统能支持的很多东西，正是这种不同部件异步更新、结构曲折而奇怪的模型。我们用 Pathways 训练 Gemini，但还没有使用它的一些能力。不过，也许我们应该用起来。”
Dwarkesh 进一步推导出结构性含义：未来不同专家的算力成本可能相差100倍或1,000倍；热门专家被复制，负责塔希提语舞蹈的专家则被换入 DRAM。但你必须在大 batch size 下把整个模型放进 HBM，Jeff 也打消了“未使用专家不花钱”的误解。服务一个数据中心级 blob，可能会偏向拥有 TPU pod 级基础设施的公司；之后你总能把它蒸馏到手机上。“如果有人能发明惊人的蒸馏技术，那就太好了。”

14. “一个人看过10亿个 token”——Jeff 不相信数据快用完了

Jeff 反驳数据墙论：“我不太相信这一点，因为我认为我们可以从现有文本数据中训练出更有能力的模型。”办法包括 dropout——它最初为图像发明，“我们基本没有把它用于文本”——以及在全世界文本数据上训练100个 epoch，尽管 Jeff 承认这会非常耗算力；还包括更难的训练目标：“当模型看到‘答案是’时，也许训练阶段应该让它做的工作远多于看到‘这’时。”视觉领域的技巧也有文本对应物，例如遮住鸟的一半，再根据局部信息推断整体。
样本效率的基准是：“一个人看过10亿个 token，却已经很擅长很多事情。”Jeff 认为缩小差距需要改变 next-token 目标——人读完一章后能回答章末问题；训练那些几乎未被触及的视觉数据；最重要的是让模型采取行动。婴儿通过扔东西学习重力，“当你不是行动发起者时，这件事就难得多。”被问到 Gato 是否代表未来时，他说：“让模型能够观察、采取行动，再观察相应结果，似乎非常有用。”这是保留意见，不是背书。
讨论还延伸到完全不依赖外部数据的学习：Einstein 的思想实验、数学家的推演、只需要规则的国际象棋自我对弈——“也许我们可以让这个东西和自己对话，让自己变得更聪明。”

15. 发布 Transformer、最终仍然迟到，以及让人留在牌桌上的谦逊

Noam 不后悔把 Transformer 发布出去：“我们确实需要看到机会有多大，而机会往往会体现在其他公司正在做什么上。而且蛋糕不是固定大小。”但政策已经变化——“这些年我们确实少发布了一些正在做的东西”。Noam 给出的分层判断是：超级关键的东西留在内部；与产品相关的东西先上线，再发布论文，例如 Pixel 的夜视模型；用于建设社区的工作则提交 NeurIPS。
Google 明明领先，却仍被竞争对手抢先，原因包括搜索文化对事实准确性的要求——“你希望100%的时候都给出正确答案”——以及安全担忧，导致 Google 低估了聊天机器人“在那些你不会问搜索引擎的问题上”的价值。ChatGPT 之前，Meena 已经存在于 Google 内部，疫情期间 Google 员工甚至拿它当午餐聊天伙伴。Jeff 坦率复盘：“我们是否希望更早发布聊天机器人？也许吧。”如今 Gemini 2 登顶 LMSYS，内部小厨房里反复喊着：“这么好的模型，这么好的模型。”
面对自己横跨搜索、系统、硬件和 AI 的职业寿命，Jeff 的答案是与“五六位拥有不同专业知识的同事”一起工作，让彼此的知识相互摩擦、相互传递。Noam 则带着玩笑说：“谦逊，比如说我是最谦虚的人。”真正的含义，是一旦发现更好的东西，就愿意立刻放弃原来的想法。他对组织的观察是：Brain 早期采用自下而上的“UBI”芯片分配机制——每个人有一个 credit，也可以合并使用——鼓励团队及时砍掉失败项目；Gemini 的自上而下模式更利于协作，却也会诱使所有人宣称“我做的东西运行得非常好”。未来需要两种模式并存。Jeff 自己的启动机制，则是一份内部幻灯片，标题叫《Go, Jeff, Wacky Ideas》。

核验说明

Gato 之后的讨论，在原始字幕中无法明确确认发言人。

ARC Prize 2024 获奖算法【Daniel Franzen 与 Jan Disselhoff】Ray Dalio 谈 AI、失业与经济的未来｜EP #148