Groq 创始人、TPU 创造者 Jonathan Ross：GPU ♥ LPU——你想知道的一切｜Nvidia GTC 2026

摘要

• Nvidia 与 Groq 的整合已经落地，范围广泛，并开始交付。 Ross 确认，LPX 机架“已经投入生产”，Q3 可供货——这“可能是半导体史上最快的爬坡之一”（“可能”是法务要求加入的措辞）。从 Groq COO Sunny Madra 联系 Jensen、询问能否接入 NVLink，到交易在数周内完成，Ross 于12月25日开始在 Nvidia 全职工作。
• 这套产品将 LLM 的解码工作拆分给两类芯片。 FFN 层运行在 LPU 上，attention 层运行在 GPU 上——Ross 用物流网络作比喻：18轮卡车代表 GPU 的长距离吞吐，配送面包车代表 LPU 的低延迟。结果是两类芯片的利用率都得到提升，帕累托曲线在高速区间“向上弯曲”，达到“每秒数千个 token”这一“原本不可能实现”的水平。
• Ross 预计，快速档位的定价仍将保持超线性。 Anthropic，以及很可能包括 OpenAI，已经对快速档位收取超线性价格；Ross 用煤炭与石油作比喻：石油每 BTU 成本约为煤炭的7倍，但人们仍愿意支付，因为“你不能用煤炭让飞机起飞”。企业应把超高档位的 token 配额给最优秀的工程师；如今每月花费1万美元的客户“可能还只是低端”，未来可能走向工程师每年消耗数百万美元 token。
• 速度就是智能，甚至可以胜过模型质量。 Groq 内部发现，Qwen-32B“是一个不错但算不上顶尖的模型”，仅仅通过增加迭代次数，就能比 Anthropic 的 Opus 更快、更便宜地解决每一道形式化推理数学题——快速反馈循环胜过更少但昂贵的迭代。
• 推理驱动收入循环。 “训练规模取决于研究人员数量，推理规模取决于用户数量。收入来自用户，而不是研究人员。” 这会形成正向循环：推理侧领先，带动客户收入增长，进而推动客户购买更多训练硬件。
• 能源正在限制推理规模。 “现在全球没有足够的推理算力，也没有足够的能源来驱动足够的推理算力。” 混合机架的核心卖点，是提高每兆瓦的 token 产出；这正对应 Jensen 提出的关键问题：在吉瓦级数据中心里运行什么，才能最大化收入。
• 从内部看，NVDA 的文化是：即便有超过4万人，也和450人的 Groq 一样快，丝毫不慢。 Ross 称 Nvidia“几乎没有真正的官僚主义”，并在台上针对 Google 的推进速度作了意味明确的调侃。

精读

1. 从主动联系到圣诞节：这笔交易如何达成

• Ross 讲述的起点是：2025年初，Nvidia 向合作伙伴开放 NVLink 后，Groq COO Sunny Madra 联系 Jensen，问道：“我们能接入这个吗？” Jensen 回答：“当然，为什么不？” Groq 随后演示了一个通过普通以太网实现的 GPU/LPU 拆分工作负载方案；演示结束3天后，Jensen 打电话提出“更紧密地合作”，3周后交易完成，Ross 于12月25日正式加入 Nvidia、开始全职工作。
• Ross 给现场的建议值得记下：“Nvidia 的核心就是帮助合作伙伴成长……如果你有想用 NVLink 的点子，就联系我们。整个事情就是这么开始的。”
• 关于时间表和出货，台上公布的 LPX 机架目前已经投入生产，Q3 可供货——“可能是半导体史上最快的爬坡之一。Nvidia 的法务部门要求我们加上‘可能’这两个字。”

2. 架构：FFN 上 LPU，attention 上 GPU

• 工作机制是：FFN 层放在 LPU 上，attention 层放在 GPU 上；约40层 decoder 意味着约40次往返。如果把所有工作都放在一颗芯片上，就会出现利用率不足——无论是让 LPU 跑 attention，还是让 GPU 跑 FFN，都会如此。“把它们放在一起，两边的利用率都会提升。”同时，LPU 不需要反复从外部内存取数，因此同一套硬件可以同时获得更高吞吐和更低延迟。
• Ross 的标志性比喻是18轮卡车与配送面包车：“最佳答案是两者兼有。”单独使用 Ruben，目标是“最低 token 成本”；混合方案则是在高速区间让帕累托曲线“向上弯曲”，而不是继续向下，箭头会“相当远地指向右侧”。
• 衡量框架是每兆瓦吞吐量——也就是 Jensen 所问的：在一个吉瓦级数据中心里运行什么，才能最大化收入。Ross 说，Groq 过去的问题是：“我们有非常快的 AI，但没有足够的吞吐量来交付它……客户总想采用我们，但他们做不到。现在引入 GPU，就可以规模化实现。”
• 对于问答环节有人提出 LPX 比 NVL72 更便宜，Ross 并不认同：“那个机架里有很多硅。”它的优势是更高密度，而不是更低价格。至于如何掩盖激活值传输延迟，Ross 称：“Nvidia 最不为人知的秘密之一，是我们的网络能力非常强”（Mellanox），而且后续还会继续改善。

3. 为什么人们愿意为速度付费：石油胜煤的论点

• 经济学逻辑是：石油每 BTU 成本约为煤炭的7倍，但人们仍理性地为此买单，因为“你不能用煤炭让飞机起飞”。程序员如果能在5分钟而不是10分钟内拿到结果，每天就能完成2倍迭代。真正的认知核心是：“我们不知道快速 AI 能做成什么，因为此前还没有过这种能力。”这就像早期家电直接拧进灯泡插座；两人也都提到了 Bezos 在 TED 演讲中提出的“薄薄的横向赋能层”（“thin horizontal enabling layer”）比喻。
• Ross 更大的判断是，AI 并不是互联网那种信息时代技术——互联网“在概念上与印刷机是同一种东西”。“AI 不是复制数据，而是在创造此前不存在的答案……它比电力更大。它的基础性更强，因为人类此前从未有过把创造力外包出去的能力。”
• 企业可以分成两类：价值守成型公司用 AI 降低成本，价值创造型公司用 AI 增长收入；而创造价值需要更快的迭代。Ross 举例称，一位客户提出的功能需求，在会议结束“不到1小时”后就已由 coding agent 实现。“如果当时速度更快，会议结束前就能完成。”

4. 速度就是智能——语音是试验场

• 最有说服力的实证来自用形式化推理证明电路正确性：Opus 用最少迭代得出答案，但成本最高；Qwen-32B 只是不断迭代直到得到答案，却更快、更便宜地解决了每一道数学题。“对于存在调试闭环的问题，能力较弱的模型也能更快地完成迭代。”
• Ross 讲了一个女友的例子：ChatGPT 语音模式中的“这是一个很好的问题……让我想想”，本质上是在争取生成时间——“这些填充词比沉默好，但好不了多少。”如果答案即时出现，对话会让人感觉“像是在读心”。
• 语音正在取代打字。Nvidia LPU 团队的一名工程师完全通过手机语音指挥 Codex 或 Claude Code；Ramp 的工程师则说自己“什么都不打字了”——“这对开放式办公区来说不会是什么好事。”

5. 元层面的教训：AI 让实验变便宜

• Ross 坦言自己差点否决这次实验：“一开始我反对它。”原因纯粹是机会成本：工程师数量有限，而且当时都有客户项目。Sunny 坚持推进后，Ross 只拨出“一小支人马”；主持人问，这个实验是否可能让公司价值增加5倍或10倍，Ross 回答：“更多。”他的总结是：“如果当时有今天这种水平的 AI，它会直接去做这个实验……相对于错失的机会而言，成本很低。”
• Sunny 提供了一个体现复利效应的例子：“Claude Code 会写 Claude Code”（“Claude code writes Claude code”），从而让更新发布频率超过每天1次。
• Ross 自己的日常也说明了这一点：他约在早上6点醒来，先看 AI 生成的每日简报，内容包括邮件、日历、Polymarket、Kalshi 和论文；睡6小时后，他几乎不停地用 AI 写代码——“开会时只想着赶紧回去写代码”。在 AI 出现前，他已经完全停止写代码。“AI 正在教我认识 AI……循环一层套一层。”

6. 问答：瓶颈无处不在，RSI 的表述极其谨慎

• 关于什么限制了帕累托前沿，Ross 给出了一个关键的技术回答：对某个近期开源模型的一层进行电子表格分析后发现，不同算子分别受制于内存容量、内存吞吐量、计算、网络延迟和网络带宽。“这是相当均衡的架构，需要同时改进很多环节，才能带来明显提升。但未来仍有很大空间。”
• 关于递归自我改进，Ross 的表述高度谨慎：“纯属推测……据我所知，这不是一个已经被深入开展的领域。”人类之所以能够高效学习，是因为好奇心会主动寻找异常；在强化学习场景中，更快的 rollout 可能通过更精准地选择目标，缩短训练所需的迭代轮次。
• 对于自 CES 以来 Groq 的角色是否先收窄、后拓宽，Ross 表示：“Jensen 喜欢先设定预期，再超额交付……内部做了大量工作来验证这一点，之后才更广泛地推出。”现在已经进入生产阶段，因此“可以说得更多”。