摘要

Groq 的 headline number 被误读了：Jonathan Ross 表示，“我们没有融资 15 亿美元——那是收入”，规模约为 OpenAI 收入的 30%。 Aramco/沙特交易方承担资本开支，Groq 负责部署并按约定 IRR 偿还，之后再切换分成——“我们不再受资本限制”。公司目标是在 2027 年底前至少拿下全球一半的 AI 推理算力，并坚持一个信条：“当你的增长速度超过指数增长时，赚多少利润都不重要。”
Ross 拒绝把 Groq 与 Nvidia 定义为竞争关系，反而将训练视为“已经解决的问题”，并乐于让给 Nvidia——他甚至告诉自己的客户：“能买到的每一块 GPU 都买下来”。 Groq 接手 Nvidia 70-80% 毛利业务之外的低毛利（前端约 20%）、高规模推理需求。其宣称的经济性包括成本低逾 5 倍、每个 token 能耗仅为三分之一，以及“最新 GPU 光是内存成本，就高于我们每颗已部署芯片的全包资本开支”。
结构性突破口在于：Nvidia 是 HBM 的买方垄断者——只有 SK Hynix、Samsung 和 Micron 能生产 HBM，而 Groq 的 LPU 完全绕开 HBM。 LPU 采用与手机芯片相同的硅工艺，因此“我们的扩容实际上几乎没有上限”：2024 年初投产 640 颗芯片，年底达到 40,000 颗，今年目标超过 200 万颗，几乎需要占满晶圆厂产能。
Ross 最大的宏观担忧是 3-4 年后出现电力危机：潜在电力需求约 20GW，而全球现有数据中心约 15GW，当前正在过度建设。 一旦亏损的建设者收缩，而芯片数量仍每 18-24 个月翻倍、推升芯片驱动的需求至 120-240GW，“电力就会变成硬瓶颈”。与此同时，大量“假数据中心”——只有地产、没有发电机和水的项目——正在虚增表面供给。
关于 scaling laws，所谓渐近线只是把所有数据视为同等质量的结果；LLM 生成并筛选自己的合成数据后，可以突破这条表面渐近线，再与测试时推理叠加，形成“几何级增长的改进”。算力只是“软瓶颈”，DeepSeek 做的是算法改进；Nvidia 在 DeepSeek 后下跌 15%，只是“市场的 popularity contest……与 weighing machine 毫无关系”。
对泡沫的判断，两半都成立：“我可以保证会有大量资金被烧光，但我也押注最终赚到的钱会多于投入的钱。” 本轮的新鲜之处，是凯恩斯的选美竞赛“已经彻底失控”：多个竞争者手里都握有数十亿美元，资本不再决定赢家，“真正拥有最佳产品的人最终会赢，因为所有人都能获得资本”。
这套定位论，是在长达 7 年没有产品市场匹配的经历中磨出来的：“你的工作不是追随浪潮，而是为浪潮做好位置。” Groq 靠“Groq bonds”活了下来：80%的员工用薪资换股权，其中一半降至法定最低工资。他对下一轮浪潮的判断指向 4 类定义时代的公司：解决幻觉、拆解 agentic 子目标、实现“发明”，以及替人做决策。
中国真正的短板不在 Blackwell 是否能拿到，而在审查制度：云端租赁以及马来西亚/新加坡“wink wink”的 GPU 部署，可能让物理接入不再决定胜负；但如果中国不允许“更开放、更真实的模型”，就天然处于劣势。对 Nvidia 下一个 10 年，Ross 也没有单边判断：“如果它变成现在的 3 倍大，我不会惊讶；如果它仍大致维持原状，我也不会惊讶。”

精读

1. 合成数据延长 scaling

Ross 对 scaling laws 讨论的修正是：OpenAI 的曲线假设所有训练数据质量相同，但事实并非如此。他用训练孩子作比喻——先问“1+1 等于多少？2×3 等于多少？双曲正切函数平方的二阶导数是多少？”——这正是模型的训练方式：先吃互联网残渣，把高质量数据留到最后。解决方案来自 AlphaGo Zero：让 LLM 生成合成数据，删掉错误部分，再重新训练，“不断往上走”，因此“真实的 scaling laws 并不像这些渐近线”。
合成数据胜过真实数据的原因在于：“Reddit 很好，但质量未必比得上和一个博士交流。”更聪明的模型能够生成更好的数据，而离线筛选又能让留下的数据优于生成它的模型本身，形成棘轮效应，而不是撞上天花板。
数学上仍有一个下限：Big-O 复杂度。LLM 很难完成大数乘法，因为乘法不是线性的，必须经过中间步骤，这是“数学上的必然要求”。训练购买的是直觉，即 system one；推理是叠加其上的算法，即 system two；两者结合，便得到“多项式线性……几何级增长的改进”。而直觉非常吃数据：3位数乘法需要的样本量是2位数乘法的 10 倍。
对瓶颈，他拒绝单一化描述：瓶颈同时包括算力、数据和算法，但算力是“软瓶颈”，也是最容易加杠杆的一项，因为它可以替代和调配；更多算力能够压过较弱的数据或算法。DeepSeek 并没有证明算力不再必要，它只是做了算法改进——“把答案写进一个框里这种看似愚蠢的事情”——从而降低了训练数据的生成成本。

2. Groq 围绕 HBM 设计

Groq 的创立押注来自两个观察：在 Google，每个新模型最终投入在推理上的算力都是训练的 10-20 倍，“推理始终是关键基础设施”；同时，AI 的进步速度超过 Moore 定律，因为芯片数量也每 18-24 个月翻倍，增长是 4 倍而非 2 倍。因此 Groq 按无限扩容设计：所有模型参数都放在芯片上，让计算像流水线一样流经 600 或 3,000 颗芯片；GPU 则是反复运行这条流水线的 1/100。
Ross 以 Seven Powers 解读 Nvidia：它是 HBM 和 interposer（可能是 CoWoS）的买方垄断者。只有 SK Hynix、Samsung 和 Micron 能生产 HBM；HBM 成本高、扩产极其困难，而 GPU 必须使用它，因为普通内存会像“用鸡尾酒吸管喝水”。GPU 的逻辑 die 是商品化部件，采用与手机芯片相同的工艺，“Nvidia 实际上排在 Apple 之后拿到产能”；唯一稀缺的是内存。绕开 HBM 后，“我们的扩容实际上几乎没有上限”。
约 3 倍的能效优势来自物理规律：芯片与 HBM 之间长而宽的连线充放电，是能耗发生的地方；片上内存只需通过短而细的连线传输。由此得到一个多数人弄反的结论：边缘计算的能效低于数据中心，就像用轻便摩托车而不是货运列车，把一吨煤运过城。
Groq 不使用交换机，“我们直接把芯片接到芯片上——我们的芯片就是交换机”，也不需要网络调优。沙特项目从签约到生产环境首次输出 token 只用了 51 天；相较 GPU 的波动性，Groq 的方案被描述为“100% 可预测”，Ross 用巴黎交通与火车作比喻。

3. “能买到的每一块 GPU 都买下来”

Ross 不接受竞争叙事：“如果你在竞争，说明你做错了什么严重的事情……因为已经有人解决了这个问题。” Nvidia 的训练能力“比任何人都强，而且强出很远”，训练已经是解决的问题；它只是没有提供快速、便宜的 token。当一次演示让客户问是否应该停止购买 GPU 时，他的回答是：“不——能买到的每一块 GPU 都买下来……因为我希望你的模型在我们这里运行得足够好。”
他主动给出利润率对比：Nvidia 为 70-80%，Groq 前端约 20%，合作伙伴达到 IRR 后再进行后端分成。Groq 成本低逾 5 倍——“最新 GPU 光是内存成本，就高于我们每颗已部署芯片的全包资本开支”——而在每个 token 能耗仅为三分之一的情况下，GPU 单是运营成本就等于 Groq 的资本开支加运营成本。
因此他把双方关系描述为柔道：“你几乎可以说，我们是 Nvidia 有史以来遇到的最好的事情之一。”Nvidia 可以把生产的每一块 GPU 都以高毛利卖给训练客户，Groq 则接手低毛利、高规模的推理业务。推理越多，训练需求越大，反之亦然；Groq 甚至测试过把 LPU 作为客户现有 GPU 集群的“nitro boost”出售。
对 Nvidia 未来 10 年，他仍然保持双向判断：“如果它变成现在的 3 倍大，我不会惊讶；如果它仍大致维持原状，我也不会惊讶。”投资逻辑原本假设 Nvidia 会把推理也一并拿下，但“它们就是没有做出适合推理的东西”。估值倍数可能合理，但“popularity contest 会扭曲一切”。他还嘲讽 GTC 上“快 30 倍”的图表：那只是挑选曲线端点的规格战营销，“只要告诉我每美元能跑多少 token、每瓦能跑多少 token，其他都不重要”。

4. 15亿美元是收入，商业模式是第二项发明

他希望外界记住的修正是：“我们没有融资 15 亿美元，那是收入……约为 OpenAI 收入的 30%。”结构上，Aramco 与新成立的沙特实体承担资本开支，Groq 从盈利中偿还，达到“不错的 IRR”后再切换分成；这是一种带上行参与的类债务结构，而且 Groq 从一开始就能盈利。“我们不再受资本限制……我们能赚多少钱，取决于能部署多少。”
扩张轨迹是：去年在 51 天内部署 19,000 颗芯片；今年尽可能卖出全部产能，合同规模将达到“数十亿美元”；明年可提供的硬件产能达到数百亿美元——“如果按 GPU 价格计算，那会是数千亿美元，只是我们没有收那么多钱。”
针对那篇认为 Groq 无法以最低价格盈利的论文，他回应称：“我们现在的 contribution margin 非常正……据我们所知，我们是唯一真正靠运行这些开源模型赚钱的人。”与此同时，竞争对手像 Uber 一样烧掉 VC 资金争夺份额。专有模型也开始以收入分成方式加入，Play AI 的语音模型已在 LEAP 上线。
他反复对团队强调的经营信条是：“我们的增长速度超过指数增长，而当你的增长速度超过指数增长时，赚多少利润都不重要——重要的是先拿到立足点。”目标是在 2027 年底前拿下全球至少一半的 AI 推理算力，在维持毛利率的同时继续降价，“然后我们进入 Jevons 悖论，日子就好过了”。

5. 电力将成为硬瓶颈

今天的需求信号带有回声效应：一家 hyperscaler 告诉 60 家数据中心建设者需要 1GW，“突然之间就变成了约 60GW 的需求”。Ross 盘点的实际数字是：他知道有人希望提供约 20GW 电力，而全球数据中心现有规模约 15GW，潜在供给已经超过当前容量的 2 倍。
他真正担心的是来回摆动：当下略微过度建设，亏损的建设者开始收缩——“我建了这么多电力，却没人使用……我们再也不会做这种事了”——但芯片数量仍每 18-24 个月翻倍，把 15GW 的需求推到 120GW，再推到 240GW。“3-4 年后，电力会变成硬瓶颈。”
供应链中相当一部分是假的，来自把数据中心当地产项目的人。行业笑话是：3 个月交付 100MW，签这里。你的 uptime 是多少？发电机在哪里——“你知道现在发电机交付期是 90 个月吧”？水在哪里？“等等，数据中心需要水？”Amazon 不会被这种项目骗到，这些所谓项目可能根本不会落地。
整个生态建立在期限错配之上：模型按约 6 个月摊销，芯片使用 3-5 年，数据中心使用 10-15 年（现在的要求降至 7 年），电厂使用 15-20 年。但期限最长的资产反而风险最低，因为它最通用：“如果不用来做 AI，就拿来给所有电动车供电。”这也是 Aramco 这类主权级、长周期伙伴成为自然交易对手的原因。

6. 凯恩斯的选美竞赛已经彻底失控

Ross 复述的资本开支数字是：Meta 每年 650亿美元，Google“700亿或750亿”，Microsoft 800亿美元，另加 Stargate，且都包括芯片和系统。“从来没有过这样的事情”，但也从未有过终局价值如此清晰的案例：Google 当年选择保持私有，是为了不让 Microsoft 看清搜索业务的经济性；而“它一上市——就有了 Bing”。
对泡沫的判断两半都成立：“我可以保证会有大量资金被烧光，但我也押注最终赚到的钱会多于投入的钱。”骗子和投机者的阶段可以预见——“AI T 恤……AI 导热硅脂……接下来你会看到 AI 公寓”——而解决办法是教育。
他用凯恩斯选美竞赛解释 VC：“这会解释你需要知道的关于 VC 的一切。”你押注的是资金会聚集到哪里，而不是谁更漂亮；SoftBank 的策略就是通过出价更高来取胜。本轮前所未有之处在于：“你会看到有人融资数十亿美元，而他们的竞争者也融资了数十亿美元。”竞赛“已经彻底失控”，所以“真正拥有最佳产品的人最终会赢，因为所有人都能获得资本”。代价是人才分裂到“一个本不该存在的竞争者”那里。
在价值分配上，他是 power law 的信徒：经济规模越大，结果越容易向单一主导者剧烈倾斜。因此当下反而让他觉得异常：各家 hyperscaler 的市值“靠得太近……你本来会预期其中一家已经遥遥领先。我无法理解为什么没有”。

7. 7 年没有产品市场匹配：为浪潮做好位置

他的核心观点是：“你的工作不是追随浪潮，而是为浪潮做好位置——这最难，因为所有人都在劝你上岸。”如果在拨号上网时代打造 Uber，用户可以叫到车，却无法回家；今天做医疗或法律 AI，幻觉会杀死产品。但一旦问题被解决，而你已经提前站好位置，“你就会像 Groq 一样处在最佳位置”。几乎所有人都劝 Groq 不要做 LLM，而他们的反应是：“这就是我们打造出来要做的事情。”
公司一度接近现金归零，Groq 仿照二战战争债券发行了“Groq bonds”，在全员会上由管理层选择展示脆弱，而不是假装实力强大。员工没有离职，约 80% 用薪资换取股权，约 50% 将工资降至法定最低水平；当 3亿美元融资的第一笔资金到账时，公司剩余现金甚至少于这批债券节省下来的金额。对他而言，PMF 的情绪变化是：“世界更明亮了，鸟儿在歌唱……我能睡觉了。”否则，创始人只能靠第三种幸福生活——“未来的幸福”。
他是否怀疑过？“有过怀疑，但从未停顿。”因为使命早于公司：AI 是“最重要的技术”，如果不受约束，它会把“超出比例的控制权”交给少数人。“我们的目标是在 AI 时代保留人的自主性。如果做不到，我们就失败了。”
他与 Dario 在安全问题上的分歧是：“我担心的是不同的事情……人们主动放弃自己的决策权。”他把这称为“financial diabetes”，源自父亲一次次输掉财富的经历，甚至沦落到在一座 2,000万美元豪宅外说服中餐外卖员赊账请自己吃饭。他预计充裕时代会把这种病扩散到整个社会：“如果人可以不用工作就过一生，会发生什么……我们如何让人仍然做出自己的决定？”

8. 4 家公司将定义这个时代，另有 2 个 moonshot

当被问到愿意押注哪家非 Groq 公司时，他依次描述了 4 类未具名、但将定义时代的公司：首先是解决幻觉的人，从而解锁医疗和法律；其次是最擅长为 agent 拆解子目标的人。“agentic 要等解决幻觉问题之后才会出现，否则你会得到很长的链条，并在其中引入幻觉。”
第三和第四阶段分别是“invent stage”和 proxy stage。LLM 写作“很糟糕，因为它是可预测的”，而发明需要“看起来不明显，但看到之后又显而易见”的输出；proxy stage 则是你开始信任模型像 EA 或 chief of staff 一样替你做决定。现在投入 agent 的资金未必会烧光：Perplexity 即使有幻觉也“运行得很好”，因为风险不高。
他提出一个被视为疯狂的预测，并保留全部限定条件：自己靠 Mounjaro 减掉 70 磅后，他认为“如果有可能”显著放慢或停止衰老，那么未来大约 10 年内会出现一次 Mounjaro 时刻——突然发生，毫无预兆。Harry 而不是 Ross 说寿命可能延长 60 年；Ross 重申，“如果可能的话”。
他最期待的单一方向，是把 prompt engineering 变成新的可及性浪潮：硬件需要晦涩知识，软件需要机器时间，但“语言——你已经会了，不需要再学任何东西”。如果给非洲的 13-14亿人一款只需通过说话就能构建应用的工具，“那就会再增加 13-14亿名潜在创业者”。

9. 用 Big-O 管理：300 人、problem units、反创始人模式

Groq“只做需要次线性员工数量的事情”：如果客户翻倍就必须员工翻倍，说明设计错了，应该自动化。最终 300 人完成了自研芯片、网络硬件和软件、runtime、编排层、编译器及云服务。他用 Walmart 与 Amazon 说明颠覆性模板：Walmart 通过门店翻倍来服务翻倍的客户，Amazon 不会把网站数量翻倍。“不要只说我需要更多人，应该关注你的业务算法。”
增长用“problem units”计量：任何事情每增加到 3 倍，都会带来同样数量的问题，而管理带宽是有限的。把 LPU 从 640 颗扩到 40,000 颗，增加了 4 个 problem units；如果同时把员工数量增加到 3 倍，就又增加一个。因此团队有意保持精简，并把“人才密度”设为常数。
他的反共识信念是：“我选择 anti-founder-mode，相信授权。”微观管理意味着“这个人不适合这份工作”，或者你没有让他与目标对齐。对齐是可以被设计出来的：每个人都带着一枚每秒 2,500万 token 的 challenge coin，开会时任何人都可以把它敲在桌上，说：“不，不，不，事情不会这样发展。”
面对 100-200万美元的薪资大战，Groq 刻意不报最高价：“如果我们通过竞价赢下一个人，下一次有人拿出更高薪资，一切就结束了，没有忠诚可言。”受股权驱动的员工“更容易管理，因为他们以使命为导向……他们不是为了 kombucha 才来这里”。

10. 中国与欧洲走向分化

中国真正领先的地方，是愿意跨越红线——“他们蒸馏了 OpenAI 模型”，这是大多数供应商不愿触碰的红线——以及粗放规模。被问到 Stargate 与中国 1,280亿美元投入的比较时，Ross 说：“如果他们想部署 150 座核反应堆，没什么大不了的，他们直接做就是了。”因此，即使芯片效率较低，也可以在本土用规模压过去。DeepSeek 是“一针强心剂”，也是“Sputnik 2.0”；但要向海外输出更难，因为全球没有足够电力运行低效加速器。
决定“中国到底有没有机会”的信号是审查制度：“他们最大的噩梦之一就是言论自由……你能想象 Xi Jinping 说——国家，我们已经失去 AI 优势，我需要你们的帮助？永远不可能。”如果中国不允许“更开放、更真实的模型”，就天然处于劣势；每个科技创始人都害怕成为 Jack Ma：“如果你的专业是 AI，我会开始寻找出口。”
Blackwell 的获取可能没那么关键：“大多数云服务商都很乐意让你刷卡租用”，而马来西亚/新加坡的 GPU 建设则依靠“wink wink，我们不会把它租给中国”的默契；否则，“那个地区为什么会有这么多 GPU”。
欧洲的解法不是 EU 所谓的 1,500 名 AI 安全雇员——“我不会浪费时间去监管一个并不存在的东西”——而是建立一个承担风险的飞地。他与 Xavier Niel 和 Station F 的 Roxanne 勾勒出“City F”：先容纳 10,000 人，再扩大到 100万人，给予特殊经济安排，并允许次日换工作。因为 6 个月的等待期“会压低工资……而且公司反正要为这 6 个月付钱，完全没有道理”。面对这会惩罚现有保险公司的公平性质疑，他回答：“没有人有权永远做 incumbent，尤其是一个懒惰的 incumbent。”

92. 和张亚勤院士聊，意识、寿命、机器人、生物智能和物种的延伸 20个问题，搞懂DeepSeek和它带来的“AI下半场”