先锋 趋势 方法 投研 作者
Groq 创始人 Jonathan Ross:OpenAI 与 Anthropic 将自研芯片,NVIDIA 能否涨到10万亿美元
返回节目精读

Groq 创始人 Jonathan Ross:OpenAI 与 Anthropic 将自研芯片,NVIDIA 能否涨到10万亿美元

摘要

  • Ross 的核心判断是:「5年后,如果 Nvidia 的市值还不到10万亿美元,我个人会感到意外。」 但更尖锐的版本是:Nvidia 只需销售少数芯片,却持续拿走大部分收入——可能是10%的芯片贡献51%的收入;随着贡献90%-99%总支出的35-36家客户开始按性能而非品牌采购,格局会变化。而他更希望你问的是:「5年后 Groq 的市值会到10万亿美元吗?有可能。」

  • 如果把 OpenAI 和 Anthropic 现有的推理算力都翻倍,它们的收入将在1个月内接近翻倍。 Anthropic 最大的抱怨之一是速率限制;OpenAI 通过降低聊天速度来限流,牺牲了用户参与度。2周前,一位客户要求 Groq 提供其总容量5倍的算力,没人能接下这个需求。

  • OpenAI、Anthropic 以及所有超大规模云厂商都会自研芯片,但目的未必是击败 Nvidia。 真正的奖品是「掌控自己的命运」,摆脱 Nvidia 对 HBM 的买方垄断——Nvidia 每年可以制造5000万颗 GPU die,但实际出货量约550万颗 GPU。至于新芯片创业公司,Ross 认为「已经太晚了,这艘船已经开走」:即使一切顺利,从设计到流片也要3年,而首次流片成功率只有14%。

  • 判断泡沫与否,应该看聪明钱在做什么:它们都在加码。 在 Goldman Abu Dhabi 的一场活动上,管理着100亿美元以上资产的50多位经理中,没有1个人确信10年后 AI 不会取代自己的工作。「它们当然会像醉酒水手一样花钱」——而 AI 也打破了 SaaS 的经济学,因为每次查询投入更多算力,就能直接改善产品。

  • 中国模型的运行成本约为 GPT OSS 的10倍。 它们优化的是低成本训练,而封闭市场的定价让供应商可以围绕稀缺性收费,导致人们把价格和成本混为一谈。中国可以赢下本土主场——拥有150座核反应堆和补贴;但在无法自行建设电厂的盟友国家这场「客场赛」中,美国还有2-3年的窗口期。

  • 「掌控算力的国家将掌控 AI,而没有能源就不可能拥有算力。」 欧洲选择「通过立法」竞争,而不是建设基础设施;如果不能以足够速度行动,「欧洲经济将变成旅游经济」。拥有风电、且风电规模达到水电5倍的 Norway,理论上可以提供与美国同等的能源;日本的2nm晶圆厂、650亿美元 AI 投资和重启核反应堆,则展示了所需的行动速度。

  • AI 带来的将是大规模劳动力短缺,而不是失业。 它会对整个经济施加通缩压力,让人们更早退出工作,并创造今天无法想象的新职业。「我们将通过生产更多算力,把更多劳动力加入经济体系……这在经济史上从未发生过。」

  • 行业格局上,长期对决仍是 OpenAI 对 Google;Anthropic 则在做不同的事——编码。 5000亿美元的 OpenAI 和1800亿美元的 Anthropic 都「被严重低估」,因为这些实验室会成为「Mag 9、Mag 11、Mag 20」。Microsoft 短期内会重置与 OpenAI 的关系;CUDA 的锁定效应「对训练成立,但对推理不成立」。

精读

1. 别问「是不是泡沫」,问聪明钱在做什么

  • Ross 重新定义了问题:如果一个问题始终得不到答案,就换个问法——Google、Microsoft、Amazon 和各国政府在做什么?答案是:全部在加码,每次发布新消息后都继续增加支出。他最有力的证据是,Microsoft 在1个季度内部署了 GPU,随后却没有把它们放进 Azure,因为自用带来的收入高于出租。

  • 他把当前市场类比为石油钻探早期:「很多干井,只有少数喷油井」,约35-36家公司贡献了99%的收入,或者至少贡献了大部分 token 消费。结果高度离散,直觉仍然胜过科学;「现在是投资者最好的时点」,一旦市场变得可预测,优秀投资者反而赚得更少。

  • 这些支出并不完全出于经济理性。在 Goldman Abu Dhabi 的首届活动上,他问50多位管理着100亿美元以上资产的人:谁能100%确定 AI 10年后不会取代自己的工作?没有人举手。他说:「很好,这就是超大规模云厂商的感受。」因此它们当然会像醉酒水手一样花钱,因为另一种结果是被彻底锁出自己的业务。

  • Stebbings 追问:无论是不是 Mag 7,回报最终都必须兑现。Ross 承认「没错」,但坚持认为价值已经在落地:一位客户提出一个功能需求,他「在给工程师做提示工程」,4小时后功能便已进入生产环境,且没有一行人工编写的代码。6个月后,这种事情可能在一场会议结束前就完成——这是质的差异,能够拿下竞争对手无法赢得的订单。

2. 无止境算力论:推理翻倍,收入翻倍

  • 这期节目的核心赌注是:「如果把 OpenAI 现有的推理算力翻倍,把 Anthropic 的也翻倍……从现在起1个月内,它们的收入将接近翻倍。」机制很直接:速率限制是 Anthropic 最大的抱怨之一;OpenAI 通过放慢聊天服务来控制流量,牺牲用户参与度。

  • Groq 自己的客户漏斗证明了约束所在:100%的客户最初都要求速度,但一旦看到供应短缺,就没人继续追问速度——「真正的价值主张是,你能不能提供更多算力容量」。2周前,一位客户要 Groq 总容量的5倍;Groq 和任何一家超大规模云厂商都无法承接。Harry 的本能反应是「要不要狠狠干脆买 CoreWeave?」得到的回答是,CoreWeave 是一家优秀公司,但和所有人一样,GPU 配额有限。

  • 过去10年的数据中心预测始终错在同一个方向:所有人都建设不足,于是把预测上调到高于最乐观情景,最后仍然建设不足。算力是「最容易调节的旋钮」——算法很少改善,数据很难获得,但算力每年都在进步,只要开出足够大的支票,就能相对可靠地买到。可即便如此,「我们还是会低估自己需要多少」。

  • Ross 承认自己在推理算力上的意外是:「我从没想到 AI 会建立在语言之上……我以为它会更像 AlphaGo。」语言让 AI 变得极易使用——「我原以为 AI 会更早到来、增长更慢;它来得更晚,增长速度却远超我的想象。」全球人口中有10%被描述为每周活跃的「GBT」用户。

3. 速度会复利成品牌:认为未来用户不在意延迟是「完全错误」

  • 对于用户会愉快地发出提示词然后离开的说法,他的回答是:「完全错误。」他按毛利率排列 CPG:烟草、嚼烟草、软饮料,最后是水;毛利率对应的是成分作用于人体的速度。多巴胺循环会建立品牌黏性,Google 和 Facebook 都建立在这一点上;速度每提升100毫秒,价值约相当于8%的转化率。

  • Groq 早期展示速度时,观众曾问:既然输出速度比阅读速度还快,为什么还需要更快?他的反问是:「网页为什么要比你阅读它的速度更快地加载?」人们始终不擅长预测什么会驱动参与度,这是早期互联网留下的教训。

4. 所有人都会造芯片:为了掌控命运,而不一定为了超越

  • TPU 被视为超大规模云厂商自研芯片可行的证明,但它只是 Google 同期约3个芯片项目之一,也是唯一击败 GPU 的项目;Dojo 刚刚被取消。造一款芯片挑战 Nvidia,「有点像说 Google Search 很不错,我们复制一个吧。这是疯了」。

  • 但他「毫不怀疑」OpenAI、Anthropic 和所有超大规模云厂商都会造芯片,关键在于动机。他讲过一次 Google 实验室参观经历:Google 造了1万台 AMD 服务器,随后把芯片拆下来扔进垃圾桶——这从一开始就是安排好的,因为真正目的,是用 AMD 芯片去压低 Google 实际采购的 Intel 芯片价格。

  • 真正的瓶颈是 Nvidia 对 HBM 的买方垄断:GPU die 使用的是手机芯片工艺,Nvidia 每年可以制造5000万颗,但 HBM 和 interposer 产能把今年的出货量限制在约550万颗 GPU。当一家超大规模云厂商要求100万颗 GPU、被拒绝并威胁自研时,「突然之间,那些 GPU 就找到了」。自研芯片购买的是「掌控自己的命运」,即使成本更高也值得。

  • Sarah Hooker 所说的「硬件彩票」是新进入者的陷阱:模型是围绕现有硬件设计的,attention 在 GPU 上运行良好,因此更好的架构「反而跑不好」,也就不再是更好的架构。现有厂商可以提前2年规划,挑战者则需要更快的迭代循环。

5. 1000亿美元「无限资金循环」与10万亿美元的 Nvidia

  • 对于 Nvidia 向 OpenAI 投入1000亿美元,Ross 的说法是:「如果实际产生了有生产力的结果,就不叫资金空转」——至少40%会流向建设基础设施的供应商。Harry 说,那就是一个不完整的循环:60%回到 Nvidia,再加上几千亿美元的市值增长。Ross 的回答是,从经济角度看,「为什么不一直这么做」;只有在锁定效应成立时,这种溢价才合理,「而我会说 Nvidia 很可能确实如此」,因为全球根本没有足够的算力。

  • 5年后的图景是:Nvidia 可能用约10%的芯片拿走超过50%的收入。品牌仍然有价值——「买 Nvidia,没人会因此被解雇」——但贡献90%-99%总支出的35-36家客户将拥有按商业价值选择的能力,因此其他芯片也会被采用。

  • Nvidia 5年后市值超过还是低于10万亿美元?Ross 回答:「5年后,如果 Nvidia 的市值还不到10万亿美元,我个人会感到意外。你真正应该问的是,5年后 Groq 的市值会到10万亿美元吗?有可能。」Groq 的主张是:由于供应链约束更少,「我们几乎可以生产无限数量」的芯片,满足市场上最稀缺的资产。

  • 关于 Nvidia 最大的误解,他的快速回答是:「Nvidia 的软件构成护城河。」CUDA 的锁定效应「对训练成立,但对推理不成立」——Groq 已有220万名注册开发者,而 CUDA 自称有600万名。

6. 芯片经济学:跨过2道门槛,新进入者已经错过时机

  • 一款芯片的生命周期有2套计算:部署时只需战胜资本开支,持续运行时只需战胜运营开支。全行业的赌注是,新芯片不会把旧芯片的价值压到运营成本以下,这也是接近5年机龄的 H100 仍能盈利出租的原因:「今天你绝不会部署 H100,但它们运行起来仍然有利润。」只有算力短缺还能维持这一点。

  • Groq 拒绝做长期赌注。Ross 认为,人们对摊销周期的设想比他更长;他先说「5到6年」,Harry 说「那大概就是3年」后,他又改口说「短一点」。Groq 大约每年升级一次芯片,因为芯片到了5年机龄,收入会低于电力和数据中心成本。持有长期合约的人还要做第3个计算:违约成本是否低于继续亏损运行?那之后会发生什么?「我不能告诉你,因为我们正在努力避免这种情况。」

  • 如果今天创办 Groq,他「不会做芯片」。「这艘船已经开走了。」即使完美执行,从设计到量产也要3年,而首次流片成功率只有14%。Ross 做过3款芯片,全部一次流片成功;V2 甚至已经安排了重新流片,结果令他们震惊的是,根本不需要。Groq 现在采取一年一代的节奏,从 V2 到 V3 再到 V4;Nvidia 每款芯片则采用流水线方式,需要3-4年。

  • 真正的护城河是供应链:相比受 HBM 约束的 GPU 供应链,「你给我们开一张100万颗 LPU 的支票,第一批 LPU 6个月后就开始交付」——GPU 则要2年。向一家超大规模云厂商的基础设施负责人推销时,速度和成本只得到礼貌性点头;6个月供应周期「是他唯一在意的事情」。

7. 破解中国误解:主场赛与客场赛

  • 「我们干脆把所有误解都逐一拆掉。」中国模型的运行成本并不更低,而是 GPT OSS 模型的「约10倍」。它们优化的是低成本训练,封闭市场的定价让供应商可以围绕稀缺性收费:「人们把成本和价格混为一谈。」OSS 模型压缩出的智能说明「美国仍然拥有训练优势」,而这种优势建立在芯片获取能力之上。Ross 承认:「一开始连我也有点被蒙住了。」

  • 中国可以赢下自己的「主场赛」——计划建设150座核反应堆,并用补贴覆盖低效率芯片的成本。但「客场赛」不同:一个拥有100兆瓦电网的盟友,不可能随手建一座核反应堆,因此能源效率更高的芯片会胜出。「未来2-3年,美国在这场客场赛中拥有明确优势」——前提是行动足够快,把盟友带进来。

  • 开源策略方面,他曾仅凭品牌力量预测 OpenAI 会开源:「它们大概可以使用 Llama 2……人们仍然会用。」Anthropic 应该「开源上一代模型」,因为提示词兼容性就是新的软件兼容性:用户选择 OpenAI 的 OSS 模型而不是中国模型,是因为原有提示词可以复用;低成本用户日后还会升级到高级模型。

  • GPT-5 强调效率,并不意味着放弃规模化。要赢得印度市场,价格必须做到每月99卢比(约1.13美元),因为替代方案根本不是另一款 AI,而是完全没有 AI。

8. 「掌控算力的国家将掌控 AI」:欧洲旅游经济警告

  • 他希望所有人带走的一句话是:「掌控算力的国家将掌控 AI。而没有能源就不可能拥有算力。」这并不是只有核能一条路:Norway 的风电利用率约80%,风电规模达到水电5倍,因此「Norway 一个国家就可以提供与美国同等的能源」——而且是持续提供。

  • 欧洲的失败路径,是拥抱「不作为的错误」,通过立法而不是建设基础设施来竞争:制定数据驻留规则,却不增加兆瓦级电力;在增长型经济中,「错过机会的代价高于把事情搞砸」。许可审批的腐化也发生在美国:一位核电公司董事告诉他,公司在审批上的支出是电厂建设成本的3倍。为什么不建核电?「恐惧。」在这一点上,Trump「确实有帮助」。

  • Japan 是他衡量行动速度的基准:决策慢,行动快;一座2nm晶圆厂已经开始生产晶圆,虽然良率还未达到量产标准;政府已拨出650亿美元用于 AI,核反应堆也在重新上线。「当 Japan 要重启核反应堆时,欧洲需要听进去。」

  • 如果欧洲不能以足够速度行动,「欧洲经济将变成旅游经济」。人们会来到这里参观古朴的老建筑,仅此而已。模型主权救不了欧洲——「你可以拥有一个比 OpenAI 聪明10倍的模型,但如果 OpenAI 拥有10倍算力,OpenAI 的模型就会更好。」他与 Mistral 合作,也喜欢这家公司;解决方案是增加算力,这样 Mistral 很可能就能竞争。过渡方案是 Saudi 的「数据大使馆」:在其3-4GW的建设规模上,叠加主权数据监管。

9. AI 打破 SaaS 经济学:创造的是劳动力短缺,而非失业

  • AI 不等于 SaaS,因为产品质量并不会在交付时固定下来:「我可以运行2个提示词实例,然后选出更好的答案,来提升产品质量。」这也是为什么 token-as-a-service 的账单几乎接近收入,以及为什么 OpenAI 刚刚宣布面向有限用户、价格更高且消耗大量算力的产品——「我们想看看,当给 AI 更多算力时会发生什么」。

  • 在毛利率问题上,他的观点并不主流:高毛利存在的唯一理由,是为波动提供缓冲;「你的毛利率就是我的机会」。他希望 Groq 的毛利率「在保持业务稳定的前提下尽可能低」,因为「信任会产生利息」,而 Jevan 悖论会推动剩下的增长:「如果我们生产10倍算力,就会实现10倍销售额。」

  • 宏观链条是这样的:「经济中最有价值的东西是劳动力。现在,我们将通过生产更多算力和更好的 AI,把更多劳动力加入经济体系。这在经济史上从未发生过。」结果有3个:大规模通缩压力——机器人种植、基因工程咖啡、更便宜的住房;人们选择退出工作——减少工时、更早退休;以及今天无法想象的新职业——农业人口占美国劳动力的比例从98%降至2%,「100年前,人们也无法想象 influencer 这种职业」。最终结果是「大规模劳动力短缺」,而不是大规模失业。

  • 对于 S&P 接近7000点是否过热,他把称重机和人气投票分开看。他从未买过 Bitcoin,因为「我无法参与人气投票」。AI 正在创造称重机式价值的信号,是私募股权公司纷纷追逐 Groq,寻求低成本算力来改变被投企业的利润底线。经济下行在原则上无法预测——「如果一个预测会影响这个预测本身,你就无法预测它」。他判断过热的标准是,经济是否开始阻碍企业成功;他指出的唯一扭曲是,每个优秀工程师都在筹集1000万、2000万、1亿美元甚至10亿美元,去创办又一家实验室,而不是加入现有实验室。「请停止这么做。」

10. 行业格局:OpenAI 对 Google,两家实验室都被「严重低估」;差异化才能生存

  • 长期对决是 OpenAI 与 Google——「Anthropic 做的是不同的事」:编码。Google 是他见过最令人印象深刻的翻身案例,工程师驱动的文化构成「系统性优势」;Gemini 按用户采用数据看是成功的,但在 Gmail 中的消费者整合「几乎不可用」。这些都是值得下注的尝试,类似 Google TV 做 Chrome 的路径;但在全球人口中有10%被描述为每周活跃的「GBT」用户后,他承认:「Google 可能已经太晚了。」

  • 5000亿美元的 OpenAI 和1800亿美元的 Anthropic,选哪一家?「我想两家都投……它们都被低估了,而且是严重低估。」错误在于把市场当成有限蛋糕:这些实验室会通过研发扩大市场,最终只是加入指数,成为「Mag 9、Mag 11、Mag 20」。在现有巨头中,Microsoft 会短期重置与 OpenAI 的关系,但会保留已经部署的算力——「算力就像黄金」;Amazon 没有 AI DNA,但拥有算力;Meta 和 Google 则一直拥有 AI DNA。

  • 说到 Elon,xAI 大概能做成,但路径不同:它有编码模型,却「没有编码分发渠道」;Anthropic 的高明之处,是拒绝什么都做。「如果你不差异化,就会死。」

  • Groq 的底线是:不会创建自己的模型,让客户可以放心在其平台上构建——「我在这个判断上可能犯了一个巨大的错误。」Groq 融资7.5亿美元,估值接近70亿美元;原计划融资3亿美元,最终超额认购4倍,并拥有正向硬件毛利率。公司内部要求工程师使用 AI,但工具由他们自己选择:先是 Sourcegraph,然后是 Anthropic,现在是 Codex,「下个月可能又会回到 Sourcegraph」。他最后借用 Galileo 的比喻:LLM 是「心灵的望远镜」——它们现在让我们感到渺小,但「100年后,我们会意识到,智能比我们想象的广阔得多,并且会觉得这件事无比美好」。