GPU、TPU 与 AI 经济学详解|Gavin Baker 访谈
GPU、TPU 与 AI 经济学详解|Gavin Baker 访谈
摘要
- Gemini 3 的真正意义在于:预训练缩放定律依然成立。 这一点被“毫无疑问地”确认,意义在于“地球上没有人知道预训练缩放定律为何、也不知道它如何运作”。Baker 的逆向判断是:考虑到20万张 Hopper 的协同上限,以及 Blackwell 艰难至极的切换,“24年和25年本来真的不该有任何进展”——“推理能力算是救了 AI”,填补了18个月的空档(ARC-AGI 用4年从0提升到8%,随后3个月内从8%升至95%)。缩放定律是乘法关系,因此“Blackwell 模型会非常惊艳”。
- Google 的低成本 token 优势只是暂时的。 Gemini 3 使用2024-25年一代 TPU v6/v7 训练——放在 Blackwell 旁边,它们就像“F-4 Phantom”,而 Blackwell 是 F-35。等 GB300(可直接兼容 GB200 机架)转向推理,垂直整合的 Blackwell 用户将成为低成本生产者;届时 Google 以负30%利润率“吸干 AI 生态经济氧气”的理性策略会变得痛苦:“这可能开始影响它们的股票”。等 Rubin 落地后,“差距将显著扩大”。
- ASIC 赛道很可能收缩到 TPU 和 Trainium。 Broadcom 在 TPU 后端拿走50%-55%的毛利率——在约300亿美元的2027年项目中,约150亿美元落入 Broadcom,而其半导体部门全部运营开支约为50亿美元——因此内部自研“绝对不可避免”(MediaTek 是第一记警告枪)。做出一颗好芯片需要3代,而 Nvidia 对每一款内部 ASIC 的回应都是按年更新:“你们不可能跟上我们。”
- 真正重要的只有4家实验室——OpenAI、Gemini、Anthropic 和 xAI——而且差距正在复利式扩大。 推理能力重新启动了数据飞轮(用户反馈成为可验证奖励),内部 checkpoint 用来训练下一代模型;Meta 的失败说明这有多难,Zuckerberg“错得不能再错”。中国拒绝 Blackwell 会把差距彻底拉开——DeepSeek 在 v3.2 论文中承认了算力短缺;到2026年末左右,中国才会意识到“糟糕,我们确实需要 Blackwell”,但届时稀土杠杆已经被解决。
- 董事会正在围绕 token 成本重新定位。 OpenAI 是高成本生产者,还要为算力向别人支付利润——“从约1.4万亿美元的模糊乐观情绪,很快就会变成红色警报”;Anthropic“烧钱显著少于 OpenAI,增长却更快”,而其与 Nvidia 签下的50亿美元协议,让 Jensen 在对抗 Google 时从2名选手变成3名。
- ROI 在“经验上、事实上、毫无歧义地”都是正的。 大型 GPU 买家的经审计 ROIC 已经上升,Q3 更是非科技类 Fortune 500 企业首次量化 AI 增益的季度:C.H. Robinson 现在能在几秒内为100%的入站请求报出卡车运价,而此前只有60%的请求能在15-45分钟内完成,股价上涨约20%。他关注的风险是 Blackwell 在芯片用于训练期间出现 ROI“断层”,因为“训练没有 ROI——ROI 来自推理”。
- 应用 SaaS 正在重演实体零售业当年错过电商的错误。 它们执着于80%的毛利率,而 AI 原生公司用低于35%-40%的毛利率运行 agent——“这等于保证自己不会在 AI 上成功”。这是一项“生死攸关的决定”,而除了 Microsoft,几乎所有公司都在失败;Salesforce、ServiceNow、HubSpot、GitLab 和 Atlassian 都可以采用激进投资者的打法,单独披露低毛利率的 AI 收入。
- 边缘 AI 是最可信、也最可怕的熊市情景。 大约3年后,一部更大、更厚的手机可能免费运行剪枝后的 Gemini 5 或 Grok 4.1,速度达到每秒30-60个 token,“这显然是 Apple 的策略”。自2020年以来,滚动泡沫已从电动车和 meme 股票转向核能和量子,但没有任何公开市场标的是这两个领域真正的领导者。未来3-4年最重要的事情是太空数据中心——“在各个方面……都优于地球上的数据中心”。
精读
1. Gemini 3 证明缩放定律仍然成立,而 Blackwell 延迟期间是推理能力“救了 AI”
- Baker 处理任何新产品发布的第一条规则是:亲自使用,而且要付费。他惊讶于有多少“知名且德高望重的投资者”只用免费版本就得出确定结论——“免费版本就像你在和一个10岁孩子打交道”,却据此推断成年人的表现;每月200美元的版本(Gemini Ultra、SuperGrok)则是“一个完整的、30多岁或35岁的成年人”。其余流程包括:AI 的前沿讨论发生在 X 上,关注全球真正理解 AI 的500-1,000人(“Andrej Karpathy 写的每一篇东西,你至少要读3遍”),以及只要4家重要实验室——OpenAI、Gemini、Anthropic、xAI——中的任何人上播客,就一定要听。
- Gemini 3“毫无疑问地”确认,预训练缩放定律依然完整——这很重要,因为它并不是一条定律,而是一种经过精确测量、却尚未被理解的经验观察。他的类比是:我们像古埃及人面对太阳,能够把金字塔精准对齐到春分和秋分,却完全不理解轨道力学。“每次得到确认都非常重要。”
- 他认为公众投资者误解的地方是:“24年和25年本来真的不该有任何进展。”协同运行的 Hopper 不可能超过约20万张,而 Blackwell 是“技术史上迄今为止最复杂的产品切换,远超其他任何一次”——从风冷转向液冷,机架重量从约1,000磅增至约3,000磅,功耗从30kW升至130kW(“想象一下,买一部新 iPhone 还要更换家里所有插座……并加固地板”)。“推理能力算是救了 AI”——RLVR 和测试时计算填补了约18个月的空档:ARC-AGI 用4年从0提升到8%,而第一款 OpenAI 推理模型出现后,3个月内就从8%升至95%。
- 关键在于,缩放定律是乘法关系;Gemini 3 使用2024-25年一代 TPU v6/v7 训练。按他的战斗机分类,Hopper 是 P-51 Mustang,这些 TPU 是 F-4 Phantom,Blackwell 则是 F-35。把两条新的缩放定律应用到 Blackwell 训练的基础模型上,“Blackwell 模型会非常惊艳”。
2. Blackwell 改写低成本 token 竞争,Google 的算盘也随之改变
- AI 是“我作为科技投资者整个职业生涯里,第一次看到低成本生产者真正重要”——Apple、Microsoft 和 Nvidia 的市值达到万亿美元级别,并不是因为它们便宜。作为 token 的低成本生产者,Google 一直在“吸干 AI 生态的经济氧气”;当竞争对手需要外部融资、而 Google 不需要时,以负30%利润率运行 AI“显然是最理性的决定”。
- 第一批 Blackwell 训练的模型会在2026年初出现,而且第一个将来自 xAI:按照 Jensen 公开说过的话,“没有人比 Elon 更快地建设数据中心”;一款新芯片还需要6-9个月调优,才能仅仅超过上一代。实际上,xAI 会替所有其他人先把 Blackwell 调试好。
- 随后局面翻转:GB300 可直接兼容 GB200 机架,“不需要新的电力墙”;运行 GB300 的公司,尤其是垂直整合的公司,将成为 token 的低成本生产者。Google 一旦失去这个头衔,负利润率就会变得痛苦——“这可能开始影响它们的股票”;等 Rubin 到来后,“相对于 TPU 和其他所有 ASIC,差距将显著扩大”。
- 董事会开始从成本角度重新定位。OpenAI 为算力向其他公司支付利润——“也许替他们运行算力的人,并不擅长运行 GPU”——这解释了 Stargate,也解释了为什么“从约1.4万亿美元的模糊乐观情绪,很快就会变成红色警报”。Anthropic“烧钱显著少于 OpenAI,增长却更快”;它与 Nvidia 签下50亿美元协议,Dario 对 Blackwell 和 Rubin 相对于 TPU 的理解,让 Nvidia 在对抗 Google 时从2名选手变成3名。OpenRouter 的数据也说明了这一点:xAI 处理了1.35万亿 tokens,Google 约8000亿-9000亿,Anthropic 约7000亿。
3. ASIC 洗牌:Broadcom 的50%-55%毛利率撕开了故事的裂缝
- Google 负责 TPU 前端,Broadcom 则负责后端,并以50%-55%的毛利率管理 TSMC。一个约300亿美元的2027年 TPU 项目,意味着约150亿美元收入流向 Broadcom,而其整个半导体部门的运营开支约为50亿美元。“Google 可以把 Broadcom 半导体部门的每个人都挖走,给他们翻倍薪酬,还能多省下50亿美元。”把 MediaTek 拉进来、接受低得多的台湾 ASIC 利润率,是“第一记警告枪”;一款真正出色的 SerDes 是基础设施核心,其价值大致在每年100亿-250亿美元区间。
- “做出一颗好芯片至少需要3代。”TPU 直到 v3/v4 才“稍微具备竞争力”。Amazon 拥有“任何半导体公司里最好的 ASIC 团队”(Graviton、Nitro/SuperNIC),但仍然要等到 Trainium 3 才算“可以”。“如果最终除了 Trainium 和 TPU 之外还存在很多 ASIC,我会很惊讶”;而这两者最终都会转向客户自有工具——“不管这些公司怎么说……从经济学上看,这是绝对不可避免的”。
- 与此同时,Lisa Su 和 Jensen 对每一款客户自研 ASIC 的回应都是按年更新:“我们只会继续加速……你们不可能跟上我们。”他调侃那些跃跃欲试者:“哇,你们做了自己的加速器。那 NIC 怎么办?扩展交换机呢?光学呢?……糟糕,我做出了这么一颗小芯片。我以为这很容易。”
- Nvidia 自己无法独立维持这样的节奏——一台 Blackwell 机架有数千个零部件,而 Nvidia 只生产其中约200-300种。这也是半导体 VC 复兴具有基础性意义的原因:创始人平均约50岁,而这一轮复兴几乎完全由 Nvidia 的市值点燃,整个生态必须一起提速。“过去7年里,我这家小机构做的半导体交易,可能比前10大 VC 加起来还多。”
4. 推理能力重新启动数据飞轮,Meta 的失败说明这有多难
- 他过去常引用 Eric Vishria [可能是] 的话:没有独特数据和互联网级分发能力的基础模型,是历史上贬值最快的资产。但“推理能力从根本上改变了这一点”,而且改变得非常深刻:当大量用户持续喜欢或不喜欢某个回答时,这就是一种可验证奖励,可以反馈给模型。曾让 Netflix、Amazon、Meta 和 Google 成为规模回报递增型企业的 Bezos 飞轮,已经开始在前沿实验室转动。“现在还早……但你已经能看到它开始转了。”
- 证明这很难的实证案例是:Zuckerberg 今年1月说 Meta 会在2025年的某个时候拥有最好的 AI——“我不知道他是否排在前100名……他错得不能再错”。Microsoft 也失败了(Inflection),Amazon 的 Nova 也不在前20(Adept)。原因之一是运行 GPU 时存在巨大差异:如果你的集群正常运行率是30%,而竞争对手是90%,“你们根本不在同一个竞争里”;另一个原因是“品味”,即判断哪些实验值得投入5万张 GPU、运行数天的直觉。他用零售业打比方:把1,000家门店都经营得干净、明亮、库存充足,由“不会偷东西的友善员工”负责运营,你就能成为一家200亿-300亿美元的公司——历史上大约只有15家公司做到过。
- 复利的下一层是:每个顶尖实验室都会运行一个更先进的内部 checkpoint,并用它训练下一代模型;没有这个 checkpoint,“追赶会变得非常困难”。这也是为什么“中国开源对 Meta 来说是上帝的礼物”:它提供了启动模型的 checkpoint。
- 中国正在浪费这张牌:就在 Blackwell 落地之际,强迫本国实验室使用国产芯片。DeepSeek 的 v3.2 论文以“非常政治正确、但仍有一点风险”的措辞承认,它没有足够算力追上美国实验室。差距会被彻底拉开;到2026年末左右,中国才会意识到“糟糕,我们确实需要 Blackwell”。届时稀土问题会“比任何人想象得更快”解决——DARPA 正在推进酶精炼项目,友好国家也有矿藏;“它们显然没那么稀有,只是名字起错了”。如果 Blackwell 重新回到中国市场,“中国开源将卷土重来”,而他认为这是好事。
5. ROI 在“经验上、事实上、毫无歧义地”为正,Q3 是关键验证
- 他对这场争论感到恼火:最大的 GPU 买家都是上市公司,有经过审计的季度财务数据,而它们的 ROIC 已经高于加大投入之前。原因一部分是运营开支节省,更大一部分是把广告推荐系统从 CPU 转移到 GPU,从而加快收入增长。“但那又怎样?ROI 一直都在。”每家大型互联网公司内部,收入负责人都会和研究人员争抢芯片:“这是一个非常线性的方程。你给我更多 GPU,我就能带来更多收入。”而对于 Blackwell——“Rubin 肯定如此”——经济学最终会压过推动资本支出的囚徒困境,其中一部分动力来自对 ASI 的宗教式信仰:“他们几乎都想永生。”
- Q3 的里程碑是:非科技类 Fortune 500 企业首次给出量化 AI 增益。货运经纪商 C.H. Robinson 现在可以在几秒内为100%的入站请求报出价格和运力;此前只有60%的请求能在15-45分钟内完成。财报发布后,公司股价上涨约20%。
- AI 的采用节奏与云计算类似:到2013年第一次 re:Invent 时,每家初创公司都已经运行在 AWS 上;约5年后,Fortune 500 才完成标准化。VC 比公开市场投资者更乐观,因为他们能直接看到 AI 原生公司的每名员工收入提升(ICONIQ 的图表,以及 a16z 的 David George 提到的“model busters”);年轻创始人“因为一直在和 AI 对话,所以更快变得成熟、表达更专业”。
- 他原本担心出现 Blackwell ROI“断层”:资本开支高得难以想象,而芯片还在进行训练;“训练没有 ROI……ROI 来自推理”。Meta 已经公布过一个 ROIC 下降的季度,并因此受到股价惩罚。C.H. Robinson 这样的季度说明,这个断层是可以跨越的。顺带一提,VC 运营的 AI 控股公司不会比收购基金更擅长执行——“你不可能在私募股权擅长的游戏里击败私募股权”——但 PE 会系统性地应用 AI。
6. 从智能转向有用性:让他最担心的熊市情景是边缘 AI
- 事件路径是:GB300(而且可能 MI450 的作用大于 MI355)会压低单 token 成本,让模型能够思考更长时间。Gemini 3 帮他订了一家餐厅,“这是它第一次真正替我做成一件事”;从订餐厅到订酒店、订航班、叫 Uber,“突然之间,你就有了一个助手”。在技术领先的大公司里,“超过50%的客户支持已经由 AI 完成”,这是一个规模达4,000亿美元的行业;而 AI 擅长说服,也就是销售:一家公司的3项职能——制造、销售、支持——到2026年末,AI“可能会做好其中2项”。
- Karpathy 提出的组织原则是:软件领域,任何能够被明确描述的事情都可以自动化;“AI 领域,任何能够被验证的事情都可以自动化”。账目是否平衡?销售是否完成转化?“这就像 AlphaGo……最重要的职能之所以重要,正是因为它们可以被验证。”
- 对非专家而言,进步正变得不可见——在付费版本里,你必须拿 PCIe 和 Ethernet 的扩展网络问题去测试,才能看出模型差异;不过在他的慈善梦幻橄榄球队阵容测试中,“这些新模型确实好得多”。因此,“我们需要从追求更高智能转向追求更强有用性”;然后,有用性还必须交棒给科学突破。有用意味着持续稳定地完成任务,同时保留全部上下文。他的旅行规划测试包括朝东阳台、Huberman 式晨间阳光、飞机上的 Starlink,以及全家人的偏好;METR 式任务长度必须不断延长。
- 除了缩放定律失效,最可怕的熊市情景就是边缘 AI。大约3年后,一部更大、更厚的手机可能免费运行剪枝后的 Gemini 5 或 Grok 4.1,速度达到每秒30-60个 token。“这显然是 Apple 的策略”:成为 AI 的隐私安全分发者,只有在需要时才调用云端的“神级模型”。如果设备端约115 IQ 的能力已经足够,“我认为这就是一个熊市情景”——也是“最可信、最可怕的熊市情景”。
7. 太空数据中心:“在各个方面都更优越”
- 他的判断非常明确:“未来3到4年,世界上最重要的事情就是太空数据中心”——这会对所有在地球上建设电厂或数据中心的人产生“非常深远的影响”。从第一性原理看,数据中心就是电力、冷却和芯片。在轨卫星每天24小时处于阳光下,光照强度比地面高30%,太阳辐照度达到6倍,而且不需要电池,直接消灭一项巨大的成本。地面机架重量中很大一部分来自冷却,而在太空中冷却是免费的:“只要把散热器放在卫星的背阴面……那里可以接近绝对零度。”
- 网络也会改善:“唯一比激光穿过光纤更快的东西,就是激光穿过绝对真空。”这能形成比地球上更快、更一致的集群。太空训练会更慢,“只是因为它规模太大”;但对于推理,Starlink 已经展示了直连手机能力,手机→卫星→答案,跳过整个城市级光纤往返。阻力在于发射:“我们需要很多 Starship。”
- 这几条线正在汇合:Elon 昨天表示,Tesla、SpaceX 和 xAI 正在融合——xAI 成为 Optimus 的智能模块,Tesla Vision 负责感知,SpaceX 的轨道数据中心为一切提供动力——“每一个都在为另一个创造竞争优势”。
8. 省电、供给过剩,以及转向核能与量子的滚动泡沫
- “过剩跟随短缺”的铁律会不会适用于这里?AI 与软件不同:每一次使用都会消耗算力。每家实验室都可以消化多10倍的算力(Mark Chen 已公开说过);200美元的版本会变得更好,免费版本则会变成今天的200美元版本。Google 在 AI Mode 中加入广告,“会给所有其他人许可”,让他们也在免费版本中放广告;此外还有 agent 佣金——“这里有3个假期方案,你要不要我替你订一个?”
- 两个自然的制约因素正在发挥作用:电力,以及 TSMC 的谨慎。TSMC——就是那群见过 Sam Altman、笑着说他是“播客哥”的人——正在犯一个错误:扩产不足,最终会填满 Intel 空置的晶圆厂;Lip-Bu Tan [可能是] 正在收获 Patrick Gelsinger [可能是] 的战略成果,而解雇 Gelsinger 是“可耻的”。第三个需要观察的制约因素是:自90年代末以来的第一个真正 DRAM 周期。当时一片晶圆的价值“像一颗5克拉钻石”,价格按倍数而不是百分比上涨——“那是完全不同的游戏”。他的结论是:制约因素是好事,“更平滑、更持久就是好事”。
- 在功率受到约束时,“你为算力支付的价格无关紧要”。每瓦多产生3-5倍 token,就意味着多产生3-5倍收入;他的例子是,一座500亿美元的数据中心产生250亿美元收入,而一座350亿美元的 ASIC 数据中心只能产生80亿美元收入。因此,“无论价格如何,最好的产品都会赢”,并拥有“疯狂的定价权”。核电建设速度不够快——“一只蚂蚁”都可能拖延一座电厂,而它原本只需要被挪走——所以答案是天然气和太阳能;这也是 Abilene 的逻辑,Caterpillar 刚刚表示未来几年将把产能提高75%。
- 自2020年以来,滚动泡沫依次从非 Tesla 电动车初创公司(下跌99%)转向 meme 股票,再转向核能、聚变、小型模块化反应堆和量子计算:这些都是具有变革性叙事的主题,但“所有公开市场投资方式都很可能不会成功,也没有真正的基本面支撑”。他认为真正的量子领导者是 Google、IBM 和 Honeywell 的量子部门;量子霸权只意味着某些计算是经典计算机做不到的——“不意味着量子计算会接管世界”。他还有一个令人不安的宏观观察:“过去2年里,AI 无论需要什么来继续增长和进步,它都能得到。”核能的舆论一夜之间翻转,太空也在地面电力受限时打开空间——Kevin Kelly 所说的 technium 正在成为现实。
9. SaaS 正在重演实体零售业当年错过电商的错误
- 他的框架是:应用 SaaS 公司“正在犯下实体零售商当年犯过的完全相同的错误”——它们看到了客户对电商的需求,却讨厌电商的利润结构,因此没有投资;如今 Amazon 北美零售业务的利润率已经超过许多大众市场零售商。“如果有一种具有根本变革意义、且客户正在要求的新技术,不拥抱它永远是错误。”
- 机制在于:SaaS 只需写一次、以低成本分发,毛利率可以达到70%-90%;AI 则每次都要重新计算答案,因此一家优秀的 AI 公司毛利率约为40%。但它们比 SaaS 更早产生现金,不是因为毛利率高,而是因为“几乎没有人类员工”。为了保护80%毛利率而定价的 agent“永远不会成功……如果你试图保住80%的毛利率结构,就等于保证自己不会在 AI 上成功。绝对保证”。
- 投资者已经证明,他们能够容忍这种转变:云计算迁移期间,Adobe 从本地部署迁移出去时,收入和利润率都崩溃;Microsoft 早期股价表现艰难,随后收购 GitHub,把它作为 Copilot 的分发渠道,并以低得多的毛利率结构打造出“一项巨大的业务”。所以,“这是一个生死攸关的决定,而除了 Microsoft,几乎所有人都在失败——它们的平台正在烧钱”,这是对那份[可能是 Nokia]备忘录的有意呼应。
- 他认为激进投资者——“或者建设性激进投资者”——应该迫使 Salesforce、ServiceNow、HubSpot、GitLab 和 Atlassian 采用这样的打法:单独披露 AI 收入和 AI 毛利率(“你知道那是真 AI,因为它的毛利率很低”),甚至暂时以零毛利率运行;同时由原本能够产生现金的核心业务提供支持,这是创业竞争者没有的优势。另一种结局很糟糕:“现在,另一个由别人制造的 agent 正在访问你的系统……把数据拉进它自己的系统,而你最终会被关掉。”
10. “投资就是寻找隐藏的真相”
- 被问到会如何向 Patrick 的孩子推介投资这份职业时,他说:“投资就是寻找真相——如果你最先发现了真相,并且判断它确实是真相,这就是你创造 alpha 的方式……你在寻找隐藏的真相。”他的公式是:尽可能深入地掌握历史,再与对当前事件最准确的判断交叉,形成差异化观点;在“可以想象的最伟大的技能与运气游戏”中,寻找 Perry Mutual 系统里被错误定价的股票。这个过程始于大二时在投行实习、负责邮寄研究报告;到第3天,他已经开始狼吞虎咽地阅读报告,随后读 Peter Lynch、把 Buffett 的股东信读了2遍,并自学会计,最终放弃原本成为滑雪闲人、河流向导和小说家的既定人生规划。
- 他最后的坦白很有分量:每支体育队伍选人时他都是最后一个,被选去参加私人滑雪课花了“一笔小财富”却始终没变好,也从没赢过公园里的国际象棋玩家——“这是我唯一一件勉强算有竞争力的事情。我希望自己还能擅长别的事,但我就是不擅长。”而在 Alta 清洁厕所的经历,“永久改变了我对待他人的方式”。