先锋 趋势 方法 投研 作者
Dylan Patel 谈驱动 AI 革命的基础设施|下一件大事
返回节目精读

Dylan Patel 谈驱动 AI 革命的基础设施|下一件大事

摘要

  • 记忆是本期节目的主线:SemiAnalysis 从2023年初认为“记忆是 AI 最大输家”,转而在 o1 促使 Patel 预测 KV cache 将爆发后,认为记忆会成为最大赢家;如今 Patel 表示,“这场短缺会持续数年”——未来3年产能年增速仅20%-30%,而需求将翻倍。 价格已经上涨约4倍,接下来还会再涨2倍、3倍;缺乏价格弹性的买家将被迫退出,已有数据显示中国中低端智能手机出货量下降40%;明年 iPhone 和 MacBook“必须涨价”,不是100美元,而是“几百美元”,直到“AI 得到满足”。毛利率将升至85%-90%,随后腰斩回到70%区间或更低。
  • CPU:需求出现真正拐点,但只是小周期,不是超级周期。 强化学习环境和智能体工具调用确实推动需求拐点出现;SemiAnalysis 在11月的机构研究中率先指出这一点,ARM、Intel 和 AMD 股价也已大涨,但卖方“根本不懂技术,只是在编故事”。计算很简单:单颗 CPU 约5,000美元,而单颗 Blackwell 是“5万多美元”;3,000亿-5,000亿美元的 Blackwell 对应的 CPU 销售额只有300亿-500亿美元。如今的狂热,只是为过去3年出货的约1,000万颗 GPU 或其他 AI 芯片补配 CPU,而这些芯片此前几乎都没有配 CPU。“这个市场此前定价过低,现在更合理了。”
  • CPO 被推迟,转而看好铜。 “市场对 CPO 有点过于兴奋”:规模化共封装光学不是2027年,而是“2028年末,但真正放量要到2029年”。Reuben 全部采用铜连接,GPU 上的 Fineman 也仍然采用铜,因此中期更看好 Amphenol 等公司和非 CPO 光学方案,等待 CPO 的制造能力和良率追上来。
  • 电力是这轮数据中心建设的硬约束,建设规模将从今年的20 GW升至30 GW、再到50 GW,解决方案也越来越多转向现场供电。 未来几年内,新增数据中心电力的一半将在表后发电——从 GE Vernova 联合循环燃气轮机,到改装成燃气发电机、由汽车修理工维护的卡车发动机(“麻烦得要命,但能奏效”)。约2年后,光伏加电池的成本将低于燃气;Nvidia 取消原本可能用于 Reuben Ultra Kyber 的800V方案,也会推迟这条转换供应链。
  • ROI 之争,数据已经给出答案:Anthropic 4月和5月均实现自由现金流为正且盈利,6月也呈现同样趋势,营收已超过500亿美元 ARR,毛利率超过70%——“Anthropic 在印钞”(“Anthropic is printing”)。 SemiAnalysis 自身的 AI 年化支出也从11月不到10万美元,升至如今约1,100万美元,峰值周折算年化达到1,400万美元;对于一家90人的公司,转折点来自 Claude Code。那些压缩 AI 支出的公司“会被远远甩在身后”。
  • 成本优化意味着使用最新模型,而不是最便宜的模型:一个用 Claude 4.6 Opus、分多轮消耗100,000个 token 才能完成的任务,用 4.8 Opus 一次性消耗25,000个 token 就能完成。 “Anthropic 击败 OpenAI 的主要原因”是 token 效率,而不是基准测试领先;OpenAI 模型能解决前沿科学、数学和代码中的极端案例,但会消耗3-4倍 token,人类反馈循环也更慢。对于嵌入固定流程的 AI,逻辑正好相反:冻结质量,跟随每年约60倍的成本下降曲线——DeepSeek 约2年后比可能的 GPT-4 便宜600倍,而连续两次60倍降价本应意味着3,600倍。
  • 在 SemiAnalysis 的开源 InferenceX 基准测试中,Blackwell 在 DeepSeek V3 上沿性能区间某处测得比 Hopper 快30倍。 这一结果甚至超过 Jensen 发布时被嘲讽的25倍说法——“Jensen,我错了。你当时是在故意压低数字”(“Jensen, I was wrong. You were sandbagging”)。Jensen 在 GTC 用5分钟展示 Patel 的图表和“Inference King”腰带,证明自己并未压低数字。
  • 应对每一个“下一场短缺”(MLCC、PCB 钻头、铜箔)的通用框架是:资金流入比例 × 需求弹性 × 市场结构。 关键在于每1美元 AI 支出有多少美分流向该产品,定价究竟是记忆那样的现货商品模式,还是 TSMC 那样相对稳定的合作伙伴模式(只涨价“5%、10%”),以及市场是寡头垄断,还是由数百家公司组成、分散在台湾、日本和韩国交易。

精读

1. 从少年 shitposter 到90人研究公司

  • Patel 讲起 SemiAnalysis 的起点:“SemiAnalysis 的起源其实就是 shitposting”——在自己拥有智能手机之前,就开始发布智能手机 SoC 和显示屏规格相关内容;12岁时已经在主持 Android、Intel 和 Nvidia 论坛,随后做了2年量化交易员:“没错,你能赚钱,但实际没看起来那么神奇。”2020年,他辞职,用真实姓名开设 WordPress 博客。这个选择也受到他在佐治亚州乡村、从小住在父母汽车旅馆里的经历影响——“我就是有点懂生意。”
  • 第一篇文章确立了写作模板:Huawei 失去 TSMC 供应后,美国市场认为 Qualcomm 会赢;Patel 却判断 MediaTek 是最大赢家,因为“从地缘政治角度看,中国更愿意从台湾公司采购,而不是美国公司”。技术、供应链、金融和地缘政治由此融为一体;他每年参加40场上下游会议,其中有些只有300人规模、甚至只用日语:“我当时根本没有固定住处。”
  • 向机构研究公司的转型来自第3号员工 Myin。Myin 有对冲基金背景,回应了2023年初那篇付费文章中埋在付费区的一则招聘信息;那篇文章当时认为记忆是 AI 最大输家。随后团队加入模型和数据服务,“雪球开始滚下山坡”:员工数从2人增至7人(2023-24年),再从7人增至20人、从20人增至60人,如今达到90人,今年新增30人。
  • Patel 认为,公司真正的护城河是别人没有的人才密度:上游有来自 ASML、Applied Materials 和 Lam Research 的工程师;下游有来自 Intel、TSMC、Nvidia、OpenAI、Tesla FSD 的人员,以及一位可能来自 Cohere 的员工;“我公司里还有人曾在哈萨克斯坦建过电厂。”另一半则来自对冲基金,或“互联网上那些极其投入的普通人”。

2. Jensen 登台:“Dylan 说我在压低数字,但我没有”

  • InferenceX 是 SemiAnalysis 的开源基准测试套件,每天晚上都会运行,因为 CUDA、PyTorch、驱动或推理引擎的版本随时可能更新。测试覆盖8种 GPU,以及 Google TPU 和 Amazon Trainium,使用的捐赠硬件价值超过5,000万美元,捐赠方包括 OpenAI、Microsoft、Amazon、Google、CoreWeave、Nebius、Crusoe 和 Oracle。
  • 它给出的结论是:Jensen 在发布时声称 Blackwell 比 Hopper 快25倍,很多人却说“不、不、不,只有3倍左右”;SemiAnalysis 的模拟器测得15-20倍。随后 InferenceX 在 DeepSeek V3 上测得 Blackwell 沿性能区间某处比 Hopper 快30倍。Patel 发邮件说:“Jensen,我错了。你当时是在压低数字。”
  • GTC 体育场内有20,000人,Jensen 把 Patel 的图表和 WWE 风格的“Inference King”腰带带上台展示了5分钟,以证明自己并未压低数字:“整场发布会里,他谈论我们的时间比任何其他内容都长。”获得类似展示时长的只有 OpenClaw。

3. Anthropic 在印钞,SemiAnalysis 自身 AI 账单增长超过100倍

  • Patel 给 ROI 怀疑者的第一个答案是:Anthropic 4月和5月都实现了自由现金流为正且盈利,6月也呈现同样趋势;经常性收入“已经飙过500亿美元 ARR”,毛利率超过70%。“Anthropic 在印钞。”随着 Codex 采用率上升,OpenAI 的收入也正在出现拐点。
  • 从自己的账本看,Patel 称之为 ARS,即“年度经常性支出”(annual reoccurring spend):11月不到10万美元,当时为每名员工购买200美元的 ChatGPT 席位;Claude Code 搭载 Claude Opus 4.5 和4.6进入拐点后,1月底达到400万美元;如今约1,100万美元,峰值周折算年化达到1,400万美元。AI 已经占员工支出的三分之一以上,“取决于 Methos 和其他模型最终表现,年底可能达到一半”。
  • 对于年薪约30万美元的优秀开发者,AI 支出“正开始接近一比一”;而在 SemiAnalysis,“我们很多最大的支出者其实不会写代码”,他们只是“不断迭代、不断迭代、不断迭代”。
  • 企业正面临分岔路口:很多公司在第2季度就花完了全年 AI 预算。有的削减传统 SaaS,有的裁员而不是削减 AI,有的则直接收紧 AI 支出——“但这些公司在生产力提升方面会被远远甩在身后。”

4. 成本优化意味着最新模型,而不是最便宜的模型

  • Patel 将 AI 工作负载分成两类。流程嵌入式 AI,例如检查每份流入文件是否包含 XYZ,需要先达到质量门槛、冻结模型,然后沿着成本曲线下降——在质量不变的情况下,模型每年每项任务的成本下降约60倍。“DeepSeek 比可能的 GPT-4 便宜600倍”,这让很多人感到震惊。按每年60倍的曲线计算,约2年后本应便宜3,600倍,但实际结果是600倍。
  • AI 助手则完全相反:“成本优化往往意味着选择最新模型。”一个需要 Claude 4.6 Opus 消耗100,000个 token、经过多轮交互才能完成的任务,用4.8 Opus 消耗25,000个 token 就能一次完成——token 更少,人类耗时更短,真实成本更低。
  • token 效率是“Anthropic 击败 OpenAI 的主要原因”。OpenAI 的模型可以解决领先科学、数学和代码领域的极端案例,这是 Anthropic 做不到的,“但它们耗时3倍、token 数量多4倍”,人类参与反馈的循环也会恶化。因此 SemiAnalysis 仍然是“以 Anthropic 为主的公司”,只有过夜任务才交给 OpenAI Codex。
  • 4.6→4.7 Opus 和4.7→4.8 Opus 两次发布后,他的成本都曾连续约一周下降,随后又突破前高,因为员工适应了新模型:“好,我之前做的工作完成了,那我再多做一些。”

5. 记忆:以年计算的短缺,最终由你的下一部 iPhone 买单

  • 这条思想演进很关键:2023年初,SemiAnalysis 认为记忆是 AI 最大输家,因为 AI 服务器的内存容量远低于普通服务器;随后在 o1 于2024年12月发布时转向。推理能力让 Patel 预测 KV cache 的使用量会爆发:无论上下文是1,000个 token 还是100,000个 token,权重读取方式都相同,但 KV cache 的内存读取量会随上下文增长,而计算量几乎不变。结论因此变成:记忆将是最大赢家。
  • 2026年1月,当有人问记忆价格上涨50%是否已经见顶时,他再次强调:“不、不、不——我不认为你们真正理解了。”未来3年,产能每年增长20%-30%,需求却会翻倍。“这不是短期短缺,而是一场会持续数年的短缺。”
  • 市场出清机制非常残酷:价格不断上涨,直到缺乏价格弹性的买家退出。小米等中国中低端手机厂商报告称出货量下降40%;高端市场目前尚未受到影响,因此“明年 iPhone 价格必须上涨,明年 MacBook 价格必须上涨”。而100美元不足以改变市场,所以“涨幅必须达到几百美元”,直到“AI 得到满足”。
  • 他明确表示,这仍然是周期性行业:价格已经上涨约4倍,未来还会再涨2-3倍;记忆毛利率将升至85%-90%——“记忆不应该享有85%的毛利率”——随后再腰斩回到70%区间或更低。周期依然存在,只是底部不断抬高。

6. 通用框架:资金流入比例 × 需求弹性 × 市场结构

  • 这是本期节目反复用于分析各行业的工具:每1美元 AI 支出中,有多少美分流向某个产品——“这个产品可能只有1美分,另一个产品可能有5美分”?终端市场是增长50%、翻倍,还是增长4倍?接下来是谁有能力重新定价:TSMC 缺乏弹性——“我们对客户相当公平……只会上调5%、10%的价格”;记忆则能通过现货和合约市场完成出清,因此价格上涨4倍。ASML 的波动几乎可以忽略。
  • 将框架应用到外围领域,就是 MLCC、PCB 钻头和铜箔——“你上网就会看到,这是下一场短缺,那是下一场短缺。”局部涨价确实存在,但规模“很小且数量很多”,相关公司分布在台湾、日本和韩国交易,“投资者并不容易接触到这些标的”。

7. CPU:智能体和强化学习让这块被遗忘的芯片重新变得紧俏

  • SemiAnalysis 在11月的机构研究中率先指出这一点:OpenAI 和 Anthropic 正在签订协议,租用 Amazon、Google 和 Microsoft 服务器集群中几乎全部的 CPU。主持人也注意到,过去3年 AI 讨论中几乎听不到“CPU”,如今却到处都是。
  • 机制在于:预训练几乎不需要 CPU,但强化学习会用环境检查每一代结果——单元测试、编译器、沙盒网站和购物流程;智能体推理则会持续调用现实世界中的工具,包括搜索、数据库和 Python 解释器。两者都以聊天模型从未有过的方式消耗 CPU。
  • 第三条需求支柱来自部署后的输出。GitHub 提交量较去年增加“数倍”——“很多代码很粗糙,但确实有大量代码正在部署”;网页抓取器和业务流程自动化则运行在标准、具备成本效益的 CPU 核心上。
  • 赢家分布也很清楚:Intel 和 AMD 都提高了价格;ARM 进入市场,股价“已经疯涨”;Amazon 租用 Graviton 而不是出售芯片,获得了“惊人的利润”;Nvidia 的独立 CPU Vera 给出了200亿美元收入指引。

8. 但 CPU 是重新定价,不是下一个超级周期

  • Patel 也在给自己的判断降温:“卖方根本不懂技术,只是在编故事”——当前一些比例已经暗示 CPU 规模会超过 AI 算力,这是“错误的”。一颗完整 Blackwell 的价格是“5万多美元”,而一颗 CPU 约5,000美元;即便 CPU 与 AI 算力按1:1配置,3,000亿-5,000亿美元的 Blackwell 也只对应300亿-500亿美元 CPU 销售额。
  • 真正发生的是积压需求追赶:过去3年出货的“约1,000万颗 GPU 或其他 AI 芯片,基本都没有配 CPU”。等这批存量设备补齐 CPU 后,需求就会降至增量配套水平——“我们现在处在一个 CPU 小周期里。”他的结论是:“这个市场此前定价过低,现在更合理了。”
  • 根据核心数量定律,设计空间取决于工作负载:核心尺寸翻倍,单核性能只提升约50%。Nvidia 的 Vera 针对的是 AI 算力因等待 CPU 响应而停顿的工作负载,因此选择少于100个高速核心;AMD 的256核心方案和 Graviton,则适用于高度批处理、无需等待任何单一核心的工作负载。“有些工作负载需要 Vera,有些则需要 Graviton 或 AMD CPU。”

9. CPO 推迟到2029年,过渡期看好铜

  • 网络连接相关支出增长速度快于其他任何类别:从 AI 芯片相关支出的不足10%,升至10%以上;CPO 到来后将达到20%-30%。电信光学公司——可能包括 Ciena——股价也已经大涨。
  • 但就共封装光学本身而言:“市场有点过于兴奋。”“按我的判断,2027年不会到来——真正要到2028年末,但规模化共封装光学真正放量要到2029年。”制造量、良率和芯片设计都还不到位;交换机级 CPO 会早于 GPU 级 CPO 到来。
  • 周一的机构研究报告判断:中期看好铜和非 CPO 光学,对 CPO“某种程度上偏空”。Reuben 完全采用铜连接,GPU 上的 Fineman 也仍然是铜,而 Reuben 可能才刚刚开始出货。因此,背板制造商——可能包括 Amphenol——“未来几年实际表现会远好于此前预期”。
  • 铜在局部场景持续胜出的原因是:“归根结底,集成光学的成本远高于电信号传输。”除非距离足够远,迫使系统使用中继器或光学方案。假设5年后回头看,光学的规模会“大得多”;其中一部分已经反映在价格中,另一部分还没有。

10. 电力:从卡车发动机到太空,最终会向资金让路的约束

  • 规模正在迅速扩大:今年部署20 GW数据中心,明年30 GW,后年50 GW;制约因素依次是能源、政治和建设。电力供应有3个环节,其中输电“最难看多”——公用事业垄断和成本摊销规则限制了弹性;真正有机会的是发电和转换。
  • 表后发电是释放瓶颈的出口:SemiAnalysis 预测,未来几年内,新增数据中心电力的一半将在现场生成。供应链上游是 GE Vernova、Mitsubishi 和 Siemens 的联合循环燃气轮机,下游则包括改造成发电设备的火车、船舶和卡车发动机;卡车发动机可以改用燃气,反向驱动电动机,再由电池提供缓冲,并交给“很多汽车修理店出来的人”维护。已有超过10 GW数据中心计划采用这类技术。“麻烦得要命,但能奏效。”这条路径的两端,一端是“彻底用脏能源”,另一端是“完全走向太空”,因为太空中的太阳能板甚至不需要电池。
  • 下一次成本交叉点将在“约2年后”:受益于中国的制造规模,“光伏加电池将比燃气更便宜”。但可靠性要求仍是限制条件:只需准备一晚电量的电池很便宜,要应对连续3个雨天则完全不同。
  • 电力转换本身也是一条供应链,包括 IGBT、碳化硅、GaN MOSFET、12V→54V→800V DC 的转换、固态变压器和超级电容;而这条链条刚刚遭遇打击:Reuben Ultra Kyber 很可能不再采用800V方案,导致相关供应链被推迟。SemiAnalysis 最大的研究垂直领域甚至不是半导体,而是“DEI 团队”——数据中心、能源和工业(内部是个双关语),因为团队要追踪每一个数据中心和电厂;“Google 关心 Meta 能部署什么。”

验证说明

  • 原始字幕存在内部矛盾:“memory isn’t a shortage”之后紧接着说“这是一场会持续数年的短缺”;本摘要采用后者。