Dylan Patel 谈 GPT-5 的路由器时刻、GPU 与 TPU、商业化
摘要
GPT-5 与其说是前沿算力的跃升,不如说是围绕路由器打造的“经济释放”。 Dylan Patel 认为,重度用户失去了 GPT-4.5 和 o3 的使用权限——o3 平均思考约30秒,而 GPT-5 只需5-10秒——但免费用户有时获得了此前从未享受过的推理能力。路由器让 OpenAI 可以在普通、mini 和 thinking 模型之间选择,并在服务受限时“优雅降级”,以最高能力换取显著更大的 token 容量。
路由器更大的价值,在于让推理支出匹配每次查询可变现的价值。 “为什么天空是蓝色的?”可以交给 mini;而寻找最好的酒驾律师、航班或商品,则可以获得“大得离谱的算力”,因为 OpenAI 可能直接完成交易并抽成。考虑到 ChatGPT 已占 Etsy 流量约10%,Dylan 认为,代理式商业才是免费用户的变现路径,而不是让结果变差的广告。
统一费率的 AI 订阅,正撞上消费者使用量相差20倍的现实。 Anthropic 和编程产品在重度用户利用“负毛利”套餐后收紧了速率限制;据称一名开发者把睡眠切成水手式的短暂小睡,Reddit 使用排行榜上还有人的订阅消耗价值约每月3万美元。企业或许能通过承诺用量或平均费率来消化差异,但消费者越来越指向按使用量收费——即便产品仍会用订阅制和更好的审查界面来制造用户黏性。
AI 可能已经创造了超过基础设施成本的价值,但实验室只能捕获其中一小部分。 Dylan Patel 的编程思想实验是:3000万名开发者、生产率翻倍、每人创造10万美元价值,仅一个用例就对应3万亿美元的潜在 GDP 价值;而 Dylan 认为,OpenAI 捕获的 ChatGPT 已创造价值“甚至不到10%”。这种错配未必会阻止资本开支继续增长:超大规模云厂商的支出还可能再增20-30%,CoreWeave、Oracle、基础设施基金和主权资本则会补充更多短期经济意义较弱的产能。
只有当 AI 需求继续集中在少数巨型买家手中时,定制芯片才是 Nvidia 最大的威胁。 Google 正在生产数百万颗高利用率 TPU,Amazon 生产数百万颗 Trainium,Meta 也在大幅增加内部芯片订单;Dylan 认为 Google 应该直接销售 TPU,而不只是出租算力。但如果开源模型和廉价部署让需求分散,Nvidia 的通用生态反而会更强——独立挑战者必须做到“好上5倍”,供应链、软件和毛利率劣势才不会抹平领先优势。
美国 AI 部署受限的主要不是电价,而是已通电场址、电网设备和建设速度。 Dylan 估算,一座 Blackwell 数据中心约80%的成本来自 GPU、网络、建筑和电力转换资本,土地、电力、制冷、备用电源及相关项目只占20%。因此,为提前3个月上线而支付溢价是理性的;与此同时,中国当前受制于资本和芯片质量,而不是电力,尽管其发电扩张速度更快。
Intel 需要立即进行运营手术并获得资本支持,几家平台型巨头也需要重新建立产品紧迫感。 Dylan 表示,Intel 长达5-6年的设计周期以及最多14次芯片修订,必须压缩至2-3年和1-3次;如果没有大规模现金注入或大幅削减成本,公司可能在正式分拆完成前“真的”破产。他还提出几项更广泛的建议:Nvidia 应将预计超过1000亿美元的现金储备用于基础设施再投资,Google 应开放 TPU,Apple 或许应投入500亿美元建设 AI 基础设施;Erik 则认为,尽管 Microsoft 起点极其优越,仍必须“把公司彻底摇醒”。
精读
1. GPT-5 真正的突破,是掌控推理经济学
Dylan 的失望取决于用户层级:付费重度用户失去了 GPT-4.5,而他仍认为 GPT-4.5 在部分工作上是更好的预训练模型;他们也失去了 o3,后者平均会思考约30秒。GPT-5 thinking 通常只运行5-10秒,因此分配给他普通查询的算力更少。
这并不意味着没有进步。GPT-5 的模型规模大致相同,却显著优于上一代 vanilla 模型,同时避免了 o3 那种病理式推理——比如花48秒判断猪肉究竟是红肉还是白肉。Anthropic 早已证明,同等甚至更好的答案不必耗费那么长的思考时间。
路由器现在可以在普通模型、触发速率限制后切换的 mini,以及 thinking 之间做选择,并控制推理持续多久。免费用户偶尔会得到强得多的答案;当容量收紧时,OpenAI 也能“对他们进行优雅降级”。Guido 抛出一个 meme,并明确说不是真的:OpenAI 是否把 o3 和更小模型放在路由器后面,以更低的混合价格提供服务;Dylan 的回答是,“确实有一点像。”
2. 查询价值可以决定 OpenAI 要投入多少智能
Dylan 的商业判断是:“路由器指向了 OpenAI 的未来。”传统广告与有帮助的助手存在冲突——植入推广会恶化答案,横幅广告也不适配;因此,免费用户需要一条原生于交易的变现路径。
他的对比把分配逻辑说得很具体。“为什么天空是蓝色的?”值得交给 mini;而寻找最好的酒驾律师,可能值得搜索法院文件、联系本地律所、比较结果,并投入“大得离谱的算力”,因为 OpenAI 可以从一笔高价值交易中抽成。
购物和旅行是最明显的切入口:Dylan 提到,来自 ChatGPT 的流量已经占 Etsy 流量的10%,但 OpenAI 一分钱也赚不到,部分原因是 Amazon 屏蔽了 ChatGPT。他的建议是接入信用卡、日历,以及靠过道还是靠窗等偏好,然后让代理完成预订,并收取约定比例的交易佣金。
3. AI 定价暴露了订阅制隐藏的使用极端值
OpenAI 表示,它为大量用户将速率限制翻倍,并大幅增加了服务 token 数量,让 GPT-5 成为一次“经济释放”。这意味着混合推理成本更低,而不只是 GPT-5 在 MMLU 或其他智能基准上成为新的赢家。
重度编码用户暴露了统一费率套餐的脆弱性。Anthropic 同时施加按小时和按周的限制后,据称有用户像独自航海的水手一样把睡眠切碎;Reddit 排行榜上则出现了一个通过订阅每月消耗约3万美元的用户。“人们正在利用负毛利。”
消费者的使用量可能相差约20倍,推动模型厂商转向按使用量收费;企业可以对全职开发者较为可预测的使用行为取平均,也可能支付大额承诺费用,以避免账单无上限。一项产品黏性的来源是验证闭环:在可视化变更文件、后果和图表,以及提供快速反馈和复杂反馈方面,做得比竞争对手更好。
4. Nvidia 的增长跑道,建立在需求加速和充足的投机资本之上
Dylan 将当前芯片需求大致分成三等份。OpenAI 和 Anthropic 单独就占约30%:Anthropic 的算力来自 Google 和 Amazon,OpenAI 的算力来自 Microsoft、CoreWeave 和 Oracle。Meta 和 ByteDance 等广告买家占另一等份;剩下那些经济价值不那么清晰的服务商,可能难以持续融资越来越大的轮次。
主持人仅从编程场景挑战需求上限:即使是传统的 GitHub Copilot 推广,也可能带来15%的生产率提升,而 Dylan 坚持认为更好的产品可以做到远不止这些。假设3000万名开发者、生产率翻倍、每人创造10万美元价值,理论规模就达到3万亿美元,还没有计入其他 AI 应用。
Dylan 对“6000亿美元问题”的修正是:现在购买的基础设施,对应的不是一年的平坦收入,而可能是未来5年不断增长的收入。他认为 AI 已经创造了超过支出的价值,但“价值捕获出了问题”:他的4人团队用廉价的 Gemini API 分析许可证、监管文件、卫星图像、发电机、冷却塔、变电站和施工进度,随后捕获的下游价值远高于模型提供商。
经济上合理的资本开支存在上限,但可用资金并不存在同样的限制。超大规模云厂商明年的资本开支还可能增长20-30%;CoreWeave 和 Oracle 可以通过资本市场筹集更多资金;Brookfield、Blackstone、G42、GIC 以及其他主权或基础设施资金池“几乎还没有真正开始接触 AI”。
5. 市场集中度决定 TPU 还是 Nvidia 胜出
定制芯片是 Nvidia 面临的核心威胁。Guido 表示,Google 和 Amazon 正在生产数百万颗芯片,Meta 正在大幅增加订单;Dylan 说 Google 的 TPU 利用率基本达到100%,而 Amazon 的 Trainium 利用率仍然落后。Guido 形容 Microsoft 的定制芯片“有点烂”;Dylan 后来称,Microsoft 的内部芯片项目是所有超大规模云厂商中最差的。
决定性变量是需求集中度。少数巨型 AI 买家可以摊薄自研芯片成本并压缩 Nvidia 的利润;由中国开源模型和廉价推理库驱动的分散需求,则有利于 Nvidia 获得广泛支持的平台。因此,Dylan 认为 Nvidia 可能会长期保持全球市值最高公司。
Dylan 问 Google 是否应该开始向所有人销售芯片,Guido 认同 Google 应对外销售 TPU,而不只是出租 TPU 算力。这样做需要 Cloud、TPU、JAX 和 XLA 之间进行文化重组。Dylan 认为,更大的 TPU 业务可以支撑更高的 Google 估值;但 Guido 指出,Google 管理层仍会认为 Gemini 最终的价值要高得多。
6. 初创公司必须领先 Nvidia 5倍,现实才会把差距压回去
在公开芯片问世之前,资本已经在为 Etched、Rivos、MatX 等公司提供资金,同时还有 Groq、Cerebras、SambaNova、Tenstorrent 和 SoftBank 旗下 Graphcore 等成熟挑战者。超大规模云厂商拥有它们都没有的优势:一个愿意把专用芯片当作压缩利润手段来接受的 captive customer。
独立厂商必须同时设计芯片和软件,组装 IP,管理芯片、机架、网络、内存和客户,最后还要赚取利润。AMD 说明了其中的难度:尽管工程实力很强,但在相近性能下需要更多芯片面积和内存,毛利率接近50%,而 Nvidia 约为75%。
当研究方向发生变化时,硬件与模型的协同设计会变成陷阱。Cerebras、Groq 和 SambaNova 曾针对当时领先的工作负载,强调更多片上 SRAM、减少 DRAM;但更大模型和视觉 Transformer 改变了经济性。新一代初创公司为密集 Transformer 优化巨型脉动阵列,却遇上了类似 DeepSeek 的工作负载:形状更小、矩阵乘法更多。
Nvidia 拥有更好的网络、HBM、制程获取能力和爬坡速度,并在 TSMC、SK hynix、机架供应商和线缆厂商面前拥有更强的议价能力。挑战者的“5倍”架构优势,可能在供应链惩罚后变成2.5倍,再在 Nvidia 压缩利润、部署软件防御后变成约50%。与此同时,“你必须沿着科技树继续升级”,却不知道模型最终会向哪个方向分叉。
7. 中国有电力,但资本效率和芯片获取仍是约束
Dylan 提到,中国各省有规定称 H20 的效率不足,尽管他认为 H20 是中国现有最好的 AI 芯片,并表示 Huawei 仍然落后。在电力受限的美国,即便 H20 免费也可能缺乏吸引力:用更弱的芯片消耗稀缺兆瓦,意味着更低的算力容量。
Nvidia 推动出口的理由是控制生态。中国开发者贡献了有价值的 Nvidia 兼容软件,包括 Triton 扩展,因此销售 GPU 可以阻止 Huawei 建立竞争性软件栈。Dylan 认为,模型为社会创造的经济价值高于硬件;供应 H20 和削弱版 Blackwell,因而可能转移更多经济能力,而不是只捕获芯片销售收入。
中国当前的直接瓶颈“始终是资本”,而不是电力。中国 AI 资本开支的百分比增速高于美国,但绝对金额更低,单位美元产出也更差;中国每年已经为半导体补贴约1500亿-2000亿美元,如果愿意,完全可以资助一个 Meta 或 Google 规模的国家级项目。
8. 已通电的土地,而不是廉价制冷,才是稀缺的 AI 资产
中国企业通过在海外租用更先进的 GPU,或借助与新加坡有关联的实体建设,绕开国内限制。ByteDance 是 Google Cloud 最大客户之一,也从 Oracle 和 Microsoft 租用算力,因为海外 Blackwell 产能在单位产出成本上可能优于自建国内基础设施。
美国的物理瓶颈导致已购买的芯片闲置。Google 有等待已通电设施的 TPU,Meta 等公司也有同样状态的 GPU;芯片本身约占集群成本的60-80%。电网互联、输电、变电站、电气承包商和外地电工,都已成为决定工期的关键投入。
CoreWeave 的价值很大一部分在于它愿意快速行动:改造加密货币场址、维护裸金属集群并购买已通电资产。Google 为获取电力持有 TeraWulf 8%的股份;随着速度压倒此前承诺,超大规模云厂商实际上已经对自身的可持续发展承诺说了“管它呢”。
Guido 表示,制冷是次要问题:如今苜蓿的用水量约为 AI 数据中心的100倍,而水下设施节省的成本可能只有5-10%,却会变得无法维修。对于 Blackwell 设施,约80%的成本是资本开支,20%用于土地、电力、制冷、备用系统和发电机;Elon 购买昂贵的临时发电机和冷却机是理性的,因为这让数据中心提前3个月上线。
9. Intel 能否存活,比是否优雅分拆更重要
Guido 表示,世界需要 Intel,因为 Samsung 在2纳米级制程开发上似乎落后更多,而 TSMC 实际上垄断了先进制程。尽管 TSMC 拥有定价权,明年也只提价3-10%;如果台湾发生意外,Intel 可能拥有全球最先进的制程技术,只是经济性很差。
Intel 的晶圆厂和设计业务最终应当分拆,但执行分拆可能耗尽公司本就没有的管理时间。眼下最紧迫的问题在运营层面:从设计到上市需要5-6年,有时要进行14次 tape-out 修订;强劲竞争对手则大约需要3年,修订1-3次。
Dylan 对 CEO Lip-Bu Tan 的建议是:让两种文化分别运营,削减层级、清除能力不足的管理者,留下引领制程技术20年的工程师,并将设计到上市的周期压缩至2-3年。即使没有 AI 领先式增长,x86 和 PC 业务仍可以保持高利润,员工数量甚至可能只需要现在的三分之一或一半。
晶圆厂要推进后续几代制程,需要更多资本。如果没有大规模注资或激进削减成本,Dylan 警告 Intel 可能在重组完成前“真的”破产;Erik 所期待的兜底方案是,每家主要超大规模云厂商先贡献约50亿美元,而 TSMC 的毛利率未来可能接近75%。
10. Nvidia、Google 和 Meta 应把算力所有权转化为分发能力
Dylan 会建议 Jensen Huang 把 Nvidia 的现金储备用于基础设施层。按照新的 Trump 税法,GPU 集群第一年的折旧对客户有重大税务影响;Nvidia 自己到年底可能持有超过1000亿美元现金,若用于回购和分红,就会浪费加速已通电产能、控制更多产业栈的机会。
Dylan 认为 Google 应进一步开放 TPU 和 XLA 周围的生态,销售硬件,加快数据中心建设,并夺回曾经的算力领先地位。Sergey Brin 正与 DeepMind 密切合作,但物理基础设施和产品交付仍然过慢,采购代理商正在威胁要绕过 Google,截走可变现的搜索查询。
Mark Zuckerberg 已经意识到紧迫性:搭建临时“帐篷”,在收购 Thinking Machines Lab 或 SSI、出价300亿美元未果后积极招聘,并将超级智能与可穿戴设备及助手连接起来。Dylan 的批评在于 Meta 围墙之外的执行力:产品经常“有点平庸”,因此应该更快推出明确对标 ChatGPT 和 Claude Code 的竞争产品。
11. Apple 和 Microsoft 可能失去界面,Elon 可能失去焦点
Apple 的硬件和形态设计仍然很强,但 Dylan 认为,如果不投入或许500亿美元建设 AI 基础设施,公司可能“错失这艘船”。随着代理接入日历、消息、偏好和交易,AI 将成为计算界面,削弱 Apple 通过触控、键盘和封闭生态控制用户体验的能力。
Microsoft 在2023年和2024年行动激进,随后却收缩数据中心投入,OpenAI 也开始从其掌控中滑走。Dylan 称其内部芯片项目是超大规模云厂商中最差的,MAI 已经失败,Azure 则容易受到 Oracle、CoreWeave 和 Google 的冲击。Erik 表示,尽管 Microsoft 起步时拥有 GitHub、最好的源代码仓库、企业分发能力、先发优势,以及与一家模型公司的牢固关系,GitHub Copilot 和 Microsoft Copilot 仍然很弱。
Dylan 对 Elon Musk 的判断仍然保留条件:色情模型可能加速 xAI 收入,robotaxi“开始看起来不错”,而 Musk 仍然是吸引顶尖建设者的磁石。但人才流失、项目被砍和仓促决策,如今正与其历史性的上行空间一起造成损害;最后的建议很简单:“重新专注于产品。”