E230|1万亿收入预期背后:英伟达的巅峰与软肋
摘要
黄仁勋给出的核心预期是:到2027年底,Blackwell与Vera Rubin累计订单至少1万亿美元,较此前5000亿美元的口径翻倍。 这甚至高于2024年全球半导体产业6000多亿美元的总销售额,但张璐认为需求逻辑成立:训练是一次性投入,Agent推理则是持续现金流,成本占比可能从2023年的训练70%-80%,走向未来推理70%-80%——“长期的现金流,那一定是来自于推理”。
万亿预期最难跨过的不是订单,而是无法用资本即时买来的物理产能。 肖志斌判断3nm晶圆可能跟得上,CoWoS先进封装却很难说;其产能自2024年以来虽已增长约3倍,3月份美光和三星宣布HBM2量产,美光、三星和海力士也在推进HBM4E定制化方案,但生产线投资、工艺优化和验证仍需一两年。“这并不是像软件一样,你有多大的需求,可以马上产出多大的销售。”
NVIDIA的护城河已从CUDA扩展为芯片、系统、供应链、开发者与客户反馈共同构成的全栈执行力。 Vera Rubin同步推出7款已进入量产的芯片,NVL72较Blackwell推理效率提升10倍、token成本降至十分之一、token per watt提高35倍;Mark称NVIDIA内部一两个月内便从无人使用coding agent变成“百分之百都在用”,但真正难点仍是把生成的设计做成端到端最优。
Groq的LPU证明推理不会由一种芯片通吃,未来数据中心更可能是GPU、LPU、Switch与光互联组成的异构系统。 Groq用片上SRAM保存权重和KV Cache,牺牲容量与成本换取极低延迟,特别适合逐token生成的decoder和Agent;黄仁勋甚至建议数据中心预留25%空间给Groq及其他推理芯片。肖志斌的直白判断是:“GPU其实不大适合做agentic的应用。”
TPU构成真实威胁,却尚不足以推翻NVIDIA的第三方基础设施地位。 Google具备模型、芯片、互联、供电和应用的垂直优化能力,但外部客户未必能复制其内部效率;NVIDIA则依靠跨客户的软件体系、极强执行力及对TSMC、CoWoS产能的掌控守住领先。更值得关注的缺口在私有化部署、Edge AI、机器人和专用CPU/NPU,同时巨额市值也令其“被资本推崇,也会被资本裹挟”。
OpenClaw与NemoClaw把token需求推向Agent常驻运行,也把SaaS的竞争单位从软件席位改成AI劳动力。 张璐认为未来厂商可能从IT预算进入更大的劳动力预算,但她借招聘标准设想,Agent若要真正替人,需要完成岗位90%以上的工作并超过90%以上的人,目前仍有距离;缺乏模型能力且不迅速转型的SaaS风险最高。“未来的软件公司……就变成了一个劳动力输出方。”
数据中心端已经验证需求极强,但万亿收入最终取决于土地、电力、交付速度和运维可靠性。 Alex称美国新项目约90%转向behind the meter自备天然气发电,模块化建设把greenfield到上线由18-20个月压至6-9个月;与此同时memory价格上涨100%-200%,SSD、ConnectX-7、switch gear、Intel CPU和CDU水冷均开始短缺,CX7也在转向BlueField,供应链预计到2027年底仍难缓解。“Capacity是有,可是价格无法确定。”
精读
1. 万亿美元不是单颗GPU的故事,而是整座AI工厂的收入预期
泓君用四个数字框定本届GTC:Blackwell与Vera Rubin到2027年底累计订单至少1万亿美元;Vera Rubin平台一次同步发布7款芯片;NVL72较Blackwell推理效率提升10倍、每token成本降至十分之一;token per watt提升35倍。
这个口径较上一年的5000亿美元翻倍,也改变了比较基准。2024年全球半导体产业销售额仅6000多亿美元,而Lisa Su此前谈的是2030年数据中心AI加速芯片达到1万亿美元;黄仁勋则把时间提前到2027年,并把范围集中在NVIDIA一家的完整系统。
肖志斌提醒,Vera Rubin所售早已不只是芯片,还包括NVLink Switch、Ethernet Switch与软件;张璐因此把NVIDIA重新定义为“人工智能基础设施公司”,其AI工厂生产的不再是算力本身,而是未来生产力的计量单位——token。
现场二级市场投资者给出的解释也值得保留:万亿口径公布后股价没有明显反应,并非数字不大,而是“很多华尔街的投资人在之前做模型的时候已经拆出了大概这样的一个数字”。
2. 推理从成本配角变成持续现金流,撑起万亿需求的核心逻辑
张璐区分训练与推理:训练更像一次性资本投入,推理则会随着Agent每次调用持续发生;长上下文、低延迟、实时在线和连续交互都会增加token消耗,因此“如果你看长期的现金流,那一定是来自于推理”。
她回忆,2023年训练可能占模型成本的70%-80%,如今可能已接近训练、推理各半;到明后年,推理或反过来占70%-80%。这不是确定预测,速度仍取决于产业AI整合和Agent铺设究竟多快。
黄仁勋给出的另一组说法是:过去两年推理计算量增加1万倍、使用量增加100倍,因此计算需求增加100万倍。Alex在GPU云端看到的对应信号是,“一个集群,基本上都有三到四家超大型的公司在抢”。
3. 3nm可能跟得上,CoWoS、HBM与工艺周期才是供给硬约束
肖志斌判断,一万亿美元“需求端是非常旺盛”的订单信号,但2027年能否交付非常challenging:3nm晶圆产能大概率能跟上,CoWoS先进封装则难判断,尽管台积电自2024年以来已将CoWoS产能扩张约3倍并继续加码。
存储厂也在追赶:肖志斌提到3月份美光和三星宣布HBM2已经量产,同时美光、三星和海力士在做定制化HBM4E方案。问题在于需求增长会同时拉动晶圆、封装、memory、switch、测试与电力,不存在只扩一个环节便能解除瓶颈的捷径。
张璐强调半导体与软件的根本差异:生产线需要预投资、过程控制和良率优化,新增需求往往要一两年后才形成产能。“这个周期是没有办法用钱砸出来的”;届时产品要求又可能已经变化。
4. 一年七颗芯片靠的不只是加人,而是AI与闭环反馈压缩设计周期
Mark说明NVIDIA过去大致从“两年出一块芯片”加速到一年一块、再到一年多块。传统办法是扩充团队,但coding agent和AI for chip design已经显著提高工程师效率;他强调,数量不是最难的,真正需要AI的是芯片内部的优化质量。
张璐补充了组织机制:传统芯片厂把产品交给客户、等待反馈再迭代,沟通周期很长;NVIDIA同时拥有CUDA、企业客户和创业生态,能直接观察系统瓶颈,从二十件可做之事中快速选出前三、前五、前七项优先级。
这种闭环再叠加供应链协作,让芯片设计、需求判断和量产准备并行发生。她以传统半导体公司的节奏作对照:“一年能发一两个芯片是非常好的了”,而Vera Rubin一次发布七款的关键是系统级执行,不只是单点设计速度。
5. Groq用SRAM换取低延迟,击中了Agent推理的communication瓶颈
肖志斌解释,SRAM访问延迟约1-2纳秒、不需动态刷新,但一个存储单元约需6个晶体管;DRAM约用1个晶体管,密度更高、成本更低,却有更大的访问延迟和刷新负担。
Groq选择“剑走偏锋”:去掉外部DRAM,以片上SRAM保存模型权重和KV Cache,再靠极致互联扩展集群。这样无需每生成一个token都从memory重新抓取权重,token per second per user更稳定;按黄仁勋展示的曲线,特定Agent应用效率可比GPU高30多倍。
推理中的encoder适合GPU擅长的高吞吐批处理,decoder却是逐token生成,计算不多、通信很多。肖志斌概括得很直接:“大部分时间其实都在那抓weight,communication,不是在compute。”
张璐把能耗也纳入同一条逻辑:compute能耗持续下降,communication能耗降得更慢;她转述John Hennessy的判断,未来通信耗电量可能达到compute的10倍以上,因此LPU的价值不只是快,也是减少数据搬运。
6. 推理芯片创业仍有机会,但正面复刻NVIDIA已经不是好赔率
张璐并未说创业窗口归零,但认为直接做通用推理芯片“机会空间比较小”。更现实的路径是寻找NVIDIA尚未列入前三至前七优先级的短板,成为其合作对象、生态补丁或潜在收购标的,而非与其资源投入正面相撞。
她给出的路径是interconnect switch:团队原先研究optical compute,了解NVIDIA内部进展后转向下一代互联。大规模AI基础设施的瓶颈正从compute外溢到switch和interconnect,这类技术与NVIDIA既有竞争边界,也有战略协同。
肖志斌用两次创业修正自己的判断。2017年他在阿里做纯SRAM推理芯片,MLPerf表现世界第一,但应用变化后团队难以追上GPU软件生态;后来DeepSparse以模型压缩配合芯片架构,曾用4块芯片在BERT上对比1块H100,大模型时代却被昂贵的post-training卡住。
他现在转向neutral的系统级优化:仿真Google TPU、AMD GPU和NVIDIA系统,把kernel留给芯片厂,自己做上层自动优化。Mark的类比是云计算革命——每次计算范式切换都会在stack中打开大量窄而深的创业位置。
7. OpenClaw带来token洪峰,NemoClaw争夺的更像企业Agent规则制定权
肖志斌把OpenClaw对应的潜在增量概括为“老黄说的一千倍的token使用量”。他自己混用模型控制成本,主力是Kimi 2.5,因为相较Claude便宜约10倍;其公司准备开源Token Simulator加Auto Optimize,根据用户profile自动规划调用。
肖志斌认为OpenClaw利好垂直Agent:大厂建设了大量GPU,需要用cloud获取流量、把token转成应用;开放生态又会迫使旧工具变得agent-friendly,使芯片设计等垂域团队无需重复开发通用工具。
张璐不认为NVIDIA推出NemoClaw主要是抢应用收入,更像是在Agent deployment、安全准入和企业部署层确立规则制定地位。她同时保留体验差异:OpenClaw倾向于“把这个事情做完”,企业则要求“把这个事情做好”。
她本人更偏好Claude Code处理企业级高质量任务,并提到Claude Dispatch带来的竞争;泓君则举例说,OpenClaw能迅速为单个企业写出高度贴合业务的CRM,这恰好击中了传统标准化SaaS最难覆盖的需求。
8. Agent as a Service会重写SaaS,但替代速度取决于质量而非演示效果
张璐用“基础技术创新—技术应用创新—商业模式创新”描述演进:传统SaaS出售所有客户共用的标准化软件,Agent却能按公司、岗位和流程高度定制,最终出售的可能既不是软件也不是服务,而是AI labor。
预算池也会变化。软件原来争取IT预算,若输出的是人工智能劳动力,就可能进入更大的labor budget;但她借招聘标准设想,客户会要求Agent完成岗位90%以上的工作,并超过90%以上的人。她的判断是“现在agent的能力确实还有一定的距离”。
她不同意SaaS会立刻整体消失:企业销售还包含售后、关系网络与实施能力。不过,没有模型能力的SaaS“大概率未来可能就会消失会被替代掉”;已有行业数据与模型能力者仍能转型,创业者也可抢占旧厂商退出的市场。
肖志斌把转型压缩为两件事:尽快把行业经验与Agent平台结合,并购买、优化算力,使compute投入到service输出的ROI最佳。“如果它现在不做剧烈的改变,很快会被这些Agent Platform替代。”
9. 公司将同时管理人和Agent,token额度会成为新的组织资源
张璐设想,未来高价值公司核心人员可能只有二三十人,HR、CFO、财务等功能由项目制Agent提供;这些Agent无需全职归属一家企业,组织边界会从固定岗位变成按任务调用的混合劳动力。
CEO的新能力不只是招人与管人,还包括区分哪些部门必须由人主导、哪些可外包给Agent,以及如何评价AI员工。泓君转述黄仁勋的招聘设想:工程师除了年薪,还应知道自己有多少token额度、能管理多少个“Agent实习生或者员工”。
这也解释NVIDIA内部为何快速普及coding agent。Mark确认,从前一年年初开始,公司在一两个月内便从几乎无人使用变成“百分之百”,其他芯片公司也已启动类似的广泛部署。
10. ChipNeMo已能读文档、写RTL,端到端最优仍是芯片设计的难关
Mark领导的设计自动化研究团队早在CNN、GNN阶段便尝试AI for chip design,但旧模型只能解决局部问题;language model与Agent首次带来更通用的设计能力,可以帮助理解设计需求并生成代码。
NVIDIA在2023年发布ChipNeMo,以内部收集的20多个billion tokens训练和适配base model,用于芯片设计知识交互。第一类用途是让chatbot理解内部document和设计需求,第二类是让coding agent生成软件代码乃至RTL硬件代码。
Mark没有回避质量差距:“虽然质量还没有那么高,有一定的进步空间。”生成RTL只是起点,真正困难的是构成end-to-end设计闭环,并把设计优化好。
11. TPU威胁真实存在,但Google的内部效率不等于外部客户的效率
张璐认为,若全产业都做AI整合,单靠NVIDIA一家也难满足需求;TPU、CPU和各种专用架构都会获得空间。客户采用TPU还有供应短缺和second source考虑——没有大型公司愿意把未来完全押在单一供应商上。
TPU最强的场景仍是Google内部的全栈优化。张璐回忆,其内部training成本可能只有ChatGPT约三分之一,但外部客户未必能达到相同水平;NVIDIA长期作为第三方服务多类客户,CUDA及系统软件的通用适配能力仍更成熟。
肖志斌把Google视为“实实在在的威胁”:它从2017年持续迭代TPU,在互联、垂直供电、embedding与sparse加速上甚至比NVIDIA更强,又同时拥有Gemini、YouTube和应用分发。AI降低算子与系统优化门槛后,TPU对外会越来越容易使用。
但NVIDIA仍有两项硬优势:一年推出多款芯片的执行力,以及黄仁勋多年经营的供应链关系。即使AMD或Google拿到订单,肖志斌认为NVIDIA仍掌握大量TSMC与CoWoS资源;这种信任和产能优先级不是软件短期能复制的。
12. 边缘、私有化和机器人是NVIDIA尚未完全收拢的侧翼
肖志斌认为机器人AI芯片尚未converge。两年前他评估该方向时,芯片仅占机器人BOM约7%-8%,并非当时瓶颈,相关模型也不成熟;泓君则提出,非数据中心AI的入口可能为后续数据中心引流。
NVIDIA对边缘私有化部署反应很快,已推出Jetson小型box与能运行更大模型的workstation。肖志斌把这种速度理解为防守动作:“老黄对于这种边缘端私有化部署是比较担心的。”
张璐补充,监管严格的传统行业重视数据隐私,更倾向私有部署;她提到与Broadcom交流时看到高通等公司押注边缘端人工智能。推理权重上升还可能让AMD及CPU方案受益,市场最终会按场景形成多架构组合。
她提出一个非技术风险:NVIDIA市值越大,管理层越需要维持短期收入和资本预期,长期研发与短期业绩之间的资源权重可能改变。“一方面它被资本推崇,也会被资本裹挟。”
13. 三星和Intel可做second source,但商业边界比技术验证更难解
Christina提问三星、Intel能否分担NVIDIA的代工与封装。肖志斌认为Intel的EMIB封装技术本身很好,行业也在尝试把TSMC生产的die交给Intel封装;难点是TSMC未必愿意放片,Intel又可能要求客户采用自家FPGA,商业安排存在悖论。
三星良率可能低于TSMC,但作为second source仍有价值,尤其NVIDIA一年发布七款芯片,不同产品可以匹配不同供应商的优势。
肖志斌还说,Blackwell采用三星也可能是因为产能或TSMC订单排期问题,但明确表示这只是猜测:“也许是这样,我只能猜,因为我不知道。”他同时强调NVIDIA一直在评估各家供应商能力,并非临时起意。
14. Coding Agent削弱CUDA的kernel壁垒,却还复制不了全栈know-how
Mark承认coding agent能生成大量代码,但能否稳定写出最高performance的kernel仍待验证。即使CUDA部分能力可被复现,NVIDIA的护城河也已扩展到硬件、系统、工具链和基础设施,“已经不再是一个芯片的问题了”。
Mark转述许多大厂工程师的反馈:AI生成kernel已能达到手工优化约90%以上,CUDA在kernel level的moat确实变弱;然而系统层积累的硬件数据、故障经验与know-how尚未被通用coding agent掌握,这些专有数据会成为新壁垒。
张璐补充了开发者community:竞争者多年尝试建设类似CUDA的体系、拉拢大型软件公司,仍未真正复制成功。NVIDIA通过Inception Program把创业生态从数百家扩大到两万多家,也在提前培养潜在客户和开发者惯性。
讨论还落到IP风险。肖志斌提醒,企业把内部know-how交给Claude或Codex等外部系统时,要考虑模型是否持续学习;游戏工作室尤其谨慎,核心数据和底层权限需要私有化部署,张璐也提到她与Google团队交流时,对方不愿把底层控制完全交给Agent。
15. 美国数据中心不缺高压电,缺的是能及时送到机柜的电
Alex给出的最直接判断是,数据中心建设极快,但最终bottleneck仍是“land and power”。美国电网接入近乎“bone dry”,新项目不可能及时取得10MW以上的现成电力,因此约90%的新数据中心转向behind the meter。
新模式是在有天然气管线的brownfield现场布置gas generator,就地发电、降压和建设数据中心;电网接入受阻时,也可能直接使用柴油发电机或天然气机组。Alex表示,过去hyperscaler的一些顾虑如今基本没人重视,项目普遍采用container方式。
美国并非没有发电量或330kV高压transmission,问题是distribution:电力要转换成数据中心可用的400V、如今进一步到800V,还要经过变电站、稳定性研究和监管审批。Alex说电网由传统oil and gas体系运行,“他们动作事实上是没有在硅谷这么快的”。
单个天然气电厂通常约300-500MW,核电站约2-4GW,面对数百兆瓦乃至数GW的数据中心集群仍显不足。Alex称中美大厂都开始包下核电站产出:“你也别卖给grid了,你全部给我。”
16. 模块化AI工厂把上线周期压到半年,但零部件短缺延伸至2027年
传统greenfield从土地、混凝土到正式服务约需18-20个月;Alex观察,从土地、混凝土、电力到数据中心白空间、架高地板、水电和fiber大约需要4个月,再安装rack与server需2-4个月。预装rack、CDU、fiber、HVAC和UPS的40尺container,可把总周期压至6-9个月。
这正是“AI工厂”从概念变成供应链产品:NVIDIA不只卖GPU或单组服务器,而是提前给出年度roadmap,让电力、机柜、液冷和ODM按统一节奏准备,尽量把racking and stacking标准化。
GMI Cloud已锁定至2027年的capacity,但Alex强调:“至少我们能确定capacity是有,可是价格无法确定。”Memory自上一年以来上涨100%-200%;HBM又挤压DDR产能,DDR开始缺货,SSD也开始缺货;CX7转向BlueField,相关解决方案以NVIDIA为主且lead time不断拉长。
警报还扩散至CX7、switch gear、Intel CPU和CDU水冷方案。Alex援引与供应链的沟通判断,这些短缺至少到2027年底都看不到明显缓解;万亿美元订单由此变成对每个物理部件和交付节点的同步压力测试。
17. GPU云真正出售的是可靠性,折旧寿命则可能长于华尔街模型
Alex把GPU云运营归结为一个词:reliability。新创客户首先要求“有卡、能上线”,随后才是稳定;一套系统包含超过20万个unique parts,再连接到几千台设备,任何非零故障率都会在规模化后不断显现。
故障排查跨越硬件、光模块、switch、firmware、K8s与客户代码。许多模型团队拥有顶尖researcher,却不是infra团队,又因GPU迭代太快而缺乏新平台经验;云厂商必须快速判断根因、协调备件并恢复服务,最终兑现为SLA。
只有稳定运维之后,model services和token降本才成立。Alex提到通过P/D、EP和集群化inference做优化;规模足够大时,云厂商才有空间以调度和kernel优化压低token cost。
折旧问题上,他区分“hedge fund answer,five years”和技术现实:AWS至今仍难租到A100或V100,而2017或2018年推出的V100七八年后仍有很高使用率。需求过剩使GPU经济寿命可能显著长于资本市场采用的五年折旧。
18. Neo cloud以裸金属效率和产品层争夺Hyperscaler留下的空位
Alex认为传统Hyperscaler本质上是CPU与storage cloud,惯用VM会损失约10% compute power;CPU服务器仅两三万美元时问题不大,但一套GB300像“一栋几百万美金的房子”,GPU云无法接受同样浪费。
Neo cloud因此更倾向用K8s管理集群,让客户获得bare-metal的完整效率。与Google Cloud、Azure竞争时,差异重点在为昂贵GPU设计的集群架构、交付速度和专门运维。
Alex称GMI Cloud是NVIDIA全球7家Reference Architecture NCP之一,可与Hyperscaler同步拿到首批GPU;其是全亚洲第一家拿到GB300集群的公司,并建设了万卡水冷集群,管理约9个data centers,另有3-4个在建,并计划在今年Q4上线首批规模化Vera Rubin。
他把下一层差异放在产品:跨亚洲、美国的部署满足数据安全与低延迟需求,再向上提供K8s、model services、workflow、studio及kernel优化。目标不是只租卡,而是做“one-stop shop”,让企业和创作者在稳定GPU上调用不同模型,并持续降低token成本。