115: 华为发布超节点，如何搅动AI算力市场？与魔形智能徐凌杰聊芯片层新变化

摘要

• 华为 Cloud Matrix 384 的意义，不是单颗昇腾 910 追平最强 GPU，而是以 384 颗芯片和系统工程把总能力推入 NVL72 的竞争区间。 12 个机柜合计约 300P 算力，徐凌杰估算单芯片 FP16/BF16 约 780T FLOPS、静态性能约为 H200 的八成；节目后补充称，6,000 多颗昇腾还完成了 718B MoE 模型的长期稳定训练。“每个部件没有那么强，但通过更强的集群能力，把整体效果搭建出来。”
• 严格说，Cloud Matrix 384 更像 scale out 集群，而 NVL72 更接近把 72 颗 GPU 在单柜内全互联的 scale up 超节点。 华为方案用 12 个机柜、6,912 个 400G 光模块和 3,168 根光纤换规模，潜在功耗据外媒推测约为 NVL72 的四倍；录制后报道的整套价格约 800 万美元，对比 NVL72 约 300 万美元，但前者不是华为官方报价。中国电价和成本结构让这条高功耗路线仍可能成立，“这是美国厂商没有去走、但中国厂商可以走的一条路”。
• AI 算力的核心瓶颈正从单颗芯片转向显存、互联，以及数据中心的冷却、供电和协同效率。 DeepSeek 671B 参数仅按 8-bit 存储就需 671GB，算上 KV Cache 等占用往往要达到 1,000GB 以上，已超过一台八卡 H100 服务器的 640GB；更长上下文和深度思考会继续放大压力。“更大的问题需要用更大的系统来解决”，因此 NVLink、NVSwitch、HBM、液冷和供电都越来越重要。
• 推理经济性越来越依赖大规模 MoE 专家并行，而不是把模型勉强装进几张卡。 DeepSeek 的路径是把专家打散到数百张卡，以高并发提高利用率；徐凌杰称其团队已在数百张 H20 上让满血版 DeepSeek 的 API 业务实现盈利，但没有附和主持人引用的 545% 利润率。其测算甚至显示 H800 算力约为 H20 的 5—6 倍、价格只高 2—3 倍，云上单位算力成本可能反而更优。
• 华为超节点短期对英伟达整体影响有限，却会先重排国产 AI 芯片的淘汰顺序。 英伟达在中国面临的仍是“产品进不来”的供给与政策问题；国产厂商则会被客户以几百卡扩展、吞吐和单位 token 成本重新比较。“NVIDIA 可能并不可怕，华为更可怕了”——没有超节点储备或架构不适合扩展的厂商，可能被淘汰。
• 英伟达未来两三年的护城河仍是 CUDA、NVLink/NVSwitch 与全球最先进供应链共同构成的闭环。 台积电、最新 HBM、Supermicro 和富士康让它持续“贴着全球 technology limit”设计；真正的产业性威胁来自客户集中，Google、Amazon、Microsoft 等既贡献大量采购，又有足够规模自研 TPU、Trainium 和 Maia。英伟达组建 semi-custom 部门，可能也是为了在标准产品之外继续绑定这些大客户。
• 下一轮产业变量可能首先出现在能源、光电互联和新计算范式，而不只是另一颗更快的 GPU。 Scale up 可能减少跨机柜光模块用量，同时增加 CPO、液冷、高压直流供电和废热回收等方向的机会；超节点虽可能降低单位 token 成本和能耗，但总耗电仍在上升。徐凌杰把人类可持续发展称为英伟达最大的软肋，并提醒不要过早排除存算一体、类脑和脉冲神经网络：“哪天它颠覆你的时候，你就来不及了。”

精读

1. Cloud Matrix 384 用系统规模补上单芯片差距

• Cloud Matrix 384 由 12 个机柜组成，每柜四台八卡服务器，共 384 颗昇腾 AI 芯片；左右各六柜，中间布置交换设备，并以 6,912 个 400G 光模块和 3,168 根光纤完成互联。

• 徐凌杰给出的详细口径是总算力约 300P，较 NVL72 高 67%，网络互联和总内存带宽约翻番；据集群数据倒推，单芯片 FP16/BF16 约 780T FLOPS、HBM 约 128GB，并有八个 400G 互联出口。

• 单芯片静态指标约为上一代 H200 的八成，因此核心并非逐卡追平，而是“用数量换算力总量”。徐凌杰称赞华为在限制下“给中国趟出了一条新的路”，但马上补上一句：它或许还不是真正意义上的超节点。

• 节目导语补充了录制后的两项进展：报道所称整套售价约 800 万美元、对比 NVL72 的约 300 万美元，但不是华为官方价格；华为盘古团队还称在 6,000 多颗昇腾组成的集群上完成了 718B MoE 模型的长期稳定训练。

2. Scale out 与 scale up 的差别决定了“超节点”的含金量

• 徐凌杰用饮料店作比：把一台小搅拌机换成马力和容量更大的机器，是 scale up；客流增加后多买几台同款机器共同接单，是 scale out。两者都扩算力，但内部协作效率完全不同。

• NVL72 把 72 颗芯片及约 18 台服务器放入一个机柜，通过高速交换形成点对点全互联，代表计算范式从单芯片、单服务器扩展到整柜。Cloud Matrix 384 则跨越 12 柜，更接近高密度 scale out 集群。

• 程曼祺保留了华为的产品命名，同时接受徐凌杰的技术区分：华为官方叫它超节点，但若把“单一大节点”理解为共享高速互联和内存能力，NVL72 的 scale up 属性更强。

3. 数据中心正在从装 GPU 的房间变成一台计算机

• 徐凌杰的总框架是 “data center as a computer”，甚至是 “data center as a GPU”：当任务不再能由一颗芯片或一台服务器完成，交换、供电、冷却、散热和软件优化都进入计算系统本身。

• 把 72 张卡用普通网卡堆起来，与让 72 张卡经专用网络高速互联，“效果其实差得蛮多”。GPU 仍是最贵、最关键的部件，却已无法单独决定集群性能。

• 他回忆 2008 年加入英伟达时，公司业务仍以 PC 显卡为主，在高性能计算和 CUDA 上只是行业里的 “nobody”。按他的记忆，约 2017 年 V100 一代开始出现早期 NVLink；收购 Mellanox 后，英伟达进一步强化交换能力，逐渐从 GPU 公司变成数据中心公司。

4. 大模型首先撞上的墙是显存，而不只是 FLOPS

• DeepSeek 的 671B 参数若按 8-bit 存储，本身就占约 671GB；再加 KV Cache 和运算所需空间，实际显存占用往往要达到 1,000GB 以上。一台八卡 H100 只有 8×80GB，即 640GB，连“把参数存起来”都至少需要两台服务器。

• 更长上下文会扩大 KV Cache，深度思考也会提高对上下文的需求。徐凌杰因此把行业主线压缩成一句话：“更大的问题需要用更大的系统来解决。”

• 节目后记据其口径用另一组数字强化了计算与显存的失衡：从 2021 年 A100 到 2025 年 B200，GPU 算力增长 64 倍，而显存大小只增长 1.2 倍。讨论的落点是显存正成为更硬的约束。

5. NVSwitch 把通信链路变成了计算的一部分

• 程曼祺追问“总线”与 NVLink、NVSwitch 的关系，徐凌杰认为不必困在名词里：无论叫总线还是高速互联协议，目标都是让芯片高速通信、同步并共享数据。

• NVLink 提供点对点高速连接，NVSwitch 则把多条链路组织成更大的交换网络；按英伟达当时展示的路线图，未来至少可把 144 颗 GPU 连成全互联系统。

• 更关键的变化是 in-network computing：分散在不同 GPU 上的结果，不必再逐层送回某颗 GPU 聚合，而可在中心交换芯片上一边传输、一边做归并计算。“计算和互联在现在这个环境里面越来越分不开了。”

6. DPU 的故事正在转化为 RDMA 网卡机会

• 徐凌杰曾推动壁仞在 2021 年初投资 DPU 公司云脉星联；这笔原本的战略投资后来更像财务投资，并实现了有收益的退出。据他的说法，公司应该已有 RDMA 网卡产品并在市场销售。

• 他的判断不是 DPU 概念消失，而是需求变得具体：随着分布式训练和推理放大通信量，从 DPU 转向 RDMA 网卡及高速互联产品，仍可能是“非常大的机会”。

7. 广义 AI infra 给软硬件结合的创业公司留下空白

• 狭义 AI infra 通常指软件调优，让模型跑得更快、更便宜；徐凌杰定义的广义 AI infra，则覆盖芯片之上、应用之下的中间环节，包括服务器、机柜、超节点和软硬件协同。

• Magic Compute 不自研芯片，而是计划先基于海外芯片做非公版、高密度集成，再与国产芯片合作大规模集群。徐凌杰负责芯片和服务器，联合创始人金琛侧重软件、系统与算法。

• 他从 2023 年底看到的机会，是中国芯片竞争由偏市场化转为更偏资源与政策导向后，上下游仍可做出差异化。2024 年 NVL72 和 DeepSeek V2 相继出现，则让团队确信“大系统”是可持续切口，并开始做原型机。

8. 训练集群卖确定性，推理集群卖单位 token 成本

• 判断集群不能只看峰值算力，还要同时看显存容量与带宽、支持精度、制程、功耗、发热和冷却。徐凌杰以汽车类比：跑车追求极限速度，家庭用户可能更在意空间、价格和配置，产品必须匹配具体场景。

• 训练最看重稳定性、规模和可预期结果。按徐凌杰记忆，Llama 3 曾使用 15,000 张以上 H100 训练，两个月内发生数百次意外，平均每两三个小时就可能需要从 checkpoint 恢复。

• 集群越大，任意卡、网络或电源故障打断工作的概率越高，因此可靠性不再是附属指标。“能够跑到理论峰值”与“能连续数周完成训练”是两种不同能力。

• 推理则是经营性支出，客户最终比较 TCO：机器、电力、运维共同折算后，每个 token 的成本有多低。徐凌杰把训练归为 capex，把推理归为 opex，这也解释了为何同一硬件未必在两类业务中同样占优。

9. DeepSeek 把 MoE 推理变成了一场集群利用率竞赛

• 程曼祺引用 DeepSeek 开源周披露的 545% 成本利润率，追问第三方还能优化多少。徐凌杰没有验证该数字，只称团队已在 H20 上让满血版 DeepSeek 达到不错效果，并实现 API 业务盈利。

• DeepSeek 的关键不是用几张卡装下模型，而是以数百张卡运行大规模专家并行，尤其是 decode 阶段：把大量专家打散，每卡只放若干专家，再用高并发让每张卡持续工作。

• “如果只是将将把它跑起来，集群利用率就会比较低。”徐凌杰把高利用率视为 DeepSeek 利润率的来源，并称团队正在几十台、数百张 H20 上持续调试，“这个结果每天都有进步”。

10. MoE 模型可复用方法论，但不能复用一套静态配置

• 程曼祺用两个模型校准问题：Qwen3 开源旗舰版为 235B 总参数、22B 激活参数；DeepSeek 为 671B 总参数、37B 激活参数。尺寸和专家配置不同，是否意味着每次都要重写推理方案？

• 徐凌杰的回答是方向相同：把专家打散，以高并发提高各卡利用率。不同模型会改变算子、专家数量、专家大小和分配比例，但可先用理论推导找到较优起点，再用实验与经验快速调优。

• 训推一体在云端大规模业务中大致成立，却不是所有客户的答案。线下部署若只有两三百万预算、只能买一两台服务器，并发又低，容量、采购门槛和本地需求会重排优先级。

• 更反直觉的是，徐凌杰测算 H800 的推理性价比可能好于 H20：专家被分散后，瓶颈从容量转为算力，H800 算力约高 5—6 倍，价格只高 2—3 倍，因此单位算力成本更低。

11. Google 比英伟达更早把 AI 芯片做成 Pod

• 2016 年 Google 发布第一代 TPU，对徐凌杰的冲击是：AI 不再是硅谷从业者眼中的“玩具”，而要“登堂入室，真正产生生产力”。这促使他从三星转到阿里云，从芯片设计进入云基础设施。

• TPU V2 已以 256 卡 Pod 出现，V3 扩至 1,024 卡，V4 按他的记忆应为 4,096 卡；V4、V5 又使用 OCS（Optical Circuit Switch）动态配置网络。Google 很早就把芯片、网络和集群视为一套产品。

• NVIDIA 随后推出 SuperPOD，但生成式 AI 浪潮中真正让行业集中讨论 scale up 的，仍是 2024 年发布的 NVL72。“从一颗芯片到一台服务器，又到一整个机柜”，是这轮硬件范式变化的主轴。

12. HBM 已从配角变成 GPU 的主要成本项

• 显存容量从 A100 的 40GB、80GB，扩展到徐凌杰所述 H200 的 144GB，并朝 192GB、288GB 演进。容量越大、价格越高，系统越需要高速网络把这些显存汇聚并充分利用。

• H100 一代的显存约占芯片成本 40%—50%，到 B200 一代可能升至 50%—60%；成本结构由计算晶圆主导，转向显存主导。这也是超节点不仅追算力、还追聚合显存和带宽的原因。

• 全球 HBM 主要由 SK 海力士、三星和美光供应；国内部分厂商已能在 LPDDR 等产品上实现替代，但 HBM 仍是需要追赶且受到禁运影响的环节。被问及华为能否自产 HBM，徐凌杰明确回答：“这个我不能评价。”

13. 华为以更高功耗换总能力，在中国成本结构下未必吃亏

• 按徐凌杰的比较，Cloud Matrix 384 总算力约 300P，较 NVL72 高 67%；内存容量约为三倍以上、带宽约为两倍以上。代价是据外媒推测，潜在功耗可能高约四倍。

• 这是一种区域成本结构选择。以英伟达 GPU 测算，中国电力约占年度 opex 的十个百分点，部分西部城市还会更低；海外数据中心则常同时面对电价和供电能力约束。

• 程曼祺把它概括为“因地制宜”，徐凌杰回应称这是成本结构的考量：只要数百张卡能高度并行、系统跑得足够快，较低电价便可掩盖相当一部分制程和设计劣势。

• 他的形容是“搭积木、垒部件”：单个部件没那么强，但通过集群与优化构建整体竞争力。这条路未必复制美国厂商，却可能更适合中国现阶段的制造、能源和供应条件。

14. 做出 384 卡 scale out 不罕见，做出全互联 scale up 才难

• 徐凌杰认为，只要芯片有足够交换端口，并找到网卡、交换机和集成伙伴，许多国产芯片公司都能搭建类似 Cloud Matrix 384 的 scale out 集群。

• 他已知的多家厂商正在做 352 卡或 384 卡集群并调优性能；真正的差异在于网络速度、交换能力和拓扑。如果不能全互联，部分应用的效率仍会“打些折扣”。

• 因此，华为的当前方案既证明规模化可行，也抬高了客户预期：以后不能只展示单卡 benchmark，还得证明数百卡能够稳定协作，并给出吞吐和单位成本。

15. 华为先拥有“网络侧的 Mellanox”，再补上计算能力

• 华为与超节点最相关的积累，不只是传统通信设备，而是过去十几二十年在网络处理器（Network Processing Unit）和交换能力上的技术与人才。徐凌杰的比喻是：“华为在成为 NVIDIA 之前，其实已经是一个 Mellanox 了。”

• NVSwitch 的核心难点包括高速 SerDes 接口 IP、先进制程，以及把计算芯片和交换芯片共同设计的组织能力。徐凌杰甚至把 NVLink/NVSwitch 称为 CUDA 之外，英伟达第二重要的生态壁垒。

• 他判断国内厂商当时普遍尚未完整布局类似 NVSwitch 的产品，未来两三年也未必能推出；华为理论上可以做，“或许已经在做了”。另一条路径是像 Google 借助 Broadcom 一样，与掌握高速接口和交换能力的伙伴合作。

16. 华为超节点先冲击国产同行，英伟达短期仍是另一场战争

• 徐凌杰判断 Cloud Matrix 384 短期对英伟达影响有限：“你打你的，我打我的。”英伟达在中国不是没有需求，而是产品能否进入的供给和政策问题。

• 国产芯片受到的冲击更直接。DeepSeek 已让客户习惯免费体验 671B 满血模型；同样地，一旦客户看到 384 卡集群能比小集群或单机提供数倍、甚至一个数量级的性价比，就很难再接受只有单卡能力的产品。

• 他的结论刻意尖锐：“NVIDIA 可能并不可怕，华为更可怕了。”华为把超节点变成采购标准后，架构不适合扩展、又缺乏系统储备的国产厂商，可能先被淘汰。

17. H20 禁令的直接代价是 55 亿美元，库存能否转型取决于 fuse

• 节目录制时，H20 新限制已让英伟达计提 55 亿美元，股价也作出反应。H20 主要面向中国；海外客户若可购买 H200，通常不会主动选择这一被限制的版本。

• 徐凌杰把 H100、H800、H200、H20 概括为在相近芯片基础上的不同切割：H20 算力约为 H200 的六分之一，为落在出口线下，把 8-bit 算力控制在约 300T 以下，并涉及 2,400 bit ops 的限制口径。

• 若部分计算单元只是尚未永久烧断的配置，英伟达可能通过板级设置和 fuse 把库存改成别的海外产品；但中国客户自行“魔改”很难，还要破解板上 RISC-V 核心参与的加密与配置体系。“技术门槛非常高。”

18. 零日适配只是把车发动，吞吐与精度才决定可用性

• 华为在 Qwen3 发布数小时后宣布“开箱即用、零 day 适配”，徐凌杰认为让同类模型跑起来并不难。真正的竞争是保持每用户每秒 token 数时还能承载多少并发，以及稳定服务下的总吞吐。

• 他的比喻是：“车子能够发动起来不难，但是要在车道上非常好地加速起来”，后者才决定推理性价比。

• DeepSeek 官方满血版使用 FP8；部分国产芯片不能原生支持，只能恢复到 FP16/BF16，付出更大显存和带宽，或量化为 INT8，承担潜在精度损失。因此名义上都叫 DeepSeek，某些环境下回答质量仍可能不同。

• FP8、INT8 的差别既是格式设计，也是生态选择。NVIDIA 可推动 FP6、FP4 等更低精度进入应用，而追随者往往晚半拍；禁令也可能迫使中国形成另一套格式生态，带来风险，也留下新机会。

19. 英伟达的领先是全球供应链共同堆出来的

• 徐凌杰认为，未来两三年内英伟达全球地位被技术性削弱的概率较低：芯片路线图强，CUDA 成熟，NVLink/NVSwitch 又把计算、网卡和交换封成闭环。

• 台积电、SK 海力士、三星可优先提供最新制程和定制 HBM，Supermicro、富士康则承接复杂系统制造。英伟达能持续拿到“更快、更早、更好”的技术，贴着全球 “technology limit” 做产品。

• 这种系统能力也说明整机柜交付能力的重要性：徐凌杰提到 AMD 在去年 8 月花约 49 亿美元收购 ZT Systems，以补足超节点和机柜级交付能力。

20. 真正能削弱英伟达的，是它最富有也最集中的客户

• 北美及禁令前的中国互联网大厂，可能贡献英伟达六成以上采购量。英伟达数据中心毛利率常达 70%—80%，因此 hyperscaler 自建芯片团队，即使投入巨大，在采购规模下仍可能是划算的账。

• Google 有 TPU，Amazon 有 Trainium，Microsoft 有 Maia，并可借助 Broadcom 的设计和高速 SerDes 能力。自研不仅降成本，也避免在 ChatGPT 刚爆发时那种漫长交期与供应不确定性。

• 程曼祺的反问是：这些芯片做了多年，为何仍未替代英伟达？徐凌杰的解释是，TPU 等首先服务内部，未按独立芯片公司组织；作为云厂商又必须 “customer first”，OpenAI 想用 NVIDIA，Microsoft 就仍要采购 NVIDIA。

• 英伟达已设立 semi-custom 部门，可能向大客户开放部分 IP 和设计能力。主持人担心这会左右互搏，徐凌杰认为它更像防守大客户的谈判工具，但也坦承尚无明确成功案例：“可能是我们帮他脑补得比较全。”

21. Scale up 会重分光模块、液冷与 CPO 的价值

• 徐凌杰提出一个“不成熟的猜测”：若越来越多推理任务可在单柜 scale up 系统内解决，跨柜通信减少，光纤和光模块消耗可能下降。Cloud Matrix 384 当前仍通过大量光模块和光纤互联，反映出它与 NVSwitch 式单柜全互联的路径不同。

• 程曼祺提到市场上“英伟达卡我们的脖子，中际旭创卡英伟达的脖子”的说法；徐凌杰没有评价具体公司，只建议记录这个变量，观察系统拓扑变化后需求如何迁移。

• 互联要求继续提高时，机会也可能从可插拔光模块转向更高速、更集成的 CPO。英伟达在 2025 年 GTC 已发布基于 CPO 的 Co-Packaged Optics 方向；越多芯片聚进一柜，光电共封装、液冷和高密度供电越值得考虑。

22. 英伟达正从卖芯片继续向推理服务层上移

• 对主持人提到的英伟达收购 Lepton AI，徐凌杰因其创始人处于静默期不作事实判断，只“大胆猜测”它可能与 Dynamo 有关。Dynamo 是面向分布式多 GPU 推理的开源模块化框架，位于 TensorRT 推理框架之上。

• Dynamo 的关键之一是 PD 分离：把 prefill 与 decode 放到独立、各自优化的集群中。英伟达若掌握这层调度，不只卖 GPU，还可直接影响客户的服务吞吐和单位 token 成本。

• DGX Cloud 也不是简单复制公有云：例如由 Oracle 购买一批英伟达 GPU，再返租给英伟达；低毛利的机器运维交给 Oracle，英伟达基于这套集群提供更高价值服务。它既想靠近最终客户，又必须拿捏与 hyperscaler “亦敌亦友”的关系。

23. 英伟达的成功并非 2010 年就已写定

• 徐凌杰在 2010 年底从英伟达转去 AMD，原因是有机会跟随首席架构师 Mike Mantor 设计新一代 Compute Unit。当时两家公司 GPU 份额大致五五开或六四开，AMD 在面积和能耗上还有明显优势。

• 他不认为黄仁勋在 2012—2014 年已预见今天。其回忆中，黄仁勋当时曾把公司约 5% 的股份做可转债抵押给高盛和富国银行，行权价格若没记错是拆股前约 20 美元出头；“人生没有确定性，今天的老黄跟十年前也不是同一个老黄。”

• 但长期主义和危机领导力很早就存在：Fermi 两次流片不成功后仍有人继续跟随；2008 年金融危机中，公司裁员 5%、全员降薪 10%，黄仁勋只拿 1 美元。“不仅是发表这些话，而且是能够带领大家在危机当中走出去。”

24. 能源约束可能比新芯片更早改写计算范式

• 徐凌杰把“人类的可持续发展”称为英伟达最大的软肋：数据中心已占全球电力约 2%—3%，AI 普及会继续推高总量。超节点其实能降低单位 token、单位输出文字的成本，但“单位下降”不等于总耗电下降。

• 他认为超节点是在机柜和数据中心层面延续摩尔定律的“唯一可能性”，配套必须端到端重做：采用 800V、1,600V 高压直流供电，减少 AC/DC 转换；以更小电流降低线路损耗，并用相变液冷集中回收废热。

• 更远处还有存算一体、类脑计算和脉冲神经网络。程曼祺转述了 Yann LeCun 的谨慎看法：贝尔实验室从 1980 年代就研究神经网络模拟硬件，但长期看并不特别有效。

• 徐凌杰不否认历史上的失败，却拒绝据此排除未来：“历史会不断重复，只是会以不同方式呈现。”强化学习、神经网络和 DeepSeek 都曾从旧线索中突然形成质变；对新范式，“哪天它颠覆你的时候，你就来不及了”。