先锋 趋势 方法 投研 作者
为什么下一代 AI scale-up 需要 CPO
返回节目精读

为什么下一代 AI scale-up 需要 CPO

摘要

  • CPO 首要攻克的是 scale-out,去掉 DSP 可以直击 AI 数据中心的功耗和利用率约束。 在可插拔收发器中,DSP 消耗的功耗最高可达60%,并贡献超过90%的新增时延;收发器完成信号转换需要150–200 ns。CPO 将光学引擎放到足够靠近交换机或 ASIC 的位置,从而消除这笔 DSP 成本。
  • 架构路线将从妥协型产品走向集成度越来越高、也越来越难维修的光学方案。 LPO 直接去掉 DSP,基本是“听天由命”;OBO 集两头最差于一身;NPO 可能成为经久耐用的折中方案,也可能只是过渡阶段;真正基于 interposer 的 CPO 则同时消除 DSP 和 SerDes,成为“CPO 的终极关卡”。
  • scale-out 的收益并不意味着 CPO 会被普遍采用,因为它会改变供应商关系和故障边界。 标准 OSFP 和 QSFP-DD 可插拔模块已经标准化、供应商多元,任何技术人员都能更换;CPO 可能把买家绑定在 NVIDIA 或 Broadcom 的硬件上,并让一次光接口故障演变成整台交换机更换。对超大规模云厂商而言,可维修性、供应商多元化和价格控制仍是核心诉求;新兴云厂商则更容易被 NVIDIA 的 turnkey 系统吸引。
  • 只要铜缆还能覆盖机架内部距离,它就是更优的 scale-up 介质。 铜“说的是半导体的母语”,每米仅增加约5 ns,跨2米(即2000000微米)可能约增加10 ns,而且无需电光转换;在当前机架级距离下,即便没有 DSP 的 CPO,速度仍更慢、功耗也更高。
  • 448G 链路的到来将成为转折点,因为铜缆的传输距离会进一步缩短。 当前一代 224G 铜缆采用 PAM4 时可达约2米(即2000000微米);下一代 448G 可能需要 PAM6、PAM8 或更高波特率,而这些方案都会恶化信噪比、压缩传输距离。新的规则是“能用铜就一直用铜”,NVIDIA 仍计划在 Rubin、Feynman 及后续产品中采用基于铜缆的机架内网络。
  • CPO 的终极价值在于扩大 scale-up 的 world size,让更大的连接规模足以抵消其时延和能耗劣势。 Blackwell 通过 NVL72 将范围从8块 GPU 扩大到72块;在 GTC 2026 上发布的 Vera Rubin Ultra NVL576,用光学链路连接8个基于铜缆的 NVL72 机架,而 NVIDIA Kyber NVL 1,152 已经在视野之内。一旦光学链路连接起多得多的 GPU,“没人能胜过更大的 scale-up world size”。

精读

1. 铜主导机架,光学主导数据中心

  • 节目从铜缆的物理取舍讲起:铜能把从晶体管金属层到单个 NVIDIA NVL72 机架 spine 的各个环节连接起来,但每通道 200 Gbps 的信号传输距离只有约2米(即2000000微米)。因此规则很简单:“能用铜就用铜,非用光不可时才用光”(use copper when you can and optical when you must)。

  • scale-up 链路让单个、甚至双宽机架内的 GPU 几乎像一块 GPU 一样运行,因此对带宽和时延提出极高要求;scale-out 连接的是数据中心内不同机架。scale-out 需要8至10倍的前端带宽,而 scale-up 还要在此基础上再提高10倍。

2. DSP 是 CPO 为消除而生的成本负担

  • 标准 OSFP 或 QSFP-DD 可插拔模块包含电气接口、DSP、搭载激光器的 TOSA,以及负责感光的 ROSA。直觉上的答案是“这不就是激光器吗?”但激光器实际只消耗约15%的功耗。

  • DSP 消耗的功耗最高可达可插拔模块总能耗的60%。一只可插拔收发器完成信号转换需要150–200 ns,新增时延中超过90%来自 DSP。

  • 电信号在抵达收发器前,可能要沿着芯片金属层、封装、主板和铜线走过约30厘米,并在途中发生衰减。CPO 的基本逻辑,就是把光学引擎放到足够靠近信号源的位置,使 DSP 不再必要。

3. 越接近完整 CPO,集成度越高,维修性越差

  • 线性可插拔光学(LPO)保留熟悉的模块形态,却去掉 DSP,基本等于一句“管它呢”。方案确实能工作,但把已经失真的信号转换成光,会大幅压缩光学传输距离。

  • 板上光学(OBO)把器件移得更近,却保留 DSP,同时失去可轻松更换的优势,集两头最差于一身。NPO 则转移到高性能基板上,而且已经开始部署;它可能成为真正的折中方案,也可能只是 CPO 之前的过渡阶段。

  • 基础 CPO 将光学器件和 ASIC 放在同一封装上,去掉 DSP,但保留共享封装基板上的 SerDes。硅或有机 interposer 可以实现更高密度、完全并行的链路,并进一步去掉 SerDes,成为“CPO 的终极关卡”。如果把光学器件直接与 GPU 集成,那将是完全不同的层级,而不是 CPO 的又一个台阶;目前 NVIDIA Quantum 和 Spectrum-X 等案例,属于用于网络交换机的 CPO。

4. 超大规模云厂商与新兴云厂商看重不同的取舍

  • 节目反驳了 CPO 必然普及的判断:可插拔模块已经标准化,技术人员熟悉,供应商来源多元,任何数据中心技术人员都能快速更换。采用封装式光学后,NVIDIA 硬件意味着 NVIDIA 的方案,Broadcom 硬件意味着 Broadcom 的方案;一个光接口发生故障,可能就要更换整台交换机。

  • CPO 依然直击 AI 数据中心最大的痛点:功耗和系统利用率。scale-out 时延下降,可以减少价值数十亿美元的加速器处于闲置状态的时间;网络能耗下降,则能压低 AI 算力之外各环节的电力消耗。

  • 许多超大规模云厂商仍将可维修性、供应商多元化和价格控制放在优先位置,力求“不惜一切代价避免供应商锁定”。新兴云厂商则更偏好 turnkey CPO 系统,结合 NPO 与可插拔收发器的混合方案也在探索中。由于 scale-out 本来就采用光学链路,周边基础设施已经到位,AI 数据中心开始在这一侧采用 CPO。

5. 铜的物理墙逼近,scale-up world size 成为 CPO 的杀手级特性

  • 铜仍然更快,因为无需进行信号转换:每米增加约5 ns,2米(即2000000微米)可能约增加10 ns;相比之下,可插拔收发器需要150–200 ns,其中大部分新增时延来自 DSP。即便是无 DSP 的 CPO,仍然比铜缆增加更多时延、消耗更多能量,因为它必须在电信号和光信号之间进行转换。

  • 224G、PAM4 下铜缆的传输距离约为2米(即2000000微米),到了448G可能进一步缩短。届时可能需要 PAM6、PAM8 或更高波特率,但更高的调制阶数和信号速度会恶化信噪比、压缩铜缆的传输距离。因此,NVIDIA 仍计划在 Rubin、Feynman 及后续产品中采用基于铜缆的机架内网络。

  • 按照节目中的框架,Blackwell 最具决定性的 scale-up 跃升,是通过 NVL72 将规模从8块 GPU 扩大到72块——规模扩大9倍,让72块 GPU 可以像一块 GPU 一样运行,并释放这一代产品的“真正性能优势”。

  • Vera Rubin Ultra NVL576 将这一逻辑扩展到8个 NVL72 机架:每个机架内部仍使用铜缆,机架之间则由光学链路连接。NVIDIA Kyber NVL 1,152 紧随其后;一旦铜缆触及物理极限,叙述者预计 CPO 会在“一眨眼之间”接管 scale-up。叙述者同时提醒,CPO 并非圣杯:铜缆会被推到极限,但 scale-out 的采用路径比 scale-up 更清晰。