硅谷坐标 x 中际旭创 于让尘:AI 光互连的超级周期
硅谷坐标 x 中际旭创 于让尘:AI 光互连的超级周期
摘要
- AI光互连正处在十倍缺口驱动的超级周期:2022年以来算力增长约300倍,光连接总带宽只增长约30倍。 TeraHop副总裁于让尘用脑灰质(算力)与脑白质(连接)作比——人脑二者体积已近1:1,小猫小狗的白质/灰质比例约为10%-20%;“我们今天可能还在小鼠小猫那个阶段”。光互连目前仅占数据中心资本开支的个位数百分比,但他认为连接投入的增速必须大于算力,“这个间隙要去填补,必须整个业内一起来努力”。
- Scale up是行业最大的结构性机会——带宽约为scale out的十倍,而铜缆的物理极限正在逼近。 英伟达NVL72机架内全铜连接"已经在制约大脑发展",规模正从已开始进入的576颗、1000颗一路推进到谷歌9000个TPU互联;铜现在只能走1.5-2米,到400G/lane时代"一米都很勉强",远期可能走向光进铜退。
- 经济账要反着算:不比光和铜的成本,比单位token产出。 于让尘引用"use copper when you can, use optics when you must",但强调终端客户看的是单位算力、单位token的收益——GPU三到五万美金、光模块几千美金,“省在互联,你牺牲的是你的算力”。
- 技术路线不是宗教式单选题——“所有的互联网公司他们是很实际的,他们不会做宗教式的选择”。 可插拔、NPO、CPO同一家公司三项都可能选,“成人不做选择题”;谷歌公开说"CPO总是two years away,而且每年都是two years away"。大厂全线自研芯片(TPU、MTIA、Trainium、Maia、OpenAI Titan、xAI)决定了它们欢迎开放光互连生态,而CPO迟迟未规模商用的原因之一,是客户不喜欢垂直整合、供应商议价能力过强,且技术瓶颈挑战很高。
- TeraHop以开放标准卡位:12.8T XPO与Open CPO-X两项多源协议带来4-8倍带宽增长,已有约100家公司参与。 可行性来自硅光成熟度——已有一千多个八通道产品,16/32/64通道是自然的演进方向;英伟达今年三月初向Lumentum和Coherent合计投资40亿美金锁定激光器供应,被于让尘解读为担心供应链跟不上十倍增长、“用真金白银来锁定供应链”。
- OCS是谷歌约十年前开始布局、其他大厂目前为零或很低的greenfield市场,但电交换不会消失。 光交换省功耗、省时延、省成本,但切换慢、只适合可预测工作流;于让尘明确保守:“未来五年不可能完全取代"纳秒级的电交换,“never say never”、长期共存。OCS带来的2-3dB损耗使coherent light成为好配对,谷歌战投已投初创Celero。
- 产业最大瓶颈是半导体集成仍在早期,而价值链"很快变成一个万亿级别的问题”。 激光器还在3英寸晶圆、正努力发展到6英寸,对比硅光的12英寸;量子点激光器有望实现直接在硅片上制造光源。五年、十年的方向是半导体化光互连与光电深度集成(TSMC COUPE平台),互联应被视为算力本身的一部分,最终与算力"势均力敌"。
精读
1. 核心论题:算力涨三百倍、光互连只涨三十倍,十倍缺口就是周期本身
- 于让尘开场的判断:光互连"不光是一个配件",已成为算力不可替代的组成部分——2022年至今算力增长约300倍,AI连接带宽只增长约30倍,“这个差距有个十倍的gap,这个间隙要去填补,必须整个业内一起来努力”。
- 现状体量:光互连目前只占总资本开支的个位数百分比。若把算力投入记为10,他估算连接投入可能在10到20左右;他的准则是"算力的一份投入,连接的投入应该增长大于一",否则算力被浪费。
- 全场最核心的类比——脑灰质与脑白质:灰质是算力、白质是连接,人脑二者体积已近1:1(也有约40:60的说法),而小猫小狗抓老鼠时,白质/灰质比例约10%-20%。“我们今天可能还在小鼠小猫那个阶段”——大脑越做越大时,连接的增长必须快于算力,总体才是更优化的逻辑。
2. Scale up / out / across:从一个机架到整个曼哈顿
- Scale out是大脑之间的连接:trillion parameter的大模型训练需要万卡级集群、几层网络互联。Scale up是把单个大脑做大,带宽约为scale out的十倍:英伟达NVL72(72颗芯片一机架)目前全用铜缆,“带宽有限、距离有限,已经在制约大脑发展的前景”。
- 规模的接力棒:英伟达已开始进入576颗互联,更激进的互联网公司在部署1000颗,谷歌TPU能够把9000个TPU互联起来——机架内用铜、机架外以OCS加光互联的混合集成方式。
- 距离谱系:scale up从几米向几十米扩展(八到十个机架、谷歌可能达到几十个机架);scale out在一座大楼内覆盖约1-2公里;scale across数据中心之间从几公里到几十公里——Meta发布的大型数据中心园区可达到"Manhattan size"。Scale up"是一个从光连接来讲低起点的机会,但这个机会却是十倍的机会"。
3. 光进铜退的经济账:不比成本,算token收益
- 于让尘引用业内说法"use copper when you can, use optics when you must":铜的局限是物理局限、不可能改变,机架内能用铜继续用,要把大脑变得更强更大就必须用光。
- 账要反过来算:终端客户看的是"单位算力的输出,或者是单位token的输出",即使光互连多花钱,只要单位能量、单位成本的token产出更优化,“一定会让大家愿意投入去买单”。
- 主持人曹卿云的量化理解获得确认:GPU三到五万美金、光模块几千美金,光互连撬动的是成千上万GPU的集群利用率——“不要想说省钱省在互联,你省在互联,牺牲的是你的算力、你最后可以给客户产生token的效率”。
4. 可插拔 / NPO / CPO:路线之争的真相是"成人不做选择题"
- 三条路线本质在回答同一个问题:光接口离主芯片有多近。可插拔最灵活、供应链最开放但功耗相对较高;CPO电路径最短、带宽密度最高,但散热集中、系统耦合深,坏了可能影响整块板卡;NPO居中。于让尘强调这"不是一个选择题问题,而是一个平衡问题"——功耗、成本、带宽密度、可维护性、可靠性对客户都重要。
- 对外界"谷歌用可插拔、Meta和亚马逊选NPO、英伟达押CPO"的标签,他直接泼冷水:“在公开的场合可能会有小作文到处去写……所有的互联网公司他们是很实际的,他们不会做宗教式的选择。“同一家公司甚至三项都选,“叫做成人不做选择题”。
- 谷歌在公开场合的说法是:“CPO总是two years away,而且每年都是two years away”。至于私下是否把所有工具箱都纳入考虑,访谈并未作确定断言;于让尘表示,不同算力交换、不同AI主网上可能会有不同选项。
- 开放生态的底层动力是自研芯片:谷歌TPU、Meta MTIA、亚马逊Trainium、微软Maia、OpenAI的Titan、马斯克xAI——各家一边买英伟达的垂直整合系统,一边"vote with wallet"自建算力,“做自己的芯片已经不是选项,而是必须做的事情”,因此欢迎开放的光互连生态。
5. 带宽路线图:400G/lane、通道数暴增,以及"slow and wide"的远景
- 近期节奏:200G/lane的1.6T今年开始量产,未来两三年会成为一个很大的增长维度;400G/lane是业内热点,未来两三年很可能到来。通道数同步扩张:传统上从8 lane跳到64 lane,NPO/CPO现在32 lane,后面可能128 lane甚至更高。
- 铜的远期边界:现在铜只走1.5-2米,“到四百G它可能一米都很勉强”,最后可能变半米。铜最终退出时,接口逻辑会"重新再造”,速率甚至可能不继续升高、而往低速走。业内在探索"slow and wide”:“每个车装的载量小,但是很多小车同时在往前推进”——接口变简单、功耗降下来、通道数急剧增长。
- Coherent light(相干传输)不一定马上进scale up,但在scale out、scale across的特定排列组合下"会成为更有效率的方式"。
6. 12.8T XPO与英伟达四十亿美金:需求与可行性都到了
- 为什么带宽能一步跳到12.8T?需求与可行性"两个缺一不可":需求是十倍gap加上铜缆在单机柜内进入瓶颈;可行性是硅光逻辑——制程开发、良率和可靠性发展到一定程度后,“已经有一千多个八通道的,下面很自然的十六通道、三十二通道、六十四通道”。TeraHop已推出12.8T XPO与6.4T的NPO/CPO。
- 今年三月初英伟达向Lumentum和Coherent投资共计40亿美金:于让尘的解读是英伟达担心供应链跟不上十倍增长,“用真金白银来锁定它的供应链”,此案核心是锁定CPO所需的激光器;黄仁勋已两次在GTC上称光互连是整个算力构建非常重要的组成部分——“是一个很大格局之下的小插曲,但是一个很明确的公开式的证明”。
7. 开放标准对垒垂直整合:CPO迟迟不能规模商用的两个原因
- 今年OFC的强信号是多项多源协议(MSA)推出,TeraHop是主要推动者:12.8T XPO与Open CPO-X两项协议对光互连带宽可实现四到八倍的增长,“已经有一百家公司愿意参与”,涵盖互联网、芯片、模块公司。
- 对垂直整合的批评毫不含糊:市面上一两家大客户、大厂商和大供应商的方案"比较proprietary",终端客户"并不是他们乐见的",打包卖之后供应商"议价能力变得非常强势"。“这也是为什么CPO谈了这么久一直没有规模商用"的原因之一——第一,客户不太喜欢;第二,垂直整合本身的技术瓶颈挑战性很高。
- 一个容易被忽略的物理瓶颈:光纤本身。头发丝粗细的光纤要把巨大容量从机架布到整个数据中心,密度已经不够——Open CPO-X SDM-MCF多芯光纤协议让一根光纤跑四个通道。
8. OCS:谷歌约十年前开始布局、其他家目前为零或很低的greenfield
- OCS(光交换机)是谷歌9000 TPU"super brain"的关键组件:在相应场景下取代电交换后省功耗、省时延(光路透明直通、无需复杂处理)、再加省成本。但它并非全面取代电交换;谷歌采用的是光交换和电交换互补的混合部件,电交换仍在大规模使用,只是两者比例开始变化。
- 代价也明确:OCS切换慢,“基本上是一个重新规划路径的工具”,只适合稳定可预测的工作流;另一优势是出故障时可通过重新调度数据流快速修复。
- 格局判断:谷歌大概十年前开始布局,“走在最前面,而且走得最远”;其他互联网公司OCS比例可能为零或非常低,基本还没有应用。各家都在实验,未来可能需要各自开发调度算法;比例上行对供应商是很好的greenfield机会。
9. OCS的代价把coherent light推上台前;400G路线仍在验证
- OCS会带来2-3dB额外损耗,对光模块链路预算要求更高——coherent light虽然成本、功耗、复杂度更高,但有本征放大作用、链路预算更高,“Coherent Light跟OCS是一个比较好的配对”,往下一两代速率演进会成为比较大的趋势。谷歌战略投资部门投资coherent light初创Celero,意在丰富和保障供应链;难点在针对低功耗低时延定制的DSP,以及更复杂的硅光(调制、偏振处理、平衡接收)。
- 400G/lane的路线仍在竞争验证:硅光、薄膜铌酸锂,以及以EML和其他III-V族方案为代表的路线,“还不到谁是主流,只能说现在是大家都在PK的阶段”,今年OFC都有早期验证演示。TeraHop偏好可集成方向、在做把薄膜铌酸锂嫁接到硅光的混合集成平台,但"三条马都在跑……我们都不放弃”。
10. 万亿级蛋糕、激光器短板与五年展望:互联就是算力
- 价值链重构"很快变成一个万亿级别的问题":交换机加光互连的整体市场价值已接近一个trillion dollars。方向性判断:“半导体化的光互连是一个必然的方向”,光和电会越来越深度集成;TeraHop的自我定位是"我们并不是一个可插拔模块供应商,我们是一个光互连供应商",各形态最终价值分配"边走边看"。
- 最大产业瓶颈是半导体集成仍在早期:硅光已用12英寸(300mm)晶圆,激光器厂家还在3英寸,正努力发展到6英寸;新创企业在做量子点激光器,若发展成功,未来有望直接在硅片上制造光源,并从现有3/4英寸跳到12英寸。光电封装集成方面,TSMC的COUPE平台(硅光加电芯片)是代表,其他Fab也会跟进。
- 五年、十年的结语:要纠正"光互连省下的钱放到算力上"的旧概念——“应该把互联看作算力的一部分”,不是互相争夺资源的两块,而是共生、共同优化的生态;最终会像人脑白质与灰质的比例那样,成为与算力"势均力敌"的组成部分。