创新者
1 场深度对话收录
Myron Xie
观点集合
第030期——低堆之王万岁：4-high HBM为何胜出（内存）
Rubin Ultra从GTC预告的1TB HBM4E改为192GB 8-high HBM4，低于Blackwell Ultra和标准版Rubin的288GB，源于HBM供给不足以匹配已锁定的TSMC逻辑产能。4-high可吃满带宽、成本更低，出货cube约为8-high两倍；但模型规模增长仍是风险，内存紧张预计本十年内不会缓解。
查看摘要（7段）
- Rubin Ultra如今已从GTC预告的1TB HBM4E，转为192GB的8-high HBM4，低于Blackwell Ultra和标准版Rubin的288GB。 Myron Xie称，主因是供应配给：NVIDIA以及Google、Broadcom等客户在TSMC锁定的逻辑芯片产能，多于其12-high HBM供给能够配套的数量，因此改用8-high堆栈可以出货更多加速器。Jordan Nanos指出，据他跟踪NVIDIA的经历，这是旗舰产品首次出现内存容量低于前代的情况。
- 经济核心在于：每个cube的HBM带宽基本固定，但供应商按容量收费，因此只要容量够用，4-high就是单位带宽成本最优的配置。 4层DRAM就能吃满cube接口，因此在相同带宽下，8-high或12-high的成本几乎是前者的2倍或3倍。“如果你真正需要的只是这份带宽，而4-high的容量已经够用，只为4-high付费几乎就是白捡。”
- 容量压力明显减轻，因为参数规模并没有像预期那样激进扩张。 Xie将FP8下的Llama 3.1 405B与Kimi K3作比较：前者约占Hopper HGX节点640GB容量的60%，后者拥有2.88万亿参数，他形容规模略高于前者的6倍，但经过MXFP4量化后，只占GB200 NVL72总HBM容量约8%。部署规模的增长远快于参数量，Rubin Ultra的NVL576又带来额外8倍扩展。与此同时，对带宽更敏感的后训练和标准推理，如今在前沿实验室算力中的占比更高，而传统预训练的占比已经下降。
- 4-high可让可出货的cube数量大约达到8-high的2倍、超过12-high的2倍。 每层的良率损失会随着堆叠高度累积，4颗die的堆栈也更容易完成供电。因此瓶颈会转向先进制程逻辑芯片、基板和电力。HBM需求下降还会释放原本被挪用于HBM的DRAM晶圆，回流到常规服务器DRAM；在服务器socket普遍降配、而负责工具调用的CPU若没有足够内存就可能利用率偏低之际，这一点尤其重要。Nanos将4-high概括为最大化“每片HBM晶圆对应的token数”，类似于每瓦和每美元对应的token数。
- 内存紧张短期内看不到缓解：Xie给出的时间表是“本十年内不会”。 短期首要瓶颈是洁净室，随后是设备；其中包括EUV设备，而ASML的供应链——包括生产“极其光滑镜面”的供应商——无法快速扩张。“你不可能打个响指就增加晶圆产能。”SK hynix、Samsung和Micron虽受益于高价格，供给仍无法迅速跟上。
- 空头情景是模型规模爆炸式增长，从而让更高堆叠高度变得值得。 SemiAnalysis测算过一个规模达到Kimi K3 3倍的模型，在批处理场景下，8-high和12-high带来的吞吐提升“可能值得这笔成本”。Xie的回应是，looped transformers等技术可以在不增加参数的情况下增加计算深度；他表示GPT-6 Astra基本已确认会采用这类技术。他还认为，各大实验室对4-high的强劲需求本身就说明，其路线图并未假设参数规模会激进增长。
- 预计SKU分层会进一步加深。 Meta已经有一版定制MI450，使用8-high HBM而非12-high；Xie称，在供应链资源紧张时，继续分层完全合理。当前288GB的Rubin配置并不是这次重置，变化对应的是Rubin Ultra——当前一代之后的下一版本，时间大致在明年这个时候，或延至2028年。