AI芯片内存墙与存力瓶颈
探讨高带宽内存瓶颈、新型内存架构与研发设计约束
5个信源 · ↑2.1×参与该主题的先锋
全部段落
10月26日
10月24日
10月23日
10月22日
10月14日
10月10日
10月8日
10月7日
10月3日
- Vikram Sekar Vikram Sekar 的核心判断是，内存而非原始算力，是 AI 最深层的系统瓶颈。 LLM 没有用满 GPU 算力，是因为内存和网络无法足够快地供给数据；因此，内存占用更低的模型架构可能同时缓解多重约束：“内存瓶颈，也就是内存带宽瓶颈，进而也是网络瓶颈。”
- HBM 目前提供了最佳的带宽—容量平衡，但堆叠继续扩大正面临成本和扩展限制。 目前堆叠已经达到16层，Vikram 质疑继续推进到20层或24层是否仍具备经济性和技术合理性，并关注晶圆键合的 DRAM-on-logic 方案，后者有望实现“类似 SRAM 的带宽，但拥有类似 DRAM 的容量”。不过，任何效率突破都可能触发杰文斯悖论：单位任务的资源消耗下降 …
10月2日
- SemiAnalysis Engrams 将模型架构与内存层级合并为一个协同设计问题。 它在哈希表中学习 2-gram 和 3-gram 的 token embedding，让模型直接取回熟悉的语义，而不是交给后续 Transformer 层重新构建；消融实验显示，Engram 与 MoE 层的混合架构优于全 MoE/无 Engram 或全 Engram/无 …
- 这一设计反映了中国模型架构面临的结构性约束：HBM 越少，就越依赖更激进的压缩、分层与异步卸载。 嘉宾将 Engrams 与 DeepSeek 早期压缩 KV cache、使用 HBM 的工作联系起来，也提到国内加速器的带宽落后于美国系统。更广泛的判断是，中国实验室会继续把 KV cache 及相关模型状态向更低的内存层级下移，而美国实验室过去受到这一约束的驱动较小。
- Vera Rubin 在运营层面看起来不如 Blackwell 激进，但经济性可能强得多。 在约 100 tokens/s 的运行点上，早期讨论认为性能提升可能接近 3×；在高吞吐场景，提升幅度则可能更接近约 1.4×。HBM3 到 HBM4 约 3× 的内存带宽进步，有助于解释曲线中段的内存受限特征。一条硬件加速的查找表量化路径值得关注：8-bit 表值、3-bit …
- Walter Goodwin Fractile 的核心押注是，前沿模型推理受限于内存带宽和内存成本，而不只是算力。 Goodwin 希望把 DRAM 的容量和经济性，与 SRAM 系统所代表的“每秒数千个 token”结合起来，从而支持长上下文智能体以及拥有数万亿参数的模型。
- Fractile 在判断模型规模和上下文长度会超过 SRAM 承载能力后，放弃了最初的 SRAM 架构。 SRAM 能提供极高带宽，却缺乏具备成本效益的容量；即便是高速推理芯片，处理长上下文时也可能不得不回退到 GPU。公司转而追求“从全球最便宜的内存”DRAM 中获得极高带宽的平台，预计明年下半年全面投入运行。
- Fractile 声称，单芯片带宽可达到 HBM 架构的 25 倍，进而可能改变哪些模型架构具备经济性。 Goodwin 以混合专家模型的稀疏化为例：从 1:16 向 1:128 或 1:256 推进，可能大幅节省计算量，但当前加速器会受带宽瓶颈制约。过去 20 年，算力大约增长了 100 万倍，而内存带宽只增长了约 40 倍。
9月25日
- P Equity Research P Equity Research预计，内存将吸收超大规模云厂商资本开支的大约一半，但各家估算差异极大。 对2027-28年的预测区间为36%-73%，而 UBS 对明年的9000亿美元估算，已经高于今年超大规模云厂商的资本开支总额。可投资的方向比精确数字更清晰：“没人会争论内存很贵。”
- 长期协议可以平滑内存盈利，但无法消除周期性。 典型协议期限为4-5年，SK Hynix据报已有50%-70%的供给签约，Micron披露了220亿美元预付款；价格下限可能与没有价格上限并存。一位曾任职于 Samsung、AMD 和 Renesas 的专家仍警告，客户可能悄悄逃避承诺，或把不需要的库存囤起来，直到未来需求“彻底 …
- 随着推理和智能体工作负载扩张，High Bandwidth Flash更可能补充而非取代HBM。 Logan称，Grok 4.7据描述有2.1万亿-2.3万亿参数，而 model 4.6为1.5万亿。HBF可以存放模型权重或可复用的预填充结果，但耐久性、发热、吞吐量和成本等问题尚未解决，因此初期更可能用于规模较小的私有化部署，而非超大规模云厂商。
- 中国短期内不太可能向全球DRAM市场倾销供给，但忽视其长期威胁，将重演行业历史。 CXMT的有限产能、约25%的HBM3良率和技术落后限制了近期供给，但国内需求与设备快速国产化最终可能支撑其拿下全球内存市场20%-25%的份额。Logan认为，在中国开源模型可能只落后约6个月的情况下，放缓美国模型开发是在“邀请更多竞争者”，而不是建立持久的安全优势。
9月21日
- Bubble boi 推理对内存的需求，可能更多由上下文和并发用户数驱动，而不是不断增大的模型权重。 Bubble boi 提到传闻中的 GPT-6“循环 Transformer”、稀疏化、量化、剪枝和投机解码，认为原始权重规模可能趋于平台期，而上下文规模会随权重数量、注意力头数量和用户数增长。他的配置判断是：权重可能应放在 HBM 中，而不需要立即调用的上下文则应越来越多地放进 …
- 高带宽闪存在技术上很有吸引力，但只要 HBM 仍然可得，它就缺少决定性的数据中心应用场景。 它的密度更高，但 Bubble boi 认为 HBF 和高端 AI 闪存的延迟都在约5微秒，HBF 的总产品成本可能也与 HBM 大致相当。他透露的“alpha”是：自己听说的主要 HBF 客户，是那些无法获得或生产高端 HBM 的中国客户。
