20VC:挑战 NVIDIA:Fractile CEO 谈芯片的未来|资本开支到底哪里被看错了|Walter Goodwin 谈新云的赢家与输家
摘要
- Fractile 的押注是,更快的推理需要不同的内存架构。 Goodwin 表示,新平台相信自己能在特定工作负载上实现成本或速度提升逾 10 倍;Fractile 则希望通过在逻辑芯片上方堆叠内存,同时提升两者。目标是为长时间运行的智能体提供接近 SRAM 的带宽和 DRAM 的容量。Fractile 已拿到流片芯片,但完整产品的流片还要“几个月”。
- Goodwin 预计,即使智能服务的成本持续下降,推理需求仍会不断增长。 训练是工厂的固定成本,最终必须靠部署证明建厂合理。推理模型通过延长运行时间和并行调用智能体,双重拉高算力消耗;他预计 10 年后算力需求将达到现在的“数千倍”,模型运行支出也会大幅增加。
- 电力约束让高效芯片更具价值。 Goodwin 表示,土地和电力是数据中心容量的根本限制,而能源是 AI 长期最根本的投资敞口:“买能源。”在电力额度固定的情况下,若更快推理牺牲整体吞吐量,成本就会很高。他提到中国的大型水电项目,并认为英国应增加可再生能源、核能及其他电力供应。
- 前沿模型仍有定价能力,而能力合格的新云厂商则更难拉开差距。 DeepSeek 优化后的服务栈说明,即使是开源模型推理,行业也没有完全陷入价格战。Goodwin 更看好拥有企业客户渠道、业务灵活的推理服务商,而非重资产的新云厂商;他预计这一领域会出现“几家市值数千亿美元的公司”。
- 芯片编排可能只是阶段性机会,未必能成为持久的控制点。 Goodwin 认为,把工作负载拆分给不同专用处理器,会形成固定的硬件组合;模型和上下文变化后,这套组合可能就不再合适。运营商必须从有限的兆瓦电力中尽可能多地创造收入,闲置产能“完全不可接受”;Fractile 希望在单一平台上兼顾速度、容量和算力。
- Goodwin 预计,Nvidia 将在 5 年内成为一家 10 万亿美元的企业。 他的依据既包括 incumbent 的供应链优势,也包括芯片更换带来的需求:他说,今天装进数据中心的每颗芯片,最多 6 年或 7 年后都会被替换。“互联网泡沫让我们受了太大冲击,以至于从一开始就把繁荣预期计入价格了。”
- Fractile 的 7.2 亿美元 C 轮融资,将用于供应链承诺和更广泛的产品路线图。 本轮融资对应 70 亿美元估值,资金将支持后续代际产品、系统、网络,以及内部机器学习实验。Goodwin 强调要“多线下注”:除了造出第一款产品,还要预测工作负载,并提前数年锁定零部件。
精读
1. 全栈能力不意味着要在每一层都与客户竞争
Stebbings 问,垂直整合是否让独立芯片公司难以生存。Goodwin 区分了内部能力建设与商业化方向:Fractile 需要机器学习研究员、制造专家和机架工程团队,才能判断该押注哪种硬件;但公司卖的是芯片和算力机架。“我们从没打算和客户竞争”;内部模型也永远不会成为它的营收来源。
Goodwin 承认,智能水平存在一道“水位线”,越过这条线,开源模型就能满足某些任务。但“前沿智能还没有商品化”:能力差距仍能支撑高毛利率,前沿研究也在不断产出更好、更小的模型。智能够用,并不意味着围绕智能成本的竞争会消失。
他举的具体例子是 DeepSeek 的推理栈,该方案“几天前”刚发布。Goodwin 表示,模型设计与服务软件相结合后,其吞吐量、交互体验和速度都远胜其他 DeepSeek 服务端。开源模型并没有让执行能力变得同质化;对垂直技术栈的理解仍能留出“非常健康的利润空间”。
云算力的情况则不同:“一家能力合格的新云,和另一家能力合格的新云差不多。”眼下的机会部分来自市场还不确定哪些运营商真正有竞争力。Stebbings 提到 Nebius 正进入路由和推理领域;Goodwin 认同,新云厂商正试图靠软件和芯片建立差异化。
2. 专用芯片可以切入规模巨大的市场
Goodwin 认可 Nvidia 在系统、规模化和数据中心推理方面的卓越表现。Nvidia 的强项是以惊人的出货量提供相对“通用”的处理器。Fractile 则会对前沿需求的演变做出明确判断,并围绕这些判断设计技术;推理速度是它重点攻克内存带宽的原因。
专用化如今不再必然意味着小众。Goodwin 表示,5 年或 10 年前,没有单一工作负载能占到算力需求的约 10% 以上;如今,前沿大语言模型推理已足以支撑大规模的专用基础设施建设。新平台相信自己能在特定工作负载上实现成本提升逾 10 倍;Fractile 则认为自己能同时提升成本和速度。设计周期长、使用寿命长,也可能让成功的架构押注长期保值。
这些押注仍属逆势而为:已部署的替代芯片只有数吉瓦规模,融资也比成熟平台更难。Goodwin 以 Fluidstack 部署 Google TPU 为例,说明新云厂商可以脱离 Nvidia 生态并从中受益。接受平台风险,改变的可能是服务商的经济效益,而不只是软件表现。
3. 内存墙的核心是带宽不足,扩容又会陷入容量困境
Goodwin 给出的数字是:过去 25 年,芯片的算术运算能力提高了约 100 万倍,内存带宽却只提高约 40 倍,差距达到 25,000 倍。在自回归生成过程中,模型权重和上下文必须反复传到处理器。前沿模型每秒或许能生成 80 个 token,限制它的可能是内存搬运,而非数学运算能力。
他用仓库和办公室作比:DRAM 像仓库,计算像办公室;办公室放不下所有东西,箱子就得在两栋楼之间来回搬。SRAM 把箱子留在处理器内部,访问速度快,但会占用昂贵的逻辑芯片面积。DRAM 则采用独立制造工艺,密度高得多,单位容量成本也更低。
Fractile 的方案是在逻辑芯片上方堆叠内存。传统内存访问受限于芯片边缘有限的“海岸线”;堆叠后则形成二维接口,有“数百万个连接直接向下延伸”——这些连接就是铜互连。Goodwin 描述的目标,是兼得 SRAM 式带宽与 DRAM 的容量和扩展性,而不必在速度与内存大小之间二选一。
这种组合之所以重要,是因为依赖 SRAM 的高速系统难以满足长上下文智能体的容量需求。数百万个连续 token 可能意味着持续数天的运行,上下文越长,内存占用越大。Goodwin 希望速度和容量兼得,但不愿把 Fractile 永久定义成“破解了 3D DRAM 的公司”:工作负载变化时,公司的应对方式也必须随之变化。
4. 流片只是交接节点,可靠机架才是关键里程碑
Stebbings 追问,行业宣传与实际量产之间究竟有多大差距。Goodwin 表示,Fractile 已从晶圆厂拿到芯片,目前正在进行更多测试,完整产品的流片将在“几个月后”进行。但他强调,这些里程碑与真正达到有意义的量产规模是两回事。
与制造商直接合作,是他回答的核心。Goodwin 表示,市场传闻中有几家竞争平台使用 Broadcom,也共享制程节点和 HBM 供应。他回忆,Broadcom 曾在一次演示中承诺,到 2028 年让 6 家客户使用同一套下一代平台;在他看来,不同架构仍会依赖不少共同的基础组件:“你能换的只是油漆颜色。”
Fractile 将物理设计和晶圆厂对接留在内部,因此能开展更多定制化制造工作。不同的逻辑芯片和 DRAM 选择,也可能让它获得其他前沿平台已不再使用的资源。Goodwin 将这一机会形容为从“沙发缝里找到数吉瓦产能”——前提是公司能让大型供应链伙伴配合其定制方案。
流片意味着把最终的 GDSII 设计交给晶圆厂,之后还要经历数月的制造、芯片启动和系统集成。Fractile 追踪的指标则是“任务零”:让一个参考工作负载在整座机架上运行。Goodwin 强调维修、冗余、良率、可靠性和软件就绪度。设计文件固然看得见,真正的目标是在量产规模下制造出经济可行的系统。
5. 土地和电力限制部署,也让效率更受重视
Goodwin 描述了不断转移的瓶颈:先是 Nvidia GPU 短缺,随后扩展为更广泛的芯片和内存短缺,之后土地和电力约束变得尤为突出。容易改造的工业场地和快速部署的燃气轮机,往往只是“一次性妙招”;后续场地更难启用。HBM 和逻辑芯片供应约束也仍然存在。
电力额度固定后,芯片选择的影响会更大。Goodwin 表示,在基于 HBM 的系统上,更快的生成速度可能会显著降低每兆瓦的整体吞吐量。他举例说,一个数万亿参数的模型若要在 500 兆瓦的设施内以每秒数千个 token 运行,整体吞吐量不足,就无法服务用户,不管单次响应速度看起来多理想。
Goodwin 认为,数据中心容量是算力建设规模的根本限制。能源是 AI 长期最根本的投资敞口:“买能源。”这项约束也会让能在高速运行下提供更高吞吐量的芯片尤其有价值。
Stebbings 将西方的审批流程与中国的能源建设速度作比较。Goodwin 认同中国“抢到了先机”,并举例说明偏远地区一个 15 吉瓦水电项目与就近部署的 AI 算力如何相得益彰。苏格兰的风能资源也有类似的选址优势。他认为英国的政策重点应是增加可再生能源、核能及其他电力供应,以支撑工业增长。
6. 推理模型让推理变成持续的计算任务
Goodwin 最初的推理投资逻辑始于固定成本:基础模型训练最终必须靠部署来证明合理。如果建一座工厂的投入高于其产品能带来的回报,这笔投资就站不住脚。他的第二个判断是测试时扩展;两年后,推理模型出现了,他将这一进展归功于 Noam Brown 和 OpenAI 团队。
能力如今通过延长运行时间和并行复制两种方式扩展。Goodwin 提到,他所说的一个 Navier–Stokes 问题的解法涉及“我记得是”运行 80 小时、调用 10,000 个智能体。关键在于两个维度都在放大:一群智能体生成长篇思维链,消耗的算力与聊天机器人的即时回答有本质区别。
推理是“我们必须拨动以提升能力的旋钮”。回答一道罕见病问题,可能需要提出数百种候选方案、检索文献,再让智能体相互辩论,而不是立即给出答案。Goodwin 想象着一周后回来,或许已经消耗数十亿个 token。这提高了解决问题的可能性,但并不意味着答案会自动出现。
7. Goodwin 以效率回应融资难题
Stebbings 从财务角度提出质疑:债务、信贷约束,以及机器人带来的额外需求,都让所需支出看起来难以实现。Goodwin 的回答是,全栈创新可以带来效率。他反对把当下类比为 2000—2001 年的暗光纤,并断言已通电的 GPU 集群都在满负荷运行:“我们没有闲置的 GPU 集群。”这种利用率支撑了他对基础设施扩张合理性的判断。
算法进步无需更换硬件,也能提升智能水平,方法包括上下文压缩和稀疏注意力。更好的芯片还能进一步提高效率。Goodwin 认为,世界需要“数千倍更多的算力”,但数据中心不可能增加数千倍;出路是在现有土地、电力和机架上大幅提升智能产出。
针对 Mike Cannon-Brookes 关于未来 3 到 5 年推理成本将大幅下降的预测,Goodwin 质疑市场究竟在给什么定价。10 年后的一个 token,可能来自规模大出多个数量级、能力也强得多的模型。他对总支出的预测则毫不含糊:“10 年后,模型运行支出肯定远高于今天。”
Stebbings 还检验了 Satya 关于企业专属模型的设想。Goodwin 承认,微调今天确实有用,但这种优势只是“暂时的”:下一代前沿模型或开源模型都可能抹平差距。将定制能力叠加在领先模型之上或许可行;真正悬而未决的是,改造开源模型是否胜过直接使用效率更高的前沿服务。
8. 异构芯片可能让昂贵产能闲置
Goodwin 质疑那些围绕永久增加专用芯片、负责编排芯片的软件业务。按他描述的 Nvidia/Groq 配置,快速 SRAM 用来存储共享模型权重,让昂贵内存可以由多个用户分摊;GPU 则处理不同用户各自上下文的注意力计算,这类任务更看重内存容量和成本较低的 DRAM。这样的拆分是在应对当前硬件限制,并不能证明经济上确实需要 7 个平台。
工作负载演变后,固定部署组合就会带来风险。上下文变长,可能需要更多 GPU;模型变大,则可能需要更多 Groq 产能。任何一方的需求变化,都可能让另一类资源闲置。Stebbings 认为这不可接受,Goodwin 也表示认同:兆瓦电力有限,必须创造收入,而已安装的硬件组合会在资本开支摊销期间固定多年。
SRAM 还会占用原本可以放置算术单元的芯片面积,削弱处理提示词时的算力密度。Fractile 的堆叠内存架构旨在释放逻辑芯片空间,用来布置张量核心,同时在上方增加带宽和容量。Goodwin 称之为“神奇三位一体”,认为它有望消除在各自受限的处理器之间复杂编排的需求。
Stebbings 问,Nvidia/Groq 合作是为了买保险,还是对 OpenAI/Cerebras 的回应。Goodwin 称之为一种“承认”:高速推理需要另一种解决方案。他说,“我记得”两笔交易都在 12 月 24 日签署。他如今的异议在于 SRAM 的成本和上下文容量限制:“聊天机器人回复更灵敏”,并不能让运行数天的前沿智能体提速几个数量级。
9. 灵活的推理服务商比新云厂商更占优势
被问及会选择哪家推理服务商时,Goodwin 没有点名偏爱的公司。它们的共同优势是能够“灵活变通”:没有把自己锁定在庞大的自有产能上,因此可以采用新芯片,或专注多模态模型、文本、快速推理等领域。
相比新云厂商,他更愿意经营推理服务商,因为消耗 token 的企业客户能形成更强的业务飞轮。行业最终会整合:他不认为会有 10 家主要玩家,但预计会出现“几家市值数千亿美元的公司”。专业化给多家公司留下生存空间,但不代表如今众多的长尾厂商都能活下来。
10. 融资扩大供应链触达,也为未来增加更多押注
节目开场介绍了 Fractile 的 7.2 亿美元 C 轮融资,估值为 70 亿美元,由 Thrive、Founders Fund、Lightspeed 和 Redpoint 共同领投。Goodwin 表示,拿到首批芯片并完成系统集成,相关成本相对固定;本轮新增资金将用于首个制造里程碑之外的多项工作。
资金优先投向长期零部件协议、多个后续产品代际、网络、系统,以及围绕模型架构和长上下文开展的内部实验。“多线下注”意味着探索智能体群组与串行智能体的差异,并提升预测判断能力。Goodwin 还提到在美国扩张,以及 Meta 的 Dan Rabinovich 加入公司,负责涵盖芯片、机架、网络和数据中心集成的系统业务。
被问到会投资哪家供应商时,Goodwin 选择 TSMC:大多数前沿芯片的生产最终都离不开它。“这个价格很便宜”;他说自己“每个交易日都会买入”这只股票。理由是 TSMC 在制造环节的核心地位和实力出众的团队。
若投资客户一侧,他看好灵活的新实验室,并点名伦敦的 Inherent,其业务包括自动化科学研究。这类系统不必追求唯一最强的通用模型。在竞争者中,他选择 d-Matrix,称其在同一领域采用不同的架构路线;他不了解该公司最新估值。
11. Nvidia 的替换市场支撑 Goodwin 的乐观预测
被问到 5 年后 Nvidia 是否值 10 万亿美元时,Goodwin 回答“是”。他说,Nvidia 的远期估值倍数低于互联网泡沫破裂后 Cisco 的水平,并补充说,这个比较“可能没有出处”。他的解释是,投资者在繁荣真正到来之前就预判了泡沫,也低估了支出的持续性。
替换周期并不要求数据中心持续扩建。在电力总量有限的情况下,运营商必须装上更好的芯片;Goodwin 表示,今天部署的芯片最多 6 年或 7 年后都会退役,很多甚至两三年内就会被替换。Nvidia 的供应链关系让 incumbent 占据优势,而每一轮替换也为 Fractile 创造新的市场切入口。
Goodwin 表示,模型能力的进步速度一直惊人,近期数学领域的成果也显著改变了人们讨论的时间表。“凡是能够验证的东西”,包括数学和编程,“都会在未来 12 个月内被解决。”他对部署前景更为乐观:过去无法攻克的疾病将得到治愈,每个人都能接受高质量教育,这些“毫无疑问都会实现”。他认为技术已经可用,现实世界的应用才刚开始显现。