Andrew Feldman,Cerebras 联合创始人兼 CEO:AI 芯片战争与打破 Nvidia 主导地位的计划
Andrew Feldman,Cerebras 联合创始人兼 CEO:AI 芯片战争与打破 Nvidia 主导地位的计划
摘要
- Feldman 对 NVIDIA 的核心攻势是:GPU 的片外 HBM 内存是生成式推理的根本性架构限制——从一个 700亿参数模型生成一个词,意味着要把约 140GB 权重从内存搬到计算单元,而且每生成下一个词都要再搬一次。 晶圆级设计让 Cerebras 得以在容量规模上使用高速 SRAM;“过去是他们优势的东西现在成了弱点……它可以被击败,我认为他们知道这一点。”他对市场结构的判断是:NVIDIA 将在 5 年后从今天“几乎全部”的市场份额降至 50%-60%,介于 Uber 的 90/5 和云计算市场更均衡的分割之间。
- 在推理场景,CUDA 护城河“根本不存在”——你可以用 10 个按键,把 OpenAI 从 Nvidia GPU 切换到 Cerebras。 真正、却很少被讨论的护城河,是市场份额本身的领先地位:Intel 做了“接近 10 年的灾难性决策”,仍然掌握约 75%-80% 的 x86 市场。“我可以连续 10 年做出一堆糟糕决策,却只丢掉 20% 的份额——这护城河简直不可思议。”
- Scaling law 带来的收益仍在延续,Feldman 直截了当地否定了“算力、算法和数据都已经走得很远”的共识。 “我认为他们错了。我认为我们在这3个方面都还处于早期。”GPU 执行推理时利用率只有 5%-7%——意味着95%或93%都被浪费;OpenAI 的 o1 表明,推理 scaling law“完全有效”;3-5 年后,我们对 Transformer 的依赖会显著下降,“100%”。5 年后,训练数据将“几乎全部是合成数据”。
- 推理市场的方程是:用户数 × 使用频率 × 单次使用算力——三者同时增长,这种条件极其罕见。 AI 在 2024 年Q4 从“新奇玩意”变成了有用工具,5 年后的市场将“大幅超过现在的 100 倍”;速度更快、价格更低只会进一步扩大市场:“过去 50 年的算力行业里,没有任何一个例子是因为把东西做得更便宜、更快,市场反而变小。”
- 以 5 年视角看,芯片供应商的价值将高于模型供应商。 今天的模型估值本质上是在给期权定价——“不确定性是期权价值的朋友”——但最终巴菲特所说的称重机仍会启动。对于模型行业,领先竞争对手 4 个月的发布节奏并没有太大价值;多年保持前10%的位置,才有价值。
- Cerebras 已实现正现金流,而同行仍在大量失血。 “毛利率过去是衡量技术差异化的指标……如果你做的是负毛利业务,那你卖的就是大宗商品。”另一面是,G42 占收入的 87%(这笔交易据估算超过 10亿美元),Feldman 将其解释为一种可以习得的能力:“拿下3个大客户的方式,是先拿下1个”,未来 24 个月内将争取建立数个客户关系。
- 在中国市场,Cerebras 拒绝了销售。 这笔交易“不会被用于善事”(包括对少数族裔进行人脸识别、军事用途),也没有通过他的“母亲测试”;但他认为美国对中国的低估程度是“100%”,出口管制可能并不是“一个可处理的问题”,而切断 EDA 工具只是在深圳催生了由美国风险资本支持的 EDA 初创公司。
精读
1. 2015年的下注:AI的难题是搬数据,而不是计算
- Feldman 对芯片设计的框架是:芯片“做计算,也搬数据”——而 AI 颠倒了两者的难度。数学本身很简单(“矩阵乘法和 FMAC,任何一个大二电气工程学生都能做出来”);真正困难的是,结果和中间结果必须持续搬运——搬到内存、从内存搬回来、在 GPU 之间搬运。Cerebras 的下注是:解决数据搬运问题,就能造出更快、功耗更低的 AI 计算机。
- 作为第5次创业者,他唯一承认的一次失误尤其值得注意:“第一次,我大幅低估了市场规模。”团队判断正确的是,AI 将对内存带宽和通信结构施加压力,而这正是 GPU 从设计之初就没有针对的维度。
- 训练和微调在计算量上“基本相同”,生成式推理则是例外。从一个 700亿参数模型生成一个词、且权重为16-bit 时,需要把约140GB数据从内存搬到计算单元——生成下一个词时还要再搬一次。“这叫内存带宽;如果你的架构是 GPU,这就是根本性限制。”
2. 晶圆级设计与70年来无人解决的良率问题
- 内存的取舍在于:HBM“非常出色……但速度慢”——容量大,适合图形处理,因为图形场景很少反复回读内存。SRAM“快得不可思议,但容量很低”——一块普通尺寸的 SRAM 芯片要服务 400B 参数模型,需要约4000块芯片;DeepSeek 671 则需要“6000块或8000块……这会变成多么可怕的行政管理噩梦”。晶圆级设计让 SRAM 的速度与足够的容量可以集中在1片、2片甚至10片晶圆上,同时功耗更低,因为片外 I/O 是芯片上最耗电的操作之一。
- 过去没人做到这一点,问题在良率。他的比喻是:晶圆像饼干面团,缺陷就像母亲蒙着眼随机撒下的 M&M;“饼干越大,撞上 M&M 的概率越高”,传统做法是把有缺陷的芯片分级处理或直接丢弃。Cerebras 借鉴内存制造的办法是,用数十万块完全相同的晶圆级单元,并设置冗余行或列来制造处理器;关闭有缺陷的单元,再绕开它。“在我们这个行业70年的历史里,从来没人能做到这一点”——很可能是 Gene Amdahl 的公司 Trilogy 曾尝试过,但“撞得头破血流”。
3. 速度不是规格,而是创造产品类别的东西
- Feldman 拒绝对快、便宜、准确做单一排名:癌症诊断中,“93%的准确率就是不如94%”,用户愿意付钱并等待;而对 Llama 405B 为 70B 模型生成调优数据这类批处理任务,价格可能更重要。但在交互式使用中,“毫秒很重要”——Google 多年前就证明,“几毫秒的延迟就能摧毁用户的注意力”。“如果要等8分钟,就不会有搜索。”
- 他更倾向于使用这样的类比:互联网速度很慢时,Netflix 通过邮寄 DVD 运营;宽带到来后,“亚马逊突然变成了电影制片厂。它改变了一切。推理速度也会产生同样的效果”——GPU 延迟无法支持的新应用,会因此出现。根据 Artificial Analysis,自 8 月 26 日发布以来,Cerebras 声称自己在“一整组模型”上实现了最快推理。
4. 推理方程:3个乘数同时增长
- 他的市场规模公式是:推理市场 = 使用 AI 的人数 × 使用频率 × 单次使用算力。“我们正处于一个罕见时期”,3个变量同时增长,因此市场出现离谱的增长。5 年后,市场将“大幅超过现在的 100 倍”。
- 转折点并非技术突破:“ChatGPT 并不是真正的技术创新,而是用户界面创新。”直到 2024 年年中,AI 还是“新奇玩意……哇,这很酷”。从 2024 年Q4 开始,它变得有用——“如果你的营销团队没有使用 LLM,每个人每天用几次,那他们就没有在做自己的工作”——它开始触达“我的父亲、我的兄弟、医生们”;“当你触达这些人时,市场就会爆发。”
- 他承认,行业“消耗了巨量电力……以及一些水”,因此“交付非凡价值的责任在我们身上”——包括治愈疾病、解决社会问题。美国的问题不是没有电,而是地理位置和流程:“尼亚加拉有电……但我们没有电力供应在你想建数据中心的地方”,也没有全国性机制能够绕过地方监管和既有利益。
- 对 Groq 的 Jonathan 所说的“游客数据中心”,Feldman 大体上不同意。最早进入这一领域的是 TeraWolf 和 Crusoe 这样的比特币矿企,“当然不是游客……而是极其成熟的数据中心建设者”,如今正在主导 GW 级项目。“当然会有一些游客”,但很多设施最终会运行良好。
5. Scaling law 带来的收益仍在延续——“我认为他们错了”
- 针对“算力、算法和数据都已经走得很远”的反复论调,他说:“我认为他们错了。我不认为我们已经走得很远……我认为我们在这3个方面都还处于早期。”最直接的证据是:GPU 执行推理时“利用率只有5%或7%——这意味着95%或93%都被浪费”。成本下降来自更便宜的计算机、更低 PUE 的数据中心,以及更好的算法,三者会相互叠加。
- 关于 scaling law 本身,业界确实在争论数据是否已经“耗尽了魔力”;但“OpenAI 在 o1 上的工作让我看到,scaling law 至少在推理上完全有效——投入更多推理算力,就能得到更好的答案。”
- 算法仍有大量提升空间:许多模型依然是全连接的——“有些连接并不会产生任何结果,但我们仍然要对它们做数学运算”。他的类比是:学习某件事,可以读50本书,也可以只读真正重要的3本,或者读那3本书的摘要——“问题在于,一开始我们不知道哪3本才重要”。MoE、dropout、稀疏化都只是早期步骤。至于架构,“3年或5年后,我们不会像现在这样依赖 Transformer——100%。它们不是终极答案”。他不愿猜测继任者会是什么(“我不知道会不会是 state-based models”),但 attention head 的二次复杂度效应是已知弱点,人们“拼命想要克服”它。
- 5 年后的合成数据将是“几乎全部是合成数据”,而且他认为其效用可以与人类数据相当。他完整保留了飞行员训练的类比:真实驾驶数据是“人们在高速公路上直线驾驶——并不困难”;真正需要的是“雪天无保护左转……成千上万种、数百万种不同方式”。就像飞行员模拟器和外科医生面对的罕见病例,合成数据正好补上那些昂贵或痛苦、难以采集的数据。
6. DeepSeek 是“专注的工程”——而蒸馏指控经不起一致性检验
- 让他印象深刻的是:“他们没有沉迷于做模型知识分子……他们只想变得更好。从发明角度看,这有点无聊;但从工程角度看,这是非常漂亮的努力。”DeepSeek 证明了“你不需要5000人和数十亿美元的设备——200个聪明人就能做到,设备比 DeepSeek 说的多,但比其他人少”。在就职典礼前后发布的时点,他将其归为政治因素。
- 关于蒸馏:“摘要难道是错的吗?……我不认为蒸馏是错的;如果蒸馏是错的,那使用人们受版权保护的数据当然也是错的。你必须保持一点一致性。”至于影响力,“很少有开源项目能像那个模型一样产生如此即时的影响……它引发了巨大的轰动。”
7. 价值在哪里累积:芯片胜过模型,以及无人点名的护城河
- CUDA 在推理领域的锁定效应“根本不存在……完全没有——你可以用10个按键,把运行在 Nvidia GPU 上的 OpenAI 切换到 Cerebras,再切换到 Fireworks 或 Together”。大多数 AI 都是用 PyTorch 编写的;编译器“很难,但可处理”。NVIDIA 真正的护城河是成为默认选项,而 Feldman 认为挑战者没有充分研究这一点:在 Lip-Bu 之前,Intel 做了“接近10年的灾难性决策”,但仍然掌握约80%的 x86 市场,AMD 也只 claw back 到25%-30%。“这就是护城河……作为挑战者,我们必须准确理解它,因为我们需要为此搭一座桥。”
- 5 年后的市场结构将介于 Uber 的 90/5/5 和云计算的共享式寡头格局之间——“Nvidia 将占据50%-60%的市场份额……而现在它几乎拥有全部市场。”他强调,NVIDIA 不会在推理领域“躺平装死”——这家公司已经经历了“历史上任何公司都称得上伟大的10年之一”,从 2014 年约 10亿美元起步。只是 NVIDIA 的漫长交付周期构成了“巨大的机会窗口”:“当恶霸倒下时,所有人都想上去踢一脚。”
- 从 5 年后的企业价值看,芯片供应商会大于模型供应商,答案是肯定的。他解释模型今天为何显得昂贵:“给期权定价时,方差和不确定性会增加期权价值……这些极高价格的一部分,正来自这种巨大的波动。”长期来看,巴菲特的逻辑会生效:市场短期是投票机,长期是“称重机制”——“某个时候,称重会启动,而通常是在公开市场上启动。”
- 模型公司的防御力取决于什么?“你是在和别人的发布节奏竞争——你领先4个月,他们领先6个月。如果这就是你的全部位置,那价值不大。但如果你能多年保持前10%,而排在你前面的人不断变化,我认为那就很有价值。”硬件能够长期存在——Cisco、Juniper、Apple、NVIDIA——因为“它们做的事情很难。这就是为什么它值得被挑战。”
8. 这门生意:正现金流、1个大客户,以及为何上市
- 对于同行还在失血、Cerebras 却实现正现金流这一点,他说:“传统上,毛利率是衡量技术差异化的指标……如果你做的是负毛利业务,那你卖的就是大宗商品——你创造的价值没有被市场识别。”
- G42 占87%的收入(宣布交易时据估算超过 10亿美元)既是优势也是弱点:“拿下3个大客户的方式,是先拿下1个……成为战略合作伙伴是一项可以习得的技能。”目前的证明包括:已部署数十 exaflops,“远超 AMD 或 Nvidia 之外的任何公司”;软件已在一些最大的 AI 集群上完成强化;制造规模实现了“2倍、5倍、再2倍”的增长。目标是在未来 24 个月建立“数个”客户关系。
- 对 Harry 提出 IPO 文件似乎过于提前、并向竞争对手提供非对称信息的质疑,他的回应是:“我们没有什么可隐藏的……我们拥有非对称技术。”支持上市的理由包括:Cerebras 是这一类别的先行者,而且“我们最大的几个目标客户中,有些明确偏好与上市公司做生意”。
9. 中国:拒绝销售、尊重对手、质疑管制
- 对出口管制,一位硬件出身的人会区分:一台 500-600 磅的服务器“会放在托盘上送到现场——你可以让使馆的人来查看,每月拍一次照片。它不会被带走”。软件和开源则是“完全不同的层级”。他提到,DeepSeek“可能确实使用了在新加坡的芯片”。更深层的怀疑是:“我不知道延缓另一个国家在一条技术轨迹上的进步,是否是一个可处理的问题。”限制 EDA 工具的结果只是“美国风险投资家支持了深圳大量中国公司去开发 EDA 工具”。他认为,本届政府对 AI 的态度“可能明显好得多”,上届政府则“站到了大科技公司的对立面”。
- 但 Cerebras 自己拒绝了中国的一笔交易——他的测试是:“只要问问自己,我的母亲会为此感到骄傲吗?”他看到或无法忽视的用途,包括“识别少数族裔、用于迫害”的人脸识别,以及军事设备,都没有通过测试。“这比钱更重要。”他同时保留了两种判断:管制可能徒劳,但是否出售这笔交易,是他自己的选择。
- 我们是否低估了中国?“100%……这是最明显、最常见的判断错误之一。”他列举的证据包括:规模惊人的基础设施投资、极强的工程人才培养能力、国家支持的风险资本、国家冠军企业,以及“一套让第三世界大部分地区依赖中国的双保险战略”。深圳经济特区“显然是一个具有远见的举措”——美国在需要时也做过类似的事(特朗普第一任期放宽疫苗规则)。他提出了令人不安的问题:为什么美国造不出火车?为什么“我们的桥梁和高速公路都在失修”?
10. 快问快答:犯错、微型芯片,以及经验的价值
- 他最有记录可查的错误,是反对联合创始人 JP 在 2016 年提出的水冷方案:“我拼命反对,而我完全错了。”Google 在1、2年后宣布采用水冷 TPU;“现在 Nvidia 卖的全是水冷部件。我大错特错,JP 才是对的。”他总结道:“如果你没有准备好经常犯错,就不应该做太多决策。”CEO 必须“多数时候都能做出正确决策”——这与 VC 不同,VC“平均而言一直在犯错,他们关心的是偶尔有一次极其正确”。
- 芯片市场中被低估的角落,是贴近传感器、功耗低于1毫瓦的推理芯片:它们“只把有用的数据发回去”,规模巨大,“对机器人至关重要”。不过这不是他的市场——“我喜欢制造更大的东西,再把它们卖给数据中心。”
- 对 Dario 的预测,他不认同人类能活到150岁,也不认同今年90%的代码会由机器编写;但他预计,AI 的渗透率将在1、2年内接近手机。他的逆向判断是,中东和平比人们想象的更近,关键在于“一个温和、以商业为导向的阿拉伯国家正在崛起”,范围包括 UAE、Qatar,甚至 KSA。至于第5次创业,他认为,只要企业涉及制造、供应链,以及数百或数千名工程师按计划协同工作,经验就会复利——“没人会面不改色地说:我想找的是一个没有经验的工程负责人。”