开源 AI 的真实图景｜Token 成本将下降 10 倍、使用量将爆发 100 倍｜Lin Qiao

摘要

• Lin Qiao 的创始论点直接挑战 AGI 至上主义：如果你认为智能是数据的导数，世界上绝大多数数据都是私有的、“锁在企业内部”，永远不会被分享——因此前沿将是专业化的私有智能，终局是“每个应用、每个用例对应数百万个专业模型”，而不是一个统治一切的模型。 Fireworks 每天处理的 Token 已超过 40 万亿，其中大多数来自定制模型，而不是现成模型。
• 针对 Harry 提出的 OpenAI 和 Anthropic 是否估值过高的问题，Lin 将前沿实验室重新定义为“电力线路”——不可或缺的基础设施，但不会取代其上构建的一切；当开源和闭源模型都已“跨过质量门槛”，且开放权重模型用少量专有数据调优后就能在你的评测上击败通用模型时，电力线路究竟是不是好生意？ 她留下一个投资者问题：“我不希望看到的是，只有一家公司拥有智能。”
• Token 成本之所以尚未下降，是因为供应链约束；但竞争将在未来 3 年带来 10 倍降本，推动使用量增长 100 倍。 Fireworks 自身的 Token 数量到明年底可能增长“20 至 100 倍”，“我们还处在 S 曲线爆发的非常早期”。Harry 推断资本开支泡沫论“很荒谬”，她表示认同，但提醒真正的瓶颈在 Jensen 五层蛋糕的底部：能源、芯片，“我们受限于小部件——晶体管”。
• “扩张至破产”是推动企业转向开放权重模型的机制：PMF 与可持续业务已经脱钩，因为推理不像 SaaS 里的 CPU 那样是商品化资源——拥有巨大流量的在位企业无法让 AI 功能通过 CFO 这一关，因此必须拥有并调优自己的模型。 她对未来 3 年的非共识判断是：“每家公司都必须拥有自己的智能，这是必需品，不是可选项。”
• 在应用公司是否应训练自有模型的问题上，Cursor 开创了调优先例，如今几乎所有编码公司都在调优自己的模型；工具调用框架需要与驱动它的模型共同训练。 Harry 透露，Fireworks CTO Dima 曾在 Cursor 驻场数月；Lin 则介绍了跨 5 至 6 个数据中心区域、运行在分散 GPU 上的解耦式 RL 基础设施，而不是 InfiniBand 超级集群。
• Fireworks 的 AR 达到 8 亿美元，预计到年底“至少翻倍”，而团队只有 200 人。 30% 至 40% 的毛利率（SaaS 为 80%）被定义为超高速增长阶段的选择，而非新常态——“约束会拖慢创新”。明确的边界是：“我们绝不会进入应用层”；数据中心“始终在考虑范围内，问题只是时机”；芯片则被排除，因为工作负载变化太快，硬件折旧模型已经失灵——“仅一家供应商在 1 年内就有 3 个 SKU”。
• 面对 OpenRouter 排名前六的中国开源模型，Lin 给出的答案很务实：无论开源还是闭源，每个模型都要加护栏，因为每个提供商都会把自己的判断和品味注入训练过程。 如果中国限制访问，短期内“影响会很大”，但美国“能够靠自己构建那套开源系统，而且我们应该这么做”（Nvidia 正在供应链缺口之际训练一款可能名为 Nemotron 的模型）。

精读

1. 创始论点：世界上大多数数据永远不会接触前沿模型

• Lin 回应 Harry 时给出的核心论点是：“如果你认为智能是数据的导数，那么绝大多数数据实际上并未用于训练通用智能模型。”训练语料主要来自公开互联网和标签，相对于世界全部数据而言“只是非常小的一部分”；而绝大多数数据“是私有的、锁在应用里、锁在企业里——它永远不会与其他任何人分享，因为这是公司的专有 IP”。Fireworks 要做的，就是把这些数据激活：“智能的前沿其实是私有智能、专业化智能。”
• 这份信念有其背景：她拥有分布式系统博士学位，曾在 LinkedIn 工作；到 2015 年，她已经拿出商业计划和联合创始人名单，但因为“我觉得自己在人和组织上的能力还不够”而暂缓。她加入 Facebook 时“暗中打算学 1 年或 2 年就离开”，结果一待就是 7 年，最终在 48 岁创办 Fireworks。Eric Vishria 原本坚持不招大科技公司高管担任董事，但他的顾问提醒他：“你见过多少大科技公司高管最后成功？非常少。”
• Harry 对这家公司的判断也很明确：一次 15 分钟的会面后，他开出了一张 1000 万美元的支票——“这是我 10 年投资生涯中最容易做出的投资决定之一。”

2. AGI 至上主义 vs “一支机器人军队”

• Harry 开场最尖锐的追问是：激活企业私有数据，不正是 Anthropic 围绕 Claude co-work 的论点吗？Lin 的重新定义是，Anthropic “完全相信 AGI”，其定义就是一个模型解决所有问题，而这也意味着它不会进行专业化。她的反驳不是技术性的，而是文明层面的：不同地区的价值观、政策和品味都不同；“如果未来世界要由一个标准统治，由一家公司规定品味，我们就会把自己变成一支机器人军队”。
• 她反复引用的一句话来自 Jensen Huang 在 GTC 主题演讲后的表述：“不存在所谓专业化的通用公司”（There’s no specialized general company）。每家公司都建立在独特的信念之上，这些信念被写入产品设计、数据和对用户意图的理解中，“另一家置身局外的公司无法学习，也无法保证拥有这些东西”。
• 那么，Dario、Sam、Larry 和 Sergey 为什么都认为 AGI 不可避免？Lin 的回答是，他们“正在建造电力线路，用来输送一种非常强大的智能来源”——它至关重要，就像电力让她心爱的咖啡机得以运行；“但这条电力线路会取代我们所做的一切吗？我不这么认为。” Harry 把问题翻译成投资者语言，并故意不下结论：“电力线路是好生意吗？”谈到政府持股（Sam 向政府提出 5% 的方案），她提到 PG&E 的先例，最后强调：“我不希望看到的是，只有一家公司拥有智能。”

3. 开源模型跨过质量门槛——“扩张至破产”把所有人推向开源

• 最初押注在开源模型之上，是在它们“几乎还处于婴儿期”时做出的决定，根源来自 PyTorch 生态：“开放带来了控制权。”这份押注兑现了两次：开源和闭源模型都已“跨过质量门槛”，能够解决真实问题；开源模型也变得易于引导——只要加入少量公司的独特数据，就能“朝着你的评测指标不断爬升”，而且“很多时候最终结果是：用你的数据解决你的独特问题时，你会胜过通用模型”。Fireworks 自身已经在招聘、金融和内部编码代理中运行开源模型。
• 她对经济驱动力的标志性表述是：“你听说过‘扩张至破产’吗？”在 SaaS 时代，产品市场契合度和可持续业务基本等价，因为 CPU 是商品；现在两者已经分离。真正拥有 PMF 的初创公司“可能一路扩张到破产”；对于那些已经积累了 10 年流量的数字原生在位企业，情况更糟，因为它们的 CFO 无法为向全部流量推出 AI 功能找到合理性。替代方案是：“掌控自己的开放权重模型。”
• Harry 反问，Sam Altman 新发布、价格大幅下降的模型，难道不能解决这个问题？她承认“有可能”，但开放权重模型“没有采购成本”，而前沿实验室必须收回研发投入；“你就是无法定制那些通用模型……而使用开源模型，你拥有完全的控制权”。当用户达到数十亿规模时，“即便只降本 5%，意义也很大——更不用说我们过去看到的 5 倍至 10 倍降幅”。

4. 中国模型、主权与数百万模型的未来

• 面对“如今 OpenRouter 排名前六的模型都是中国模型”这一国家安全问题，Lin 拒绝接受这种提法：所有模型都应加护栏，无论开源还是闭源，因为任何提供商“都会把自己的判断、自己的品味注入模型训练过程；你无法保证它与自己的判断一致”。随后她给出本期最重要的判断：“这可能令人害怕，但我认为事实就是如此。未来将有数百万个专业模型——每个应用、每个用例对应一个模型。”
• 如果中国限制开源模型访问（上周已有相关报道），短期内“影响会很大”；但开源生态会吸引大量参与者，“就人才密度和资源而言，我确实相信美国能够靠自己构建那套开源系统，而且我们应该这么做”。Nvidia 正在供应链缺口之际训练一款可能名为 Nemotron 的模型：缺少美国本土开源模型，本质上是一个供应链问题。
• 谈到主权 AI，Harry 提到 Fable 曾被政府短暂禁用 19 天，成为欧洲的警钟。Lin 延续电力线路的比喻：“每个国家都应该拥有自己的电力线路……你不希望任何一个人切断你的供给。那将是极其可怕的时刻。”每家公司也同样如此。

5. 应用公司是否应训练自己的模型？Harvey、Legora 与 Cursor 的先例

• Harry 先披露了自己持有 Legora 的仓位，再提出问题：Harvey 已决定训练自己的模型，Legora 没有；1 年前，不自建模型的公司看起来是正确的，“现在看来它们错了”。Lin 解释说，应用开发周期已经从“数十名非常强的产品工程师和 PM、持续多个季度”缩短到“1 个人、几周时间”，因此实现本身不再是护城河，竞争已经转移到其他地方。
• Harry 的反驳值得保留：企业法律服务依赖多年关系型销售和定制化部署，“不像 11 Labs 那样拿起来就能用”。Lin 承认法律行业格外严苛——“律师通常更保守……法律对错误完全不容忍，这也是律师收费高的原因”；但她坚持认为，两家公司都拥有专有的工作流知识，而决定调用哪些工具的编排框架“需要与驱动它的模型共同训练”。
• 证据来自编码领域：“Cursor 可能是最早调优自有模型的公司之一”；“如今几乎所有编码公司都在调优自己的模型”。Harvey 与 Legora 的差异，或许只是时间问题。

6. Cursor 内部：运行在分散 GPU 上的分布式 RL

• Harry 表示，Fireworks CTO Dima 曾在 Cursor 驻场数月，帮助搭建 RL 基础设施。两家公司都对资本十分审慎，因此把强化学习拆成 trainer 和 rollout 两部分；它们没有采用超大规模云厂商使用的 InfiniBand 架构——一次连接 10,000 至 100,000 颗芯片，“极其昂贵，也非常难找”——而是“完全分布在全球 5 至 6 个数据中心区域，调动分散的 GPU”。难点在于跨区域同步新权重，避免奖励信号过时：“如果太陈旧，偏离就会太大。”
• 她用采用曲线解释这段合作的重要性：早期采用者是黑客，“他们拥有来自前沿实验室的研究人员，希望控制每一件事”；而后期大众市场只需要很少的控制权。Fireworks 瞄准后者，但与先行者合作，可以了解“要走到那一步需要什么”。
• SpaceX 收购 Cursor 后，集中度风险如何？她坦率回答：“所有人都在担心——整个行业都在担心。”整个行业都由少数达到逃逸速度的应用塑造，“所有模型公司都集中在 Cursor 上”。此后，“去年是编码之年，今年是 co-work 之年”——通用深度研究之外，法律、金融、客服、招聘和医疗等领域都在扩张，消费公司也开始重新思考如何用生成式 AI 重构推荐系统。

7. 每天 40 万亿 Token——以及资本开支泡沫论为何站不住脚

• 数据很直接：“我们现在每天处理超过 40 万亿 Token”，其中大多数来自定制模型。到明年底？“增长 20 至 100 倍都有可能……我们还处在 S 曲线爆发的非常早期。”Harry 因此得出结论，资本开支泡沫的说法很荒谬；她表示认同，并把注意力转向 Jensen 的五层蛋糕：“我们受限于底部几层”——能源、芯片，以及从未为 100 倍扩张设计过的制造产线。“我们受限于小部件——晶体管。”
• Harry 追问，Token 成本为什么还没有下降？Lin 的回答是：“供应链约束——但我们生活在自由经济中。”短缺会吸引竞争，竞争会压低成本。她的预测是：“未来 3 年成本下降 10 倍，而这 10 倍的降本将带来 100 倍的使用量。”Harry 提供的需求锚点是：一位投资者称，Salesforce 在 Anthropic 和 Claude Code 上的支出约占开发者薪资的 3.8%。
• 她坚持强调其中的细节：“不是所有 Token 都一样。”评估时应看每项任务的 Token 经济性：如果一个模型便宜 2 倍，但输出冗长 2 倍，那么完成同一任务的成本并没有变化。随着质量提升，“精确将成为优化的一部分”。
• 另一个尚未得到充分讨论的瓶颈是：“我们今天还没有为 10 万亿参数模型设计出优秀的系统。”解决这个问题，需要从模型、服务平台一路协同设计到芯片系统；她认为，这正是基础设施仍有创新空间的地方。

8. 这门生意：质量溢价、30% 至 40% 毛利率，以及技术栈的边界

• 对于 Together 更便宜的说法，她回应：“我们可能不是在比较同类产品。”Fireworks 的大多数流量来自定制模型，并以质量优先进行优化，甚至做到“零 KLD”：训练系统和推理系统在比特层面等价，“我们不会损失任何一比特准确率”。否则，“你为什么要用打折后的质量来支付训练投入？”Fireworks 采用一套配置服务一个场景的部署方式，并由一支应用机器学习团队（FDE 式）支持，目前正在开发自动化部署的代理。
• 对于相较 SaaS 80% 毛利率而言只有 30% 至 40% 毛利率的问题，她说：“我不认为这是新常态。”这反映的是超高速增长阶段。“利润率优化本质上是约束问题……而约束会拖慢创新。”只有确定系统未来要扩张 1000 倍后，才值得把它优化到极致。最糟糕的情况是，把利润率一路推高，然后停止增长。边界也很明确：“我们绝不会进入应用层”；数据中心“始终可以考虑，但问题只是时机”。
• 芯片则是完全不同的问题：“我知道造芯片极其困难。”Meta 的 MTIA 大约从 2018 年开始，服务于排名和推荐工作负载；只有在“工作负载稳定下来之后”才会流片，而如今的 AI 工作负载“非常、非常动态”。生成式 AI 之前的加速器创业公司多少是误打误撞：那些大量使用 SRAM 的设计，恰好适合内存需求旺盛的模型。她还提到 Nvidia 最近收购 Groq——后者高度依赖 SRAM 的芯片，天然适合与浮点运算密集型 GPU 搭配：前者负责 prefill，后者负责生成。这种异构数据中心设计让她确实很感兴趣。
• 折旧模型正在打破自建与采购之间的算术：过去硬件按 6 年折旧，而产品 3 年迭代一代；“现在仅一家供应商在 1 年内就有 3 个 SKU”。模型的性能高峰每周都在刷新，“更新的模型通常在最新硬件上运行得最好”。3 年之后，“你还想让 9 代以前的硬件运行 3 年前的模型吗？这很值得怀疑。”

9. 8 亿美元 AR、翻倍目标、George Hu 与 Jensen 的运营体系

• 业务轨迹是：AR 达到 8 亿美元，“我们认为到年底至少可以翻倍”，团队规模为 200 人，1 年前只有 50 人。最能说明客户增长的故事是 Cursor：签约时 Fireworks 的收入还只有“个位数百万美元”，就在 2 年前；随后 Cursor 在 2 年内增长了 100 倍至 1000 倍，选择 Fireworks 作为平台研发合作伙伴，自己专注于产品。Harry 用 Slack 的案例描述那个时代：18 个月从 100 万美元增长到 1000 万美元，曾经是风投界的黄金标准。
• 关于聘请前 Salesforce 总裁 George Hu，她 1 年前曾对他说：“我们可能对你来说还太小。”过去 1 年里，他先帮助面试高管，随后随着业务增长进入关键阶段而加入。她筛选人的标准并不是能力，而是“他们是否真正具备极致的主人翁意识”；“我们不是把人装进一个个盒子，再把盒子堆成一座塔。”
• Jensen 的启发来自他总能在 1 分钟内回复邮件：“领导力就是判断力，不是特权。”在高速变化的行业里，不能等信息逐层传递；“不知道究竟发生了什么，却拥有做判断的职位，这就是糟糕的领导力。”她今年也改变了一个看法，不再担心快速扩招会扼杀敏捷性。她承认自己犯过的错误是迟迟没有推进营销：“营销不是流程，而是教育……是清晰度。”
• 她对未来 3 年的判断是：“每家公司都必须拥有自己的智能，这是必需品，不是可选项。”这与每家公司都拥有自己的软件栈是同一套逻辑。而行业下一阶段将从“Token 极限优化”转向“ROI 极限优化”——前者只是阶段性现象，后者关乎如何真正经营一家企业。