主题 先锋 趋势 方法 作者
返回

10万亿美元 Token 经济——Alex Atallah、OpenRouter 与 AMP 的 Anjney Midha

·Latent Space

正在生成长图…

本篇主题 AI推理网关与智能路由 科技创始人特质与心智剖析
本篇先锋 Anjney Midha Alex Atallah

摘要

  • Anjney 将 Stripe–OpenRouter 交易定义为安全问题,而不只是支付问题。 他的判断是,Token 是“一种在互联网中流动的新型价值单位”,Token 经济将在5年内达到约5万亿美元,10年期 Token 流量则约为10万亿美元。Alex 表示,OpenRouter 上月拦截的美元交易额是前月的10倍。Anjney 借 Stripe Radar 作类比:“Stripe 如今本质上是一家安全公司”,而下一轮威胁将由智能体化业务驱动——“AI 智能体持续实施的恶意行为即将像海啸一样袭来”。
  • “只是个封装层”的判断,是这一轮周期中最严重的错价。 风投曾把 OpenRouter 说成“只是个市场……只是薄薄一层,只是个代理”;Anjney 没有试图重新教育他们,而是直接投资,并认为大约1个月后,Menlo 的 Matt Murphy 就将其估值上调了10倍。另一大质疑是基于 scaling laws 的“大模型胜出”论,Alex 则认为,如果出现 Google 级别的 LLM 垄断,其规模会是“荷兰东印度公司的10^15倍”,而竞争者的构建在经济上更容易分散化。
  • 前沿实验室在分发端存在结构性短板,这正是 OpenRouter 的护城河。 Claude 的第一个 checkpoint 在发布前1年就已完成;Claude 1 博客文章中的3个开发者案例——Discord 机器人、Anjney 妻子创办的 Juni Learning,以及 Notion——都是团队朋友。Anthropic 花了超过12个月才实现首个1000万美元收入;相比之下,OpenRouter 可以对 Black Forest Labs 说:“你发布当天,我们就能把100万名开发者带给你。”如今平台开发者已超过1000万;Mistral 的首次发布则只是一个 torrent 磁力链接,甚至没有 API。
  • 增长拐点与模型发布高度同步,而 OpenClaw 是最近一次阶跃式跃升。 Claude Sonnet 3.5 在2024年中实现编程能力跃升前,文本类应用一直占主导;此后模式不断重复:前沿模型发布,30天后用户收到令人震惊的账单,再过约3个月,开源权重模型提供更便宜的替代方案。2025年末,OpenClaw 带来了非开发者用户,以及一种心跳架构——“没人想为心跳支付太多钱”——推动自动路由器指数级起飞。OpenRouter 如今每天处理约10万亿个 Token,Token 量按周增长约9%。
  • Alex 的前瞻判断是,通用推理转售很可能会让位于离散任务。 推理网关天然容易成为欺诈目标,实验室和推理服务商推动客户“先做承诺,再把推理带到别处”的压力会很大。因此,企业可能转向离散智能任务、Datadog 式事件计价,以及自带推理,OpenRouter 可以支持这套模式。
  • Fusion 是一次有据可查的认知转向。 2024年初的“模型混合”原型曾被删除,因为融合结果有时不如最佳单模型——当时前沿领先者与其他模型的差距太大。到2026年,头部3到4个模型的能力更接近,同时仍存在明显差异;当每个模型都认为 Alex 的融合架构方案优于各自单独生成的结果时,OpenRouter 重新将其构建为 Fusion。
  • “聚焦”是两人的共同运营准则。 Alex 说,“即使在 AI 时代,聚焦仍被低估”。Anjney 给出的证明是:Anthropic 起步时“比 OpenAI 落后100亿美元”,但从第一天起,种子备忘录就明确要“负责任地商业化一名 AI 编程搭档”,排除炫目的图像和视频方向,最终在5年内成为“1万亿美元公司”。

精读

1. 发布-订阅产品与600美元 Alpaca 时刻

  • swyx 重新提及 Alex 在2023年初的判断:产品位于数据发布与订阅的交叉点,市场本质上是带 SKU 的发布-订阅系统;但“人类以非常离散、临时的方式消费”,智能体和推理消费者则“持续消费,而且一直在改变自己消费的 SKU”。因此,OpenRouter “介于普通 API 体验与市场之间”:模型 slug 和自动路由器,都是持续订阅的 SKU。
  • 创办 OpenRouter 的触发点是 Alpaca。2022年末,OpenAI “是唯一的选择”;Llama 在2023年1月发布后,虽然在1到2个基准上超过 GPT-3,但“实际上并不是一个有吸引力的模型”。随后,斯坦福团队花600美元用合成数据微调模型,Alex 在飞机上使用时,已经“无法分辨 ChatGPT 和 Alpaca 的结果”。结论是:“我们第一次拥有了一种全新的数据变现方式”——把数据压缩进模型,再把模型卖出去;这意味着一个即时出现、需要市场承接的生态。
  • 当时没有 LLM 的统一大本营;Hugging Face 最接近,但缺少闭源模型、当时可用的推理能力,以及“谁在使用什么、为什么使用”的数据,而“这些差异对我来说都极其关键”。

2. Discord 的审核拒绝让 Anjney 转向开源权重

  • Anjney 担任 Discord 平台副总裁时,负责2500万月活用户,并拥有早期 GPT-3.5 访问权限。他的用例几乎就是上下文内审核:把每个服务器自定义的社区规范喂给 LLM,而不是完全依赖一支5000多人组成的外包审核团队。但后训练安全护栏不断拒绝请求:Harry Potter 粉丝社区的审核因商标规则被拒;一篇侦探小说章节因为出现谋杀情节,在草稿中途被拦截。
  • Discord 曾向 OpenAI 索要模型权重,以确保大规模运行的可靠性,得到的回答是:“抱歉,各位,事情不是这么运作的。我们是一家闭源公司。” Anjney 由此意识到,企业“需要某种控制平面或管理系统,来编排这些开放模型”。大约6个月后 Llama 发布,再过6个月,他牵头完成了 Mistral 的 A 轮融资。听到 OpenRouter 上线时,他想到:“这两个世界会发生碰撞。”
  • Alex 从用户侧得出了同样的结论:当模型拒绝请求时,“我必须有选择,能够切换到另一个模型”;这种张力也推动他去做一个市场。

3. “大模型胜出”与“只是个封装层”——最终都站不住脚的质疑

  • 融资时最大的质疑是,scaling laws 加上网络效应会造就 Google 式垄断,OpenRouter “最终只能争夺残羹冷炙”。Alex 反驳称,LLM 不只是用户界面,更是构建全新业务的方式;因此,如果出现赢家通吃,其规模会是“荷兰东印度公司的10^15倍”,而且这种结果本身也不太可能,因为优秀竞争者“更容易以分散化方式构建”。
  • Anjney 完全颠倒了这一质疑:“在我看来,scaling laws 从来不是一个 bug,而一直是 OpenRouter 有价值的 feature。”作为 Anthropic 的早期投资人,同时也投资了 Mistral、Black Forest Labs 和 Luma,他已经看到了多模型生态正在形成。
  • 同行把 OpenRouter 说成“只是个市场……只是薄薄一层,只是个代理……只是个封装层”,让 Anjney 很恼火,最后的回应是:“我没时间和你争论。我们直接投资。”大约1个月后,Menlo Ventures 的 Matt Murphy 将其估值上调了10倍。swyx 则调侃道:“一切都是封装层,一直向下封装到底层裸金属。”

4. 实验室训练 checkpoint,随后却无人问津——缺口在分发

  • Anjney 在所投资实验室中反复看到同一模式:研究团队只关注能力,训练模型“有时要花数十亿美元”,随后“checkpoint 完成了,接下来却一片寂静”。Claude 的第一个 checkpoint 在发布前1年就已完成;Claude 1 博客文章中的3个开发者案例——Discord 机器人、Anjney 妻子创办的 Juni Learning,以及 Notion——全都是团队朋友。Anthropic 花了超过12个月才达到首个1000万美元收入。
  • 相比之下,Google DeepMind 可以在一夜之间“把新的 checkpoint 部署到10亿台设备”,而 OpenRouter 能对 BFL 说:“你发布当天,我们就能把100万名开发者带给你。”Alex 如今统计,平台开发者已超过1000万。Mistral 的首个 checkpoint 则以 torrent 权重形式发布——“他们只是放了一个磁力链接”,没有 API。
  • Alex 用一个营销比喻描述模型市场:这是“一间漆黑的大房间”,用户只能摸索着接触黑盒产品;“模型不是那种可以把所有功能列在网页上的产品”。因此,负责照亮这间房子的必须是一个中立第三方。

5. 加密货币是彩排,Discord 是培养皿

  • Axie Infinity 服务器让两人看到了社区飞轮:Alex 说,菲律宾约有10%的人在其中,数十亿美元的 NFT 交易额通过 Discord 流转,并来自 OpenSea 交易;“用户分享链接,是某件重要事情正在发生的非常清晰的信号”。
  • Anjney 在 Magic: The Gathering 时就认识的朋友、Midjourney 创始人 David Holz 证明了这个模型。独立网页应用的“留存率很差”,因为空白画布“会让从未使用过 AI 的人无所适从”;但在 Discord 服务器里,用户会互相复制 prompt,最终达到约1000万月活用户。从上线到1000万美元年化收入运行率,用时不到8个月。四选一图片选择器构成了反馈闭环——“这就是 RLHF 反馈环”。
  • Anjney 事后回看认为:“加密货币最终有点像生成式模型的一次彩排”;区别在于,从来没人需要追问 AI 的用例,因为“我能创造任何我能想象的东西”。Stable Diffusion 发布后,“其他人现在也能构建自己的 Midjourney”,但他们需要 API,而不是自行托管模型权重。OpenRouter 提供了由此产生的需求所需要的分发和基础设施。
  • Alex 解释 OpenRouter 为什么没有围绕 Discord 构建:LLM 需要代码库集成、治理和数据政策——“这些都远不止一个 Discord 服务器能够提供的东西”。

6. Window AI、来自 GitHub 的联合创始人,以及打动 Stripe 的 iframe

  • 在创办 OpenRouter 之前,Alex 用 Plasmo 构建了 Window AI,这是一个探索“AI 版 MetaMask”、自带模型模式的 Chrome 扩展——虽然“不是正确的产品形态”,但他由此认识到,这必须是一个带发现界面的 API:“我需要图表……我需要既能以人类身份探索,也能以智能体身份探索。”Plasmo 的创始人 Louis Vichy 后来开始贡献代码,并成为 OpenRouter 的联合创始人。
  • Anjney 反复讲述的一段人物侧写发生在一次 OpenSea–Discord 集成电话会上:7个人都同意把用户跳转到 OpenSea,只有 Alex——“那个不为 Discord 工作的人”,而且自己的公司本可从跳转中获益——提出反对,建议在 Discord 内嵌 iframe 收银台。“Alex 把用户体验放在第一位。我当时就觉得,这很特别。”
  • 他的结论也解释了这笔交易的逻辑:“没人应该惊讶于 Stripe 为什么决定必须收购 OpenRouter——同时理解机器学习社区、开发者体验和终端用户体验的人,非常罕见。”

7. Mixtral 的价格战,以及最初由人类充当路由器

  • 据 Alex 所知,Mixtral 8x7B 是“第一次有开源权重模型在严肃语境下被称为世界最佳模型”,其中当然也包含炒作成分。混乱的推理市场让服务商展开价格竞争,swyx 称价格下降了约80%;Alex 认为,这是“服务商市场第一次明确以创造开发者价值的方式运转”。
  • Anjney 回忆 NeurIPS 期间问 Guillaume 发布后感觉如何,得到的回答是:“按照他典型的法国式表达……这是一个还可以的模型,没那么好。”Guillaume 的判断是,MoE 的速度让人以为它击败了 GPT-4——“有时模型更快,你就会以为它更聪明”。
  • swyx 总结称,这标志着“人类充当路由器”的开始:先询问速度更快的模型,失败后再手动升级。swyx 说自己此前没这样想过,但这个解释确实成立;Alex 则将其连接到最终的自动路由。

8. 为什么 Arena 与 OpenRouter 必须是两家公司,以及为什么聚焦会胜出

  • Alex 的结构性答案是:“一家公司在获取数据并将其出售,另一家公司默认情况下却不能这样做。”除非组织主动选择加入,OpenRouter 无法看到 prompt 或 completion;而 Arena 的商业模式则围绕实验室展开。Anjney 曾担任 Arena 首任 CEO,任期5个月,同时帮助 Anastasios 和 Wei-Lin 将其在伯克利的项目分拆为 AI Reliability Institute。他补充说,两类客户的最高期待完全不同:一类是后训练研究员,另一类是正在上线应用的开发者。
  • Alex 的准则是:“即使在 AI 时代,聚焦仍被低估,而且至关重要。”这不仅关系到产品质量,也因为“世界知道你的聚焦方向是什么”,并会把问题映射到相应品牌。
  • Anjney 的证明案例是 Anthropic:公司起步时“比 OpenAI 落后100亿美元”,但从第一天起,种子备忘录就确定要“负责任地商业化一名 AI 编程搭档”,排除炫目的图像和视频模型,最终成为“5年内达到1万亿美元估值的公司”。swyx 反驳说,Claude Instant 和 Claude 2 的营销重点是文本和长上下文;对此的回应是,内部主要评测始终聚焦编程,包括长时程智能体编程。

9. 没有走的路,以及 Fusion 的复活

  • 一项未发布的原型是面向消费者的微调即服务:输入 YouTube 视频,得到一个说话方式像视频人物的模型,最初目标是“AI Steve Jobs”。swyx 认为,这“只是一个被过度包装的 RAG 机器人”,用户最终还是想找到源视频。至于把微调作为一种原生路由方式、将业务迁出 OpenAI,Alex 选择保持中立——与推理服务商合作,而不是与其竞争;Anjney 则认为 Alex “可能稍微早了一点”,因为这一细分市场如今正以极快速度增长。
  • 2024年初的 MoM(Mixture of Models,模型混合)融合原型最终删除了代码:“融合结果比最佳模型稍差,有时一样……因为最佳模型领先第二、第三名太多。”
  • 2026年的反转来自 Alex 的一个理论:强化学习“扩大了每个实验室内部的创造力表面”。头部3到4个模型的能力更加接近,同时仍存在明显差异,而且都能提出有意思的想法。在 Alex 的个人实验中,每个模型都认为融合架构方案优于自己单独生成的结果。“抽查一下:还不错。我们应该做基准测试。”这最终演变成 Fusion。

10. 从文本应用到 OpenClaw:把 AI 变迁拍成一部电影的排行榜

  • 增长拐点跟随模型发布:截至2024年5月,平台重点仍是文本类应用,DreamTavern 是头部应用之一,其创始人如今在 Cognition 负责产品,Cognition 是 Devin 背后的公司。随后 Claude Sonnet 3.5 在编程上“实现了惊人的跃升”,改变了基于 OpenRouter 构建的应用类型。反复出现的节奏是:使用量激增,用户30天后看到账单并惊呼“等等,发生了什么?”,约3个月后,开源权重模型提供更具成本效益的选择。“这种情况我们见过好几次。”
  • 2025年末出现 OpenClaw:它不是另一个 IDE,而是“一种让生产力用户或互联网创作者第一次接触 AI 的新产品形态”,采用心跳架构,持续 ping 所选模型确认其仍然在线——“没人想为心跳支付太多钱”。这让自动路由器“开始指数级起飞”。随后出现 Hermes,进一步强化技能和记忆管理。
  • 如今的规模约为每天10万亿个 Token,Token 量按周增长约9%。swyx 提到,Karpathy 不再阅读 r/LocalLLaMA,而是转去看 OpenRouter 排行榜;Alex 认为,排行榜的历史“有点像一部记录 AI 领域随时间如何变化的电影”。

11. Stripe:10万亿美元 Token 经济的新警长

  • Alex 列出的欺诈类型已经具备工业规模:被盗信用卡、违反服务条款的流量倒卖者、被黑和遭入侵的公司、侧信道推理转售、失控智能体——“我们上月拦截的美元交易额是前月的10倍”。他的结构性警告是:“如果你在做网关,或者销售通用推理,你就是欺诈目标。”这会推动生态转向离散任务定价——“Datadog 的定价页面很好地展示了未来”——以及自带推理,因为“实验室推动你先做承诺,再把推理带到别处的压力会非常大”。
  • Anjney 的宏观框架是:线上支付规模增长至超过1万亿美元后,需要新的欺诈基础设施;“未来5年,我们预计 Token 经济将达到约5万亿美元”,10年期 Token 流量则约为10万亿美元。他留下的深刻教训是:当 Midjourney 年化收入运行率还不到3亿美元时,其免费试用被中国的一名用户转售。“我不认为 Midjourney 此后真的再开启过免费试用。”
  • Stripe 的类比是刻意为之:Stripe 曾将欺诈成本视作获客成本,5年后推出 Radar;按 Anjney 的说法,“Stripe 如今本质上是一家安全公司”。下一轮威胁会被放大:“不只是坏人,还有所有将攻击 Token 流量的坏智能体。”实验室只能看到智能体失控的一小部分,因此生态需要能够观察跨实验室数据的“新警长”,否则“如果人们就是不信任 Token,我们可能永远走不到那一步”。
  • Alex 表示,交易完成后 OpenRouter 的品牌、产品和路线图都会保留;“大多数事情都会按我们独立时会做的方式推进,只是所有事情都会更快。”至于更长期的安排:“希望很快能对此发表评论,但现在还不能。”

核实说明

  • 逐字稿中 Anjney 对10年期判断存在相互矛盾的版本:开头片段说“如果达到10万亿美元,我会感到震惊”,后文讨论则说“如果达不到10万亿美元,我会感到震惊”。本摘要只报告这一数字,没有在两种表述之间作出选择。