为什么 AI 算力以“矩形”出售——Erik Bernhardsson，Modal

摘要

• Erik Bernhardsson 估算，按收入、用户数和使用量计，Modal 的规模至少是他上次做客 Latent Space 时的 50 倍。 目前收入约三分之二来自 Modal Functions（主要用于推理），三分之一来自团队曾考虑关停的 Sandboxes。Sandboxes 在快速做出原型后增长乏力，随后随着 LLM 从生成代码片段转向完整应用而迅速起量，应用场景包括 Lovable 等 vibe coding 公司、Ramp 的后台智能体，以及开展强化学习的 neo-labs。Vibhu 提到，Sandbox 收入月增 30%；Erik 形容增速“有点疯狂”，并称增长一直超出他的预期。
• 过去一年，GPU 采购市场剧变：Modal 从依赖超大规模云厂商的现货算力和一年期预订，转为与近 25 家云厂商合作，签下期限超过 3 年、且需支付可观预付款的协议，同时组建了 4 人采购团队和 10 人裸金属工程团队。 算力往往以“3 年期矩形”出售，交付从数月后开始，而实际需求却是突发、波动的。Modal 所主张的优势，是汇聚数千家客户的需求，再灵活切分算力。
• Bernhardsson 说，Modal 通过锁定长期预订，在某种程度上“实际上已经做多 GPU 价格”，但他更担心价格崩盘，而非进一步飙升。 硬件价格长期终究会下跌；当下的稀缺溢价大多流向 NVIDIA，部分流向新云厂商，而锁定供应的买家则可能“买在高点”。他正积极采购算力，但无意垄断市场：价格、利用率和转售市场可能同步下跌，正如他所举的 Hunt 兄弟白银市场案例。
• 他解释了新云厂商的增长模式：先向大买家预售 5 年的芯片，再拿合同去华尔街融资，之后才购买硬件——“预售自己还没买到的东西”。 他以 Endscale 为例，称这家公司几乎没有算力，却从籍籍无名发展到项目储备达数千亿美元。Modal 的产品驱动增长模式无法同样锁定长期合同。他很高兴初创公司在开发 GPU 价格指数和衍生品，但怀疑 GPU 会不会成为类似“Henry Hub……布伦特原油”的高度商品化、可交易资产。
• “2027 可能是非 NVIDIA 加速器之年”——他也承认，这个判断自己已经错了 5 到 10 年。 AMD 在部分任务上取得了不错成绩，TPU 在 Google 内部也运行良好。他认为更好的软件支持可能成为替代方案的突破口，同时指出 TSMC 和 ASML 可能才是更深层的瓶颈。混合式、解耦推理——用 NVIDIA 做 prefill、Cerebras 做 decode——已经有人在尝试。
• Sandboxes 的未来会更短暂：Modal 上 Sandbox 的使用时长中位数约为 8 秒，Bernhardsson设想其启动时间可缩短至约 100 毫秒，运行几条命令后立即停止并快照。 这将支持智能体分支运行，也能让每项 CI 测试都在独立 Sandbox 中执行。眼下的障碍是启动和停止带来的开销；如果降低这类“交易成本”，高度并行的工作负载就可能变得实用。
• 微调的价值主张正在转变：他说，Kimi K3、DeepSeek 4.1 和 GLM-5.3 等开源模型如今已几乎追上前沿模型，成本更低，而且通常无需微调。 他还认为，模型实验室之外的推理服务商有其结构性价值：新模型发布会改变需求，而 Modal 无需等人指示，就能在不同模型之间重新分配 GPU 算力。
• Modal 的员工规模按年化计算增长了约 4 倍，Bernhardsson 称这一速度不可持续，预计明年员工人数可能达到约 700 人。 FDE 从约 4 人增至约 24 人；他说 Modal 并没有大举组建产品管理团队。代码审查是可选项，公司则投入 CI 和测试，并用智能体探测自己的系统——“给智能体玩的密室逃脱”。他预计模型在结果可验证的领域会持续进步，而在人类目标模糊、反馈周期较长的领域，人类仍将在很长一段时间内保持竞争力。

精读

1. 从 Spotify 推荐系统到 Modal：“基础设施真他妈烂”

• Bernhardsson 2008 或 2009 年毕业后加入 Spotify，花了 7 年搭建其第一套音乐推荐系统，包括 Related Artists、Discover Weekly，以及“大量矩阵分解”。Modal 的起点，是他在开发 AI 应用时意识到“基础设施真他妈烂，肯定有更好的办法”；这正是他在 Spotify 工作期间一直想要的工具。
• 这条路先经过他开源的工作流编排器 Luigi，与 Airflow 属于同一类工具。2021 年，他重新思考工作流编排时意识到，“关键问题不只是编排算力，还包括执行算力”——这是更大的难题，于是把编排项目搁置。Modal 是他真正兴奋起来的第 3 个点子；此前一次网页抓取尝试无疾而终。
• 中途他在 Better.com 担任了 5 年 CTO，带领这家按揭贷款初创公司的技术团队从 2 人扩张到他印象中的“300 或 400 人”。他在那里学会了管理、招聘和提升开发者生产力，之后才回到基础设施、AI 和机器学习领域。疫情后利率迅速上升，给公司带来麻烦，但那时他已经离职。

2. 靠自筹资金起步、靠 shitpost 获客，Stable Diffusion 救场

• Modal 初期由他自掏腰包支撑，直到招来第一批员工；他很长时间没拿工资，“这让我对钱特别节俭”。2022 年初，公司完成种子轮融资。一位联合创始人约在 2021 年 8 月加入担任 CTO。增长主要靠创始人亲自做营销：“我擅长的，大概就是发 shitpost，长期泡在网上。”
• 真正的爆款应用不是 ChatGPT，而是 Stable Diffusion；它在当年秋天上线时，Modal 只有 4、5 名员工。收入从 2022 年 11 月约 100 美元/月，升至次月约 2,000 美元，再到 2023 年 1 月的 3 万美元，几乎全来自纽约一家 Stable Diffusion 公司 Mage。2023 年第一季度，Mage 占收入的 80%—90%；2023 年末 Suno 成为大客户，此后收入来源逐渐多元化。
• 他估算，自上次做客 Latent Space 以来，Modal 的收入、用户数和使用量“可能至少增长了 50 倍”。他提到的客户包括 Decagon、Suno、Runway 和 Co-Cognition。

3. Kubernetes 不是套壳能解决的：按 GPU 经济学重建技术栈

• 他的核心判断是，每个技术时代都会撞上旧工具的局限。Kubernetes 和 Docker 是为稳定运行、使用相对便宜 CPU 的后端负载打造的；生成式 AI 带来了昂贵的 GPU、利用率压力，以及需要通过网络加载的大模型。“要服务新一代软件，不能在旧东西上套一层壳。你得从头重新做一部分。”
• Modal 自建了文件系统和容器运行时，还搭建了 CPU、GPU 快照机制、自动扩缩容器、调度器和算力管理工具。针对开发者体验所做的工作，也证明对生产环境同样有用，因为快速扩缩容容器本来就是相似的问题。
• 早期一个影响深远的决定，是采用多区域架构，把算力视为“全球范围内的一个大池子”，而非每个区域单独设集群。Modal 经历过 bug 和宕机；Bernhardsson 说，最近基本达到 4 或 5 个 9 的可用性。

4. 算力市场变天：25 家云厂商、3 年期预付“矩形”

• 去年年底之前，Modal 的算力大多来自超大规模云厂商的现货资源或一年期预订。现货资源可能被收回，但汇集数百个区域的资源后仍然可用。Modal 最初用 AWS，后来也用 GCP 和 Azure；早期还向 Oracle 租过 A10 和 H100 算力。
• 过去一年，Modal 不得不与近 25 家云厂商合作。拿到算力往往意味着签下期限超过 3 年、且要支付可观预付款的协议。过去 6 到 9 个月里，公司组建了 4 人采购团队，专职打电话、谈交易和审查供应商；另有 10 人的工程团队负责管理全球裸金属算力，处理网络问题、坏硬盘，以及 GPU“从总线上掉下来”之类的故障。
• Modal 不拥有算力，而是租用，通常签 3 年期协议。要锁定 2027 年的算力，还得通过很多渠道继续投入工作。Bernhardsson 说，眼下预付算力款是现金的最佳用途；工资和办公室开销相比“基本只是四舍五入的误差”：“我们有 200 名员工……但 GPU 要贵得多。”

5. 租还是买：已经做多 GPU，更怕价格崩盘而非飙升

• 他并不教条地坚持购买。用股权融资买硬件，“稀释可能非常严重”；债务融资通常要求长期收入足以覆盖利息。拥有硬资产还会增加运营和财务复杂性。他更愿意专注于做一家精干的软件公司，但“所有选项都摆在桌面上”，包括合资公司和复杂的特殊目的实体（SPV）。
• 他不认同算力会永久短缺的说法：NVIDIA 每月交付数十万颗 Blackwell；“只要你愿意比别人付得更多”，就能拿到算力。他把这种恐慌性抢购比作疫情期间的厕纸短缺。价格可能再涨 6 个月，也可能再涨 36 个月，很难判断。
• 他更担心价格崩盘，而不是进一步上涨。价格下跌会伤到那些锁定大量供应的公司，风险就是“买在高点”。眼下的稀缺溢价大多流向 NVIDIA，部分流向新云厂商和其他算力所有者。长期来看，持有 GPU 可能确实有溢价，但他质疑把这些资产留在资产负债表上是否值得。

6. 别垄断市场：Hunt 兄弟、亚美尼亚，以及内部版 ClusterMAX

• 被问到为什么不尽可能多买算力、再转售多余部分时，Bernhardsson 警告，市场下行时“很多事情会一起相关”：价格和利用率下跌的同时，转售市场也可能消失。他积极采购算力、筹钱扩张，但想打造的是一家能存续 20、30 甚至 50 年的公司。他提到 Hunt 兄弟试图垄断白银市场，结果“惨败”。
• 他推测 NVIDIA 希望买家有所分散，而 Anthropic 和 OpenAI 往往更青睐成熟供应商，训练也需要大块算力。Modal 则可以争取规模较小、分散各地的资源：“你可以在亚美尼亚拿到 32 个节点，在印度尼西亚拿到 128 个节点。我们就喜欢这种活儿。”
• Modal 会用规格表审查供应商，考察 IOPS、CPU PassMark 分数、南北向带宽、出网和入网等指标。公司通常会在一个节点上跑验收测试，但即使是大额承诺，有时也得“稍微凭一点信念”。他还说，内部有一套类似 SemiAnalysis ClusterMAX 的机制，会按照可靠性、响应速度和支持水平给供应商打分。

7. 新云厂商的预售机器，以及把 GPU 当作资产类别

• 新云厂商可以先以优惠价格向大买家承诺 5 年的芯片，再拿着合同去华尔街融资，之后向 Supermicro、Dell 或 NVIDIA 等公司采购硬件。“本质上，你可以预售自己还没买到的东西。”他举例说，Endscale 几乎没有算力，却从籍籍无名发展到项目储备达数千亿美元。Modal 的产品驱动增长模式缺少锁定长期合同的能力，因此难以同样快速地从金融层面扩张。他认为 CoreWeave 等大型新云厂商很懂融资，也擅长把 GPU 抵押给贷款机构。
• 对于 Silicon Data、Compute Exchange 和 Ornn 等初创公司尝试建立价格指数、推出衍生品，他认为算力不像其他资产类别那么同质化，网络、地点、硬盘、CPU 和可靠性都各不相同。但他也说，“石油也可以这么讲”。他认为市场需要更好的风险对冲、风险分担和保险机制，但不确定 GPU 最终能否成为类似 Henry Hub 或布伦特原油那样高度商品化、可交易的资产。
• 被问到他曾发推称，希望处于 IPO 准备阶段、又卷入资本开支军备竞赛的公司能协调行动、放慢节奏时，他只回了一句：“不予置评。”

8. “2027 可能终于会是非 NVIDIA 加速器之年”

• 他承认自己的判断记录并不好：“过去 5 年，甚至可能 10 年里，我每年都在说‘明年就会是非 NVIDIA 加速器之年’，结果一直错。但我确实觉得，2027 可能终于会是。”AMD 在部分任务上取得了不错成绩；TPU 在 Google 内部被广泛使用，看起来运行良好。他说自己没怎么听到 Trainium 的消息，但其团队很优秀，也在做软件。
• 他认为软件可能成为突破口：“如果我们把这些加速器的软件层做好，市场对它们的需求会很大。”他也指出，TSMC 和 ASML 可能才是更深层的瓶颈。他预计替代方案会越来越多，同时强调 NVIDIA 是一家优秀公司，产品也非常出色。
• 他对混合式、解耦推理很感兴趣，例如用 NVIDIA 做 prefill、Cerebras 做 decode。有些工作负载受算力限制，另一些则受内存限制，因此可以混搭硬件，不过实际部署会变得复杂。他还提到了 Groq。

9. 两款产品：Functions 占三分之二，Sandboxes 曾差点被砍

• Modal Functions 于 2021 年推出，提供无服务器部署和扩缩容，由 Modal 负责管理算力。该产品在 2023 年达到产品市场契合度，如今贡献约三分之二收入，且主要来自推理业务。Bernhardsson 不想把 Modal 变成只卖固定规格、3 年期 GPU 合约的新云厂商；Modal 的产品旨在部署和扩缩周期性或突发性工作负载，并汇聚数千家客户的需求。
• Sandboxes 的起点是团队发现 LLM 正在生成代码，可能需要一个运行代码的环境。团队已经有容器管理和隔离等基础能力，包括 gVisor；一位联合创始人用一两天做出了原型。早期有一些用户，但截至 2023 年夏天，这项业务的收入仍微不足道。两年后，团队甚至讨论过要不要关掉它。
• 他说，2023 年 LLM 开始能生成完整应用，不再只是重构函数或写代码片段。增长来自 Lovable 等 vibe coding 公司、Ramp 等公司的后台智能体，以及用 Sandboxes 做强化学习的 neo-labs。如今 Sandboxes 约占收入的三分之一。
• Bernhardsson 说，他没预料到这款产品会长这么大。Vibhu 提到 Sandbox 收入每月增长 30% 时，他形容增速“有点疯狂”，还说自己总觉得增长已经见顶，结果它一直在涨。多产品布局一直是公司愿景的一部分；Modal 现在有 Functions 和 Sandboxes，训练与批处理产品也在筹备中。“我们做的是搭积木的生意。”

10. 短暂 Sandbox 的设想：中位数 8 秒、分叉一切、CI 跑 1,000 项测试

• 目前很多 Sandbox 用法仍是“原样搬迁”：把开发环境放到云端，让智能体操控。Bernhardsson 更理想的模式，是把长期运行的智能体做成持久工作流，需要时在约 100 毫秒内启动 Sandbox、运行几条命令，然后关掉并做快照。Modal 上 Sandbox 使用时长的中位数“差不多是 8 秒”。
• CI 是一个直观例子：与其按顺序安装、测试，不如每项测试都放进自己的 Sandbox，“尽可能把它们全部并行起来”，规模可能达到 1,000 个 Sandbox。如今光是环境准备就可能花上几分钟。如果只需准备一次环境、为容器做快照，再克隆出多个副本，并行化的收益就能真正实现。否则，卡点就是“交易成本”。
• 他看好分叉、快照、恢复运行和实时迁移等能力。Modal 除了 gVisor，还加入了虚拟机，以支持需要完整 Linux 兼容性的工作负载。他也提到，Anthropic 的托管智能体提供了一个由客户自选 Sandbox、并接入 Modal 的集成方案。在他看来，只要客户使用 Anthropic 推理，广泛的工具生态就能让 Anthropic 受益。

11. 训练市场中间地带供给不足，微调价值主张反转

• Bernhardsson 看好训练业务，尤其是研究人员反复迭代，以及规模较小和中型的工作负载，而非需要 100,000 张 GPU 的超大规模云厂商或新云厂商交易。应用包括文本转语音、语音转文本、推荐系统和计算生物学；有些客户用 64 张 GPU 训练规模相对有限的模型。“搭建训练集群非常难。”
• 批处理也是一块机会：有客户需要转录数百万个文件、总计 5,000 年的音频，Modal 有足够算力在几天内完成。他还看好随着语音到语音模型进步而出现的低延迟工作负载，以及为 AI 软件构建通用、可组合的基础模块。
• 他对微调的看法变了。几年前，微调较小的开源模型，可以用更低成本把效果拉近前沿模型。如今他认为，Kimi K3、DeepSeek 4.1 和 GLM-5.3 等模型已经几乎追上前沿模型，成本低得多，而且往往开箱即用。监督微调和强化学习等后训练需求仍在，但微调已是可选项，而非用户必须完成的一步。

12. Hugging Face 事件、用智能体做渗透测试，以及网络安全公司为何卖“恐惧”

• Hugging Face 漏洞利用事件中涉及的智能体运行在 Modal 上，并在部署于平台的一款应用中发现漏洞。按 Bernhardsson 的理解，它们利用该应用作为跳板，获得了完整的互联网访问权限。他强调，被黑的是一款运行在 Modal 上的应用，不是 Modal 本身。
• 一个教训是，Modal 能否在不损失产品“魔力”的前提下，把默认安全设置做得更严格。他将此与 AWS 提高 S3 存储桶被意外公开的门槛相提并论。Modal 也已开始在内部使用智能体寻找漏洞和沙箱逃逸问题。“这就像让智能体玩密室逃脱。”他们几个月前开始这么做，时间大致与 Vibhu 提到 Fable 的时候相近。
• 他认为智能体很擅长发现漏洞，也能用于防御。被问到网络安全公司是不是“完了”时，他说这超出自己的专业范围，也不急于下结论：安全厂商有企业客户关系，而且“你卖的很多东西本质上就是恐惧”。他印象中，Modal 过去大约每 6 个月请一次人工渗透测试人员，现在可能不那么需要了，但仍不确定。他看好个人和企业利用 AI 提高效率。

13. 智能体体验就是开发者体验：AEO、弃用，以及“内容喷射炮”

• 被问到智能体能读文档后，开发者体验是否还重要时，他说，几乎所有让开发者体验变好的东西，也能改善智能体体验：好的文档、描述清晰的错误信息和快速反馈循环。智能体让一些难用的工具更容易上手，处理 YAML 的人工负担也减轻了。他预计基础设施会变得更偏程序化，更多使用 SDK 和命令式操作，而非声明式 DSL。
• 智能体训练数据让弃用功能变得更难：智能体常用旧版 Modal 语法，因此团队在移除功能时更加谨慎，还得及时更新在线示例。
• Modal 会做内部基准测试，让智能体部署 Stable Diffusion，或按可靠性和价格给 Sandbox 供应商排序。智能体有时会误解定价，因此团队会努力把内容写得更清楚。被问到是否会大量生成装满 Modal 代码的 GitHub 仓库、影响智能体推荐时，他把这叫作“内容喷射炮”。他认为自动生成内容可能像早期 SEO 一样奏效，但不喜欢这种做法。

14. FDE、产品管理、IC 回潮，以及员工规模增长 4 倍

• Modal 的前线部署工程师（FDE）从年初约 4 人增至约 24 人。他们与客户一起调优性能，包括训练草稿模型、调整 DLM 和 SGLang 参数；协助客户绕过问题、指出 CPU 或内存配置过量，并支持迁移。但他们不是为了把 Modal 变成重服务型公司。一个关键目标是找出产品缺口：“长远看，怎样才能把它变成产品，这样就不需要 FDE 了？”
• Modal 并没有大举组建产品管理团队。Bernhardsson 说，基础设施领域的产品管理需要深入的战略思考，关注底层基础模块和一到两年的时间跨度，同时避免做出一堆相似但各不相同的功能。有人从开发者关系或工程岗位转入产品岗位。
• 他观察到公司正回到个人贡献者（IC）角色，这一趋势可能因生成式 AI 而加速。Modal 明确表示，管理者和 IC 之间没有地位差异；有前管理者重新开始写代码，Erik 和 Akshat 也仍在写。代码审查是可选的。他认为代码审查有时是为了逃避合并代码的责任，因此公司选择投资 CI、部署和测试。基础设施公司需要“再多一个 9”的可用性，依靠有韧性的系统、限流、解耦和充分的测试覆盖。他说，智能体已经很会写测试。
• 过去一年，员工规模按年化计算增长约 4 倍，他称这不可持续。他会留意文化是否走样、不同团队是否形成各自为政的工作方式，以及工程师是否开始做并非当前优先事项的探索性项目。Modal 到年底可能达到 250 人，次年约 700 人；大多数招聘会落在系统工程领域，也会加大 GPU 性能和研究投入，包括后训练、蒸馏和量化。他说，Dunbar 数背后的说法“可能比别的说法都更不靠谱”，但其背后的现象“确实有点真实”。

15. “矩形”算力的终局：灵活供给、Taylor Swift，以及什么没有见顶

• Bernhardsson 在推文中指出，GPU 短缺的问题不只是能不能拿到 GPU；算力是以 3 年期“矩形”出售，供给要到 3 到 6 个月后才开始，而大多数用户的需求却是突发、波动的。Modal 往往能按需提供 100 张 GPU，不必先跟销售人员聊一轮。Modal 的价值有两部分：开发者体验和灵活算力。通过汇聚数千家客户，公司能平滑需求，并快速增减算力。
• 他认为，模型实验室之外的推理服务商有结构性价值。新实验室发布模型后，需求会发生变化；Modal 可以随需求变化在不同模型间调配资源。他说，甚至不需要有人告诉 Modal 这么做，系统会自动处理。
• 被问到 LLM 是否会变成商品时，他说自己不确定：“Taylor Swift 是商品吗？”如果模型实验室持续发布新模型，且利润足以覆盖训练成本，它们仍然可能是好生意。
• 他不认为智能正在见顶，但模型能否胜任那些更难通过强化学习训练的任务，还有待观察。模型在编程、数学和网络安全等结果更容易验证的领域进步明显。面对目标模糊、反馈周期更长的任务，人类可能会在很长一段时间内保持竞争力。
• 他提到计算生物学和材料科学是有前景的领域：前者可以通过分子动力学模拟检验预测，后者可以测量材料性质。对于本地部署，他仍持怀疑态度：他是云计算的坚定支持者，认为 BYOC 和 VPC 对等互联反映的是一种过时的安全观——把网络视为护城河。他不知道 Modal 最终会不会做本地部署，但如果价格足够高，会考虑 BYOC；这也可能成为利用新云厂商算力、同时让 Modal 控制平面留在自身环境中的方式。