第035期—技术尽调、性能预测、供应链与投资论点(咨询)
摘要
SemiAnalysis Consulting 通过持续3–4周至1年的定制化项目,打通AI基础设施的技术语言与金融语言。 Abhilash Jain 将其称为“技术与金融的共同设计”:机构投资者可能需要对一笔10亿–20亿美元的芯片、云或数据中心投资开展尽调,而超大规模云厂商、AI实验室和半导体公司则需要产品路线图、选址或市场进入策略。
其中一个项目通过连接已部署芯片基数、推理与训练的算力分配、单GPU吞吐量以及每百万token的美元价格,建立了全球token供给模型。 最难的部分是模拟尚未发布的芯片和模型,包括潜在的10万亿、15万亿或20万亿参数系统;团队最终通过动态仪表盘暴露所有假设,让“每一个数字都会变化”,而不是把如此多的排列组合硬塞进静态Excel。
当客户暴露出可以标准化的未满足需求时,定制化项目就可能转化为可规模化的研究产品。 数据中心模型和云端AI总拥有成本研究都起源于咨询业务;推理模拟器则从内部研究走向1个客户、再到多个客户,如今正成为独立产品——客户实际上是在识别哪些问题值得标准化。
NeoCloud尽调越来越决定陌生运营商能否拿到融资,并扛住合同下行风险。 投资者会审查SLA、OEM保修、集群性能、资本开支和运营开支;Jordan强调,预期可用性为99.9%,而低于90%则可能触发服务抵扣或终止合同。Abhilash的直截了当结论是:“没有可靠的SLA,你就拿不到融资。就这么简单。”(“Without reliable SLAs you won’t get funding. That’s it, period.”)
SLA风险会叠加:运营商可能用5年期GPU合同对冲15–20年期数据中心租约,而一次电力、制冷、机架或软件故障,仍可能触发客户要求的全部补救措施。 对运营高效、只需支付按基点计价保费的运营商而言,保险可以吸收罚金;但“如果你的性能表现很差,连保险都拿不到”。
自建、购买还是合作,是由上市速度、算力溢价、技术能力和资本获取能力共同决定的条件性选择。 SemiAnalysis曾建议一名需要在6个月内获得100 MW算力的客户租赁容量;而对愿意等到2028–2029年的客户,给出的建议正好相反。
咨询团队正在把重复性的尽调转化为运营杠杆,同时扩大技术覆盖范围。 NeoCloud检查已经变成“肌肉记忆”:团队知道要索取哪些材料,并在第2、4、6、8天安排访谈;Abhilash开玩笑说,结论往往早已可以预测。Dylan要求Abhilash在6个月内再招20人,这可能意味着“我每天50%的时间都要用来招聘”。
精读
1. SemiAnalysis搭建资本与AI基础设施之间的桥梁
SemiAnalysis一直承接咨询业务,但在其newsletter、约13–14套机构模型和公开研究被证明对需要更深度参与的客户来说过于标准化后,组建了专门团队。每个项目都是定制化的,由专门团队负责,周期从3–4周到1年不等。
Abhilash将其概括为“技术与金融的共同设计”:教技术人员理解金融,让金融从业者掌握技术。私募股权和对冲基金客户需要对10亿–20亿美元的投资开展尽调,或寻找“下一轮大浪潮”;产业客户则需要产品路线图、数据中心选址和市场进入策略。
服务对象覆盖超大规模云厂商、AI实验室、芯片设计公司和半导体公司。反复出现的是带有因果关系、且时间跨度很长的问题:如果LLM沿着某一方向演进,“3、4或5年后我们应该考虑哪些产品?”
2. Token供给项目变成了交互式预测引擎
一家对冲基金要求SemiAnalysis根据已部署芯片基数估算全球token供给。公式串联了3个不确定变量:未来5年的加速器增长及训练与推理的分配比例、每个GPU的日吞吐量,以及由此得到的每百万token美元价格。
吞吐量最难估算,因为未来的硬件和模型尚不存在。团队为一系列问题搭建了模拟器,例如NVIDIA规格变化、内存削减,或OpenAI推出10万亿、15万亿或20万亿参数模型,可能会如何影响性能。
静态Excel无法容纳这些排列组合,因此交付成果变成了动态仪表盘。客户可以调整对AMD、TPU和NVIDIA的预期,修改输入输出比例、序列长度和上下文长度、数据类型,以及80%、85%或90%的缓存比例,然后观察“每一个数字”如何随之变化。
3. 咨询需求变成产品战略,最终变成产品
一家内存公司在不同模型—芯片组合上运行模拟trace,以决定开发哪些内存产品,重点测试带宽与容量之间的取舍如何影响生产环境推理。这项工作直接把工作负载预测转化为工程路线图。
一家半导体供应商面临约100个潜在买家,且每个客户都需要经历3–4个月的认证周期;SemiAnalysis将目标范围缩小到10–15个优先客户。团队依靠SemiAnalysis自身的网络,而不是专家机构,直接与20、30或40名市场参与者沟通技术要求、销售定位和客户旅程。
重复出现的问题形成了研究飞轮。数据中心模型最初就是咨询项目;Jordan明确表示,云端AI总拥有成本模型也确实起源于咨询业务。推理模拟器则从内部研究走向1个客户、再到多个客户,如今正成为独立产品。
4. NeoCloud尽调最终考验的是合同生存能力
一次典型尽调会把技术审查——SLA、OEM支持、保修、合同和集群基准测试——与资本开支、运营开支、利用率和生产力等商业指标对照起来。测试结果可以形成一份具体的180天改进计划,而不只是二元化的通过或不通过。
Jordan区分了服务交付条款与更广泛的合同终止权:延迟交付或停机可能导致服务抵扣或合同终止。客户可能要求99.9%的可用性;一旦低于90%,就意味着大约每10天有1天无法使用算力,但GPU费用仍要照付。
Abhilash认为,SLA最重要的恰恰是“坏时候”。运营商可能背负15–20年期数据中心租约,同时签有5年期GPU合同;一旦出现故障,就可能摧毁贷款方信心、触发罚金,并让运营商无法完成维持这些债务所需的第二笔交易或第三份租约。
Abhilash表示,有几家公司提供正常运行时间SLA保险,保费按基点计价;但性能表现差意味着连保险都拿不到。这类保险保护的是高效运营商,不能替代可靠性。
因此,风险评估会从合同审查延伸到物理就绪度和裸机测试:L3、L4和L5级调试,机架到位,电力与制冷集成,故障模拟,监控和恢复。无论根因来自电力、制冷、机架还是软件,单个根因都可能让运营商承担全部SLA抵扣责任。
5. 产能紧迫程度决定自建还是购买
托管机房、芯片和熟练劳动力仍然供不应求,因此拥有自己的集群并不总是现实的短期答案。SemiAnalysis会综合评估上市速度、客户为算力支付溢价的意愿、运营能力,以及客户能否独立为基础设施融资。
对比非常明确:一家需要在6个月内获得100 MW算力的公司被建议租赁,因为它无法足够快地完成建设;而愿意等到2028–2029年的客户,得到的则是“截然相反的建议”。
Abhilash认为,收购项目在智力上最有意思,因为这让他接触到LLM架构、kernel、GPU优化,以及快推理与慢推理。不过,他最喜欢的工作是不断迭代的尽调,因为它已经变成了“肌肉记忆”:材料请求和访谈在第2、4、6、8天依次排定。Abhilash说结论并非预先确定时,Jordan打趣道:“你会惊讶于它们有多么经常是预先确定的。”
团队现在覆盖的内容远多于6个月前,并计划再制作一期节目,讨论一路走来的经验教训。但眼下首先要解决的是扩张:Dylan要求Abhilash在6个月内招聘20人,让快速技术学习和招聘同时成为运营挑战。