摘要

AI基础设施交易正从购买最大GPU转向从已部署算力中榨取更多工作量。 Palazza表示，客户通常只使用GPU 30%-40%的能力，而理论上可达到80%-100%；Tim援引一项调查称，到2026年，所需GPU数量可能增加“约”33%。“始终会需要更多算力”；效率提升会扩大有效供给，但不会终结需求增长。
企业AI真正的成本危机始于试点进入生产环境。 创新预算可以承受一次8张H100 GPU的实验，但面向45,000名用户上线后，企业突然开始担心这项能力“会让我们破产”。针对CentML宣称最高可节省60%的说法，Palazza称算力是初创公司的“最大单项成本”；随后一位未标注身份的发言者表示，算力削减60%可能让资金续航延长6个月。
更高效率很可能带来更多AI消费，而非降低总需求。 Tim的框架是，呼叫中心、软件开发或销售环节节省下来的成本，将为更多功能和自动化买单；Palazza认同，释放出来的资金、开发者时间和创造力会打开下一轮增长周期。“效率提升才能放大兴奋感，也才能放大创新。”
企业采用AI，既是模型问题，也是组织设计问题。 在大约5,000次AI/ML客户合作之后，Palazza认为最典型的反模式是一家金融机构的8位CIO各自开发情绪分析系统——没有任何协作，最终变成“一系列不同的雪花”。他更认可的方案是由最高层负责推动，再由贴近实际痛点的技术负责人提供支持。
CentML将自己定位为不绑定硬件和云厂商的AI工作负载平台。 CentML Serve、CentML Train和CentML Cluster覆盖推理服务、训练、集群编排、编译器、网络，以及跨云和本地基础设施的无服务器Llama端点。其运营承诺是让“合适的工作负载……在合适的时间”运行于A100、H100、L4、A10及其他GPU之上，无需针对每种配置重写模型。
开放权重模型似乎正接近企业所需的“够用”门槛。 Tim认为，Claude 3.5 Sonnet处理歧义的能力已经足以支持有用的零样本任务；更小的Llama模型则可通过更多提示、示例和目标限定变得可靠。Palazza表示，如今他的客户大多在评估开放权重模型。“眼前最好的机会……将来自那些开放权重模型。”
Agent被视为从惊艳聊天机器人走向可量化工作流自动化的桥梁。 Palazza预计，Agent将把生成式AI从“第一步或第二步”推进到第三至第五步，覆盖故障排查、工单解决、数据中心操作和医疗信息工作流。对投资者而言，基础设施抽象与Agent相互强化：更低的执行成本让更深层的自动化具备经济性。
CentML将超大规模云厂商和NVIDIA视为互补方，而非必然侵蚀利润的对手。 Palazza认为，更高效的工作负载会让云客户更满意，也让他们能够推出更多用例；NVIDIA则会受益于其技术栈获得更高采用率和利用率。其护城河主张建立在可移植性之上——在模型、AWS、GCP和本地系统之间保持“自由移动”——以及这家初创公司跟上架构快速变化的能力。

精读

1. 算力稀缺使利用率成为第一种扩容方式

CentML于2022年从多伦多大学孵化而出。当时科研经费有限，研究人员无法简单地选择“最大、最好的硬件”。Palazza的起点是一个由现实逼出来的原则：使用最有效的算力，再把这套纪律扩展成一个平台，让“合适的算力在合适的时间服务合适的工作负载”。
Tim援引一项调查称，到2026年，所需GPU数量将增加约33%。Palazza不认为需求会下降：云计算普及后，市场原本以为存储会被淘汰，但一位EMC高管告诉他，云和存储支出都在上升——“事情总会继续向前。这就是规律，对吧？”（Things just keep going. It’s the law, right?）
眼下最直接的机会在于盘活闲置容量。Palazza表示，企业通常只消耗一块可用GPU 30%-40%的能力；在继续购买稀缺硬件之前，先把利用率提升到80%-100%，是解决算力短缺的“第一步”。
他对市场时机的判断，是从追求最大规模向务实主义发生的“橡皮筋回弹”。当最大的基础设施无法使用或不具备经济性时，规模本身就会变成负担，客户不得不追问：如何把理论上的机器学习变成一个在财务和技术层面都经过优化的实用系统。

2. 企业AI要先找到负责人，平台化才有回报

根据过去10年中接近5,000次AI和ML客户合作的经验，Palazza回忆起一家大型金融机构，内部有8位CIO。每个团队都在独立开发情绪分析系统，彼此没有协作，留下一个个无人负责的模型；在本应共享的企业目标下，最终却成了“一系列不同的雪花”。
Tim提出了一个值得保留的反驳：类似Amazon“两张披萨”团队的组织模式，可以通过自治换取速度；而LLM让情绪分析等任务变得如此简单，重复使用可能并没有多少技术优势。但同样的自治也会造成基础设施和支出的重复，再次把组织拉回去中心化与集中化之间的摆动。
Palazza的解法是自上而下的文化负责、自下而上的落地执行。高管愿景让AI成为标准工作方式，并使其“渗透到业务的每个层面”；与此同时，解决眼前集成问题的资深ML工程师，也可能成为企业内部最有力的推动者。

3. 只有生产规模才能显现单位经济性

Palazza将创新预算与运营经济性分开。一位CTO可能愿意投入一笔固定金额，去探索生成式AI能做什么；但从“创新到生产再到规模化”的转变会消除这种预算弹性：一次8张H100 GPU的测试，在目标用户扩大到45,000人后，立刻变得令人警惕。
假设中的客户反应非常直接：试点成功了，但规模化部署可能“会让我们破产”。正是在这一刻，而不是最初的实验阶段，具有前瞻性的CTO才会开始把推理效率、模型部署位置和利用率视为业务约束，而不只是工程优化项。
Tim援引CentML网站上最高可节省60%的说法。Palazza提醒，“把统计数字放在网站上是危险的”，随后又表示，网站公布的数据相较客户实际结果仍偏低。Palazza称算力是初创公司的“最大单项成本”；随后一位未标注身份的发言者表示，算力减少60%可能让资金续航再延长6个月。
效率提升可能带来更多总算力消耗，而不是降低需求。Tim回忆Bain的估算——软件开发节省15%或30%、销售节省30%、呼叫中心节省25%，这些数字是他“凭印象说的”——并认为释放出来的预算会为更多功能买单。Palazza认同：节省下来的成本会解锁下一阶段的采用，而不是终结支出周期。

4. CentML把硬件选择变成工作负载层面的决策

产品栈从CentML Serve开始，用于配置、部署服务和估算模型在特定硬件上的表现，包括成本与效率。CentML Train负责训练；CentML Cluster增加集群、编译器和网络优化；底层平台还通过API提供针对Llama模型优化的无服务器端点。
CentML的抽象层可运行在主要云平台和本地基础设施之上，原本通常分配给A100或H100的工作负载，也可以转由L4、A10或其他类型的GPU承载。其Snowflake产品通过Snowpark Container Services运行，将这一模式延伸到传统云部署之外。
Tim描述的终点，是一个可自我修复、自我扩展、可暂停的算力集群，用户提交任务即可，无需指定NVIDIA H100。Tim指出，GPU还没有实现完全虚拟化；Palazza则表示，CentML通过按照延迟、性能、容量和成本要求调度工作负载，已经实现了实际上的核心收益。
他的比喻是开着法拉利去买菜：如果不考虑成本，所有人都会选择最快的机器，但这通常并不高效。如果一个工作负载有“16种不同的实现方式”，平台就应该在其中无缝选择，而不是让开发者针对每种GPU型号把模型重写“150次”。

5. 产品化替代超大规模工程团队

Palazza的职业经历横跨服兵役、4或5家初创公司的软件销售、被Apple收购的GraphLab，以及CentML之前在Algorithmia和Converge从事的早期MLOps工作。
一次向Salesforce推销产品的经历让他认识到专业化的边界：他们带着25名专职工程师前去提案，却听说Salesforce有380人在开发类似系统。顶尖企业会继续自建内部平台，但包括大型零售商在内的大多数公司，都无法组建如此规模或深度的团队。
可投资的缺口在于产品化：大型工程团队内部开发出的能力，可以被转化为拥有约12名工程师的公司也能使用的产品。Uber的Michelangelo展示了MLOps平台能够做到什么；Algorithmia和Converge等产品，则服务于需要同等结果、却没有Uber基础设施的组织。
界面设计是另一层抽象。Tim提到，产品正从聊天界面转向画布界面，并描述了自己用Cursor在约30秒内构建Interview Notes应用的过程：应用带有计时器和“Good Bit、Bad Bit、Reference”字段，还能生成供编辑使用的SRT字幕文件，把一闪而过的想法变成可运行的工具。
Palazza表示，企业仍需要在RAG、微调、嵌入式界面、独立前端和Agent之间做选择。决策变得更容易，采用速度就会加快；最终，Agent将负责采取行动，而不只是返回文本。

6. Agent让生成式AI突破聊天机器人上限

Palazza认为，软件故障排查是Agent化最自然的第一步：先诊断故障，再执行修复动作。同样的模式也可以用于处理故障工单和数据中心工作，让对话模型成为运营流程中的实际参与者。
他更谨慎地将这一机制延伸到医疗信息、医生和处方领域——在这些场景中，Agent可以沿着既定流程执行一系列逻辑步骤。本期节目并未声称这些应用已经完成，而是将其作为CentML探索或参与过的方向。
他强调的核心差别在于成熟度：许多企业部署仍停留在“第一步或第二步”，而Agent可能将其加速推进到“第三步、第四步、第五步”。他承认聊天机器人有价值，但“可实现的业务影响远不止聊天机器人”。

7. 开放权重模型正接近企业所需的“够用”

Palazza回顾了市场演进：企业最初期待训练自有LLM，随后迎来ChatGPT带来的“顿悟时刻”，如今越来越关注Llama。随着Llama在准确性和能力上逐渐接近闭源模型，他表示，企业讨论正主要转向开放权重模型，把它作为内部开发者可以继续扩展的基础。
他描述了一条渐进路径：先把Llama模型作为端点使用，再将推理迁入AWS、GCP或本地GPU，最终，一些公司会训练自己的大型语言模型。
Tim补充说，闭源模型的表现仍然重要：Claude 3.5 Sonnet处理歧义的能力已经跨过他的实用门槛，足以支持有用的零样本工作。更小的Llama模型可能需要更多提示工程、示例和更窄的目标范围，但更强的控制力可以支持路由、Agent、分层优化，并让更多运营环节留在组织内部。
Palazza坦诚地描述销售现实：“初创公司有时最糟糕的敌人是什么都不做，第二糟糕的敌人就是够用。”一家公司不应只是为了让法拉利每小时快1英里而存在；但尽管提出这一警告，他最终仍认为，开放权重模型如今拥有最强的机会。

8. 可移植性与架构迭代速度决定护城河

NVIDIA和Deloitte既是投资者，也是用户。Deloitte提供客户项目、行业优先级和创新实验室方面的可见性；NVIDIA则提供技术反馈，并会因优化提升其硬件技术栈的采用率和利用率而受益。
AWS、GCP或Azure是否会复刻这项能力，并没有让Palazza夜不能寐。CentML已通过AWS和GCP市场提供服务；他认为，超大规模云厂商更希望拥有高效且满意的客户，让客户把节省下来的成本投入新工作负载，而不是让客户把自己的平台与失控的支出联系在一起。
云和模型之间的可移植性仍不完善。Tim指出，跨云迁移往往需要修改代码，而输入token、输出token的模型也并不能真正做到热切换。CentML给出的答案是“自由移动”（freedom of movement）：切换Transformer模型、基础设施，或在AWS、GCP和本地系统之间迁移，都不应令人恐惧。
架构能否经久耐用，需要Palazza所说的“初创公司的灵魂”。Tim认为，状态空间模型、minLSTM，甚至RNN，都可能最快在次年挑战效率低下的Transformer；CentML的应对方式，是支持不断变化的区域模型偏好，并在市场演进过程中维持自身的“炼金术”。

2025年3月11日山寨币见底了吗？| 1000x