开发者
1 场深度对话收录
Cam Quilici
观点集合
第002期——InferenceX 2.0发布（技术团队）| Cam Quilici、Bryan Shan、Doug O’Laughlin、Jordan Nanos
InferenceX 2.0 显示，GB200/GB300 在 DeepSeek 推理上较 H100 实现20至100倍单 GPU 吞吐优势，MI355 也在一个月内靠软件优化接近翻三倍。MTP 可将 B300 服务成本削减约80%，MI355 在 TCO 上领先 B200，但 AMD 的软件组合性、旧 GPU 集群和数据集缺口仍是扩展风险。
查看摘要（7段）
- InferenceX 2.0的头号结果是：在低交互性场景下，GB200/GB300单GPU的DeepSeek-R1吞吐量达到完全调优H100的20倍；在100 tokens/sec/user下则达到80–100倍，而H100基本无法提供这一速度。 关键机制在于NVLink域：DeepSeek的256个专家分散在“72块GPU组成的一台机器”上，而不是跨InfiniBand通信；Cam Quilici称这直接“碾压”其他方案（“frame mogs”）。Jordan Nanos强调，100 tok/s是实际生产需求——Cerebras上的Codex Spark等“快速”层级已经超过这一速度，而标准模型约为40 tok/s。
- 软件的复合增速不亚于硬件：AMD的MI355多节点DeepSeek方案，在约1个月的ROCm优化后，于20 tok/s交互性下，单GPU吞吐量大致从约1,000提升至约3,000 tokens/sec，接近翻了3倍。 Cam对现有基准测试的核心批评是“刷榜”——只截取某个时间点、Pareto前沿上的某个位置，每3到6个月提交一次结果，而且供应商可以撤下落败成绩。InferenceX每晚运行一次，结果“一旦上线，就不会被撤下”。
- 多token预测基本是“免费优化”：开启MTP后，B300通过Dynamo + TensorRT以68 tok/s/user提供DeepSeek服务，单百万tokens成本从25美分降至5.7美分——成本下降约80%，GSM-8K准确率没有损失。 DeepSeek普及了预训练MTP头，如今“基本人人都在用”，包括GLM-5和Qwen 3.5；它现在确实已经进入生产环境。
- 如果看TCO而不是原始吞吐量，MI355反超B200：两者在FP8 SGLang吞吐量上“实际上完全相当”，但MI355约50美分的价格差使其每百万tokens便宜约20美分——大约25%的优势，在“利润率本就很薄”时意义重大。 但AMD的问题在于软件可组合性：FP8单节点能与B200匹敌，FP4则明显更差，再叠加解耦和MTP后性能进一步恶化——说明单独有效的开关，组合起来未必有效。
- Doug O’Laughlin从经济学角度得出的结论是，推理利润率偏乐观：当前基准使用随机单轮数据，完全没有前缀缓存，因此“这已经是最差情况——接下来只会变得更好”。 随着MTP、多轮缓存等优化叠加，价格可能下降约50%；相较SemiAnalysis最初的tokenomics估算，他现在认为Max“可能没有你想象得那么不赚钱”。Jordan的制约因素是：前沿模型可能比DeepSeek更大，而且这些收益只适用于最新GPU，不适用于仍在承担推理任务的大量老旧GPU集群。
- 路线图包括：V3/V4覆盖Trainium和TPU，并计划为DeepSeek V4提供day-zero支持；团队目前正争取为Qwen 3.5、Minimax和Kimi 2.5提供day-zero支持。 他们还计划针对多模态智能体工作负载实现EPD（encoder-prefill-decode）解耦，并推出真实世界多轮前缀缓存基准。当前瓶颈是，公开可用的智能体/多模态数据集基本不存在——最好的现成数据是WildChat，但“已经3年历史了……都是让GPT当心理治疗师的人”——因此团队计划自行生成轨迹。
- 整个AI交易的尾声，是Cam给出的一个坦诚对冲：他承认自己“有过一个转瞬即逝的念头——如果模型就这样不再变强了怎么办？” 那又怎样？“那我们就完蛋了，老兄。”他的答案正是InferenceX本身所记录的主线：即便“模型不再变聪明”，它们仍在“变得更便宜、更快、性能更强”，因此扩散仍会继续扩大。Cam结合自己使用Codex 5.3的体验——“处理针对性问题更好”，而Opus 4.6“更适合泛化的整体感觉”——Doug也表示认同，认为这说明他们会根据证据更新判断。