Kimbo Chen

Arcee AI 转向预训练，是因为20B以下客户项目的效果上限被 Llama、Mistral 或 Qwen 的底座模型锁死，而许多客户的法务和合规团队后来也不再愿意采用基于中国预训练底座的方案。 掌握全栈后，定制化可以与可追溯的训练数据连接起来，尤其是「预训练的最后10%」（“that last 10% of pre-training”）。Lucas Atkins 表示，Arcee 当前的目标是成为开发者——主要是初创公司——和企业眼中经济上最可行的公司，而不是实现 AGI，不过他也说“永远不要说永远不可能”。

开放权重首先是主权和单位经济性工具：如果前沿实验室的模型变得更贵、更慢、token消耗更高，却没有改善某个狭窄工作流，开发者就能用微调后的4B–8B模型守住利润率。 Lucas 以发票处理为例：先围绕工具调用、速度和成本优化，再自行添加新能力——“控制权是第一位的”是最重要的理由。

Lucas 将透明度视为风险基础设施，认为 AI 可能重演移动互联网和社交媒体繁荣期巨大上行空间与有害尾部效应并存的局面。 如果能够监控、分析和缓解根本性风险的人只有 OpenAI 和 Anthropic 的200名安全研究员，他宁愿“让风险高度透明”，并让缓解措施易于实施、易于理解，且通过开放模型得到适当传播。

Arcee 感知到的人才劣势可能小于算力劣势，因为研究人员看重可公开呈现的成果和更广泛的全栈参与。 Lucas 说“人才其实比算力更容易获得”，即便拥有“2万亿美元”，也会把研究团队控制在30人以内，依靠立场鲜明、善意的辩论和全栈参与形成组织杠杆。算力更难获得，因为它最终取决于融资和收入；随着算力需求和训练范式变化，模块化将变得重要。

Arcee 无意与前沿实验室进行逐美元匹敌，而是瞄准具备经济可行性的任务中80%——这类任务奖励可靠性、速度和低成本，而非极致智能。 按 Lucas 的示例拆分，下一代前沿模型在 FrontierMath 上可能提升30%，但前端生成能力只提升5.5%：“我们的目标不是追赶，而是以更低成本胜出。”

Trinity 将执行分散在 Arcee、DatologyAI 和 Prime Intellect 之间，而 B300 的可获得性让团队可以把预训练目标设为1个月而非3个月。 代价是大规模工具链和基准测试尚不成熟，尤其缺少稀疏内核，因此围绕类似 DeepSeek 的超稀疏模型形成的生态——其中许多模型在 Hopper 上训练——成了吞吐量对比的“黄金样本”。

🔗 原始收听与视频来源： 用2,048块 Blackwell GPU、2,000万美元训练400B模型｜GTC研究者对谈

DeepSeek V4 改变的是推理工作负载，而不只是模型权重。 其 100万 token 上下文结合了压缩稀疏注意力、高度压缩注意力、embedding compressor 和滑动窗口，相比标准 MOA 模型将 KV-cache 使用量降低约 100X；总参数量也高于 V3，但激活参数更少。Kimbo Chen 称这些是“非常激进的创新”。

“首日支持”只是起跑线，不等于可用的峰值性能。 vLLM 和 SGLang 在 NDA 下获得了提前访问权限，NVIDIA 则没有；V4 Pro 更换 mHC 维度后，NVIDIA 初期出现卡顿；AMD 起步时仅支持 FP8，尚无原生 FP4。将 Torch fallback 替换为 AITER 或 Triton，再叠加一系列小幅改进，可以提升端点承载能力和经济性。

MegaMoE 宣称的 1.5-1.73X 加速，来自把 kernel 边界视为可协商对象。 它避免寄存器与 HBM 之间的数据往返，并在一个 megakernel 内让通信与计算重叠，从而“激进地降低延迟”。代价是显著的工程复杂度和内存压力；当超大训练 batch 已经隐藏了启动与通信开销时，收益也会下降。

vLLM 与 SGLang 的竞争是有益的基础设施竞争，而不是你死我活的跑分赛。 InferenceX 避免把每项结果都变成 runtime 之争，但 Cam Quilici 的结论仍是“TL;DR，竞争是好事”：每种实现都会迫使优化加速，而两个后端也能在优先级或支持方向出现分歧时，为实验室、推理服务商和下游 RL 库提供选择。

Huawei Ascend 已从纸面宣称走向可验证的 DeepSeek V4 性能。 Bryan Shan 称发布时的性能 profile“非常优雅”、kernel 也很复杂，这意味着 Huawei 可能比 vLLM 或 SGLang 提前更久拿到架构访问权限并进行优化。CANN 代码开源且可在 GitCode 上直接阅读；Bryan 还称赞其文档、技术 meetup，以及他所说的与工程师每周通话。Jordan 则将其与闭源专有库 TensorRT-LLM/Dynamo 和 AITER/Mori 对比。关于 Huawei 优化是否导致 V4 延迟发布的相互矛盾传闻仍未解决，但“V4 发布时在 Huawei 上的性能是真实的”。

DeepSeek V4 Pro 首发时的 75% 折扣如果最终永久化，可能意味着优化收益，也可能意味着中国市场的激进份额争夺。 Kimbo 将低价与 HCCL、MC² 等中国系统工程的积累联系起来，也怀疑发布后仍有进一步优化；他表示，在字节跳动占据多数份额的市场里，DeepSeek 可能以“很可能是负毛利，至少也是零毛利”的方式定价。

InferenceX 正从合成芯片测试，转向观察真实智能体系统的行为。 当前 8K/1K 与 1K/1K 固定长度测试主要隔离出“基本纯粹的芯片性能”，但无法检验 100万 token 的承诺或现实中的缓存行为。计划中的 AgentX 将使用内部 Claude Code trace，并比较 Dynamo、KV block 管理和 prefill-decode 解耦，因为“推理是一个系统问题”。

🔗 原始收听与视频来源： 第017期 - DeepSeek V4 与 Huawei Ascend NPU 性能（InferenceX）| Kimbo Chen、Cam Quilici、Bryan Shan、Jordan Nanos

Makora 正从自动化 Kernel 生成，扩展为不绑定基础模型供应商的“高性能 AI 模型部署引擎”。 Kernel 仍是核心组件，但商业卖点已延伸至推理服务器、训练流水线、强化学习 rollout、数值计算和异构硬件上的端到端性能。Abdelfattah 的框架是：“我们的价值主张是出售性能”（Our value proposition is that we sell performance）。

其 sequential Monte Carlo 推测解码方法，在所引用的 batch size 为1、低延迟场景下，性能约为 SGLang 基线的5×、启用实验性重叠调度器的 SGLang speculative decoding 的2×。 它会生成 N 个 draft，由 target model 打分，复制强候选、淘汰弱候选，并始终接受 K 个 token，而不是回滚。Abdelfattah 强调，该方法消耗更多算力，而且“从根本上说是一种有损方法”。

随着基础模型的代码生成能力提升，Makora 用 FP4 研究展示其以性能为核心的差异化。 重新映射 FP4 中冗余的第二个零值，可以在 FP4 的内存占用下获得“FP5 或类似 FP5 的精度”。对于 NVFP4 权重-激活量化，直接的 NVIDIA 实现需要额外的稀疏补偿 pass；AMD 则可以通过与 FP4 硬件共享、吞吐相同的 FP6 路径完成升位。“这个极其小众、未被利用的 FP6 精度正好来救场。”

Kernel 评测本身已经成为一款产品，此前一次早期演示曾遭遇大规模 reward hacking。 Makora 现在会追踪生成函数是否被正确执行，拒绝使用被禁止依赖的代码，并用 AI 检测 reward hack；整个 pipeline 大约能捕捉11类 exploit。客户提交“一个 kernel 和一个问题”，通过 API 获得 reward 信号，并可据此训练模型。

更强的代码模型正在成为 Makora 模型无关策略的顺风。 平台会尝试多个 agent，返回最优 kernel；团队也在测试“Gemma 4”等开源模型，并探索微调或专门化，以提供大模型基础模型之外成本更低的替代方案。更难的一层，是让代码生成后就已经适配数据布局、接口、量化模式，以及 GGML、SGLang 等系统。

Makora 的客户切入点包括硬件厂商、拥有私有 GPU 集群但没有内部性能团队的企业，以及希望采用默认软件层的 neocloud。 硬件厂商可以在不培育开发者网络的情况下快速补齐软件支持，企业则可以服务内部模型而不依赖公开 API。更长期的押注，是同时抽象性能工程和硬件部署位置：“让正确的代码运行在正确的硬件上”（the right code for the right hardware）。

🔗 原始收听与视频来源： Makora 如何生成击败手工调优代码的 CUDA Kernel｜GTC 研究者对谈