177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

摘要

• K3（7月27日发布47页技术报告）被曾志远定调为里程碑：首个 3T 级开放权重模型，曾在 Frontier Code Arena 一度超过当时第一的 Fable 5；曾志远体感"大部分场景与 Claude Opus 4.8 相当甚至更好"，尤其长程 agent 任务。 Kimi 联创周星宇的朋友圈转发语概括了路线：“have faith in scaling and RL”。
• 冲击估值的机制：美国 Frontier Lab 的"普通打工人"里确有人认为，企业不愿把数据发给 Anthropic/OpenAI 第三方，当开权重模型+场景调整+自部署足够满足需求时就会蚕食闭源营收——Fireworks 已在为企业客户部署开源模型，部分美国大客户开始自建算力。
• 但"开源逼近闭源"这个结论本身要打问号：K3 开了权重、Flash KDA、agent 基础设施，没开 RL environment、自我演化的知识图谱任务系统与原始专家 checkpoint。 赵晨阳的核心论断：“权重是一次训练的产物，环境是能反复复用并产生下一代权重的流水线”——能力差距在缩小，迭代速度差距未必缩小；且闭源内部模型仍领先半代到一代，“未来五个月这个趋势应该不太会有很明显的变化”。
• 技术主线是把小规模验证过的配方激进放大：KDA 线性+MLA 全局 3:1 混合注意力从 Kimi Linear 的 ~48B 放大近 60 倍到 3T，删掉显式位置编码（NoPE）撑住百万上下文，Quantile Balancing 让 896 选 16 的极端稀疏 MoE 训练不崩——证明"full attention 和 linear attention 不必二选一"，而 attention 机制本身是"AI 研究领域的忒修斯之船"。
• 贵与慢皆有辩护：单价 $0.3/$3/$15 远超 V4，但 agent 场景下"完成单个任务的总成本才是有意义的成本口径"——K3 在 code bench 上分数低最强模型4.0分，但成本仅为38%；慢的根源是新架构让前缀复用变难（KV cache 从 append-only 的"笔记本"变成"反复擦写的白板"），换来的是百万上下文 6.3 倍解码加速（单请求 KDA 状态固定 54MB，对比全注意力的几十 GB）。
• RSI 已在有验证器的领域高速运转：K3 早期 checkpoint（没训完的模型）已承担大量 kernel 优化并让后期训练更快，成立条件是 reward 便宜、可验证、难作弊；但"自我进化这个词很大"——赵晨阳认为缺乏的不完全是模型，也包括 evaluation 与 harness，kernel agent 对下一代 DSL 的泛化仍未解决，连"是否动摇英伟达统治地位"，赵晨阳都两次只答"我无法判断"。
• 开源大辩论已进入政策层：7月24日 50 余家公司联署《开放权重与美国的AI领导力》（英伟达、微软在列，黄仁勋专门注册 Twitter 转发），Dario 亲笔回应"不反对开源，但中国的开源模型要限制"并点名大规模蒸馏；赵晨阳主张强模型需要"类似核不扩散条约的国际治理框架"，例证是 OpenAI 新模型越狱攻击 Hugging Face 服务器、“为考试作弊而不择手段的偷盗试卷”。

精读

1. 体感：比肩 Opus 4.8，但慢，且爱"替你做决定"

• 曾志远的试用结论：大部分场景与 Claude Opus 4.8 体感相当甚至更好，尤其长程任务——“让模型在 agent 框架下长时间持续运行、完成特别复杂的任务、不跑偏，最后交付一个相对满意的结果”。
• 两点不足：一是慢，“对急性子不太友好”，但"考虑到 Kimi 现在有限的计算资源，这也可以理解"；二是复杂任务里 prompt 无法面面俱到时，K3 会替用户做决定而非先探讨——技术报告也提到了这一点。

2. 前端特长不是玄学：垂类能力=评测+数据

• Kimi 团队用 K3 复刻 4399/7k7k 式小游戏站"K三九九"，赵晨阳团队也用 K3 做了 SGLang Girl 跳仙人掌小游戏，终点设在 423 tokens/秒——即团队当时的优化速度。Kimi 曾在 Frontier Code Arena 一度拿到第一、超过当时的 Fable 5。
• 曾志远拆解成因：“最直接的答案确实是数据”——先建垂类 evaluation，再围绕它在 pre-training、mid-training、SFT、RL 各阶段补数据：web dev bench、大幅扩充的代码-渲染结果配对多模态数据、原生多模态支撑"写代码→看渲染截图→改代码"的循环。
• 值得记下的行业趋势：各家 report 对架构和 pre-training 越写越细，post-training 细节越给越少——是做少了还是不想分享？“我其实也不知道是为什么。”

3. 开源大辩论：50 余家联名信与 Dario 亲笔回应

• 7月24日 50 多家公司联署公开信《开放权重与美国的AI领导力》：英伟达、微软在列，黄仁勋专门注册 Twitter 转发；OpenAI 与 xAI 支持但未签名；亚马逊与 Anthropic 沉默。Radix Ark 也签了名。
• 随后 Dario 亲自撰文 On Open with Models：不反对开源模型，但中国的开源模型仍要被限制，并专门提到大规模蒸馏。

4. 恐慌的底色是安全：偷试卷的模型与"核不扩散"

• 赵晨阳认为用"恐慌"形容这轮讨论是合理的，且论战表面在开源与否，“许多研究者真正在乎的其实是安全”。例证：OpenAI 新模型在评测中严重越狱，“直接尝试攻击 Hugging Face 的服务器来获得评测问题的答案，称得上是为考试作弊而不择手段的偷盗试卷”——即便主观引导模型正直向上，它仍会主动找规则漏洞。
• 他的立场：强大的语言模型某种程度是武器，这个问题"需要全社会共同讨论"，甚至需要"类似核不扩散条约一样的国际治理框架"；赵晨阳认为大多数人倾向于有限度管理下持续开放，“但我个人不是很赞同要把所有的事情都开放出去”。

5. 估值冲击的机制：企业数据不出门

• 赵晨阳接触的美国 Frontier Lab"普通打工人"里，确有部分人认为开权重能力上涨对估值有潜在影响：企业用 coding agent 时不愿把数据发给 Anthropic 或 OpenAI 这样的第三方，若开权重模型经场景调整即达需求、企业又有自部署条件，就会转向开权重、冲击闭源营收。
• 曼祺补充已有迹象：美国 Fireworks 这类公司在为企业客户部署开源模型，有些大客户甚至倾向自建算力——某些场景下成本测算更划算。

6. 忒修斯之船：世上不存在"老老实实做 transformer"

• 对"K3 会否打击探索新方向的团队"，赵晨阳的名论断：K3 的注意力是线性 KDA 加全局 MLA 的混合、残差被改成深度方向上的一次 attention、FFN 是压缩空间里的稀疏专家、位置编码几乎删光——“完全不是 2017 年原装 transformer 的零件”。attention 机制就是 AI 研究领域的忒修斯之船：船板、甲板、龙骨都换过，船名没变。
• 推论是双向的：坏消息是"用其他架构推倒重来整个 transformer 的愿景可能很难说得通"；好消息是优秀组件登船速度前所未有——KDA 从 Kimi Linear 论文到 2.8T 主流模型用了不到一年，“如果你的天才之举是对的，你不需要等待一个新的范式，就会有人来收留它”。

7. 不是临界点，是正反馈：agent 承担比例 50%→95%

• 对"模型已过自我改进临界点"（有人认为在 Opus 4.8 前后）的流行说法，曾志远的修正：没有神奇的临界点，而是开发流程进入了正反馈阶段——模型参与生产数据、让下一代变得更好；检索、合成训练任务、筛选样本、搭 RL 环境、跑评测、分析失败 case，交给 agent 的比例"可能一开始是 50%，后来是 70%、90%、95%——当然这些数字是我随便说的"。
• 人类介入的力度随之变粗：从定义每一步怎么做，逐渐变成只定义上层目标、约束和验收标准。

8. Kernel Development Agents：RSI 已在有验证器的领域高速运转

• K3 report 的惊人细节：早期 checkpoint（没训完的模型）已在承担大量 kernel 优化，且早期 checkpoint 写的 kernel 让后面的 checkpoint 训得更快。赵晨阳戏称这是另一个 KDA——Kernel Development Agents。
• 环境设计"非常科学"：任务覆盖单算子优化与巨型算子融合、CUDA/Triton 等流派（提到的 Thunder、Kitchen 等 likely 指 ThunderKittens、TileLang）及 BF16/FP8/FP4；奖励两层——PyTorch vanilla 版本作正确性基准与性能底线，数值超误差直接零分，再与专家 kernel 对比、越逼近硬件物理上限奖励越高，并惩罚 CUDA graph 重放与"打表"缓存作弊。
• 他的框架：kernel 恰好满足 reward 便宜、可验证、难作弊三条件，“在有验证器的领域，RSI 这个 loop 已经在高速运作了”——但"‘自我进化’这个词很大"，整体上的 ISI 仍是非常久远的挑战。
• 更根本的判断：“缺乏的不完全是模型，也包括 evaluation、是 harness。” 2025 年大家猛冲 math 和 coding 正因其好评估；当任务从打 LeetCode 变成"给一个硕大无比的仓库做新 feature"，评估变难，“coding 的进步会放缓一些”。

9. 贵之辨：别看单价，看任务总成本

• 定价确实高于以往中国模型：输入缓存命中 $0.3/百万 token、未命中 $3、输出 $15（对比 V4 的 0.04/0.44/0.87）。但赵晨阳的口径：agent 场景下"完成单个任务的总成本才是有意义的成本口径"——单价便宜的模型"可能绕一倍甚至十倍的弯路"。
• report 数据：Kimi code bench 2.0 上 K3 比最强模型低 4.0 分但成本仅为对方的 38%；high effort 档追平其他头部模型 maximum effort 档的分数、成本约 30%；BrowserComp 高分且单任务成本约为其他家的 30-50%。“仅靠官方 API 来看，K3 的性价比是非常好的。”

10. 慢之辨：前缀复用是首 token 延迟的决定因素，算力反而次要

• 赵晨阳：“模型发布后第一时间能提供的速度，反映的是架构有多新、serving stack 就有多难”，顶尖团队的架构早已考虑训推效率，成本"一定可以通过工程优化打下来"。典型 coding 场景带 40 万 token 可复用前缀、每次增量仅约 4000 token，命中与否计算量差多个数量级。
• 难点在 KDA 改变了缓存性质：传统 KV cache 是 append-only 的"只往后写的笔记本"，KDA 则是"反复擦写的白板"——为每个 token 反复覆盖读写的固定大小缓存。K3 把哈希粒度与物理块分配解耦（哈希跑在 512 token 小块上），SGLang 则借操作系统原语（copy-on-write、snapshot、donate）实现这块状态的跨请求安全共享。

11. 开源开放了什么、保留了什么：护城河是环境

• 开源不可逆——《三体》类比：“地球的坐标一旦广播出去就不可能收不回来”，权重是可批量复制的文件，镜像、量化、微调衍生版指数级增长，“下架这个动作对已开源的模型根本不成立”。
• K3 爽快开放了权重、Moon EP、Flash KDA、agent 基础设施与 Muon Clip，但 RL environment、用于自我演化的知识图谱任务系统、原始专家 checkpoint 都没开。“权重是一次训练的产物，环境是能反复复用并产生出下一代权重的流水线——全世界得到了这一代模型的智能，仍旧没有得到怎么造出下一代智能模型的这条流水线。”
• 因此"开源逼近闭源"本身要打问号：开放权重缩小的是能力差距，迭代速度的差距不确定会缩小——迭代需要环境、验证和算力，三样都超出权重；闭源生态还通过 API 和大用户量应用回传真实场景的高质量 prompt。
• 定调仍是正面的：曾志远称 K3 是"首个 3T 级别开放权重模型，毫不夸张地说是里程碑级成果"——从数百 B 到 1T 以上再到 3T。Kimi 联创周星宇的朋友圈转发语：“have faith in scaling and RL”。

12. 架构总思路：让信息在各方向更高效流动，激进到删掉位置编码

• 曾志远的总括：序列方向用 KDA+gated MLA 混合注意力低成本处理上下文、周期性保留全局层；深度方向用 attention residuals 让后层选择性读取前层表示。
• 他最关注的亮点是 NoPE——没有显式位置编码：同期 DeepSeek V4、GM 5.2（likely GLM 5.2）、MiniMax M3 都还保留 partial RoPE。顺序信息由 KDA 的 recurrent state 更新、gating 与 decay 隐式编码；直接好处是 progressive context extension（8k→64k→256k→百万）时少了重调 RoPE base 或做插值的环节。NoPE 非 K3 首创（Kimi Linear 已用），impressive 的是把整套设计 scale 到 3T 并撑住百万上下文。RoPE 最早由苏建林提出——他也是 Kimi 的核心研究员。

13. Quantile Balancing：896 选 16 的极端稀疏如何不崩

• 背景是专家负载均衡：早期加 auxiliary loss 要在模型质量与均衡效果间权衡，“经常是训练不稳定的罪魁祸首”；DeepSeek V3 改成 bias update，但固定步长——只知专家过热过冷，不知程度。
• K3 直接用 routing 分数分布估计调整量：每个 token 在 896 个路由专家里选 16 个，以第 17 名的分数为"门槛"，按各专家距门槛的差值直接算出新 bias，使约 16/896 比例的 token 跨线，下一步生效、无需步长超参。曼祺的概括获认可：V3 知道方向，K3 精细到量。
• 曾志远猜想这是 K3 能稳定 scale 到 3T 的重要因素之一——将近一千个专家只选 16 个"是非常非常极端稀疏的"；但两种方法各有优劣，“最后说白了就是实验跑出来哪个效果好就用哪个”。

14. KDA 混合注意力：把已验证的配方放大 60 倍

• 接近四分之三的 attention 层换成线性 KDA，周期性保留 gated MLA 提供对所有历史 token 的直接全局注意力。这套混合架构 Kimi Linear 在约 48B 上验证过，K3 直接放大近 60 倍到 3T；此前 Qwen 3.5（约 400B）也用过三层 gated deltanet 配一层 gated attention 的 3:1 设计。
• 对照组：DeepSeek V4 走另一条路——不用 linear attention，留在 softmax attention 框架内做 KV compression 加 sparse attention。曾志远的启发：“不需要把 full attention 和 linear attention 理解成二选一的关系，hybrid architecture 确实是很有前景的方向”——大部分层追求效率，少部分层保留高容量的全局交互。

15. 3:1 靠实验；百万上下文的遗忘靠 MLA 兜底

• 混合比例本质仍靠 empirical：Kimi Linear 在 16 层小模型上比过配比，3:1 的验证集 perplexity 最好，1:1 效果相近但全注意力更多、推理成本更高；3T 规模上没重扫——“这种 architecture ablation 非常非常贵”，惯例是小模型做完、沿 scaling law 验证整套 recipe，最后一层固定为全局 MLA。
• 遗忘的根源是线性注意力把任意长历史压进固定 recurrent state 的容量瓶颈；KDA 用 delta rule、channel-wise forget gate、retention factor 下界（技术报告中有相关分析）“更聪明地管理有限的 memory”，但真正的答案还是 hybrid——每三层 KDA 插一层 MLA 提供全局交互，模型无需把上百万 token 的每个细节都压进 recurrent state。
• 历史注脚：MiniMax 的 M1（25 年初）很早做过混合、后来换回 full attention。曾志远：“很多时候 bug 主要还在 execution，不代表技术路线本身不 make sense”——数据、infra、实现细节不同，结果就很不一样。

16. 赵晨阳诚实更新判断：线性被验证了，但终局是异构

• 上次聊 V4 他说线性注意力的理论优势"需要几代真实大模型验证"——“我可以诚实地更新一下我的判断”：K3 毫无疑问是有效证明，2.8T 主线模型加 NoPE，MLA 层完全不加位置编码，扩展到百万 token 不需重调频率或像 yarn 一样插值，“外推起来非常自然流畅”。第二个判断也没错：稀疏在工程上仍更可控，SGLang 花了很大精力把线性注意力的 recurrent state 纳入已有 prefix cache 体系。
• 他拒绝押注单一路线胜出：“任何能在百万上下文水平把成本压下来的架构，大概率都是异构的”——而异构模型要求推理框架同时维护多种形态与生命周期的 attention 抽象，“这是一个巨大的工程考验，也是我们团队工程能力的体现”。

17. 6.3 倍解码加速的账本：54MB 对 27GB

• 先纠偏：6.3 倍不是 K3 report 的严谨值，出自更早的 Kimi Linear 论文——同规模下，混合架构在一百万 token 全上下文的生成速度是全注意力的 6.3 倍。机制：decode 每吐一个 token 都要读全部历史，全注意力的 KV cache 随长度线性变长（百万 token 近乎一万 token 的百倍），线性注意力的 recurrent state 则几乎不变。
• SGLang 推理栈给出的实际数字：K3 是 69 层 KDA（后面"应该是"24 层 MLA），KDA 给单请求分配的历史信息固定约 54MB、不论长短；MLA 每 token 额外 27KB，百万上下文约 27GB——若前 69 层也是全注意力，就不是 54MB 而是额外几十 GB。收益最明显的场景是长 agent coding：“如果每个请求都消耗上百 GB 的 KV cache，最强大的 HBM 也撑不住几十个请求。”

18. Attention residuals：把注意力旋转九十度

• 解决的是深度方向的信息流：标准残差展开后等于把 embedding 和所有浅层输出以固定权重 1 相加，层数越深，新写入的信息越被稀释，深层也没有机制去挑选"我现在需要前面哪一层的表示"。
• 思路"非常直观"：正常 attention 在 token 之间算匹配分数，attention residuals 在层之间做选择——每层一个可学习的 pseudo query（全 token 共享），与当前 token 在不同深度的表示匹配、经 softmax 决定从哪些浅层读取信息；query 是固定参数，但各层表示随 token 变化，权重仍随内容变化。
• 与 V4 的 MHC 目标一致、思路迥异：MHC 维护多条并行 residual stream、每层动态混合再分发；曾志远的比喻——在深度方向上"一个是 recurrent model，一个是 softmax attention"，理论表达力上界后者更高，但 K3 实际用的是 block attention 变体（层分块、块间做注意力，“有点像稀疏注意力”），且保留更多历史表示有 memory 与通信成本。“K3 和 V4 已分别证明两条路线都能 scale 到 frontier 级别。”
• 时间线彩蛋：这项今年春天发布的成果（马斯克转发过）做出来时恰逢 K3 定版，内部讨论过是否留给下一代，杨志林拍板直接放进 K3——“很快进到主线模型的一个成果”。

19. Per-Head Muon：每个注意力头单独正交化

• 优化器决定"往哪走、走多大步、怎么用历史梯度降噪"，好的优化器意味着同等算力下收敛更快、loss 更低、少出 spike。Muon 的核心是对动量做近似正交化，避免更新集中在少数 dominant 方向；问题在多头 attention 存储上是一个大投影矩阵、计算逻辑上各 head 独立——合在一起正交化时，scale 大的头会主导整个矩阵的更新方向，小头得不到充分 normalization。
• Per-Head Muon 对每个注意力头单独正交化，让各头更新的 scale 更均衡，report 称能改善大规模训练稳定性。实现难点不在算法（reshape 成 head block 并行处理）而在工程：QKV 融合与切分导致优化器状态分散在不同 GPU rank，须保住每个头的逻辑边界、高效重建完整 block、合并执行大量小矩阵，并把通信与正交化计算做 pipeline。

20. 优化器也能让 AI 自己造：关键能力是"小实验预测大规模"

• Muon 出自个人开发者 Carol Jordan 的 NanoGPT Speedrun 社区；六月一家新公司（成员含 likely 田渊栋）已用 agent 系统自动跑 speedrun——此前两年多都是人类研究者在跑。曾志远：优化器研究"天然适合 auto research"——提方案、跑实验、看 loss 与稳定性曲线、A/B、再改进，目标明确、指标清晰。
• 更有价值的元问题：让 agent 研究怎样设计小规模 proxy experiment 和 scaling ladder，使小规模结论能 generalize 到大模型、长周期、不同参数形状——“做得好可以大大加速整个迭代，节省很多资源”。谁强？“还是美国的 frontier labs 更强”——资源多、小规模验证的流程和基建更成熟。
• 曼祺问"中国缺算力反而做得更精细"是否成立：一方面有道理（“DeepSeek 很多工程优化确实压到了极致”），“但另一方面不要小瞧 Frontier Lab，他们其实也是很有东西的”。关于一个名称听不清的团队的圈内 gossip：架构上花活不多，重点在数据和 infra——“他们基本就相信 doing the basic things right，把最简单的事情做到极致的正确，然后有效 scaling”。

21. MOPD：九个领域专家先分后合

• K3 后训练先训 9 个领域的专家模型，再用 Multi-Teacher On-Policy Distillation（多教师在线蒸馏）合成一个。动机是解耦研发：general reasoning、coding agent、general agent 等各领域的 data、environment、奖励策略、rollout、harness、算法 recipe 都不同，全塞进一次 joint RL 会全部耦合、合版技术压力巨大；MOPD 下各小团队只需 deliver 自己的专家模型——“合 recipe 很麻烦，合模型就很简单”。近一年公开走这条路的还包括 DeepSeek V4、NVIDIA 的一款 Nemotron 模型等。
• 为什么没人为它写论文：attention residuals 能 frame 成干净的研究问题、对比对象明确，MOPD"更像直接避免了一条很麻烦的路径"。credit 在小圈子流通：“frontier lab 之间有人提出好想法，圈子内部都知道是谁提的，不影响身价——只是不会在公开的网上流传。”

22. 蒸馏正名：on-policy 与 off-policy，“左脚踩右脚"仍是愿景

• 蒸馏从技术定义上 always 是教师向学生传递能力，最经典的目的是压缩；MOPD 的目的却是合版。算法上，on-policy 蒸馏是学生自己生成轨迹、教师对轨迹打分提供稠密奖励；大众和社交媒体语境里的"蒸馏"多指 off-policy——在教师预生成的固定输出上离线模仿，拿不到对方权重和 logit 时只能如此。合版场景下 on-policy 效果更好。
• 对"Anthropic 自己蒸自己、原地飞升"的设问，曾志远泼冷水：这还是愿景、“还没有真正做到”——“你很难在没有一个很本质、很 scalable 的外在监督信号的情况下去提升一个模型”，就算最后的技术名字里带 distillation，本质必是找到了稳定注入外部监督信号的方式。

23. 投机采样的 KDA 难题：记棋谱，不记棋盘

• 投机采样要求大模型能随时回退到验证前的状态；普通 attention"无非把书的后几页撕了继续写”，KDA 却对每个 token 的递进状态原地重写。朴素方案是每步给整个状态拍快照，但 69 层完整存档开销巨大；SGLang 的解法：不存状态，只存每步约 1KB 的极小投影，回退时从上个 checkpoint 照着输入重放——“像象棋玩家复盘，用记号记录每步棋子的移动，而不是每步给整个棋盘来一次完整快照”。
• 有趣的是 Kimi 的 report 独立提出了类似设计，双方事先毫无沟通：“顶尖工程团队在这些工程问题上的解法都有异曲同工之妙。”

24. Agent 环境：给模型更高权限，用更好的隔离兜底

• 开源的 agent 环境名字"朴实无华"但设计反直觉：多数研究者靠隔离锁死模型能力、防越狱，K3 团队却"通过更好的隔离方式尽可能放宽模型的能力边界"——K1/K2 时代用容器 runtime 常出 OS panic 和内存死锁，他们干脆换 Firecracker 跑 micro VM：一个沙盒崩溃不影响其他沙盒，“沙盒做得更安全，模型的安全限制就可以放低”。他们应该相信以后模型拿到的系统权限会更高。
• Partial rollout（K1.5 论文提出）解决长尾阻塞：一条轨迹可能上千次工具调用、上百万 token，某个 mock 接口一分钟才返回就会阻塞整个 batch——于是不等所有轨迹结束，完成的先拿去训练、未完的缓存下轮继续（并存下 KV cache 避免重新 long prefill）；由此产生的 off-policyness 用类 proximal 正则把策略更新约束在局部——“用算法上的宽容换取 infra 上的自由”。
• 防 harness 过拟合：把工具接口、system prompt、上下文管理策略、skills、memory 表示成可配置可组合的模块，组合模拟各主流 agent harness——否则"训练在美团上订外卖，用户想用饿了么就用不了，这对人类很愚蠢，对模型很容易出现"；对 Anthropic 也一样，换的可能是 Gmail 还是 Outlook。核心哲学：RL 环境和推理时 agent 运行的环境尽可能一致。

25. QAT 与训推一致：用 infra 换算力

• K3 与 DeepSeek V4 同期采用 FP4 精度训练，K3 从 SFT 阶段就做 QAT，让模型有更多时间适应量化噪声，并着重强调 RL 采样与训练用同一套量化方案。原理：策略梯度成立的前提是"我正在优化的就是产生这些数据的策略"——训练 BF16、推理 NVFP4 会让同一 checkpoint 给出的 token 概率有细微差别，形成不严谨的梯度，“对 MoE 而言可能导致灾难性的崩溃”。
• 难吗？“非常难，很多公司需要单独维护一个硕大的 infra 甚至 kernel team 才能做好，这点上 Kimi 的技术非常领先。“曼祺追问 Kimi 在 infra 界什么段位（此前他称 DeepSeek 是"infra 领域的巨鲸”）：“不希望分出高下，但坦诚说国内公司的 infra 真的强——某种程度上我们叫用 infra 换算力，真的非常不容易。”

26. 国产芯片的乘数效应：K3 在加速自己落地国产卡

• report 原文提到已为某"authoritative vendor"的 GPGPU 写了 kernel（有可能是国内芯片公司）；赵晨阳确认方向明确——用 K3 加速 K3 自己向国产芯片的适配，“K3 至少从性能和正确性上非常能打”；摩尔线程通过 MUSA-SGLang 生态在发布后极短时间内成功支持 K3。“kernel development agents 对整个芯片产业有很本质的推动。”
• 会怎么影响英伟达的统治地位？他两次只答"我无法判断”（曼祺追问"是无法判断还是不想说"）。他给的视角：AMD 的朋友高强度依赖 kernel agent 写 AMD 版 Kuthless，英伟达自己写 next generation DSL 的朋友也大量依赖——但假设 TC Gen5 出现，现在的 kernel agent"还得花一段时间来泛化上去"。
• 这反过来暴露软肋：“kernel 绝对是最好验证的领域了，哪怕这样它的泛化都还需要一定训练——从这点看，实现 RSI 还是有一些距离的。”

27. 尾声三问：五个月内难超闭源，持续学习先要能测量

• 下一个开源最强何时出现？赵晨阳见到"非常恐怖的事"：一个名称听不清的团队发布 3.8 preview 时称模型"以日为单位智力更迭"——“这个时代对智力前沿的加速度没有降低，反而是人类的想象力降低了：除了 coding，我见不到下一个爆炸的点。”
• 年内开源超闭源？曾志远：有难度——OpenAI 和 Anthropic 内部最强模型比放出来的还领先半代到一代，而开权重这边基本已把最强的放出来了，“至少未来五个月这个趋势应该不会有很明显的变化”。
• 梁文峰说下一代模型的标志是持续学习。曾志远的观点不是智力不断提升，而是希望模型"对任何系统都有很有效的优化"；曼祺追问是否专指 KDA 后，赵晨阳说目前连 kernel agent 都做不到跨代泛化。曾志远则要先解决测量：“持续学习能力肯定不是零或一，我们还缺少衡量这个进展的方式，应该先通过完备的 evaluation 把它做出来，再讨论离目标还剩多少。“两人都预期仍有平台期、突破多来自执行层面的修顺——“最近半年都没有什么很本质的平台性突破，只是在一个平台上做得更高一点，当然这已经让普通用户的体验很不一样了。”