163: 详解DeepSeekV4：Infra巨鲸、百万上下文走进现实、极致效率优化

摘要

• 刘逸峰认为，DeepSeek V4不是R1式的“新范式”，而是在测试时扩展路线下，把百万上下文从理论可行推向成本可接受。 赵晨阳则认为，与其讨论方法论上的范式变化，不如关注模型是否提出了新的能力领域；V4真正有商业价值的地方，是将混合稀疏注意力、MHC、Muon、FP4与新推理基础设施一次性耦合跑通，这种系统工程仍可能是未来一两年的主旋律。

• V4的核心经济性来自长上下文，而不是所有请求都能享受的普遍降本。 报告给出的单 token FLOPs约为V3.2的27%、KV Cache约为10%，但优势会随上下文变长才显著；用8K输入、4K输出测试，很难看出架构真正价值，接近100万 token的Agent才是主要受益者。

• 更低的单token成本正在被更高的token消耗部分抵消。 刘逸峰推测，训练奖励更关心任务是否完成，而非用了多少token，token-wise强压缩也可能迫使模型用更长推理补足信息；他形容这是“拿着高压水枪浇花的美感”，并主张“100万token应该拿去做更重要的事情”。

• 1.6T总参数、约49B激活参数，把MoE的知识容量与推理成本解耦推到了约3%的激活比例。 相比V3约5.5%、MiniMax M2.7约4.3%、GLM-5.1约5.3%、Kimi K2.6约3.2%，V4 Pro走得更激进；代价是专家训练均衡、token路由和底层通信难度呈非线性上升，真正的壁垒落在Infra执行力。

• V4放弃MLA、转向SWA叠加CSA/HCA的混合注意力，说明大模型架构远未收敛。 CSA先做4:1序列压缩再选Top-K，HCA做128:1压缩后保留稠密注意力，不同层预先选定不同路径；它牺牲了架构整洁，却换来长程信息、前缀缓存和生产部署之间更可控的平衡。

• Muon、MHC、TileLang与FP4共同构成了V4更难复制的部分。 Muon把矩阵作为整体优化，但需要重做分布式切分、聚合和Checkpoint；MHC扩宽层间信息流并以Sinkhorn-Knopp约束稳定训练；FP4则通过训练时伪量化、采样时真量化压低强化学习中可能超过70%的采样成本。“每一个名词都对应着一篇文章。”

• 模型能力已挤进很窄的竞争区间，长期胜负更取决于数据飞轮、Agent产品与成本结构。 V4内部在线实验约在Opus 4.5附近、仍落后Opus 4.6和GPT-5.5，外部Arena约排23；赵晨阳从Claude Code切到Codex后的感受是“离开Claude，这个世界完全没有下滑”，说明细小榜单差距未必等同于具体Use Case的差距。

精读

1. V4明显跨过V3，却没有把第一梯队甩开

• 刘逸峰的实际体验是，V4在数学推理、代码编写和Agent指令遵循上都比V3好得多，尤其“幻觉要比V3少得多”；但若与同期中国头部开源模型比较，体感接近Kimi K2.6，并没有形成断层。

• 代码仍是最容易感知差距的领域：V4相对V3进步明显，但与海外最强模型仍有距离。程曼祺由此追问，既然中国第一梯队“用起来体感都差不了太多”，单次榜单领先还能代表多少真实产品优势。

• 赵晨阳所在团队在V4发布当天便跑通推理与强化学习两条链路；他介绍，SGLang生态可能已部署在全球超过40万张GPU上，因此观察重点不是聊天体验，而是新架构能否进入生产负载。

2. DeepSeek再次给开源Infra“续命一年”

• 赵晨阳的戏称是：“DeepSeek每年的发布，都会为开源社区的研究和Infra续命一年。”V3时代的MLA、DeepSeek MoE等细节，开源社区前后做了约一年才完整消化；V4又留下了相当规模的实现工作。

• 从V2到V3，推理侧主要是把MLA与DeepSeek MoE继续扩展；到V4，注意力结构本身发生大改，滑动窗口注意力叠加双压缩，迫使前缀缓存、投机采样和KV Cache管理做大量优化。

• 因而“Infra巨鲸”不是对模型规模的修辞，而是对外溢工作量的判断：算法报告里的每个组合创新，都会转化为推理引擎、强化学习系统、算子和硬件适配的长期工程任务。

3. V4延续R1范式，价值在工程化而非重新命名时代

• 刘逸峰认为“范式变化这个词在AI圈子被用得有点叙事过载了”。若把范式限定为Transformer、Scaling Law、RLHF、Constitutional AI、Test-Time Scaling这类稀疏事件，V4并未开辟新范式。

• R1的历史意义，是在开源世界走通Long-Scale Reasoning与测试时扩展；V4也坦承沿着R1路线前进，解决的是百万上下文、低成本推理和复杂系统耦合这些更难、但更工程化的问题。

• 刘逸峰的判断是，沿现有LM范式仍有“非常大的空间”，未来一两年主旋律可能正是把100万token拆成许多细碎优化，再让它们整体稳定运行。“每一步都会很艰难”，商业价值却同样巨大。

• 赵晨阳补充，与其从方法论解释范式变化，不如把它理解为提出新的模型能力领域；V4带来的震撼程度远不及R1，也不及Kimi最初提出长文本能力时那么大。

4. 真正稀缺的是发现新能力，而不只是把旧题刷满

• 刘逸峰提出另一种“范式”定义：找到新的能力领域。早期长文本、Agent能力和降低幻觉一旦被清晰提出，头部模型往往半年到一年便会快速追平，“我们不是不知道能不能做到，而是不知道还有哪些需要做”。

• 因此V4没有提出全新的能力领域，而是把已知目标做得更完整、更便宜。程曼祺提出AI意识和自主行为后，刘逸峰没有把它作为当前方向展开，而是转而强调减少无谓推理。

• 刘逸峰认为，很多事情不需要过度推理；Agent社区需要想清楚如何更高效地利用上下文，而不是默认100万token越多越好。

5. 成本数字消失，说明DeepSeek不再需要靠“便宜”定义自己

• V3曾披露最后一次训练约557万美元，V4报告和官方博客却没有给出对应数字。刘逸峰把这种沉默视为信号：DeepSeek可能希望“用模型本身的能力发声”，而不是继续依赖低成本叙事。

• 他提醒，557万美元也只是最后一次训练的成本；前沿技术探索、对比验证、人力与数据才构成研发大头，完整研发支出“肯定是最后一次训练成本的几十倍”，孤立披露末次训练意义有限。

• 原计划争取在春节发布的V4最终晚了约两个多月。赵晨阳推测，混合注意力、MHC、Muon和FP4四个相互耦合的新Feature同时上线，会形成“组合爆炸问题”，任何一项单独生产化都需要大规模Debug。

• 关于国产芯片，报告明确披露的是在华为昇腾上验证并行方案，属于推理侧技术验证；训练是否采用国产芯片并未写明。刘逸峰提到，外界大多仍推测训练使用英伟达芯片，但这不是报告已确认的事实。

6. 不做多模态，是复杂度预算下的主动取舍

• 刘逸峰认为，V4可能选择继续专注文本，因为同时追求多模态会显著增加模型与训练难度；在结构已经复杂、还要适配国产芯片的前提下，再融入多模态结构会进一步放大工程量。

• 这不是对多模态价值的否定。后续谈到阶跃时，赵晨阳仍肯定其较早投入多模态，只是认为当前多模态处于“上不上、下不下”的状态，原生多模态是否值得在超大模型里承担复杂度，仍未形成确定答案。

• 团队稳定性提供了另一层解释。刘逸峰从作者致谢名单估算，离职人员大概在5%左右；他把“不诱于誉，不恐于诽”“率道而行，端然正己”理解为团队和研究者共同的长期主义，而非发布文案。

7. V4的评测很坦诚，但榜单并未显示统治力

• DeepSeek在内部做了类似Arena的在线实验：工程师面对真实任务可自行选择模型并反馈。V4总体约处于Opus 4.5附近，与Opus 4.6、GPT-5.5仍有差距；报告还披露约9%的工程师不会把V4 Pro作为首选。

• 外部排名更不亮眼：程曼祺援引的Arena位置约为第23，落后Qwen 3.5 Max、MiMo V2.5和GLM-5.1；Artificial Analysis Intelligence Index约52，也低于MiMo V2.5与Kimi K2.6。

• 赵晨阳不愿把这些细小差距绝对化：“选择某款模型需要有一定的AI信仰。”他从Claude Code切到Codex后发现工作没有明显坍塌，认为模型已经挤进“极其微小的空间”，精确排先后越来越难。

8. Coding竞争的真正护城河是使用数据飞轮

• 刘逸峰从内部采用率延伸出一个判断：世界上只有极少数公司拥有编程数据飞轮，而要做领先Coding模型，就必须让模型进入真实编程工作，被使用本身是获取这类数据的最佳方式。

• 程曼祺追问，中国以开源模型为主，用户自行部署会不会令模型厂商丢失数据。赵晨阳认为，对1T级模型而言，个人很难承担H200、B200或昇腾910B规模部署，大多数调用仍经第三方云和API发生，因此通常会留下Trace。

• 赵晨阳同时承认，据他所知，国内真实工作流里也有大量用户在使用美国闭源模型。

• Claude Code若要长期绑定自家模型，就必须让底层模型持续保持Coding、交互和Agent框架第一梯队；而GPT-5.5发布后，已有企业高管考虑把To B场景从Claude切向GPT，说明产品领先并不稳固。

9. 27% FLOPs和10% KV Cache，只有长上下文才兑现

• V4报告给出的headline是：单token推理FLOPs约为V3.2的27%，KV Cache占用约为10%。赵晨阳强调，数字成立的关键前提是上下文足够长，因为压缩和稀疏化的边际收益会随序列增长。

• 若第三方只拿8K输入、4K输出测试，V4相对V3.2不会显出极致优势；但赵晨阳认为，几千token现在甚至可能连System Prompt都放不下，日常编程和复杂文本任务已经逐渐进入V4更占优的区间。

• Agent是最直接的落地场景：多步骤任务动辄接近100万token，降低每个token的计算和缓存成本，才能把原本理论可行的长程工作流变成成本可接受的产品。

10. 单token变便宜，不代表完成任务真的更省

• 刘逸峰补上了效率叙事中最关键的反例：不少用户感觉V4解决同一问题会消耗更多token。即使相同token数量下FLOPs和KV Cache下降，端到端成本改善也可能没有headline那么显著。

• 他的两个推测是，训练目标偏向“完成任务拿奖励”，没有充分惩罚token长度；同时token-wise注意力压缩得更狠，模型可能需要更多token补足被压掉的信息与推理过程。

• 刘逸峰把现状形容为“拿着高压水枪浇花的美感”。类似K1.5的报告里已经尝试用长度惩罚，但回复仍不可逆地变长，说明模型正忠实复制训练数据与奖励机制里的冗长倾向。

• 刘逸峰的主张不是拒绝100万token，而是“100万token应该拿去做更重要的事情”。Infra可以让上下文吞吐更快，Agent社区还需要建立如何节约、复用和组织上下文的规则。

11. 约3%的激活比例，把MoE推向新的工程极限

• V4保留DeepSeek MoE与MTP两条主线；V4 Pro总参数约1.6T，激活参数约49B，激活比例约为3%。MoE借此继续解耦知识容量与推理成本：总参数做大，单次计算却尽量做小。

• 横向比较更能说明激进程度：V3约5.5%，MiniMax M2.7约4.3%，GLM-5.1约5.3%，Kimi K2.6约3.2%；V4 Pro最低。程曼祺强调，从5%到4%和从4%到3%的难度不是线性关系。

• 赵晨阳更愿意看倒数：系统已从约5:1、10:1或20:1，走向30多、接近40:1。大量冗余专家必须训练得相对均衡，token还要快速路由、跨设备通信并重新聚合。

• 低激活并非越低越好，可能引入负载不均、专家训练不足和路由抖动；V4能稳定训练到这个比例，更像Infra与算法联合能力的证明，而非单独的模型尺寸游戏。

12. 前层哈希路由，先解决专家过早扎堆

• 赵晨阳指出，V4在前几层MoE采用哈希路由，而不是完全依赖常规路由方式。其目标是从算法上避免浅层token高度集中到少数专家，让早期训练信号更均匀地覆盖专家池。

• 这项设计与极低激活比例共同提高了工程要求：专家越多、单次激活越少，任何路由偏斜都会更快放大为训练不足或设备负载失衡；底层算子还必须保证token抵达专家并完成聚合时不形成通信热点。

• 因而比例本身不是可复制配方。不同团队可以选择更稳妥的激活率，没有简单对错；DeepSeek的选择，是用更高工程风险换取更低推理成本与更大知识容量。

13. DeepSeek也会放弃自己的技术，Engram没有进入V4

• V4并未把DeepSeek此前提出的所有技术都装进去。Engram会把连续两个或多个token组合成新的编码，而传统Input Embedding只编码单个token，理论上可加强“大海捞针”类长程信号。

• 赵晨阳称，他们的实践发现这项方法需要增加大量参数，能力提升却有限，对Infra也构成额外挑战；它更像信号增强，短期内不太可能成为Frontier Lab的通用选择。

• 这个取舍与V4整体风格并不矛盾：团队愿意一次上线四项高耦合创新，也愿意把收益不足的自研方案不应用到V4。真正筛选标准仍是规模化后能否贡献能力或成本。

14. 混合注意力让不同层分别抓关键细节与全局语义

• V4每层都会运行Sliding Window Attention，并额外搭配一种长程注意力：CSA或HCA。CSA走稀疏路线，先沿序列做4:1压缩，再选择Top-K关键位置；HCA更激进地做128:1压缩，随后保持稠密注意力。

• 每一层采用CSA还是HCA是预先定义的，因此同一上下文在不同层里会呈现不同视图。赵晨阳的理解是，稀疏层负责锁定关键token，稠密层则提供压缩后的语义概览。

• 这也是V4放弃V3时代MLA的重要背景。刘逸峰推测，若把大尺度token-wise压缩继续叠在MLA的KV低秩压缩上，底层实现会过于复杂，因此团队回到了传统MQA一侧的基础结构重新组合。

15. 大模型仍押注稀疏注意力，因为线性注意力存在长程上限

• 赵晨阳认为稀疏注意力在工程上更可控，也更容易兼容现有KV Cache与Prefix Cache；当前尚缺少同等规模Frontier模型，证明纯线性注意力可以稳定冲击能力上限。

• 刘逸峰用1024个token举例：线性注意力若逐步更新隐藏状态，第1个token的信息可能被连续压缩1023次；窗口为128的SWA只需约8次跳转，两个位置便能近乎无损地交换信息。

• 线性注意力仍适合强调速度的中小模型，例如Qwen 3.5这类中小型模型；但V4、GLM-5.1等更大模型继续采用稀疏或滑窗。Kimi也可能考虑混合结构，因为全注意力仍需为压缩损失兜底。

• MiniMax提供了“相应有代价”的实例：M1曾采用线性注意力，M2开头的模型又回到全注意力。线性更快、稀疏更难实现却上限更高，硬件和任务分布会持续改变最优解。

16. Shadow Redis把注意力创新翻译成可部署的缓存系统

• 对推理团队而言，混合注意力最棘手的是前缀缓存一致性。赵晨阳团队为此开发Shadow Redis，为SWA、CSA和HCA分别维护压缩状态，并建立三个异构KV Cache池。

• 这些状态必须在Prefill、Decode和Speculative Decode三个阶段同步；否则同一前缀可能因注意力路径不同而难以复用。这类问题在MLA时代并不存在，体现V4适配复杂度又上了一个台阶。

• 团队另有HiSparse工作，针对稀疏注意力把KV Cache预卸载至Host Memory，在长上下文场景可把吞吐做到5倍以上。赵晨阳认为，只有这类底层配套才能把27% FLOPs、10%缓存真正转化为生产商业价值。

17. Muon从单参数更新升级为矩阵整体优化

• 刘逸峰解释，AdamW以元素为单位维护动量并归一化更新，稳定却忽略二维权重内部的联系；同一矩阵里，有些元素可能已收敛，另一些仍在追赶，整体训练被拖慢。

• Muon把矩阵视作整体，通过矩阵级更新让各元素步调更一致，目标是更快收敛。它不能处理一维参数，因此Input Embedding、Output Embedding以及LayerNorm、Bias等模块仍要使用AdamW，优化器从此进入混合状态。

• Keller Jordan最初版本需要为不同Module单独调Learning Rate，使用门槛较高；Kimi的Moonlight把Muon与AdamW的比例确定在约0.2，使全局只需调一个Learning Rate，推动其从理论创新走向大规模应用。

• V4没有照搬0.2，而采用0.18。刘逸峰还关注Newton–Schulz迭代次数：Keller Jordan的五步与V4的十步孰优，仍是值得实验的问题。

18. Muon是Infra试金石，不是替换一个函数那么简单

• 赵晨阳纠正了“AdamW无需分布式切分”的简化说法：1T级模型不可能放在单一节点，AdamW与Muon都需要复杂并行，只是Muon的矩阵级计算更难拆。

• Muon砍掉Second Moment，使Optimizer State大致从两倍降到一倍，节省显存；代价是Newton–Schulz迭代后的正交化需要完整二维权重。若参数已被TP或FSDP切碎，就必须先聚合再计算。

• Kimi K2据赵晨阳印象主要在Data Parallelism层面切Muon，而不在Tensor Parallelism上继续碎切。调度、通信、ZeRO/FSDP对齐、Checkpoint保存和Resume逻辑，都会远比AdamW时代复杂。

• 预训练与后训练通常还要保持优化器一致；后训练系统若来不及完成Muon改造，预训练也可能继续“将就”AdamW。两位因此同意，Muon能否全链路上线，是观察模型团队Infra能力的有效信号。

19. MHC用更宽的信息流换取推理能力

• 传统Transformer层间只传递宽度为d的残差信息；Hyper-Connection额外引入Channel维，把层间信息流扩为c×d。

• 朴素Hyper-Connection会让前向激活或反向梯度不稳定，因此早期社区反响有限。MHC加入Sinkhorn-Knopp约束，使信息流横向和纵向的Scale受控，缓解梯度爆炸与消失。

• 刘逸峰判断，直接收益主要落在推理能力；但赵晨阳指出，DeepSeek应该没有精确比较具体能力提升，而主要比较了一些Benchmark，因此“MHC带来多少提升”仍不能从最终模型分数里精确拆出。

20. Attention Residual可能上限更高，MHC则更容易落地

• 刘逸峰把MHC与Kimi近期的Attention Residual并列观察：前者增加层间信息宽度，后者更像DenseNet，让早期层跨层影响后层；两者都在重新设计Layer-Wise信息流。

• 对资源有限的团队，MHC实现相对简单，刘逸峰自己的Deep Delta Learning也沿Hyper-Connection方向探索，以很少额外计算换取性能；Attention Residual描述跨层关系更精确，可能拥有更高上限，但Infra要求也更高。

• 推理侧同样要付账：MHC把简单残差加法变成Sinkhorn归一化与Mixing，旧算子效率不足。赵晨阳团队为其编写TileLang Split-K Kernel，以改善Small Batch Decode时的GPU利用率。

21. TileLang正在降低为新算法定制Kernel的成本

• 赵晨阳把Kernel解释为同一矩阵计算在不同硬件上的具体切块与调度方式：4096×4096矩阵可按128×128或256×256处理，最佳选择取决于显存带宽与硬件结构。

• CUDA性能和控制力最高，但开发维护最贵；Triton显著降低门槛，同时牺牲一部分表达力与极端性能；TileLang走中间路线，比Triton更底层、表达力更强，又比手写CUDA提高开发效率。

• V4报告强调TileLang把部分Kernel启动开销压至微秒级，并改善bit-wise reproducibility：同一Prompt的多次Forward更容易复现，这对推理工程师Debug尤其重要。

• 赵晨阳认为，TileLang的长期价值是降低新算法获得高性能Kernel的迭代成本。它已成为全球前沿Lab的默认选项之一，也能由不同硬件厂商主动支持，并不天然只服务英伟达。

22. FP4终于从硬件PPT走进超大模型全流程

• 从BF16到FP8再到FP4，位宽持续减半，直接缓解算力、显存容量和数据读取带宽。FP4的数值范围极窄，训练时很容易发生梯度溢出或归零，因此超大规模生产化远比模型量化发布困难。

• V4后训练采用QAT：训练侧保留FP32主权重，计算前压到FP4范围，再反量化至FP8参与计算，让模型提前适应量化误差；采样侧则使用真实FP4权重，真正降低访存压力。

• 这使强化学习的Rollout阶段直接受益。模型越大、输出越长，采样可能占总耗时70%以上；训练中用于采样的FP4权重又与最终发布Checkpoint一致，避免先训FP8、发布前再量化所带来的额外精度损失。

• 赵晨阳团队已完成FP8全流程RL与INT4 QAT，但采样仍主要是W4A16；DeepSeek进一步做到W4A8，即权重4位、激活值8位。他据此判断，FP4已经“正式走出硬件厂商的PPT”，开始成为开源超级模型的工业标准。

23. 开源推理的价值不是只服务DeepSeek，而是统一承接百花齐放

• 即便DeepSeek开放自家推理实现，通用开源引擎仍有不同任务：同一套系统要同时支持DeepSeek、小米、MiniMax、Kimi等模型，整合性、本地部署和可迁移性才是核心价值。

• 赵晨阳认为推理侧开源与闭源差距已不算大，训练侧仍明显落后；过去新模型可能2月上线，开源RL系统要到5月或6月才跑通。V4这次发布当天完成推理与RL全链路，是复现时差的重要收缩。

• 开源还会反向推动闭源系统性能，并让技术路径更透明。赵晨阳把这次开源生态在量化训练、专家聚合等方向的推进，视为中国实验室对全球AI领域的实质贡献。

24. 后训练用“先分裂、再蒸馏”化解多能力冲突

• V4后训练先让多个专家分别学习技能，再把它们蒸馏回统一模型。不同于R1把强模型蒸馏到小模型，这里更像先扩大专家容量、寻找各目标局部最优，再提取精华控制最终参数量。

• 赵晨阳把它解释为多目标优化：若一味推Coding，数学可能下降；修复数学后，指令遵循又可能受损。在复杂Loss Surface上直接寻找联合Pareto最优，梯度冲突会非常严重。

• “先分裂再蒸馏”把问题改写成：先得到多个已收敛的离散点，再让学生模型拟合多个教师分布，类似在这些点之间做插值。专家聚合并非新概念，但V4提供了一个公开的工业实践。

25. Benchmark会过时，Evaluation却决定行业是否自欺

• 刘逸峰引用一位NLP领域知名研究者的话：“We cannot optimize what we cannot evaluate.” 如果某种能力无法量化，就无法判断新增Feature究竟改善还是破坏了产品。

• 赵晨阳主张少说Benchmark、多说Evaluation：单个Benchmark一两年就可能被刷满，但多步任务稳定性、长程对话、人格一致性和工具调用鲁棒性等评估需求不会消失。

• Claude更新后用户常凭少量对话判断“新版本变差”，形成Vibe Checking或Vibe Benchmarking；当公开分数普遍超过90而实际体验仍有显著差异，行业已进入“Benchmark可信危机”。

• 刘逸峰补充，能力领域比单个题集更重要；Agentic、长程注意等Domain一旦被提出，半年到一年就可能刷满。旧能力没有出现Degradation值得欣喜，但上下文和评估复杂度也随之膨胀。

26. Agent成为共同方向，商业化仍指向真实工作流

• 从MiMo 2.5、GLM-5.1、MiniMax 2.7、Kimi K2.6到Opus 4.7、GPT-5.5，刘逸峰看到的共同趋势是，各家都在重视Agent能力；OpenClaw、Claude Code等产品让模型公司看到，商业化可能来自持续消耗token的工作流，而不只是会员服务。

• 他同时认为，开源模型的方法和架构在某些方面仍趋同，优化器也在从AdamW逐步转向Muon或其变体；但V4放弃MLA说明这种趋同并不意味着架构已经收敛。

• 程曼祺补充，To B产品底层绑定哪个模型仍可能快速变化，GPT-5.5发布后，已有企业高管考虑把模型从Claude换成GPT，后续仍需观察。

27. 中国押注架构与性价比，美国押注能力上限与数据闭环

• 赵晨阳认为，美国模型在long-horizon Agent上令人惊叹，OpenClaw和Claude Code尤其明显；Claude 4.5之后，多轮Agentic Coding进步很大，RLHF/RLAIF与高质量人类反馈已经形成了强数据闭环。

• 他把中国团队的强项概括为架构创新密度和工程完成度：V4一次性把混合稀疏注意力、MHC、Muon、FP4训练等多个组件换掉并跑通，中美路径和风格不同，但行业整体仍在上升。

• 赵晨阳还认为，美国模型总体更追求开辟新的领域，例如长上下文、多模态融合和Agent能力；中国模型更加侧重性价比，在同等能力下价格可能比美国模型低一个数量级。

• 在稀疏化问题上，他认为美国算力更充足，可以先冲性能上限、再考虑降成本；稀疏化会牺牲一定上限。程曼祺则感慨，只有中美能承担这一轮AI“太空竞赛”。

28. V4会因组合配方被记住，而非任何单项结构永恒

• 刘逸峰判断，V4最可能留下的算法遗产是token-wise极致压缩：以往更多是在单个token内部降维再升维，V4把这种压缩推进到了工业级超大模型。

• 赵晨阳更看重长上下文、极低激活比例与低单token成本的组合。MHC或混合注意力未必会按当前形式长期存在，正如MLA可能只是某一阶段最优解，硬件也会推动更优雅的替代。

• 但V4已经率先验证这套工程配方，可能成为后续开源大模型的默认起点。DeepSeek的持续影响力不只在榜单，而在于它不断重设开源模型“应该怎样被实现”的参考基准。

• 两位的下一步也由此分化：刘逸峰想继续研究CSA、HSA等token-wise压缩、Hyper-Connection、Attention Residual与Muon参数；赵晨阳则要研究如何识别AI生成PR的质量，并把语言模型中的MTP等优化迁移到仍明显落后的开源语音系统。