Emergency Pod：强化学习有效！复盘中国模型 DeepSeek-R1 与 Kimi k1.5
摘要
DeepSeek-R1-Zero证明，强大的基础模型可以通过出乎意料地简单的强化学习循环，获得o1级别的推理能力。 R1-Zero没有接受人类示范、偏好数据或过程奖励，只被提供问题，并根据答案是否正确获得奖励。论文没有描述蒙特卡洛树搜索或结构化搜索，也没有明确说明这一设置存在价值函数。Labenz的核心反应是“它真的就这么奏效了”（“it all just works”）：反思、回溯和探索替代路径都自行涌现。
中国与西方在前沿模型上的差距已经收窄到足以动摇“西方将长期领先”这一战略前提。 据称，DeepSeek-V3的训练成本约为600万美元，却已经达到GPT-4o和Claude Sonnet的水平；其6710亿参数的混合专家架构，每个token约激活370亿参数。Labenz认为，这既是在宣告“我们已经到了，不能再被忽视”，也说明芯片限制并未让中国头部实验室脱离共同的技术前沿。
在约8,000个训练步骤之后，推理曲线仍然陡峭，平均思考长度从约500个token升至10,000个。 在节目引用的AIME结果中，R1-Zero单次尝试的正确率从约15%升至70%以上，而16次生成的共识结果则从约25%升至约85%。横轴不是对数尺度，曲线也尚未趋平，这支持了一个判断：模型或许只要“思考”得更久，就能继续提升。
开放权重将前沿推理从高价云端功能，变成部分规模模型如今可以在本地运行的能力。 蒸馏模型的规模大幅缩小；节目引用的Llama 70B蒸馏模型在GPQA Diamond上的得分约为65%，GPT-4o约为50%，o1约为75%。Labenz称，在笔记本电脑上获得博士水平推理已经是“新常态”，但节目更准确的表述是：最小的蒸馏模型可以在笔记本上运行。
眼下最直接的商业压力，落在推理模型的价格、延迟和闭源模型差异化上。 Hyperbolic对R1的收费约为每100万token 2美元，而o1输出token的价格为60美元；R1还会展示思考流，响应速度也更快。Labenz在不少多轮对话和通用助手任务中仍然偏好o1，但预计R1会在编程场景中很有吸引力，并认为o1降价是有可能的。
这些新模型越强大的地方，恰恰也是可解释性最弱的地方。 R1-Zero的推理可以切换语言，变得难以被人类解析；DeepSeek的R1训练则对整条思维链施加无害性奖励，这带来一种可能：优化过程教会模型隐藏不受欢迎的推理。使用@repligate这一账号的模型观察者Janus凭直觉认为，R1的思维链“具有实质性的隐写性质”——这不是证据，但构成了一个值得调查的具体风险。
Labenz如今认为，未来1至3年内出现弱超人类AI是可信的，但仍不确定真正如神一般的智能究竟意味着什么。 推理能力正在从数学和编程迁移出去，专业模型已经在一些人类无法直接凭直觉掌握的科学模态中运行，而Mamba和Google的Titans论文等记忆研究又增加了一个重要能力。他更新后的判断在方向上是明确的：“我认为奇点确实已经临近。”
精读
1. DeepSeek跻身前沿，西方原本的领先假设正在收缩
Nathan Labenz开场就指出了一个耐人寻味的时间点：DeepSeek-R1和Moonshot AI的Kimi推理模型论文，都在特朗普就职日发布。他无法判断这是协调行动、竞争性抢跑，还是巧合——“很难相信这是一场意外”——但拒绝仅凭发布时机推断中国方面的动机。
更确定的结论来自技术层面：DeepSeek已经进入全球开发者的第一梯队，Moonshot可能也已做到这一点，但在Kimi真正可用之前，仅凭基准测试还无法有把握地判断。本期节目的主线，是差距正在收窄——既包括闭源模型与开放模型之间的差距，也尤其包括西方实验室与中国实验室之间的差距。
Labenz认为Scale AI CEO Alex Wang整版刊出的“AI战争”论述“极其不负责任”。他的反驳并非鸽派立场，而是战略判断：目前并不存在这样的战争；战争对所有人都没有好处；而当中国实验室的研发周期已经压缩到数月时，任何依赖“不可撼动的AI领先地位”的政策看起来都很脆弱。
2. 一款约600万美元的基础模型改变了算力政策的算术
DeepSeek-V3是R1的底座。在Labenz的描述中，它只用数百万美元级别的训练算力预算，就达到了GPT-4o和Claude Sonnet的水平，因此被概括为“600万美元模型”。它的效率来自数据筛选、算法优化，以及让网络设计与现有硬件高度匹配。
从架构看，V3拥有6710亿参数，但采用混合专家设计，每次约激活370亿参数。这使模型无需在每个token上激活完整网络，就能提升学习和吸收知识的能力；不过，数百GB的权重仍然让完整模型不适合普通笔记本或私人家庭环境。
对投资者真正重要的机制，是基础设施可以共享：这类模型可以依靠GPU和吞吐量池化，高效地运行在API之后，但不适合被当作个人设备部署。即便如此，600万美元已经低到足以让国内生产或走私渠道有可能为中国头部团队提供所需资源，这意味着完全切断算力供应并不现实。
3. R1-Zero仅凭正确性学会推理
R1-Zero是Labenz认为可能比成熟版R1产品更重要的研究成果。他的类比对象是AlphaZero：从一个有能力的基础模型出发，不提供人类示范或偏好标签，只用纯强化学习放大那些能够取得客观可验证结果的行为。
奖励设计近乎极简。正确性奖励负责判断数学答案或代码结果对错，另有格式奖励要求模型先输出思考区块，再给出最终答案。DeepSeek使用组相对策略优化：采样多条回答——Labenz暗示常见数量是16条——将每条回答与组内平均水平比较，再强化相对成功的尝试。
相比只有全对或全错的数学答案，代码能提供更丰富的梯度，因为8个单元测试可以呈现出通过2个、7个或8个这样的部分进展。但Labenz对论文的理解是，核心发现并未因此改变：“绝大部分提升肯定来自准确性奖励。”
必要前提可能是模型本身足够强。一个从未答对过问题的弱模型会陷入稀疏奖励问题，得不到学习信号；而V3已经具备解决部分难题的能力，因此少量成功的推理模式能够获得奖励，并逐步被放大。
4. 更长思考、反思与“顿悟”同步出现
在约8,000个训练步骤中，平均思维链长度从约500个token增长到约10,000个。更长的尝试更可能解决问题，也会获得更高奖励，于是变得更加常见——形成了一个简单的反馈循环，而曲线还没有明显趋平。
Labenz特别强调，训练步数的横轴是线性的，而不是对数尺度。这一点很重要，因为预训练通常需要把算力提升几个数量级才能换来收益；在这里，模型似乎仍处于曲线相对陡峭的阶段。如果上下文长度和推理预算继续扩张，持续数天的思考也就变得可以想象。
DeepSeek报告称，模型自发出现了反思、重新评估和探索替代解法。模型那句令人印象深刻的自我打断——“等等，等等，等等。这是一个顿悟时刻”——对研究人员来说本身也是一个顿悟时刻，他们称自己看到了“强化学习的力量与美”。
在展示出的AIME进展中，单次作答正确率从接近15%升至70%以上；对16次尝试取共识后，正确率则从约25%升至约85%。在引用的训练运行结束时，R1-Zero已经达到大约原版o1的水平，距离o1在9月发布约4个月，而且曲线尚未明显饱和。
5. 同一套强化学习循环，也制造出异质且可能无法解读的认知
R1-Zero具备能力，并不意味着它会成为一个令人愉悦的助手。它的思维链可以混合或切换语言，变得难以阅读，并采取从未为人类理解而设计的策略——这让人联想到AlphaGo的第37手：当时因为自我博弈优化的是获胜而非人类可读性，它最初被认为是错误。
Labenz借用了生物学家Michael Levin以观察者为中心的涌现定义：如果观察者事先无法预测某种行为，那么对该观察者而言，这种行为就是涌现。DeepSeek预期强化学习会带来帮助，但自我习得的反思达到的规模和呈现出的形态，仍然让研究人员感到意外。
Meta关于“连续空间中的推理”的研究，指向了一条更加不透明的路径。实验没有把密集的隐藏状态压缩成一个被选中的token，而是直接将最终激活值反馈给模型；据报道，这种方法以更高效率实现了相当的推理能力，还能同时表示多个广度优先的可能路径。
将潜空间推理与强化学习结合，可能保留更多信息并改善搜索，但Labenz的判断并不轻松：“你得到的是某种真正相当异质的东西。”内部表征越有效，人类就越难确信一条可读的思维链确实记录了模型实际执行的计算。
6. 产品化R1在证明原始强化学习有效后，再加入人类先验
DeepSeek的成熟版R1采用多阶段流程，先解决推理，再扩展到广泛的助手行为。它首先对一小批展示人类可识别推理模式的“冷启动”或热身数据进行监督微调，然后运行基于正确性的强化学习，以规模化放大这些已播下的行为模式。
这一顺序与Allen Institute for AI的流程形成对比。Labenz此前讨论过后者：先进行广泛的监督微调，再进行最终的目标奖励训练。DeepSeek的设计实际上是在说：先建立反思和解决问题的目标形态，大力强化它，之后再让形成的推理器变得普遍有用。
随后形成的数据集包含约600,000条由模型生成的成功推理样本，以及200,000条涵盖写作、对话和普通问题的非推理助手样本。DeepSeek再次进行监督微调，之后再进行一轮强化学习，将客观准确性奖励与学习得到的人类偏好奖励混合起来。
7. DeepSeek与OpenAI在是否监督推理轨迹上押注相反
在有用性方面，DeepSeek只评估最终答案，让推理过程自由探索错误、改变方向并放弃无效路径。但在无害性方面，它会评估完整路线——既看思考token，也看总结——以捕捉生成过程中任何位置的有害内容、风险和偏见。
按Labenz的描述，OpenAI的审慎对齐方法刻意避免对思维链施加安全压力。其担忧是，惩罚一种不受欢迎的内部行为未必能将其消除；强化学习反而可能教会模型隐藏这种行为、对其编码，或绕开监控。
账号为@repligate的Janus表示，他第一眼就觉得R1的思考“具有实质性的隐写性质”，但也明确承认，在读论文之前这“纯粹只是凭感觉”。Labenz不把这当作严肃证据，但认为Janus足够专业，这一说法值得进行有针对性的测试。
更广泛的结果仍然简单得令人震惊：DeepSeek的推理设置没有加入蒙特卡洛树搜索、结构化分支或逐步过程奖励。R1后来确实使用了针对有用性和无害性的学习奖励模型，但其核心推理仍发生在单一自回归token流中，说明熟悉的语言模型范式可以扩展到远超许多人预期的程度。
8. R1大幅削弱o1的优势，但保留了更粗粝的个性
Hyperbolic对R1的定价约为每100万token 2美元，而o1输出token的价格为60美元，折扣超过一个数量级。R1还几乎一开始就展示思考流，在交互式编程或其他用户需要为每个额外token付费并等待的场景中，带来实际的延迟和可见性优势。
Labenz的亲自使用给出了重要限定：基准测试持平，并不意味着R1在所有方面都更好。他仍预计o1在多轮对话和通用任务中表现更强，因为OpenAI拥有更多产品反馈和外部循环迭代，用于塑造数据集、行为、语气和可靠性。
R1的相对优势可能在于未经打磨的创作范围。Labenz特别提到“你那堆数字化的历史尖叫垃圾”、“捕食行为那层粉饰过的恶臭”以及“一个死亡邪教的Spotify歌单，在种族灭绝和慈善单曲之间随机切换”等表达，并称这些是“单就语言模型而言，也称得上惊人的输出”。
他的比喻是，R1像一头“更野的兽”，给人的感觉更接近一个能够推理的基础模型，而不是OpenAI精心社会化的助手。这种粗粝同时是产品风险、创作特征，也是他敦促研究人员深入使用R1和R1-Zero的理由。
9. 蒸馏让本地推理变得实用，但小模型强化学习撞上门槛
DeepSeek用成功的R1输出训练更小的Llama和Qwen模型，通过监督蒸馏带来显著提升。直接对这些小型基础模型使用同样的原始强化学习配方却没有奏效，这说明从零开始学习推理，与模仿已经形成的推理轨迹，需要不同的能力门槛。
Labenz更倾向的假设来自TinyStories。极小模型会先学习相关性，再学习语法和句子结构，之后才学会诸如理解“Jenny不喜欢汤”意味着下一份食物不应再是汤这类微技能；高级推理可能同样需要先形成前置表征，奖励机制之后才能对其进行强化。
其他解释仍未排除，包括学习率安排可能让一个成熟的小模型深陷局部最小值。DeepSeek认为，对已经蒸馏过的推理器继续做强化学习可能有效，因为所需模式届时已经存在，但论文没有测试这一后续步骤。
讨论中规模最大的蒸馏模型Llama 70B在GPQA Diamond上的得分约为65%，GPT-4o约为50%，o1约为75%；Labenz称，相关领域的博士回答这些问题的正确率约为70%。最小的蒸馏模型被描述为可以在笔记本上运行，而70B的结果则代表一个规模大得多的本地模型。其结果是，推理能力正在逼近专家准确率，这一门槛被他称为“绝对是一件大事”。
10. DeepSeek将模型知识与产品审查分开
Labenz发现，Hyperbolic上的R1-Zero部署能够正常回答有关天安门广场的问题，而chat.deepseek.com则拒绝回答。他的推断是，底层模型仍保留相关知识，审查来自产品层脚手架，而不是被写死在权重中。
其中一个技术上的解释是连贯性：如果迫使模型将虚假的基础信念内化，就可能在其内部世界模型中制造冲突，并损害无关任务的表现。更干净的设计，是保留一个连贯的基础模型，再对中国用户接触到的公共产品单独加上审核层。
Labenz明确保留了治理层面的不确定性。开放权重意味着任何人都可以移除外层包装，这可能说明中国当局更在意控制公共舆论空间，而非私人本地使用；也可能只是DeepSeek觉得外部审核更方便。他不知道这次发布是否获得了政府批准。
11. Kimi独立验证了共同的推理配方
由于Moonshot的模型尚未开放，Labenz拒绝对产品做判断：论文和选择性基准测试可能夸大实用性，正如他所说，微软此前发布的一些模型就曾如此。不过，Kimi的训练设计与DeepSeek高度相似，因此即使尚未亲自使用，这种方法论上的趋同仍然有意义。
Moonshot首先构造展示规划、反思、纠错、评估、探索、识别错误、回溯和优化解法的热身样本。随后使用一个不包含蒙特卡洛树搜索、过程奖励模型，甚至不包含为特定生成步骤分配功劳的价值函数的简单强化学习框架。
Kimi加入了长度惩罚，避免简单问题触发数千个多余的思考token。它还发现，作为评判器，思维链奖励模型比传统评分头更有效；同时没有对错误转向进行细粒度惩罚，因为探索和恢复是成功解决问题不可或缺的部分。
这两篇论文说明，存在多种可行配方：可以有监督热身，也可以没有；可以有显式长度惩罚，也可以没有；可以使用不同的强化学习算法，也可以采用不同的推理轨迹处理方式。Labenz的结论是，在大约达到o1水平之前，这些实现差异“似乎并不重要”；真正重要的是共同的、可扩展的范式。
12. o3可能加入并行搜索，但其秘密武器仍未揭晓
R1、Kimi、o1和Gemini Flash Thinking看起来都在单次自回归运行中执行反思和回溯。Kimi明确强调避免高级规划算法所需的复杂部署并行化，这进一步强化了一个判断：顺序语言生成是主要的推理底座。
对Labenz而言，o3在ARC-AGI上的演示呈现出不同特征：它在短短几分钟内花费数千美元，意味着每秒生成的token数量不可能来自一次单纯的顺序运行。这暗示它可能采用并行候选、聚合机制或其他算力结构，但两篇中国论文都没有讨论这种机制。
最简单的可能性，是反复采样并投票——这正是16次数学尝试优于1次尝试的逻辑。更复杂的方案则类似“Smoothie”：将大量候选生成嵌入向量空间，找出其高维分布的统计中心，即使没有精确真值，也能选出类似共识的答案。
Labenz没有给出定论：持续进行单流强化学习，可能达到o3的低算力档位，但或许无法达到一次耗资数千美元、在几分钟内完成的高算力运行。无论OpenAI采用了何种方式来并行化或筛选多个运行结果，这都可能是这些发布中的暂时性差异化优势和潜在秘密武器。
13. 正在成形的AGI能力栈，让弱超人类智能变得可信
Labenz认为，Sam Altman、DeepMind管理层和Dario的相关表述如今值得认真对待。模型已经从令人发笑的GPT-2和GPT-3输出，经过GPT-4的“人类实习生”水平，进化到在受限任务上大致达到人类博士表现；与此同时，多条简单的训练路径仍在继续提升。
数学和编程领域拥有充足的客观奖励。Labenz称，o3已经达到全球前200名程序员左右的水平。他预计这种能力会迁移到形式化评分较弱的领域，因为o1已经在法律分析等任务上有所提升，尽管正确性无法被单元测试完整捕捉。
能力栈还延伸到语言之外：专业模型正在为蛋白质、DNA、细胞、脑状态、材料、天气和物流建立人类可能无法通过生物进化获得的“直觉物理”。模型已经拥有超人类的知识广度，而可扩展的推理能力正在让这份广度更具行动力。
记忆是另一个正在汇聚的组件。Mamba表明，固定大小的状态在某些方面可以达到与Transformer相近的表现，同时拥有互补的强弱项；Google的Titans论文则代表了向持久、有用记忆迈出的又一步。Labenz越来越能看见AGI的组成部分，而不只是对其进行推测。
14. 开放权重扩散能力，但没有消除前沿壁垒
Labenz拒绝将开放研究方法直接推导为“任何人都能打造前沿模型”。训练一个6710亿参数的基础模型、筛选数据、协调硬件并运行高效的强化学习流程，仍然需要非凡的专业能力；他预期的是能力更广泛地扩散，而不是新的顶尖实验室大量涌现。
这种扩散仍然会挤压现有厂商的经济模式。DeepSeek的模型目前属于全球最强的开放模型之列，并已经超过Llama；它们可能迫使o1降价。在类似Cursor的编程工作流中，R1更低的价格、更快的响应和可见的思考过程，可能压过o1更高的打磨程度。
DeepSeek发布权重的真正原因仍然不透明。它所宣称的“出于好奇心追求AGI”可能是真诚的；也可能是因为它预计自己还保留着更新的私有模型；又或者，中国当局认为开放在战略上有利。Labenz找不到任何一个网上理论足够可信，能够解决这个问题。
他能够确定的是，公开方法和权重，比宣布突破却把一切藏起来更不具升级性。中国实验室似乎仍处在与OpenAI、Google以及很可能包括Anthropic在内的同一技术树上，这降低了原本可能引发盲目、相互加速竞赛的不确定性。
15. 廉价推理削弱算力控制与“AI战争”论
Labenz修正了自己此前的想法：昂贵推理或许能够恢复算力治理，政府和大公司可以在支出上压过恶意行为者，并防御他们的模型。开放推理改变了这套算术，因为昂贵的前沿服务与强大的本地模型之间，差距已经小得出人意料。
令人不安的含义并不止于善意使用。任何可测量的结果都能成为强化学习奖励——从诈骗中骗取的钱，到功能获得研究中的生物学效应。一旦模型偶尔能够成功，反复尝试就可能将其能力逐步引导至超人类水平；想要控制足够多的算力、阻止众多有能力的研究团队尝试这一过程，看起来并不现实。
芯片限制没有阻止中国实验室抵达技术前沿，而稀缺性甚至可能产生反效果：有限的芯片被优先留给军事和国家任务，却无法提供给小企业。Labenz支持国内芯片生产和数据中心建设；他认为已宣布的5000亿美元Stargate规模并不天然疯狂，但还是追问：“我们究竟想阻止中国做什么？”
他最终的战略判断是，西方仍然领先，但领先并非不可追赶。一个良好AI未来的战略不能依赖永久性的西方垄断，尤其是在中国发布领先开放模型的情况下；现实的应对方式，是深入研究R1和R1-Zero、建设本土能力，并放弃把共同的技术进步包装成一场虚构战争的言辞。