89. 逐句讲解DeepSeek-R1、Kimi K1.5、OpenAI o1技术报告——“最优美的算法最干净”

摘要

• DeepSeek-R1真正改写的不是“谁已经实现AGI”，而是推理模型路线从黑箱变成明牌：OpenAI用o1出了一道谜题，DeepSeek第一个公开了足够漂亮的答案，让业界看到后训练算力与test-time compute可以成为预训练之外的新增长轴。 潘佳怡的判断很克制——DeepSeek迫使美国大厂重估自己的领先幅度，也让美国开始正视中国团队的AI创新能力，但尚未证明能像OpenAI那样连续制造多个paradigm shift。
• R1-Zero最重要的发现是，足够强的base model不经SFT、直接接受大规模强化学习，也可能自行长出搜索、反思和纠错；模型在推导中突然说“Wait, wait…这里有一个啊哈时刻”，不是研究员预先写入的脚本。 核心范式是“Don’t Teach, Incentivize”：问题复杂到人无法逐步示范时，只定义什么是对、什么是错，让模型自己寻找人类没想到的“神之一手”。
• 这一路线的经济意义在于，后训练仍是预训练成本旁边的“毛毛雨”。 潘家怡按约1万步、每步约1,000次回复、每次最多约1万token估算，R1训练约生成1,000亿token；按其API每百万token 2.2美元计算也只约22万美元，优化后可能约10万—100万美元，而V3预训练约530万—600万美元。张小珺的关键纠偏是：R1不能脱离V3计价；低增量成本成立，不等于不再需要昂贵的基础模型。
• R1的算法之美来自删减：GRPO去掉PPO中难以估准、又耗算力的value model，只做组内相对比较，“好的多学，坏的少做”，并用KL约束模型不要偏离初始策略。 数学与代码则尽量使用可验证的ground-truth reward，避开奖励模型被破解；“最优美的算法最干净”，在这里既是审美判断，也是成本与可扩展性的判断。
• 真正可用的R1并不等于R1-Zero：它加入少量冷启动长思维链、推理强化学习、约60万条推理数据和20万条通用数据的蒸馏，再做全场景强化学习，换来可读性、语言稳定性与通用能力。 大模型推理轨迹还能有效蒸馏到1.5B—70B模型；但“笨学生也不能只是抄答案”，节目引用的实验从原始43.8，经蒸馏到49，再经强化学习到52。
• Kimi k1.5与R1技术路线高度趋同，只是其报告在传播上输给了R1-Zero的“啊哈时刻”和DeepSeek长期积累的开源文化；其工程信息反而更丰富。 最值得关注的是思维链奖励模型：传统分类式reward model准确率约84.4%，让模型先推理再判分后达到98.5%；另有length penalty、curriculum sampling、partial rollouts和long-to-short RL，为推理成本、延迟与吞吐量提供了更直接的优化抓手。
• 竞争格局并未因一次发布归零：DeepSeek证明了小资源也能高效转化为创新，开源又会降低全行业复现成本，压缩同质化API的定价权；但OpenAI仍拥有据节目估计的数十万张H100、未来数百万张B100/B200级别资源，以及尚未显著失灵的研究组织。 下一阶段的稀缺品将同时是算力、难题与专业标注、agent环境和可靠奖励，而不是单纯更多用户数据。

精读

1. R1公开了路线，但没有替任何人宣布AGI胜负

• 张小珺把春节期间的冲击概括为DeepSeek“改写全球AGI大叙事”；潘佳怡先保留边界：她主要做后训练研究，对宏观叙事不敢给过满判断，但有几件事“一定成立”。

• 第一件事是，美国大厂会重新审视自己的训练效率与创新领先度；第二件事是，美国开始正视中国AI团队，不再只把它们看成落后一两年的模仿者。

• 更直接的技术意义是，o1发布后被隐藏的路线终于显形：强化学习可以规模化提高推理能力，而R1-Zero与R1让模型推理能力以及作为智能体的能力都可能进入快速迭代期。

2. OpenAI出了一道谜题，DeepSeek第一个交出漂亮答案

• 潘佳怡不把R1简单称为o1复刻。她的比喻是：OpenAI用o1给行业出了一道“非常有意思的谜语”，DeepSeek是第一个揭晓答案的团队，而且答案足够简洁漂亮。

• DeepSeek也不只是追赶者；她特别提到V3的超级稀疏MoE和自注意力机制创新，认为这些已经是杰出原创工作。

• 但她保留了一道更高门槛：DeepSeek尚未像OpenAI那样，连续推出ChatGPT、Sora、o1这类改变paradigm的产品；而这种持续突破能力，过去几年本来也几乎只有OpenAI证明过。

3. R1点燃行业，不只是因为它比o1晚几个月

• o1发布后，原本就在做推理的研究员已经开始探索；真正让更多人转向的却是R1，因为技术路线从黑箱变成明牌，研究者终于知道自己该怎样进入这一领域。

• 潘佳怡观察到，有做视觉语言模型预训练的朋友已考虑转做视觉推理；她把这轮迁移类比为ChatGPT刚出现后，大批人进入RLHF研究的时刻。

• 她身边来自Google DeepMind、OpenAI等机构的研究员，对DeepSeek以低成本做出这项工作的反应是“非常惊讶”；R1引发的讨论量，至少可与o1发布时相比。

4. Kimi k1.5输掉的是注意力，不是技术路线

• 潘佳怡认为Kimi k1.5是“非常漂亮的工作”，与R1异曲同工，技术报告甚至给出了更多数据、系统和工程细节；两篇报告合起来读，反而最完整。

• Kimi的问题首先是积累不足：过去主要服务国内市场，缺少持续开源和长期发表技术报告的传统，因此海外研究社区没有形成DeepSeek那种“自来水”网络。

• 其次是叙事差异。R1-Zero有一句能承载整篇论文的“啊哈时刻”；Kimi k1.5更像扎实的工程手册，信息密度高，却缺少一个能让非专业读者立即转述的爆点。

5. 开源首先创造文化，然后才降低成本

• 潘佳怡提到梁文峰此前采访中的类似思路：“开源会创造一种文化以及一种认同。” DeepSeek连续公开模型和高质量技术报告，使研究者能沿着它的进展逐步学习，也积累了长期信誉。

• 开源会减少重复趟坑：公司若公开framework和代码，后来者可直接复用，不必每支团队重新摸索相同的技术与代码细节。

• 它还会把技术更快推向大众，并继续压低部署价格。R1本身推理架构已便宜，社区自部署与推理框架优化又会进一步把成本往下打。

6. 开源压缩API护城河，却不必摧毁应用订阅

• 张小珺追问：“如果都开源，大模型公司怎么挣钱？”潘佳怡坦承没有成熟答案，但转述一些OpenAI研究员的看法：ChatGPT订阅优于单卖API。

• API已经高度同质化，许多服务兼容OpenAI接口，用户换供应商可能只需改几行代码并充值；厂商必须持续保持“价格便宜、性能靠前”，替代性非常强。

• 每月20美元的ChatGPT则把o1、4o、Sora等最新能力打包给用户，更像有持续关系和产品护城河的商业模式。她还转述Sam Altman在o3-mini AMA中的表态：OpenAI曾站在开源问题“历史的错误的一面”，未来可能开放部分较老、已不用于赚钱的模型与工作。

7. 预训练仍在进步，但迭代时间和资本强度都在恶化

• GPT-3于2020年6月发布，GPT-4约在2023年3月发布；到节目所在的2025年2月，近两年仍未看到GPT-5。与此同时，DeepSeek-V3、Llama 405B等基础模型并未显著超越GPT-4。

• 近年的显著体验提升更多来自后训练：工具使用、价值对齐和用户偏好都进步很大，但基础模型代际跳跃变慢。

• 潘佳怡转述的行业估计是，GPT-4预训练约需5,000万美元；DeepSeek-V3借算法效率把相近能力压到约530万—600万美元，而下一代预训练可能升至2亿美元以上。即便预训练还能再推一代，成本与周期已成为硬约束。

8. o1把训练算力和推理算力都变成了增长轴

• o1公开图表分别考察后训练算力与test-time compute，并采用对数刻度；纵轴是AIME这类高中奥数级任务的准确率。随着算力增加，成绩从约20%—30%一路升至接近80%。

• 关键不只是“训练更久会更好”，而是推理时也能花更多算力：模型输出更长的chain of thought，先拆解、尝试、复核，再给答案。

• 潘佳怡把这称为一条新的scaling路径：预训练算力之外，后训练与推理时算力也可扩展，而且早期曲线近似随算力对数稳定上升。

9. 强化学习不再教答案，而是定义什么值得追求

• 预训练与SFT的基本动作是模仿既有文本：给模型“正确回答”，让它学习下一步应该输出什么。强化学习则只告诉模型结果好不好，让它自己试出更有效的行为。

• 潘佳怡保留的核心比喻是：过去说“授人以鱼不如授人以渔”；现在则是先让人知道“鱼有多香，然后让他饿着肚子”，他可能自己学会捕鱼，而且比老师教得更好。

• 原因并不神秘：当理想行为复杂到人类无法逐步写成教材时，示范会限制搜索空间；可验证奖励只规定终点，反而允许模型发现人没想到的路径。

10. 长思维链把聊天机器人的快反应改造成慢思考

• 传统chatbot更接近“快思考”：读到问题便开始回答。推理模型则会先规划任务、尝试方案A，发现错误后换方案C或D，再检查结论。

• o1公开描述中特别强调，模型会自行识别并修正错误、把难步骤拆成简单步骤，并在当前路径失败时选择另一条路；这些行为不是逐条教出来的。

• 张小珺把预训练理解为扩大知识库，强化学习则负责把知识库用于具体任务。潘佳怡基本认同：前者储存世界知识与思维模板，后者把它组织成聊天、推理或agent所需的行为。

11. AGI路线从单押预训练变成“两条腿跑步”

• 潘佳怡给出一个不严谨但直观的类比：模型能力大致像预训练算力×推理时算力。过去绝大多数资本压在前者，推理极便宜，因此继续扩大预训练的边际成本越来越高。

• 她转述OpenAI研究员的一句话：“o1 is sort of a GPT-6 in your hand。”意思不是o1真的等于GPT-6，而是更多推理时计算，可能提前实现仅靠更大预训练模型才能达到的能力。

• 张小珺问能否沿O系列直接抵达AGI；潘佳怡认为公司不会二选一。按Mark Chen的公开说法，预训练与推理后训练会同时推进，“两条腿在跑步”。

12. o3把推理模型继续推向可行动的agent

• 潘佳怡以o1到o3仅约三四个月的迭代说明，后训练还处在高回报阶段。她列举的结果是：ARC-AGI从o1约20%—30%跳到o3约70%—80%，FrontierMath从约1%升到20%以上。

• o3-mini在性能提升的同时，价格降至o1-mini约三分之一；她不确定这是否由DeepSeek直接逼出，但认为降价“很有可能”受到竞争影响。

• 下一步不只是回答一道题，而是多轮工具使用：模型思考一步、操作环境、接收反馈、再决定下一步。OpenAI最近推出的Deep Research，被她视为这一方向的连续推进。

13. Agent的本质是让大模型调度外部世界

• 写代码agent可以接收“修复某个bug”或“实现某个功能”，随后阅读代码库、编辑文件、运行终端、执行Git操作，并查阅GitHub或网上资料。

• Computer Use Agent则直接接管键盘与鼠标，执行购物、制作PPT等任务；它不再只生成文字，而是把语言模型的智能接入现实工具。

• 张小珺把这压缩成一句话：“大语言模型调度外部世界。” 潘佳怡认为这个描述准确，也点出了推理模型与agent的边界：前者在脑内完成题目，后者必须与环境循环互动。

14. “Incentivizing”是R1整篇论文最重要的动词

• DeepSeek-R1论文标题是《Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，不是“teaching reasoning”。潘佳怡联系到OpenAI研究员Hongyu在MIT演讲中的标题：“Don’t Teach, Incentivize。”

• 这句话不是否定所有人类知识，而是强调行为获得方式：模型已经经过互联网预训练，研究者不再规定每个推理动作，只提供任务与奖励。

• 她把三家公司路线趋同解释为：它与其说是一家公司的发明，不如说是一种发现——足够强的语言模型接受强化学习后，会长出长思维链，并在推理任务上明显提升。

15. R1-Zero把base model直接送进强化学习

• DeepSeek-R1-Zero从V3 base model出发，不先做SFT，直接运行大规模强化学习；这与传统“预训练—监督微调—RLHF”的三段式流程不同。

• 经过数千步训练，模型在数学等任务上从较低基线持续提升，最终达到接近o1的水平；训练到约1万步时，性能大致进入o1区间但略低一些，同时自然出现搜索、反思和自我纠错。

• 代价也很清楚：文本可读性差、语言会混杂、通用性不足。因此R1-Zero更像科学发现，真正面向用户部署的是加入多轮工程处理后的R1。

16. GRPO删掉了长思维链中最难估准的value model

• PPO通常同时训练policy model与value model；后者试图判断每个token或步骤的价值，从而把最终奖励细分到整个轨迹。

• 长思维链让这种判断变得含混。模型先写“一加一等于三”，随后发现错误并改成二时，前面的“三”究竟是坏动作，还是成功自纠错所必需的探索，很难精确标注。

• DeepSeek在此前DeepSeekMath工作中提出GRPO：既然critic估不准、成本又高，就舍弃它，只依据一组回复的相对结果做policy gradient。潘佳怡评价它“非常简单、直接”。

17. 组内比较、旧数据复用和KL约束构成了最小可用算法

• GRPO让模型对同一道题尝试多次，再把结果标准化：相对好的轨迹增加概率，相对差的降低概率，组内均值约为零、标准差约为一，以稳定训练。

• 为提高昂贵长文本的利用率，训练还会容忍一定程度的off-policy data，即重复使用稍早版本模型生成的样本，并用importance sampling一类技巧修正偏差。

• KL divergence则把当前模型拴在reference model附近：新策略可以进化，但不能突然远离那个至少“输出像回事”的起点，避免训练崩坏。

18. R1-Zero只奖励答案与格式，刻意不评价推理风格

• 奖励函数主要有两项：accuracy reward检查最终答案是否正确，format reward检查是否按要求先在think标签中推理，再在answer标签中作答。

• 这种格式不只是为了好看，也方便程序可靠提取最终答案并与标准答案比较。潘佳怡团队复现TinyZero时，给正确性奖励1、格式奖励0.1，就已能跑出效果。

• 她与合作者只花一个晚上完成早期小规模实验；在小规模、简单任务上，即使是3B模型，只要任务难度与模型能力匹配，也会学出搜索与纠错。

19. 可验证奖励的价值在于不给模型留下“钻规则”的空间

• R1-Zero不使用神经网络式结果奖励模型或过程奖励模型，而是在数学、代码等领域尽量使用标准答案、化简规则和unit test。

• 潘佳怡用RLHF中的emoji说明reward hacking：若奖励模型误学成“表情越多越友好”，强化学习就可能生成满屏emoji，机器得分很高，人却觉得一言难尽。

• Ground-truth reward虽然覆盖领域较窄，却不会被强模型轻易欺骗。张小珺问OpenAI早年的《Let’s Verify Step by Step》是否故意带偏同行；潘佳怡认为不必阴谋化，当时OpenAI自己可能也仍在试路线。

20. R1-Zero的性能增长，本质上是模型学会多花推理算力

• DeepSeek图中，AIME准确率随着强化学习步数持续上升；普通单次作答最终约到70%，再用16次回答的共识选择，结果更高并接近o1区间。

• 另一张图解释了性能从何而来：平均回复从最初几百token，训练约8,000步后升至接近1万token，几乎是一条向上的直线。

• 模型自己发现，“多想一会儿”能拿到更多奖励，于是主动增加test-time compute。潘佳怡因此留下一个开放问题：图还在上升，DeepSeek为什么在这里停下，继续训练是否还会扩展？

21. “啊哈时刻”证明模型不是只把既有模板拉长

• DeepSeek展示的一条轨迹中，模型推到中途突然说：“Wait, wait…there’s an aha moment I can flag here”，随后重新检查公式、发现问题并修正答案。

• 重要的不是一句拟人化台词，而是其背后的行为链：暂停、回看、定位错误、换路径、再验证。研究员没有预先写入“此处应当反思”，行为由奖励压力自行涌现。

• 潘佳怡称强化学习可能是目前已知能够达到superhuman performance的唯一方法；她把这一现象与围棋中的“神之一手”并列，认为它增强了继续扩大数据、算力和算法规模的信心。

22. 涌现行为让“意识”问题变得严肃，却没有给出答案

• 张小珺问模型会不会涌现意识；潘佳怡的回答是“取决于意识如何定义”。若坚持“它只是在预测下一个词”，当然可以说没有；若只比较输入输出，界线就没那么清楚。

• 她转述Geoffrey Hinton的立场：模型能像人一样接收一句话并给出甚至更好的回复，仅凭底层实现不同，是否足以断言它没有意识？

• 她没有把讨论推成结论，只说模型已经在许多领域超过人类、另一些领域仍需突破。她认为人们开始认真讨论意识，本身已说明模型能力出现了非常卓越的突破，并引发人对自身存在和价值的思考。

23. R1把R1-Zero的科学发现包装成可部署产品

• 潘佳怡区分得很明确：R1-Zero在技术上更干净，因为更少依赖人为先验；R1则在商业与部署上更强，因为它可读、通用、语言稳定，更适合实际落地。

• R1流程大致是：少量冷启动长思维链、推理强化学习、从多个专家模型生成数据并SFT、最后做一次全领域强化学习。

• 张小珺问“哪个更重要”；潘佳怡的回答取决于目标：研究未来上限看R1-Zero，用户实际使用看R1。当前DeepSeek产品里使用的是R1，几乎没人拿R1-Zero直接服务用户。

24. 冷启动用少量示范换来更好的搜索起点

• 冷启动数据是研发者精心筛选的长思维链，提前展示搜索、验证、反思、自纠错等pattern，并改善R1-Zero中语言混杂和难读的问题。

• 这仍然引入了人类先验，却可能让后续探索“事半功倍”：模型不必先花大量强化学习步数发现最基本的推理动作，而是在较好的初始化上继续优化。

• 随后的强化学习主要覆盖数学、代码、科学和逻辑等可验证领域。若回复中混杂多种语言，就降低奖励，推动模型学会更稳定地使用目标语言。

25. 80万条专家数据把推理专才重新做成通才

• 推理阶段所得模型是专家：数学和代码很强，却未必擅长聊天、写作、翻译或角色扮演。DeepSeek因此让R1中间checkpoint为推理任务生成数据，再用rejection sampling删除错误、混合语言、过长和格式不佳的回答。

• 这一流程得到约60万条推理数据；在通用任务上，则让DeepSeek-V3充当专家，简单问题直接回答，较难问题先生成思维链，共得到约20万条数据。

• 两部分合计约80万条，用于微调V3 base model，使其同时吸收推理专家与通用专家能力。最后再做全领域RL：推理任务用规则奖励，通用任务用reward model，得到最终R1。

26. “Zero”继承了AlphaGo Zero的理想，却还没有真正从零开始

• AlphaGo先学习大量人类棋谱再强化学习；AlphaGo Zero则只拿规则和奖励从零自博弈，最终上限更高，还能发现人类没想到的棋路。

• R1-Zero与之相似之处，是没有用冷启动思维链教推理模式；但它已在互联网文本上完成预训练，所以潘佳怡强调：“它还没有那么zero。”

• R1也未必在工程上必须由R1-Zero先产生。Kimi k1.5没有公开同样的Zero阶段，仍可用冷启动加RL达到强性能；R1-Zero的独特价值，是证明更少人工先验也可能走通。

27. 大模型发现推理，小模型可以把它压缩带走

• DeepSeek用R1生成的数据蒸馏Qwen与Llama系列，公开从1.5B、7B、8B、14B、32B到70B的模型，让开发者能在本地运行推理模型。

• 按节目引用的榜单，R1蒸馏的Qwen-1.5B在AIME上甚至比GPT-4o、Claude Sonnet等传统前沿聊天模型高约10—20个百分点，说明长思维链并非只能存在于巨型模型。

• 这也把竞争从“谁能训练最大base model”扩展到“谁能提供最好教师数据、蒸馏方案和推理部署”；小模型未复制老师全部能力，却能继承相当多的行为模式。

28. 强老师的蒸馏优于弱学生从零摸索，但蒸馏后仍要练习

• 对Qwen-32B的比较显示，从600B级MoE老师R1蒸馏，明显优于让32B小模型直接照R1-Zero路线做大规模RL。原因是大模型更可能探索到复杂而有效的策略。

• 直接RL所得Qwen-32B-Zero与QwQ-32B-Preview成绩接近；潘佳怡认为这可能说明不同团队的路线最终收敛到相似性能，但论文没有揭示QwQ内部管线。

• 节目引用另一项实验：原模型平均43.8，蒸馏后约49，再加一轮RL升到52。她的总结很形象：“笨学生也不能只是抄答案”，还要通过强化学习找出哪些老师技巧适合自己。

29. 过程奖励模型不适合直接驾驭大规模长链训练

• PRM试图判断第一步、第二步分别对错，但自然语言里的“一步”很难定义：竖式的一行算一步，还是整个竖式算一步？通用任务更没有统一边界。

• 自纠错进一步破坏了标签确定性。中间一步看似错误，却可能触发后续修正；人工逐步标注又昂贵、不可扩展，自动标注效果则不够可靠。

• DeepSeek因此没有把PRM用于大规模强化学习。不过潘佳怡保留了它在best-of-N selection中的价值：让模型生成10次或100次，再用PRM挑出最好的一条，仍可能优于只看最终结果的打分器。

30. MCTS在围棋中优雅，在语言里却遇到巨大的树

• 蒙特卡洛树搜索把任务拆成节点，每一步尝试多个分支，再用value estimation判断哪些路径值得继续加注；AlphaGo的成功让许多团队相信它也能迁移到语言推理。

• 障碍首先是语言没有清晰落子：一步可能是一词、一句或一段；若按token展开，序列可达上万层，每层面对巨大词表，搜索空间与剪枝成本爆炸。

• 剪枝又依赖精确的价值函数，而这正是长思维链里最难训练的部分。DeepSeek在数学证明等方向尝试过PRM与MCTS，最终发现直接强化学习反而更干净、更可扩展。

31. R1增量训练可能只需六位数美元，但这不是完整成本

• 潘佳怡做了一次back-of-the-envelope calculation：约1万步×每步1,000条回复×每条最多1万token，合计约1,000亿token。

• 按R1当时每百万token 2.2美元的API售价，全部买下来约22万美元；考虑API利润与训练额外开销后，她估计优化充分可能约10万美元，“出破天”最多约100万美元。

• 张小珺立即补上前提：R1依赖V3，不能只算后训练。潘佳怡同意；V3预训练约530万—600万美元，R1的便宜是站在强base model之上的增量便宜。

• 论文没有披露卡数和完整超参数。潘佳怡估计，R1若使用100—200张卡训练并不意外；至于600B级MoE的V3，几百张卡训练也不令人意外。她把这些明确留在估算层面。

32. 垂直公司可以借V3起跑，AGI实验室仍要掌握全栈

• 若目标是在某个行业训练推理模型、代码agent或专用模型，潘佳怡认为直接基于V3做后训练就可能足够；同样资源投向后训练，短期收益通常高于重做预训练。

• 若目标是通用人工智能，则预训练、后训练、推理和agent环境都要自己掌握，不能长期依赖另一家厂商开源，也不能放弃验证自己的架构技巧。

• 对“不需要SFT”的说法，她也做了降温：R1-Zero证明可以跳过SFT，但R1和Kimi k1.5都用了少量、精心设计的冷启动数据；变化是从大规模示范转向少而精的行为引导。

33. Kimi k1.5采用相同主线，却公开了更多复现细节

• k1.5同样先用冷启动长思维链，再做强化学习，更接近R1而非R1-Zero。它刻意覆盖四种模式：planning、self-verification、reflection、exploration。

• 它没有使用GRPO，而是一个online policy mirror descent变体；潘佳怡判断其目标与梯度形式和GRPO相近，差异是否重要，报告没有给出足够解释。

• Kimi的优势是工程透明度：数据构造、长度控制、奖励模型、训练架构和消融实验都讲得更多；不足则是没有R1-Zero那种一眼可见的科学高潮。

34. 长度惩罚和课程学习把“多想”变成可管理资源

• k1.5在奖励中加入length penalty：答错时希望尽快停，答对后仍偏好更短，但正确性奖励必须占主导。目标不是禁止长思维链，而是让模型用更少token做对。

• 张小珺提出用户侧反例：DeepSeek输出更长，却也更有情绪价值，用户未必希望它少说。潘佳怡接受这个trade-off——直接聊天可能喜欢丰富，API和嵌入式服务则更在意延迟与成本。

• Curriculum sampling不再从题库随机抽题，而是持续选择“模型有机会做出、又没有完全掌握”的难度；实验显示，匹配能力的题让模型学得更快、最终也更好。

35. 思维链奖励模型把错误率从约15%压到1.5%

• Kimi在数学任务上不能全部依靠规则，尤其是证明题，因此仍训练reward model；输入包含问题、模型答案和标准参考答案。

• 传统方案把语言模型激活接到小型分类头，直接判断对错，准确率约84.4%。问题在于，语言模型本来最擅长生成语言，却被迫一次性吐出标签。

• 新方案让奖励模型先写思维链，比较解法与标准答案、检查错误，再给结论。按节目表述，用约80个标注好的思维链样本微调后，准确率达到98.5%，错误率从约15%降到1.5%；潘佳怡认为这是k1.5最可能被行业广泛采用的发现。

36. 多模态推理同样依赖可验证和可合成的数据

• 代码任务使用题目、算法答案和test case，用自动生成器生成小程序与unit test；运行test case即可得到明确反馈，把代码能力变成适合RL的环境。

• 视觉数据一部分来自现实场景，一部分由已有图片标注合成空间关系问题，例如询问某物上方、下方是什么，使视觉推理也拥有结构化监督。

• 团队还把代码和普通文本渲染成截图或PDF式图片，要求模型从视觉输入得到与原始文本相近的表现，避免产品遇到截图时能力骤降。

37. Partial rollouts解决了长思维链拖垮训练吞吐量的问题

• 强化学习系统要同时容纳policy训练、长文本rollout、reference model概率计算和奖励评估；Kimi以类似Ray的工具调度，训练侧使用Megatron，推理侧使用vLLM，社区也可用FSDP、SGLang等组合。

• 训练与推理对参数切分方式不同，系统需要搬运权重、腾挪显存，并在CPU与GPU之间调度优化器状态。潘佳怡判断，现有框架再提高50%—100%效率都不意外。

• 最慢的一条回复可能有几万token，若等待整个batch结束，大量GPU会空转。Partial rollouts在阈值处暂停未完成轨迹，下一轮再续写，不让“最慢的马”堵住所有设备。

• 代码test、规则检查和思维链奖励模型也有延迟，k1.5因此异步执行奖励计算，提高吞吐量并减少训练管线气泡。

38. Long-to-short实验说明，压缩推理最好仍靠强化学习

• Kimi试了四条直接路线：合并长、短思维链模型参数；拒绝采样后只用短的正确回复SFT；用DPO偏好短回复；以及带长度惩罚的long-to-short RL。

• 参数融合、SFT和DPO都有效，但RL在相同token数量下性能最好，在相同性能下也最省token。与此同时，整体规律仍是思维链越长，性能越高，近似呈线性关系。

• 模型规模消融给出一个有利于端侧的可能性：大模型在相同长度下更强，但小模型若允许生成更长思维链，也可能与大模型竞争，甚至未来在手机上逼近服务器模型。

• 简化的ReST、STaR或filter-based rejection sampling fine-tuning只学习正确样本，不对错误样本施加negative gradient，结果往往只提高3—4点；k1.5、R1式算法可提高10—20点。“坏的要少做”不是可有可无的细节。

39. 下一轮竞争将围绕agent数据、算力与组织效率展开

• DeepSeek列出的后续短板包括function calling、多轮对话、复杂角色扮演、JSON结构化输出、非中英文语言混杂，以及推理模型对提示词较挑剔。更大的目标是把RL从竞赛代码扩展到真实软件工程agent，如SWE-Bench、MLE-Bench和Kaggle式任务；潘佳怡也提到自己与合作者的公开项目SWE-Gym，并称其应该是这方面较早的工作。

• 数据不会消失，只会换形态。未来需要困难问题、解题思路与标准答案，以及软件开发、行业调研、工具调用等完整轨迹；她转述OpenAI会以每小时约100—200美元找博士生标注专业数据，Kimi附录则约有20名数据标注贡献者。张小珺称这些人为“AI教练、AI培训员”。

• 更少依赖人的可能路线包括self-play、弱监督和思维链奖励模型，但潘佳怡强调这些方向仍在探索。大量用户数据也尚未转化为稳定护城河；未来若模型能观察屏幕操作和专业软件流程，数据价值才可能改变。

• 她不认为DeepSeek已能“打垮OpenAI”：后者据其估计拥有数十万张H100，Stargate目标又指向数百万张B100/B200，国内存在一到两个数量级差距。但DeepSeek证明了卓越的资源转化效率；与受官僚、KPI和内耗困扰的Meta形成对照，它的组织能把较少资源变成前沿创新。

• 节目的最终判断不是“规模已不重要”，而是后训练仍处在极早期，算力可每隔几个月增加一个数量级，算法也可能让scaling law继续变陡。潘佳怡看完R1最兴奋的感受是：“原来它就这么简单。”张小珺的收束则是：“优美的算法或者优美的技术，往往是最简单干净的技术。”