先锋 趋势 方法 投研 作者
从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青
返回节目精读

从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

摘要

  • SI/RSI 与 Auto Research 被孟繁青视为模型竞争的下一阶段焦点,但他不认为会诞生独立的“RSI 基础模型”。 self-evolving、Auto Search 与 RSI 都可形式化为“环境+目标+反馈+持续迭代”;真正影响 RSI 能力的,仍是现有基模内化的 world model、value model,以及更长的 context。创业公司的机会更可能是桥接模型厂和应用,而非再造基模。
  • 国内追赶的决定性因素不是蒸馏。 孟繁青认为,Kimi K3 在国内可用算力可能只有国外十分之一,反而逼出了 Kimi Linear、DeepSeek“Multi-Layer Attention”等可 scale 的底层创新;蒸馏只是竞争激烈时的“加速手段”,即便通道被封,追赶会更费劲,但不会因此中止。
  • Post-training 已越来越接近造数据:模型厂内部把 SFT 等流程封装成服务后,普通算法研究员主要提交数据即可。 真正稀缺的是数据正确性、难度、轨迹与分布上的 know-how;数据质量只能初筛,“正儿八经看它到底能不能 work,还得去训练”。
  • Benchmark 正从试卷变成工作环境。 过去只测“模型大脑”,现在要模拟 Notion、飞书等软件,让 Agent 在长程任务中同时展示推理和操作能力,再按多个得分点验证结果;这使 benchmark 更接近产品和商业化的平台。
  • 普通 Agent 合成数据的高价窗口接近尾声。 长程合成任务单条可卖到好几千,专家做题数据约一两千量级,但模型厂自制能力增强、优质 benchmark 收敛,外采需求会减少;下一波可能是 RSI 数据——例如让一个模型后训练小模型并完整记录轨迹,单条生成就要十几小时甚至一天。
  • 通用 Harness 的独立空间有限,垂域仍有经济账可算。 coding 等通用领域更可能由模型与模型厂自有 Harness 配套提供;垂域则可让强模型指导较小的开源模型自进化,再以更低成本、更快速度和更强隐私性运行。“写 Harness”可以交给最强模型,但不等于运行时必须持续购买最强模型。
  • 长期壁垒可能从卡和人才转向组织吞吐量。 模型发布大概率继续交替领先,技术会在公司间流通;当技术路径快速收敛,谁能合理组织 pre-training、多模态与 Infra,决定整个公司能否跑得更快。模型智力的展示则正从 coding 延伸到 Auto Research 和 AI for Science——曲凯概括为“从奥赛转到诺贝尔”。

精读

1. Post-training 创业者的机会在模型厂之外,而不是复制模型厂

  • 孟繁青是 NUS 博士生,曾在 Kimi 从事 Agent 与相关 Infra,参与 Kimi Linear、K2.5 等模型发版;创办 Evolvent AI 约半年后,他把方向收敛到 RSI 与合成数据,团队以“00 后 researcher”为主。

  • 从 Kimi 到创业公司的最大变化,是训练基模在大厂内已高度工程化,研究员更多是在稳定流程上生产数据;创业后则必须从零搭建平台,并寻找与模型厂商主线 更正交的切入口,做实际应用更需要的东西。

  • Pre-training 人员创业较少,并非能力问题,而是其日常工作围绕模型架构、优化器与大规模计算展开,离开算力很难复现研究条件;Post-training 更贴近合成数据、Agent 和 benchmark,也就 离落地与收入更近。

2. Benchmark 已从“让模型做题”升级为模拟真实工作的环境

  • 孟繁青把旧 benchmark 比作考试:给模型一道数学题,看最终答案是否正确,本质上只测“模型大脑”。新一代 Agent benchmark 则要搭建完整工作环境,让模型像白领一样操作飞书、Notion 等工具,既动脑也动手。

  • 这种环境首先要证明自己足够真实:例如模拟的 Notion 与真实 Notion 在相同输入下是否产生相同输出。只有环境行为对齐,Agent 在其中得到的成功、失败和训练轨迹才有意义,环境本身就是测量的一部分。

  • 新任务也不能再用一个答案做二元判定。孟繁青提到,当前许多 benchmark 会拆成多个细小得分点,评分器、题目和环境都需要精细设计,现实中仍是 人和 Agent 一起 check。

  • 这也解释了 benchmark 的商业价值:一个足够好的 Agent bench 不只是论文题库,它已经包含可运行的软件环境、任务系统和验证机制,工程实现更接近实际产品,因而更容易转化成 平台型商业模式。

3. 训练流水线正在商品化,数据判断力才是 Post-training 的核心资产

  • 在模型厂内部,SFT 已被封装成服务:研究员提交数据请求,远程系统完成训练,最后返回结果,不必亲自找 GPU、拉 GitHub 仓库或配置环境。孟繁青因此承认,普通算法研究员的 训模型门槛显著下降;真正构建服务的 Infra 人员仍面对大量难题。

  • 他不认同“Post-training 因此只是枯燥的数据劳动”。从 Transformer 到基于可验证奖励的 RL,技术演进本就在趋向更简单、直接、面向结果的形式;算法技巧收敛后,研究的本质自然暴露为:到底给模型什么数据。

  • 数据通常围绕目标 benchmark 设计,最直接的判断是能否在不作弊、不 hacking 的情况下提分,同时不能牺牲写作等其他能力。训练前只能检查正确性、轨迹是否作弊、难度是否适中;太简单没收益,太难又学不会,最终仍是“训了才知道”。

  • Evolvent AI 的 RSI Bench 显示,Agent 已能修复机械问题,例如发现一批训练数据使输出格式出错后自动调整;但它暂时不能提出研究员式的造数 insight。孟繁青的判断是,数据 know-how 仍在人手里,不同研究员造出的数据确实会得到不同模型结果。

4. 国内的资源约束反而逼出了 Pre-training 架构创新

  • 孟繁青观察到,国内模型与海外的差距正在缩小:例如 Kimi K3 在国内可用算力“可能只有国外十分之一”的情况下,发布结果已接近 frontier;但海外实验室可能仍有未发布的储备,因此真实时间差很难精确估计。

  • 他把国内追赶拆成两条路。第一条是 Kimi、DeepSeek 在 Pre-training 层做底层创新,例如 Kimi Linear 和 DeepSeek 的“Multi-Layer Attention”,目标都是用更少计算取得更好效果,同时不过度损失性能和推理速度,属于 资源倒逼创新。

  • 他甚至认为,全球真正得到公司内部规模化验证的新架构并不多;Kimi、DeepSeek 至少证明了自己的方案具有 scale 能力,而 Mamba 等海外架构尚未得到同等程度的采用。这个判断并非他声称的行业共识,而是 他与部分朋友交流后的看法。

  • 相较之下,国内 Post-training 可能反而更弱,弱点不在算法人才,而在数据积淀:Claude、OpenAI 等海外厂商起步可能早了半年。数据积累依赖持续人力与组织流程,时间差比单点算法差更难补,蒸馏因此成为快速补数据的工具。

5. 模型会交替登顶,真正体感与榜单排名并不是一回事

  • 孟繁青预计,国内开源模型将长期呈现 轮流 Top one 或 Top two:一家发布大版本后暂时领先,几个月后另一家的新版本再超过它。单一架构创新会制造时间差,却很难保证某家公司一路领先。

  • K3 的大参数规模被他视为重要贡献,因为在当前数据规模下,继续 scale 参数仍能获得收益;其他厂商能够追赶,但需要时间和相应 Infra。规模路线并非不可复制,却也 不是看见参数表就能立即复刻。

  • 榜单之外,孟繁青说从实际使用体感来看,GLM 确实长期领先;他虽不了解智谱内部细节,但从同行交流判断,其 coding 优势主要来自 Post-training 数据做得更好。对于字节,他认为追上当下 frontier 是时间问题,能否持续缩小与最新 frontier 的差距则不好说。

  • 人才可被高薪吸引、数据也能靠投入积累,卡仍重要,但孟繁青最终把长期差异落在 组织架构:混元调整组织后进步明显;多模态是否单独设部门、是否与 Pre-training 合并,都会改变公司整体的迭代速度。

6. Self-evolving、Auto Search 与 RSI 本质上是同一个闭环

  • 孟繁青给出的统一定义是:向模型提供一个工作环境和目标,让它持续操作,根据结果反馈修改之前的行为,再尝试突破原有上限。无论叫 self-evolving、Auto Search 还是 RSI,形式上都是 环境—行动—反馈—再行动。

  • 这个闭环可以发生在不同层次:最表层是结果交付前让模型自检或换模型复核;中间层是 Harness 自动组织多步工作;更深层则是模型自己生成数据、修改训练过程,最后训练出更强的自己。孟繁青个人理解这些都可以算作 ASI,但大众通常把 RSI 更专指模型自迭代。

  • Auto Search 可能表现为反复优化 GPU kernel,RSI 则可能覆盖 Pre-training 与 Post-training。孟繁青引用一种 AGI 判据:模型能否“从零复刻出一个自己”;若复制出的模型进一步超过原模型,才构成真正意义上的递归式自我改进。

  • 合成数据不是 RSI 的终点,而是其中间产物:完整自我改进还可能同时修改数据、算法和架构。Evolvent AI 的实验已看到 Agent 在数据层拥有有限自进化能力,但从“会修格式”走到“会提出训练 insight”,仍有明显距离。

7. Harness 不会消失,但通用市场与垂域市场将走向不同结构

  • 模型厂正在把模型与自己的 Harness 配套发布,例如 Kimi Code,以及孟繁青所说 DeepSeek 内部尚未 release 的 Harness。因为 Post-training 时模型输出会经过这套系统,反向传播会让模型越来越适配它,形成 模型与 Harness 的共同适配。

  • Harness 因而会变简单,却不会凭空消失。对 coding 等通用领域,孟繁青认为第三方 Harness 没有太大存在必要;模型厂更可能把模型与自有 Harness 一起提供。

  • 垂域的经济账不同:很多任务不需要 Claude 级别的最强模型,可以让强模型指导较小的开源模型和简单 workflow,在特定场景中完成自进化,随后只部署小模型,以换取 更低成本、更快速度与数据隐私。

  • 曲凯的追问是:若模型已能训练自己,当然也能编写垂域 Harness,是否终究仍是“模型吃到一切”?孟繁青区分了编写者与运行者——强模型可以写 Harness,却不代表运行时必须用它。曲凯还提到 GPT 好像刚降价 80%;孟繁青提醒,降价也受开源与竞争驱动,若未来出现垄断,价格未必一直下降。

8. RSI 不需要一套专用基模,它更像由现有模型执行的聪明搜索

  • 面对“既然能自我研发,为何创业公司不直接做出比 OpenAI 更好的基模”的质疑,孟繁青给出的判断是:所谓 RSI 基模其实就是模型厂正在训练的基模。另做一套 RSI 专用基模或专用 Harness,在他看来都没有意义。

  • 他把当前 RSI 方法概括为“更聪明版本的 DFS”:模型尝试一个方案、取得评分、遇到坏反馈后回溯,再选择另一条路径。与代码写死的深度优先搜索不同,LLM 会判断回溯到哪里,并提前剪掉明显无效的分支。

  • 剪枝要求模型预判一次操作会带来什么未来状态,以及该状态的潜在收益,技术上对应 world model+value model。孟繁青认为两种能力已在基模预训练中被内化;RSI 变强主要依靠知识内化得更好,以及 context window 继续变长。当前最高长度他说可能到 1M,更长的 context 能让模型记住更多探索并回溯得更远。

  • 因此 Evolvent AI 想做的是模型厂与应用公司之间的 RSI 通道,而非与模型厂正面训练基模。曲凯推演未来模型公司或许只需十到二十人,孟繁青只接受“结果上可能如此”,并强调现实中的组织与多方面约束未必允许规模极端收缩。

9. 数据产业已从普通标注、专家标注走到 Agent 轨迹

  • 第一阶段是以 Scale AI 为代表的普通人标注,数据量较小、任务相对简单;第二阶段转向专家数据。o1 出现后,模型推理能力跃迁,2025 年初模型厂一度大量寻找数学、物理专家。

  • 专家门槛随后被模型能力推高:过去只需解题,现在还要出题,而且题目不能与市场上已有问题重合。孟繁青说这已经“太难了”,所以专家数据仍有需求,却不会恢复到此前的规模,普通高噪声 raw data 则更多服务于 Pre-training,新增需求也已下降。

  • Claude Code 之后,模型从聊天机器人、超级做题者进一步变成同事,数据形态也转向 Agent 长程轨迹。合成路线是搭环境、设目标、让模型探索并保存完整轨迹;真人路线则记录人在真实工作软件中的交互过程。

  • 真人数据来自真实工作环境,但噪声高、需要清洗,还涉及合规;合成轨迹若环境、题目和评分器都设计正确,可以直接用于训练。个人用户想出售日常 AI 使用记录,孟繁青的回答很直接:“卖不出去”,原因正是数据太脏且存在合规障碍。

10. 当前合成数据订单趋近尾声,下一波是能训练模型的 RSI 轨迹

  • 节目给出的价格感知是:复杂、长程的合成任务,单任务能卖到好几千;做题类专家数据约一两千量级;真人操控轨迹通常按规模采购,没有稳定的单条价格。

  • 模型厂自己当然也造合成数据,但自造数据可能带有自身 bias,因此仍会从外部采购高质量样本以补充分布。随着优质 benchmark 数量收敛,厂商可以集中内部资源覆盖少数核心榜单,外部订单自然 从多多益善转向精选补充。

  • 孟繁青判断,普通 Agent 数据这一波已经接近尾声,重人力的专家标注公司会受到筛选。数据公司若想追上需求变化,必须拥有一线 hands-on researcher,能理解模型训练和新 benchmark,而不是只靠 扩大标注人力。

  • 下一波可能是 RSI 数据:例如让一个模型完整后训练另一个小模型,并把效果提升过程保存成轨迹;单条生成就可能运行十几小时乃至一天。Evolvent AI 现阶段用合成数据业务提供现金流,也借此积累 know-how,反哺 RSI Bench Data 与长期平台能力。

11. “算法就是数据,数据就是 Infra”不是玩笑,而是同一训练瓶颈的三面

  • 孟繁青认可“算法就是数据,数据就是 Infra,Infra 就是算法”的说法:当 RL 等算法逐渐收敛到较简单、统一的形式,团队之间的差别便更多体现为喂了什么数据,以及能否高效处理这些数据。

  • 他用一个长尾例子解释 Infra:一批 100 条数据中,前 99 条一分钟内推完,最后一条却要 100 分钟;同步整理和训练意味着其他 GPU 都在等待最后一条。如何在 Infra 上处理这种长尾,直接决定 训练速度与算力利用率。

  • 当轨迹越来越长,大尺寸模型的 SFT 又要求更多 GPU 和模型并行策略;若未来一条推理要一天甚至数天,数据需求反过来会迫使算法和 Infra 重构。因此并非三者界限消失,而是 更难的数据持续驱动另两层创新。

  • 合成数据也不会真正无限:数据量会增加,但不会毫无节制。Agent 用户越多,使用产生的“熵源”越丰富,能反哺更好的合成任务;孟繁青预计数据量会随模型尺寸增加,质量也会逐步提高。

12. 蒸馏是追赶工具,不是国内模型变强的决定性来源

  • 合成数据需要一个 Agent 在环境中探索;若 Agent 使用 Claude 等外部模型,就构成通常所说的蒸馏。孟繁青把简单数学题式蒸馏称为“把老师作业拿过来抄”,环境太简单时,教师答案几乎就是全部价值。

  • 真正“有技巧的蒸馏”先要造出复杂环境、足够好的题目和正确评分器,再让外部模型探索。此时数据生产者贡献的不只是调用 API,而是一整套任务与验证系统;落后模型因可学习的 margin 更大,获得的收益 更大。

  • 领先模型也能在自建环境中探索出正确轨迹,再用这些轨迹训练自己并提点。孟繁青把原因归结为 RL 的持续强化过程:教师和学生可以是同一个模型,所以 合成数据并不必然依赖更强外部教师。

  • 他认为国内模型的智力基础主要来自 Pre-training 的架构、优化器和知识学习,Post-training 只是对原分布做 shift;蒸馏是加速手段,“能争最好,不争也行”。若所有通道被封,追赶会更费劲但仍能继续;他推测字节谨慎蒸馏,可能是担心走“抄近道”而错过主路上的 insight。

13. 模型智力正从 Coding 延伸到 Auto Research,组织能力将决定谁跑得更快

  • Coding 从年初以来一直是模型厂提升智力上限的主线,增长仍快,但训练 pipeline 已相对稳定;Claude、OpenAI、千问、Kimi 等开始探索 Auto Research,让模型在长任务中不断修改方案,寻找 新的能力展示与训练路径。

  • AI for Science 同样符合这一结构:让模型设计分子、蛋白质等,既是相对直接的应用,也是新的智力标尺。曲凯把变化概括为“从奥赛转到诺贝尔”;孟繁青也指出,当 coding 已难充分区分模型时,科学任务承担了 benchmark 和 PR 的双重角色。

  • 孟繁青反对“多模态不在智力主线”的绝对判断。文本经过高度压缩,学习更快;多模态信息里的噪声更多、发展较慢,却是 AI 进入物理世界不可缺少的输入。资源有限时不应无差别全模态优化,但多模态应 放到主线上,而非完全割裂。

  • 模型能力仍会增长,却不代表模型厂永远需要同样多的高薪 researcher。孟繁青更偏好初创公司:技术会在公司间快速流通,最后比的是组织如何让整体跑得更快。Evolvent AI 因而选择合成数据与 RSI 桥接层;招聘时也不以论文、引用量为首要指标,而更看重 工程能力。