138. 对罗福莉3.5小时访谈：AI范式已然巨变！OpenClaw、Agent范式很吃后训练、卡的分配、组织平权

摘要

• 大模型竞争已从预训练主导的 Chatbot 时代，切换到后训练主导的 Agent 时代。 罗福莉把 OpenClaw 视为关键分界点：它不是简单的 Claude Code 外壳，而是把记忆、消息渠道、主动任务和模型调度编排成“有灵魂”的框架。MiMo 团队因此在三四周内做完过去可能需要三四十周的研究，研究 taste、想象力和实验卡成为关键约束。
• 接近 Claude Opus 4.6 的 Agent 水平，需要 1T 以上基座、敏捷后训练和复杂框架共同作用。 她给出的算力配置是研究、预训练、后训练约 3:1:1；预训练与后训练已从 Chat 时代的 3:1 乃至 5:1，转向顶尖团队的 1:1。“上一个时代的成功并不意味着下一个时代的领先”，但至少 1T 规模可能是入场券。
• Agent 框架能抬高中段模型的稳定性和可用下限，也能放大顶尖模型的上限。 她举例说，一个在约 85% 任务上达到 Claude Sonnet 水平的中段模型，加上好的 Agent 框架，已经能在绝大部分生活或泛编程场景发挥很大作用；但她第一周仍主要使用 Opus 4.6，第一天四五小时花掉近 1,000 美元，因为“只有它能带来惊艳感”，再让它反过来改造记忆和 multi-agent 系统。
• MiMo-V2 的核心押注不是某个 benchmark，而是长上下文 Agent 的效果、速度与成本。 Flash 与 Pro 采用 hybrid attention、MTP 和更激进的 7:1 hybrid 比例，Flash 可达约 100–150 TPS，Pro 约 60–100 TPS；MTP 通过验证后才接受预测 token，不会额外制造幻觉，并把闲置计算换成更低的单 token 成本。
• Agent 经济是否爆发，取决于替代价值与推理成本能否拉开十倍级差距。 国内 OpenClaw 更热，一部分原因是便宜模型能用约 10 元 API 完成价值约 1,000 元的工作；罗福莉预计模型与框架继续提升后，推理需求可能增长数倍到十倍，存储、推理芯片和产能将成为关键约束。
• 组织设计正在变成模型能力的一部分，平权、小团队和群体智能比履历更重要。 MiMo 约 100 人，内部不按预训练组和后训练组固定划分，真正迭代一代模型的只有约二三十至三四十人；她认为能力“最多一两个月，慢的话三四个月”即可习得，因此更重视环境、好奇心、热爱和跨角色互相蒸馏。
• 罗福莉把 2026 年定义为高价值生产力任务持续突破的一年，并把自己的 AGI 时间线明显提前。 她估计当前历程约走到 20%，今年可能到 60%–70%，两年内工作模式可能大范围被颠覆；国内具备 1T 基座的团队若反应足够快，可能用两三个月追到“当代的 Claude Opus 4.6”，而不是追上两三个月后的 Claude。

精读

1. 春节三天让 OpenClaw 从“运营产品”变成了范式转折

• 罗福莉一月第一次看到 OpenClaw 时非常排斥：它看起来像 Claude Code 加上一个 LLM、更有利于交互的 UI、本地化和“二十四小时运行”，再叠上 Skill Hub 等偏运营动作；在她看来，这些首先只是产品形态和交互范式上的创新。

• 春节深夜，她花约两小时装好 OpenClaw，从凌晨两点聊到早上六点，“不知道是多巴胺还是内啡肽就持续在分泌”。第一层冲击不是任务能力，而是它会提醒她太晚了、该睡觉了。

• 三天内，她的认知连续升级：第一天看到“有灵魂、有温度”的产品；第二天把团队筛选与组织设计交给它；第三天让它参与研究，并构建能与模型多轮交互的 user agent。“每天它都能给我额外的惊喜。”

2. 所谓“有灵魂”，首先来自极细的 context 编排

• 罗福莉后来拆解那种情商，发现并不玄学：框架有 SOUL.md；它还会在每轮 context 前拼入当前时间。她把这些设计称为对 context 的精细编排，“在大家没有关注的角落里，把 context 编排得非常好”。

• 她与 OpenClaw 连续讨论一小时如何筛选有好奇心的人、如何激发团队好奇心，认为其在许多哲思内容上“远超我的想象”；更重要的是，它能把零散对话整理成体系，并沉淀成可复用的 skills。

• 这改变了她处理组织问题的方式：人员筛选、团队管理和范式转换时的动作都会先问它。她把这套长期积累称为自己的“某一个数字分身”，而非一次性问答工具。

3. 第三天，Agent 已经开始进入模型研究闭环

• 罗福莉把一个原以为不会在一两个小时内完成的研究题交给它：构建能与训练模型多轮交互的 user agent，以生成更丰富的 Agent 场景数据。

• 一两个小时交流后，她认为基本已经诞生了一个很好的 user agent，能接入后训练框架，为 SFT 和 RL 构造更丰富的场景数据。这里的变化不是替研究员写几行代码，而是开始参与研究环境与数据生产。

• 她后来给出的标志性判断是：“以前我认为我们做的工作足够有创造力，不会被 skill 化、不会被 workflow 化，但我现在发现它竟然也能。”这为 AI 参与研究、训练和自迭代提供了现实路径。

4. OpenClaw 的优势不是单点炫技，而是完成度极高的整合

• 罗福莉逐项拆开后觉得许多设计都“有点 boring”：持久化记忆、消息 channel、定时任务、心跳、远程界面和模型调度，单独看都不酷；但整合起来，框架完成度远超她原先判断。

• 它的记忆体系有分层和分级，并能持久化；这与 Claude Code 为软件工程设计的记忆不同，后者围绕 plan、代码修改和 session 压缩展开。

• OpenClaw 还会主动补模型短板。收到视频后，它可以自己寻找更擅长视频理解的模型，而不是要求用户先配置工具；罗福莉把这种能力概括为“面对当代模型的缺点，然后在框架上补齐”。

5. 一套厚重框架能把 3B 小模型推到意料之外

• MiMo 团队把当时没有做很多针对性训练的 MiMo-V2-Flash 接入 OpenClaw，又测试了正在训练的端侧 3B 模型；复杂 scaffold 下，小模型能完成许多她原以为“不可能”完成的任务。

• 这让她第一次确认：“一个非常复杂的框架设计，是能够弥补非常多模型能力短板的。”它尤其适合生活场景，以及只需借助代码提升效率的泛编程场景。

• 她估计，一个在约 85% 任务上达到 Claude Sonnet 水平的中段模型，加上好的 Agent 框架，已经能覆盖绝大多数日常需求；差距仍集中在超长程任务与算子优化等“严肃编程”。

• 张小珺提出“OpenClaw 是释放强模型能力的最好外壳”；罗福莉认可这个判断，并补上双向结论：框架能提升中段模型的稳定表现，但其真正上限仍由 Opus 4.6 这类顶尖模型打开。

6. Claude Code 和 OpenClaw 分别从软件工程与通用行动出发

• Claude Code 的框架天然服务软件工程：session 快满时压缩、按 plan 写入记忆、跨 session 共享代码上下文。它在顶尖编程体验上仍是罗福莉心中的最佳，尤其搭配 Claude Opus 4.6。

• OpenClaw 借用了这些思想，却从一开始面向端到端任务：更丰富的消息 channel、心跳与定时任务、主动行动、持久记忆和远程界面，目标是把 coding 的可执行性外延到生活与工作。

• 张小珺问它是否“让 Coding 能力泛化出来”；罗福莉的回答更精确：Coding 本身泛化性强，但 Claude Code 不保证非 Coding 场景的完成度，OpenClaw 则在框架层主动弥补这些短板。

• 两条路线已互相吸收。她观察到 OpenClaw 的持久记忆、远程界面等设计在几个月里陆续被 Claude Code 吸纳；“泛编程”也反过来改善软件开发本身。

7. 顶尖模型先改框架，改好的框架再惠及便宜模型

• 与 OpenClaw 高强度合作的第一周，罗福莉几乎只用 Opus 4.6；第一天四五小时就花了接近 1,000 美元。她中途切到 Sonnet，却觉得“确实不行”，只好再切回 Opus。

• 顶尖模型的价值不只在完成当前任务。她让 Opus 4.6 重写 memory 系统、改造当时混乱的 2.x multi-agent 逻辑；由于 OpenClaw 开源，模型甚至可以直接修改整个框架源码。

• 框架被打磨好后，她再切换到 Sonnet、国内模型和正在训练的 MiMo-V2-Pro，体验已经很强。这是她第一次具体看到模型与 Agent 框架共同进步、再把能力向下传导的“自学习”过程。

8. Agent 框架是人和模型之间越来越厚的中间层

• 张小珺追问“Agent 框架是不是产品”；罗福莉认为边界正在模糊，但仍有区别：产品是人直接感受到的交互层，框架还决定怎样给模型组织信息、调用模型和调度资源。

• 这个中间层会知道模型的长板、短板与成本，决定何时换模型、给什么 memory、走什么 workflow。前端 UI 反而可能成为“最薄的一层，已经不是很关键”。

• 她对好框架的检查表是：能否补行动缺陷，是否有记忆、主动性、更多消息入口、自我更新和可泛化评估。框架不是装饰模型的壳，而是复杂任务完成率的一部分。

9. 开源让使用者也能“现捏”新的 Agent 架构

• Claude Code 的 Agent 设计是黑盒，用户无法修改它的记忆和 workflow；OpenClaw 的冲击在于“太开放了”，一个使用者也能让模型帮自己改源码、重新设计完整系统。

• 罗福莉使用 2.x 时觉得它并不好用，花数日亲自改；到三月十多号的 3.x，她认为接入任何“还不错”的模型都能表现很强，而不再只有 Claude 能撑起体验。

• 她把这种变化归因于开发者与用户共同迭代：每个人都能为自己的场景贡献改进，社区又把成果外溢给其他人。“你可以基于它现捏一个新的框架出来。”

• 因此，她看到 OpenClaw 的 Star 数量飞升时很兴奋，认为这是 AGI 到来前必须出现的前兆。关键不是某个仓库变火，而是群体开始共同改进智能载体。

10. “一百轮否则 quit”是一次有意制造的体验冲击

• 春节后，团队大多数人仍没真正使用 OpenClaw。罗福莉先买来几台 Mac mini 统一部署，避免每个人耗费数小时安装一个当时 bug 很多、价值还不明确的版本。

• 她随后宣布，第二天对话没有超过 100 轮的人“可以直接退出”。这不是实际裁员标准；当有人追问如何考核，她说“我有自己的考核方式”，而真实方式是“我不会考核”。

• 她真正要传递的是：“你不用，你可能真的要落后了。”这个数字只是表达态度、促使大家体验；一旦亲手看到新能力，热爱和研究动机会自然发生。

• 她把大家拉进几个不同的 OpenClaw 群里探索方向，同时要求在飞书大群讨论。群消息迅速滚动，团队进入她所谓的“躁动”状态，但她强调：“一点都不苦，一点都不残酷，就真的很好玩。”

11. 公开协作把个人想象力变成乘法

• 罗福莉坚持在大群里实验，因为个人很难想全 Agent 能做什么；看到别人完成一个陌生任务，会立刻激发自己的下一种用法。“大家想象力是一个乘积效应。”

• 群里近 100 个人拥有不同背景和各自的 memory，同时疯狂修改同一框架。即使飞书的 message channel 没有很好地区分人与人的关系，模型仍能维持较高可用度，没有明显把整个聊天上下文串乱。

• 她认为这种群体迭代比个人改框架快得多：可能几小时就完成一轮。第三、第四天接入 MiMo 自家模型时，团队甚至产生了“还没训练就已经跟 Claude 差不多了”的第一体感；更多测试后仍发现稳定性有差距。

12. Agent 把三四十周的研究压缩到三四周

• 团队玩了两天后，研究问题自然出现：怎样借框架提升模型，怎样让模型反过来改变框架。随后，他们还用 Copilot 这套在多数场景更稳定的框架扩展想法、实现代码并快速启动训练。

• 罗福莉估计，团队“三四周的时间做完了以前可能三四十周才能做到的事情”。加速不只来自 coding，而是想法、实现、评估、数据构造和启动实验都被压缩。

• 过去一个研究想法从构思、写代码到设计评估，快则一两天，常见是一两周；现在 Agent 能在一两个小时内完成初步验证，十个 idea 还可交给十个 Agent 并行并交叉验证。

• 因此真正拉开差距的是研究 taste：如果判断准，就“一做一个准”；即使十个想法只成一个，也能同时验证，而不再按人的时间线串行排队。

13. Coding 的泛化力来自高密度、长程且可验证的上下文

• 罗福莉解释，预训练中真正能达到 128K 到 1T 长度的数据大致只有 code 与书籍；书籍信号较发散，代码文件之间的依赖更强，更适合训练强上下文建模。

• 软件开发又天然是长程任务：模型需要 plan、修改、压缩、回顾、测试和继续执行。为软件工程设计出来的 memory 与 scaffold，往往能泛化到其他复杂任务。

• 她的概括是：“Coding 拉高上限，训练其他领域守住下限。”没专门训练的场景也可能从 Coding 泛化出来，但顶尖模型必须用更多领域数据提高稳定性。

• Coding 在三次范式转变里都击中了关键点：预训练时代提供结构化数据，reasoning 时代有可验证结果，Agent 时代又有环境与长轨迹，因此是一条“非常优雅的路径”。

14. Agent 后训练必须把真实环境纳入数据生成

• 春节后的第一项工作，是在 Agent 场景里构造真正长程的任务，并在其上扩大 SFT 和 RL；第二项工作，则是用公司内部真实使用发现更广泛场景，再为这些场景合成数据。

• 难点不只在任务文本，而在“怎么还原当时所有人使用模型的环境”。有环境，user agent 才能持续多轮互动，也才能针对环境本身做更精准的设定。

• 罗福莉认为，如果研究时间和算力足够，这个环境与交互问题可能制造“代差的模型”；具体做法仍需保密，待范式扩到足够大规模后再开源分享。

15. 一兆上下文的瓶颈是高密度任务和训练效率

• 真正的 1T context 通常不是只做一件简单的事情，而是在做复杂任务。她强调，现阶段未必需要每条 trajectory 都填满一兆，未来两三周判断也可能变化。

• 即使 MiMo-V2-Pro 推理可达到约 80–100 TPS，完整 rollout 一条一兆 token 轨迹仍需要一两分钟；因此真实训练不会都直接压在最长任务上，而会用预训练打底、后训练任务“稍微激活”。

• 她认为 Claude Opus 4.6 与 Sonnet 在一兆上下文稳定度上领先，其他被宣传为长上下文很强的模型未必真能稳定工作。长窗口标称长度与可完成长程任务不是同一件事。

• 量化挖因子也不天然适合作为长程任务。她提醒要选对资产：若 reward 不清晰、回测没有价值，或真实运行时价格由模型没有建模的长期因素和额外 alpha 驱动，任务就不适合直接建模。

16. 国内 OpenClaw 更热，首先是生产率与价格的乘积

• 罗福莉不熟悉湾区真实热度，只从身边观察推测：中国开发者更多，也更迫切地用 code 提升效率，“对于效率的提升好像是我们的血液里边的东西”。

• 第二个条件是国内有大量便宜、够用的模型。她认为绝大部分效率提升场景目前无需最顶尖能力；若花约 10 元 API 能干完价值约 1,000 元的工作，体验动力非常强。

• 反之，如果 API 贵十倍、几十倍，模型成本与被替代生产力价值接近，人就会排斥维护复杂框架。Agent 革命必须让使用成本与替代价值之间形成足够大的差距，最好能节省十倍成本。

17. 去年的“Agent”大多只是更复杂的 system prompt

• 罗福莉对早期 BrowseComp、Search、Coding 和 SWE-bench 等框架评价尖锐：它们过于简洁且不通用，只为单个任务定制，模型只是多了一点环境反馈与复杂指令遵循。

• SWE-bench 主要看修 bug，并不代表完整软件开发；BrowseComp 等数据与框架又过度 specific。模型即使在 benchmark 上很高，接入 Claude Code 或 OpenClaw 仍可能无法理解框架，达不到工业可用。

• 真正 Agent 时代的人机分工也变了：人不再逐行指出代码错误，而是补充限制、澄清需求、参与架构设计并传入企业业务逻辑；模型负责更完整的行动链。

• MiMo 新一轮优化因此一度“完全放弃”旧 benchmark。范式刚转折时，巨大质差靠体感就能看出；进入深水区后，团队仍需要精细评估。

18. Skills 把互联网之外的组织智能交给模型

• Skills 的价值不是给模型多一段普通知识，而是定义复杂流程的执行规范，提高高 workflow 复杂度任务的准确率。许多规范来自企业内部协作，预训练互联网数据里根本不存在。

• 人可以通过多轮完成几个任务，把这些隐性规则教给 Agent；Agent 再自行写成 skills。罗福莉把这类知识视为预训练的重要补充。

• Skill 最初在 Claude 中出现，但 OpenClaw 把它带火，促使更多高阶用户主动贡献模型无法访问的数据。它为人机共创提供了自然语言接口，也是群体智能得以扩展的一种方式。

19. OpenClaw Moment 是一条更长、更混沌的扩散曲线

• 与 OpenAI o1 或 R1 那样有清晰能力标准的节点不同，OpenClaw 没有某个分数突然跨线的明确时刻；前序演进持续很久，后续能力又逐步外放到更多人的真实工作。

• 罗福莉认为它的影响“会持续更久、更深远”，但能量外溢需要时间。很多任务没有数学或代码那样明确的 ground truth，价值会慢慢积累，到临界点才突然跃迁。

• Claude Opus 4.6 是一次明显的大台阶，但 Anthropic 沿这条路至少已走两年。OpenClaw 将黑盒实践开源化，使更多人第一次能看见、修改并加速框架。

20. 开源是隐私本地化与端云混合的重要条件

• 张小珺提出普通人会把大量隐私交给 Agent；罗福莉的解法不是让云端框架绝对安全，而是把简单、隐私相关任务迁到本地推理。

• 她设想个人随身携带或在家部署一块芯片，数据留在本地；只有非隐私、高难度、高创造力和高复杂度的任务才送到云端，实现端云解耦。

• 3B 小模型在复杂框架中的表现，让她相信很多本地任务所需模型远小于预期。但这需要模型、硬件和 Agent 架构共同演进，“不是某一个公司就能把它做好”，开源因此更关键。

21. 下一阶段不是再做一个“类 OpenClaw”，而是让框架自己进化

• 罗福莉体验过国内约一半同类产品，判断“大同小异”：主要把 OpenClaw 变成类似的产品形态，让用户访问不同模型与不同类型的框架，尚未明显超过开源社区的迭代速度。

• 真正空缺有两层：一是 Agent 或框架本身自迭代；二是 Agent 与人互相进化。当前 MiMo 更聚焦训练更好的 Agent 模型，以及让 Agent 适应这个模型。

• 她认为 OpenClaw 并非存在某个一补就成的核心缺陷，“只是因为时间原因我们刚走到这里”；模型、框架、人类反馈与评估都会同时加速。

• 节目谈到 OpenClaw 后来卖给 OpenAI，她认为模型与框架确实需要深度耦合；好消息是开源属性仍在，“群体演变的基因火种”并未消失。

22. 2026 年的主旋律是高价值生产力持续突破

• 罗福莉把这个时代定义为“生产力加速变革的时代”。最直接的感受是很多工作不再需要自己做，人由此被迫重新思考自己的意义和价值。

• 若目标是提升顶尖模型能力，让 Agent 替代更高价值任务会更重要：这意味着更长 context、更多 token、更复杂资源调度，并可能替代最顶尖人群的智能。

• 若目标是让全社会受益，路线则不同：更普适的任务、更强多模态、更细微环境理解和更低成本会更重要，不能只服务高价值少数场景。

• 两条路线共同受制于经济性。她直言：“你不能完成一个任务要花一千刀。”端到端完成率、速度和替代成本，决定智能是否真正形成生产力革命。

23. 小模型会成长，但不是 2026 年的主线

• 罗福莉认为，同一能力水平的模型不断缩小也是进化；现在可能激活参数为 3B 的模型，过一年就能达到 Claude Opus 4.6 的水平，百万上下文也可能只需一两元。

• 更小模型反应更快、成本更低，结合可修改的 Agent 框架会非常有吸引力。她把端侧模型爆发判断为确定趋势，却称它是持续推进的“支线”。

• 2026 年更核心的是高生产力场景、长程任务和更复杂协作，而不是单纯把所有模型压到端侧。

24. Multi-agent 眼下改善的是成本和速度，不是智能上限

• 高复杂度任务很难由单 Agent 完成，多 Agent 可以并行分工，节省时间与成本；但罗福莉尚未看到它稳定提高最终任务完成率上限。

• 她对市场上许多 multi-agent 工作的评价是“有些是伪的”：雏形已经存在，自己也用得顺，却主要在效率维度兑现，而非创造单 Agent 达不到的结果。

• 各 Agent 仍需拥有相对独立的 context，并学会自进化和彼此沟通。协同 RL 是否能突破上限，她保留态度：“未必吧，也许吧。”

• 创业公司倒可能因此急剧缩小。她预计今年内，一个人养多个数字员工会从噱头接近现实，但前提是模型成本必须明显低于真实雇员创造的价值。

25. MiMo 的目标不是 DAU，而是模型何时能超越训练者

• 张小珺提到国内团队正在分流：豆包、元宝、阿里更像做互联网产品、竞争 DAU，Kimi 的人则认为自己已经开始玩不一样的游戏。

• 罗福莉说，MiMo 更关心“什么时候能够超越自己”。DAU 并不会直接促成模型替代研究员；token 消耗、高价值任务完成度和复杂 context 才更接近这个目标。

• 她想象中的模型应能访问数据、使用 GPU 集群、自己定义评估标准、训练模型并验证结果；团队管理能力也体现为调动其他 Agent 的智能。

• 因而“模型即产品”的边界重新出现：Agent 框架让模型拥有更强产品力，传统 UI 和外围功能反而变简单，模型公司很难再声称自己不做产品。

26. AI 训练 AI 可能从不可能走向一两年内发生

• 罗福莉过去认为训练模型需要研究员多年积累的长 context，很难传给 AI；最近却发现，只要给模型近期上下文，它甚至能帮研究员复原自己的科研成长路径。

• 当模型取得相近 context 后，她感到它“跟你一样聪明”，甚至可能训练出团队能训练出的模型。残酷之处在于，研究工作原本被认为最难 skill 化，如今也开始显现出可复制性。

• 下一步是模型训练出更强模型，“左脚踩右脚”提升。她的判断是：先吸收所有人的智能，再依靠自己创造新智能，这件事肯定会在一两年内发生。

• 她也承认厂商不会直接以“让 AI 训练 AI”为单一任务立项；它是更高阶终点，但所有最尖端模型最终都会通往那里。

27. MiMo-V2 的“三模型伏击”来自一次内部觉醒

• MiMo-V2-Pro、Omni 与 TTS 被称为“悄无声息的伏击”，因为团队自己也没预料到能力会如此快提升；外部看不见，内部则在 OpenClaw 冲击后快速完成方向切换。

• 一年前做多模态和语音时，各方向仍像孤立模型：理解视频、生成语音，却不知道如何组织。OpenClaw 让罗福莉第一次清楚看见每个模型应在任务链哪个环节发挥作用。

• 团队随即让所有方向都面向 Agent 范式进行后训练设计。她相信，把几个 MiMo 模型放进同一框架协作，会逐渐形成效果、成本和速度上的综合优势。

28. Pro、Omni、TTS 分别承担认知、感知和表达

• 罗福莉对三者的分工是：Pro 做理解、认知和复杂调度；Omni 做感知；TTS 做声音输出与表达。组合目标是替代人类生活和工作的更多环节。

• 它们没有强行合成一个超大统一模型，主要出于成本与速度：语音生成没必要调用 1T 模型，多模态理解是否值得更大参数也需逐任务判断。

• 同一生态训练还有隐性好处：主框架知道这些模型的 background 和知识基础，可以更放心地委派任务，而不必担心知识底座完全错位。

• 目前这套内部组合与拼装其他家模型的差距仍“很微弱”；罗福莉相信未来会扩大，因为真正竞争的是效果、成本和效率三者的综合结果。

29. Flash 与 Pro 从一开始就为 non-Chat 效率设计

• MiMo-V2-Flash 与 Pro 实际同期训练，结构相近。设计之初最明确的押注只有一个：non-Chat 的建模效果与推理效率必须同时足够好。

• 团队当时隐约判断长上下文会产生智能，却没预见 OpenClaw 这种产品形态。低成本、高速度的结构，未来才有可能把 1T 做到 10T 甚至 100T，而不被推理成本压垮。

• 罗福莉不赞成为架构预设太多目标：如果后训练做半年或一年，早期假定的场景、芯片和上下文长度很可能全部失效。“限制条件太多”，结构反而失去适应性。

• Flash 验证的是整个 inference 数据没有问题，而不是先训练 Flash 再决定 Pro；两者同步推进，只是 1T 级 Pro 遇到更多数值稳定性问题，完成得更晚。

30. Hybrid attention 为未来场景保留了结构余量

• 同期更主流的 MLA，在 Chat 时代是巧妙选择：它减少 KV Cache，并针对特定硬件把访存与计算推到接近合适的平衡。

• 罗福莉的异议是，MLA 已经接近计算 bound 和 memory bound 的临界点。加上 MTP 后，可能进一步卡在 compute bound，难以利用剩余计算加速。

• Hybrid attention 允许团队用 sliding window 压低 KV Cache，再用 MTP 填充闲置算力；后续还可调整 full attention 与 sliding window 的比例。

• 两类设计代表不同战略：一种提前锁定芯片、上下文和推理并行方式，做场景最优解；另一种给漫长后训练与未知 Agent 范式留下可变空间。

31. MTP 把闲置计算换成速度，不会额外制造幻觉

• MiMo 选择 MTP 并非立项时的先验信仰。模型训练到中后期，团队为自家推理卡设计并行方案，才发现计算富余远超预期，MTP 正好可以利用这部分资源。

• Flash 推理约可达 100–150 TPS；Pro 视成本可达约 60–100 TPS。罗福莉说，用户对 MiMo 最直接的感受是“快”，而体验过同等智能的快模型后很难再回去。

• MTP 预测结果会被 verified，只有命中才采纳，因此不会因多 token 预测本身增加幻觉；命中率高时，它让更短时间吐出更多 token，提高 GPU 利用率并降低单 token 成本。

• 训练策略是预训练先加一层 MTP 以提升基座，mid-training 和后训练再训练更多层，供推理阶段做更大幅加速。

32. Pro 把 full attention 与 sliding window 推到 7:1

• 团队早期约采用 5:1，Pro 进一步做到 7:1 的 hybrid 比例。实验结论是 full attention 的绝对层数很重要，但比例可以随模型增大而更稀疏。

• 更大模型通常更能承受 attention sparsity；小模型过度稀疏则会明显 drop。罗福莉强调这是 MiMo 的实验结果，不把它宣称为固定标准。

• 设计目标是在 Pro 参数量显著增加时，不让 full attention 层数同比膨胀，从而把长文效率控制在接近 Flash 的区间，同时提高智能上限。

• 低 KV Cache 还允许更多级缓存；Agent 长程交互一旦命中缓存，就能降低推理成本。这是结构与 Agent 工作负载恰好契合的地方。

33. 1M 窗口能训出来，难的是找到足够多真实的 1M 数据

• 罗福莉认为，若真有 1T token、每条都是高质量的 1M context 数据，只要 loss 持续下降，模型的 1M 能力就能被训练出来。

• 现实问题是场景稀缺、构造成本极高，很难得到监督信号足够稠密的 1M 数据。因此 MiMo 的长上下文效果是逐步提升，而非一次把窗口标称值做大。

• 她说现在所有模型结构理论上都能训练到 100T context，但厂商不提供这么长的推理，除了效果问题，更因为成本贵到用户“不想用它”。

34. Flash 的成本定价逻辑不再适用于 Agent 时代

• Flash 上线时追求极致性价比，API 约为输入每百万 token 1.01 美元、输出每百万 token 0.3 美元，并提供当时很高的速度。

• 罗福莉说做到这个水平没有单一魔法：模型架构、推理架构、MTP 推理加速和基础设施都要扎实，“基本上把该做的都做了”。

• 但 Pro 抛弃了单按推理成本定价的逻辑。Agent 时代的价值还来自后训练、context 理解与复杂任务完成率，价格应该对应最终创造的价值，而不只是底层 GPU 成本。

35. 1T 是接近 Opus 4.6 的门票，不是胜利本身

• 罗福莉曾训练 DeepSeek-V3 约六七百 B 规模，下一步自然不会再做同量级；在当时可用算力下，1T 是可触及的极限区间。

• 她的经验判断是，要让 Agent 能力接近 Claude Opus 4.6，总参数至少需要 1T 以上；但她不知道 Opus 自身多大，也明确把这一判断限定为自己的实践推断。

• 总参相同，激活参数越大，推理成本越高；能力与经济性始终是 trade-off。1T 只提供潜能，敏捷后训练和适配框架决定潜能是否兑现。

• 她据此评价国内格局：几家厂商已有 1T 以上基座，一些团队则展现了后训练敏捷性，但当时尚少有团队同时把两张牌都拿齐。

36. Agent 时代的算力配比已从 5:1 转向 1:1

• Chat 时代，预训练与后训练算力可能是 3:1 甚至 5:1；Agent 时代后训练周期被拉长，顶尖团队很可能已变成 1:1。

• 罗福莉给出的更完整配置是研究、预训练、后训练约 3:1:1。正式预训练和后训练算力相当，额外研究卡至少还要超过正式训练卡的总量。

• 单个 Flash 或 Pro 正式训练需要数千张卡，但结构探索、中后期算法和并行实验所需研究资源可能是正式训练卡的三至五倍。

• Agent 又让 idea 与代码诞生得太快，瓶颈迅速从人转到 GPU。推理卡需求则更大，要按用户数和高价值场景的 token 消耗另行计算。

37. 训练 1T 模型最难的是把异常当成问题

• 大模型训练常见 loss spike、激活值暴涨和 expert 负载极端倾斜。罗福莉不接受把 spike 当正常噪声，因为某一步异常更新可能直接“打死”参数或 expert。

• 团队会监控每层输入输出、激活值与 expert 负载，再从结构比例、通信算子、norm、硬件故障等路径逐层排查；到最后甚至会怀疑是不是太阳黑子的问题。

• 临时方案可能包括 clip 异常值、增加 norm，或借鉴 QK clip；但 norm 可能损伤效果，必须判断是永久结构还是只为进入稳态的过渡措施。

• 训练曾因问题停数天乃至两周。数千张卡停一天可能损失一两百万、两三百万，但团队仍选择解决；她说没有明确发布日期，却会梦到“为什么 loss 又 spike”。

38. 小团队比层层协作更适合处理训练中的模糊故障

• 训练、推理和数据各环节真正参与的人都不多，关键在几名算法、训练框架和推理人员能否共同 debug，而不是人数规模。

• 大公司跨团队排查容易效率极低；小团队里，每个人提出不同路径，直接共同解决。罗福莉认为大团队可能不适合追查“可能是问题的问题”。

• MiMo 没有非常清晰的发布目标，“模型训好了再发”。这种空间允许团队停下昂贵训练，换取更平稳、可理解的训练过程。

• 她把这种以身示范、共同解决问题的方式视为文化，而非管理：“大家一起解决问题就好了。”

39. MiMo 用一百人的扁平组织完成多条模型链路

• 团队约 100 人，覆盖数据采集、质量、预训练 Infra、后训练、开发、产品、标注，以及语言、多模态和语音；实习生占比也很高。

• 真正集中迭代一代模型的可能只有二三十人，最多三四十人。训练本身规模较小，数据还需要几个人，再依赖有经验的基础设施团队把集群稳定搭好。

• 团队不按预训练组和后训练组固定划分。项目会有人推动，但推动者不对参与者拥有绝对控制权；小米本身有职级，团队内部组织则完全扁平。

40. 平权不是文化口号，而是避免压制模型创新

• 罗福莉认为固定分组会扼杀跨阶段创造力：很多预训练数据人员自然转去做后训练，因为数据直觉、从效果倒推算法和重视 diversity 的能力完全可迁移。

• 传统后训练人员容易盯住单场景，预训练人员则天然关注多样性；两类视角互补，比按岗位画像重新挖一支团队更有创新力。

• 她不相信层级更高就必然拥有超越所有人的智能。“这个界定非常奇怪。”最重要的 leader 反而不应有“没了我就不行”的掌控感。

• 项目可以有人推动，却不能把组织权力等同于判断权。她的管理原则是“靠热爱驱动”，让每个人围绕自己相信的目标自发迁移。

41. 环境比经验重要，能力一到四个月即可快速习得

• 团队许多人加入前没训练过大模型，只有约四分之一到三分之一碰过 7B、14B；她认为这些经验与 1T 训练并不能直接等价复用。

• 罗福莉的判断很明确：“这些能力最多一两个月，慢的话三四个月，确实都可以被快速习得。”前提是被放进高标准环境，与强同伴共同解决真实问题。

• 她更在乎候选人的初始化上限，而非被过去经历“监督学习”后的当前点：技术基础、好奇心、热爱和能否把想法做成，比标签化经验重要。

• 团队博士及在读博士约占 55%，但她认为数字本身刻板；近期反而倾向招大二、大三本科生，因为他们未被旧范式污染，更敢把想法交给 Agent 验证。

42. 多模态是否产生更高智能，她已经从确信转向保留

• MiMo-V2-Omni 原生支持视频、音频、图片和文本联合理解，并尽量把 Agent 能力做到接近语言模型；它参数量小于 Pro，但具体规模未披露。

• 罗福莉两个月前很相信多模态本身会产生更强智能，训练过程中却开始质疑。Omni 在 benchmark 上可能“纹丝不动”，没有证明扩大感知维度必然提升推理。

• 但实际体验仍出现两类信号：Omni 因视频训练拥有更多世界知识，对细微环境的感知、情商和领悟力也可能强于更大的纯语言模型。

• 她目前不愿把多模态称为 AGI 必经之路，尤其 Agent 已能编排多个专门模型；新的猜测是，单纯感知未必增智，若理解与动态生成统一，可能会促进智能。

43. TTS 用离散 token 押注泛化，而非短期架构便利

• MiMo 音频团队尝试把连续波形离散化为类似文本的 token ID，再用多层 RVQ 构造高维表征，目标是尽量无损重建。

• 这条路线比连续特征更晚涌现，需要更大预训练投入；选择它部分来自“做 LLM 的人的执念”：离散、简洁、监督信号清晰。

• TTS 只针对快慢、高兴、悲伤等少数刻板风格做 SFT 与 RL，却能遵循复杂自然语言风格描述，并从文本含义推测情绪和韵律；罗福莉把这看作简洁架构加超大规模训练带来的泛化能力。

• 她同时承认模型“上限非常高，下限还在弥补”，偶尔不稳定，当前限时免费 API 主要供体验，尚不保证生产级可用，但预计很快做到生产级可用。

44. 她把 AGI 时间线提前到两年内，却拒绝把未来说死

• 罗福莉估计当前通往 AGI 的历程约走到 20%，今年可能达到 60%–70%，两年内大部分人的工作模式会被颠覆；生活变化更慢，因为需要机器人从屏幕进入物理世界，而硬件、电池和灵巧手演进较慢。

• 国内具备 1T 基座的团队若技术敏捷，可能用两三个月追到当代 Claude Opus 4.6，而非两三个月后的 Claude。同期 Agent 框架会快速进步，推理需求可能增长数倍到十倍，存储与芯片产能成为关键约束。

• 她回顾三年路径：2022 年 ChatGPT 用对话释放预训练智能；随后开源团队借助 Llama 追赶顶尖闭源模型，Qwen 更重视规模与生态，DeepSeek 则在 MoE、MLA 等结构创新和受限资源下的 scaling 上推进；o1、R1 把竞争推向 reasoning，2025 年则成为 Chat 与 Agent 路线分叉的一年。

• 她仍反复提醒判断会变：“每天可能都在否定昨天的自己。”支撑她的心法也从量化时期的“总有方式去建模价格”，转为做当下符合价值观、能替代无聊劳动的事；她曾想过建立公益型组织支持中国基础研究，让人和 AI 继续共同探索。