147. 和蚂蚁灵波沈宇军聊：机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥

摘要

• 中国具身智能出现“​​大脑优先”的新物种：蚂蚁集团2024年底正式宣布成立子公司蚂蚁灵波，以机器人大脑为主，也会做一些末端执行器，愿景是“未来某一天每家都会有一个机器人……跑的最后都是灵波的模型”。 首席科学家沈宇军的判断是本体难以通用、场景难以选准，而“大脑可能是目前是落后于本体的”——今年的主要矛盾是让机器人先把活干好。
• 核心豪赌是“具身原生”：1.0版在数字世界模型上“强行魔改”后发现很多缺点仍会暴露，2026年干脆把视觉相关的一切从头重训——语义与动作对齐的视觉压缩、原生MoE架构、单向causal attention，三者拼成VLA 2.0，“每一个参数都是完全随机化开始训的”。 沈称这是自己比较坚持的决定：“如果不是我们走通，也会有人走通的，因为我觉得这可能是正确的路。”
• 机器人的GPT-1时刻还没到，瓶颈明确在数据：本代预训练用了6万小时数据（以真机为主，可能还有ego数据；上代2万小时），但互联网数据仍比具身数据多“两个数量级”。 他给出的标尺：先有完全用于原生预训练的十万小时，理想状态“百万小时起步”；好消息是基建已到十万卡时代，机器人从GPT-1到ChatGPT的间隔“可能不需要那么长时间了”。
• 数据经济学在改善但不及预期：真机数据成本两年“至少降了三倍不止”，仿真更多留在评测上、可能不太用于训练（分布同质化、柔性物理引擎不成熟）；行业整体数据发展反而低于预期——因为没人真训原生基模，“不训基模是没有一个推动力说让你马上一定要拿到这么些数据的”。 ego采集是好理念但未成产品，中国在具身数据“空窗期”里“​​一定是比美国跑得快的”。
• 能力边界画得很诚实：2.0在位置泛化和随机性上有突破——与人对打的桌上球类demo可能只采了20条数据，“以前可能采多少数据都不一定能做成”；后训练每任务从约100条降到20条、十任务合一个模型。 但任务级zero-shot泛化“还没太做好”，且灵波只解决“意图的实现”不解决“意图的来源”——更高层能力可能需要语言模型或多模态模型解决。
• 产业结构判断可对标LLM终局：大厂一两家+创业公司两三家，各自跑出数据/本体/场景生态；大脑与本体“一定是交替上升的”，下一波将出现由智能重新定义的本体公司，传感器也要从模型需求出发重定指标（实时性可能比力准更重要）。 硬件侧已有公司跑通量产，灵巧手公司层出不穷，行业从show demo转向“都在提进场景”。
• 创业方法论：创业“一定是赌出来的……如果那条路一定成功，大厂一定成功了”。 灵波的关键选择包括不做本体、从传感器出发、具身原生；沈明确称从传感器出发和具身原生是大赌。最好的预期是机器人进家庭跑灵波模型，“最坏的预期就是没做出来呗”。

精读

1. 从商汤东门到港中文：不爱打榜，爱生成

• 沈宇军的入行是“阴差阳错”：2014年底商汤刚成立，就在清华东门口，大三暑期实习进去一直干到毕业，然后进港中文汤晓鸥门下读博。
• 港中文擅长检测、分割、分类的打榜，但他坦言“最后就看一个number这个事情，我坦白讲我自己不是非常感兴趣”。GAN火起来后转向生成——“能真的生成一张图让大家去看”，从2017年做起，一路从图像编辑往前推到预训练、再推到表征学习：“从对数字不感兴趣，到对生成内容感兴趣，一步一步就是这么过来的。”

2. GAN的句号：输在计算利用效率，对抗技术留了下来

• 直到今年年初还在做GAN scale up的最后一次尝试，“还没死心”。结论：比前几年的技术进步不少，但“最大的问题还是计算量的利用效率太少了”——Diffusion可以迭代好多次生成一张图，面对视频这种内容密度，GAN“不一定是一个最好的选择”。
• 把积累release给公众后“算是画上了一个句号”，但他保留一个判断：同时训两个模型、彼此博弈的对抗训练技术本身之后还会有用，只是不一定用在图像生成上。

3. 字节一年与CV的天花板：“用武之地不够”

• 博士毕业先去字节做抖音特效——男生变女生、变老变年轻、“看看你二十年后长什么样”，用的正是他读博做的图像编辑。但每天追逐爆款创意，让他觉得还有想做没做的事，2022年转入蚂蚁技术研究院，原音疑似ChatGPT应该是在他来了蚂蚁之后的年底才“震撼了一波”。
• 他对计算机视觉十几年的总结很冷峻：第一波人脸识别，第二波特斯拉带火的纯视觉自动驾驶，“除此之外好像还没有看到哪一个视觉应用被大规模用起来、有比较强的产业价值”。视觉在数字世界“用武之地不够”，但在物理世界，“离开视觉，机器人肯定是没办法工作的”——这是他2024年转向机器人的底层逻辑。

4. 为什么用子公司做具身：研究的先进≠行业的先进

• 蚂蚁的主业是数字世界的生活服务（金融、医疗、出行），集团层面判断“数字世界的服务想再往前延伸，肯定要往物理世界迁移”。2024年底正式成立蚂蚁灵波，沈刚好向院长propose想做具身， “不谋而合”。
• 不留在研究院是“集团比较大的决心”：研究机构做一做就会脱离行业，“研究员认为的先进的技术跟行业需要的先进技术是会有gap的”——既然要干，就变成真实业务来干，而不是试验试错的团队。
• 初创期两个感受：一是“太天真了”，“想做跟真的开始做完全不一样”，部署、通信调试等技术栈远超原有认知；二是从不到十人看着团队壮大，“一边学习一边跟着行业一起变化”。现在的机会窗口在于技术不收敛：“哪怕是探索一条不正确的路，也是一种贡献。”

5. 只做大脑：“每家的机器人都跑灵波的模型”

• 创立之初唯一明确的事就是做大脑层。愿景沿着蚂蚁的普惠思路：“我们最后还是希望未来某一天每家都会有一个机器人……我们希望在这个机器人里面跑的最后都是灵波的模型。”机器人会像手机一样品牌五花八门，本体形态谁也说不准，所以不押本体。
• 2025年9月外滩大会的炒菜demo反而坚定了这条路：那是长程任务，暴露大量软硬件问题，“如果没有一个比较好用的大脑，想再拓展一个场景，复制的成本实在是太高了”。
• 他对“通用”的定义比行业多一层：大家讲通用停留在跨任务、跨场景，灵波把跨本体也算进去——预训练就加入不同本体数据，“让大脑在预训练过程中就经历过这些本体”，落地时快速适配。但他坚持本体跟场景没办法完全解耦：“什么样的本体适合什么样的场景，从产品定义最开始就已经决定了。”

6. 2025年两大主张：从视频里学、从真实传感器出发

• 2025年3月的判断：机器人要动、要跟环境交互，时序/动态建模至关重要——“那个时候还没有所谓的WAM（世界动作模型）这个概念”，但他们坚定“一定要从视频里学习，不是把视频抽帧当成图像看”。九个月后在2026年初开源了他感觉“应该是最早”的视觉动作模型（VA）。
• 第二个主张源于被现实教育：学术界“心照不宣”的是数据集都比较干净，但机器人在现实世界跑，“传感器的噪声其实是完全没有办法忽略的”。所以坚持从视觉、触觉等真实传感器出发做空间智能——这两条构成灵波当时的主要技术主张。

7. 2026年的决定：视觉全部推倒，为物理世界从头训

• 早期没数据，只能把数字世界的模型“在物理世界嫁接成一个agent”，随即发现一个重要问题：“数字世界的模型的开发的初衷跟物理世界的需求是不匹配的”——视频生成追求画质，对机器人动作“这个东西没有那么重要”，但你没法迫使对方改模型，“他们有自己的迭代节奏”。
• 于是2026年的大决定：“既然不能迫使他们去改，我们就全部基于物理世界的需求重做一遍”——跟视觉相关的所有东西从头训。LLM保留不动：语言层面数字与物理区别不大，“还没在这个地方看到直接应用大语言模型的明显短板”。

8. 落地暴露的盲区：机器人不是在固定高度干活

• 第一代模型只支持手臂自由度加夹爪、九种构型、桌面抓取——实验室环境的标准打法。真落地才发现：去架子上拿东西要抬手，“头到底要不要看在你手抬那个地方”，头部相机可能失效、要靠腕部相机兜底；从下面拿东西要弯腰，够不着要移动底盘。
• 2.0据此做了数据层面的大升级：构型从9种到20多种，自由度从双臂扩到带头、带腰、带底盘、甚至带灵巧手。他的方法论：“上限的牵引”和“抓落地”两手抓——模型有十个八个迭代方向而精力有限，“哪一个特点先去开发，反而是由落地来决定的”。

9. 6万小时、3B级底座：数据管线的重洗

• 本代基于约3.xB参数的模型预训练，数据从第一代的2万小时升到6万小时——但含金量不同：新管线更严格，第一代的2万小时重新清洗后“落到这一次的可能就剩一万多了”，实际是在更严标准上做到了约四倍累积。

10. 仿真只更多留给评测：真机数据成本两年降三倍不止

• 数据来源是真机加可能的ego（头戴相机）数据；仿真“更多留在评测上”，可能不太用于训练。理由不在数量在分布：“仿真分布同质化会严重一点”，柔性任务如“撕开一个塑料袋”，物理引擎“还需要点时间再迭代”。
• 而真机侧的经济性在快速改善：人员管理成熟、机器成熟、需求变多带来量产效应，成本过去两年“至少降了三倍不止”——他视之为行业繁荣的一个信号。

11. 数据know-how：自由度配比与跨本体清洗

• 两个核心know-how。一是任务下发：任务要尽可能覆盖所有自由度，“头部这个自由度出现的比例跟腰部出现的比例差距特别多，可能导致模型更倾向于学头、不太会动腰”。
• 二是清洗：跨本体模型“每家本体的特性都不一样”——相机摆位、关节连接方式（configuration）各异，没法用一条数据链路全处理掉。操作越简单通用性越好，因为复杂任务吃遥操作员的水平：“动作不丝滑，学出来的模型就以为这是正确的操作方式”，控出来的机器人也卡。
• 采集是自建加生态：“我们的人先把SOP做一遍”再交给数据联盟伙伴补量；纠错数据（人在合适时机打断并给正确示范）与真机强化用在落地环节提成功率，但没写进开源技术报告。

12. Vision与Depth：“能看到是语义理解，摸不到是空间感知”

• 第一代Depth基于DINOv2——数字世界模型，擅长语义理解。但“知道这是一盆花、这是一只狗”够数字世界用，跟理解空间和距离“并不天然吻合”。新一代Vision完全从几何出发做预训练——从点线面、边缘去建模，再以它为底座重训Depth，提升明显。
• 两个他钟爱的例子：反光水龙头打开后“可以清晰地看到水流”——不是看到水开没开，是知道水流的位置，“你要去接水，必须先能看到水”；玻璃门外有只猫，depth模型“完全看不到那只猫”，把门拉开，猫才从门后逐渐出现——“能看到是语义理解，摸不到是空间感知。”
• 这一层完全不需要LLM，纯视觉原生预训练。灵波的戏谑版路线图就三件事：“看得更清楚，想得更明白，干得更利索。”

13. 数字与物理的三大错配：压缩、实时、还有可以舍弃的画质

• 错配一：视频生成的视觉压缩“就是单纯把一百兆变成三十兆”，对后面学习没有任何帮助。灵波在训压缩器时加入了语义和动作的对齐，让编码过程本身就感知语义与动作信息。
• 错配二：数字世界不关心效率——文生视频用户可以等，“但机器人在执行的过程中是没办法等的，一定是实时的”。这引出两个需求：模型激活效率（常用的万象是14B dense模型，推理激活就是14B，后期加速比例有天花板）和单向建模。
• 但物理世界也有可以舍弃的：画质。“生成的东西有点马赛克没有关系的……因为我们还有摄像头。”不同生物视觉清晰度不一样，也都能在地球上生活。

14. MoE：两个月、几十次失败，“能力问题，不是态度问题”

• 灵波Video是原生MoE架构、从头训。难点不在概念在工程：“你一共三十个参数，每次都激活那十个，剩二十个基本不被激活，这跟十B的dense模型就没有区别了”——要让专家等概率地被均匀激活，涉及loss function选择、sampling策略、加正则。
• 光训明白MoE就花了两个月、失败估计几十次——“训一训就会发现跟你想要的不一样”。他的总结成了金句：“把MoE训好是一个能力问题，它不是一个态度问题。”现在这套技术换框架也能稳定训练。

15. 时间单向流逝：双向改单向会毁掉预训练

• 实时性要求attention必须单向：“未来可以看到历史，但是历史看不到未来，时间是单向流逝。”数字世界生成模型基本是双向的——用户等结果，开头和结局都已知。
• 先训双向再改单向这条路线会有致命问题：对文字的理解等knowledge“隐含在双向attention里”，强行改单向后“之前说一百句话每句都能转译成好视频，现在可能只有百分之二三十”——相当于预训练作废。于是果断从最开始设计就是单向，这条路又花了三四个月。

16. VLA 2.0：每个参数从随机初始化训出来的具身原生基座

• 三块技术的合流：Video趟通了MoE，World趟通了causal pretrain，加上语义-动作对齐的压缩改进，“把这三个技术点放在一起，有了一个纯面向机器人控制的原生基模——这个基模从每一个参数都是完全随机化开始训的”，再灌入真机数据。这就是他反复讲的“具身原生”本身。

17. 灵波解决“意图的实现”，不解决“意图的来源”

• 大小脑之辨他不接定义，只画边界：你说一句话他把事干了，这是灵波在做的层面。更高一层——机器人拉开窗帘看到下雨、主动给你拿伞——“那个阶段是跟语言模型、多模态模型要解决的，跟数字世界更相关”。
• “它只管意图的实现……它不会产生自己的想法，不会主动帮你去想你要做什么。”这条自我设限值得记住：灵波当前停在执行层。

18. 随机性突破：可能只用20条数据学会与人对打

• 他的aha moment是与人对打的桌上球类demo（他称撞球、主持人称桌式足球）：“你永远也不知道对面打过来那个东西会在哪”，回合极快，且只依赖机器人自己的相机——没有在场地周围放一圈追踪相机，“就一双眼睛，看到那个东西，然后去做”。
• 最惊人的是数据量：“为了做这个任务可能就采了二十条数据。以前可能采多少数据都不一定能做成。”整理桌面demo同理：一筐东西随便撒上去、中途再拿出来乱摆、甚至人跟它一起收拾，它都能动态处理——这不是加数据的结果，“是因为整个的模型的预训练不一样”。

19. 泛化的边界：位置泛化已破，任务泛化“严重吃数据”

• 他对泛化的拆解很克制：位置泛化“现在可以说是解得会好一些”；任务泛化——没见过的新任务zero-shot就能做——“这个维度可能现在还没太做好”，根因是“机器人的数据还是不够多，你没办法通过见过的任务排列组合变成没见过的任务”。
• 学习成本在降：1.0时代每个任务单独训一个后训练模型、约100条数据；2.0十个任务合训一个模型、约20条数据就可以。“还是没办法做到一条甚至更少，那个要随着基模能力再进一步提升。”

20. GPT-1时刻未到：具身数据与互联网数据差两个数量级

• 直接判断：具身智能还没到GPT-1时刻，“因为现在还没有看到一个比较好的能够做数据scale up的方式”。6万小时“跟上一次比还没有数量级的提升，而且这些数据应该是远远不够的”。架构上做到了具身原生，“但数据上还没有”——原生预训练仍靠大量互联网数据托底，后者比机器人数据多“两个数量级”。
• 他的标尺：先有一个完全用于具身原生预训练的十万小时规模，理想状态“应该是百万小时起步”——让具身数据跟互联网数据相对平衡。时点不好预估，但基建今非昔比：“那个时候有个万卡集群就觉得很了不起，现在美国很多公司做语言模型基本都是十万卡”——所以机器人从GPT-1到ChatGPT，“可能又不一定需要那么长时间了”。

21. 豪赌原生：“如果不是我们走通，也会有人走通”

• 决定下在1.0发布之后，“其实不纠结”：很多特性在数字模型上“强行魔改”，“改得再fancy，有一些缺点还是会暴露出来”。但他承认这肯定是一次bet——“训了一年、花了好多资源，结果这模型就是不收敛”是真实风险，失败可能是思路错了、技术不成熟进入太早、或资源不够“本来只能做一百块钱的事，非要做两百块钱的事”。
• 支撑他的信念：“如果数字世界那条路走不了特别长远，那这是一条必经的路。如果不是我们走通，也会有人走通的，因为我觉得这可能是正确的路。”这也是他自认比较坚持、最有成就感的决定：“不想在他们的延长线上。”
• 进展高于预期：“看得更清楚（视觉）、想得更明白（架构）”半年内都被原生往前推了一步，“没想到会来的这么快”；剩下“干得更利索”等着数据原生补齐，形成“从模型到架构到数据，闭环的一套原生体系”。

22. 原音疑似Generalist与PI：高效后训练派 vs zero-shot派，殊途同归

• 可借鉴者他提到一家原音疑似Generalist的公司：公开口径数据量几十万小时，“现在可能都不知道是不是有百万了”，数据管线更成熟、更早动到pretrain。但技术路线无从借鉴——“能够把视频生成做到原生的，目前还没有看到”。
• 两家理念之别：原音疑似Generalist的一方接受后训练、强调高效后训练；派（PI）更强调zero-shot，“我什么都会”。他认为殊途同归：机器人进家庭需要两个能力——“百分之八九十的活自己就能干，百分之十到二十教它一下就会了”，本质是in-context learning，两者不冲突。
• 数据侧的差异：原音疑似Generalist对原音疑似UMI数据理解深、玩得好；PI在真机遥操上做得扎实。往后看，ego-centric兴起加灵巧手取代夹爪，“两条数据路线可能都会发生一些变化……合久必分，分久必合”。

23. 独立学科之争：语言是入口，解决的是需求泛化

• 去年外滩大会吵得不可开交的问题——具身智能是LLM之上的支线还是独立学科——他“硬要选就选后者”：语言模型解决“让机器听懂指令是什么”，具身要解决“怎么把这个事情做好，做好本身是不需要再理解语言的”。
• 更精确的表述：语言模型解决的是需求泛化——一万个任务用固定编码也行，只是没法在任务维度再泛化；“但这明显不是现在这个阶段具身智能的核心焦点”。短期内语言系统不必内嵌进具身模型，两者只是交互层面的关系。

24. 行业盘点：硬件与落地超预期，数据不及预期

• 进步“比我想象的要快得多”。硬件侧：已有公司把量产跑通，供应链随之成熟；“去年大家是夹爪，今年灵巧手公司已经层出不穷”，触觉传感器涌现——都是为了更复杂精细的任务，也都是数据获取方式。
• 落地侧：Figure展示物流分拣，“已经不再是通过传统控制方式落地，大家都在尝试用模型落地”。去年WAIC七月还在show demo——“二四年在倒咖啡，二五年在叠衣服，一年一个新动作”——“今年反而demo提的少了，都在提进场景了。”
• 不及预期的恰是数据：“大家都在喊需要数据，但真实的情况是，如果你不需要做一个基础模型，可能不需要那么多数据量……不训基模是没有一个推动力让你马上一定要拿到这些数据的。”过去一年没看到具身原生的东西真的出来，是数据发展滞后的根因。

25. 大脑落后于本体：交替上升，智能将重新定义硬件

• 为什么今年冒出一批只做大脑的公司？他的解释：本体很难通用，不通用就必须选准场景，而“大家也不太敢说哪个场景一定跑得非常好”；加上量产门槛。更关键的是——“从现在行业来看，大脑可能是目前是落后于本体的”，去年有位人士（名字原音不清）还说干活是一片荒漠，今年的主要矛盾是先把活干好。
• 他的动态图景：大脑与本体“一定是交替上升的”——做大脑的人变多，智能层跑得更快，某天超过本体，“那个时候会有一批新的由智能重新定义的本体公司”，硬件不再按传统参数设计，而是“为了方便模型控制去设计”。
• 传感器首当其冲：传统取舍是“既然是触觉传感器，力就要准”，但AI时代“模型最需要的不一定是力准，有可能是反应够快”——传感器迭代要从模型的需求出发决定强化什么、弱化什么。

26. 下一步是数据原生：ego是理念，还不是产品

• 架构原生之后的下一步：“从架构原生做到数据原生”——任务泛化“就严重地吃数据了”，需要更优雅的采集方式、更扎实的采集标准，核心问题是“到底采什么样的数据、怎么采、这个东西是不是可以规模化复制”。
• 对ego路线的评价有保留：它“提出了一个比较好scale up的方式，这一点毋庸置疑”，但只有头部相机的数据能不能用、对灵巧手时代的手部精细动作有没有帮助，“还是未知的”——“ego提出了一个采集理念，但要被打磨成一个具体的产品才能部署下去”。
• 质量与规模天然相悖：“模型肯定希望数据越好越好、模态越多越好，但需求越高越不能规模化，就变成定制了。”“模型哪些东西是可以舍弃的，这个东西现在还没有太定义清楚——一旦定义清楚，后面的事情就会加速。”

27. 创业即赌：蚂蚁的期待与最坏的预期

• 两个第一次：“第一个第一次是业，第二个第一次是创。”业教会他技术领先要挑维度——“是不是有价值的领先，还是技术人拍脑袋觉得”，他现在优先赌任务泛化。创教会他：“创业一定是赌出来的……如果那条路一定成功，大厂一定成功了，有资源有人的地方一定会成功。在路径未知的时候，如果犹豫不决，很有可能最后就什么都做不出来。”他明确提到的两次大赌是传感器和原生模型；不做本体是另一项关键选择。
• 蚂蚁的定位：集团AI first，灵波“承载了集团在物理世界人工智能上限的使命”，补齐数字服务向物理世界迁移的执行层。管理上按创业公司方式、业务相对独立、基建共享；不做本体也有debate，“但集团对灵波有充分的信任和尊重，几轮交流之后还是会达成一致”。
• 预期的两端说得干脆：最好是“真的看到机器人进家庭了，进家庭的机器人跑的是灵波的模型”；“最坏的预期就是没做出来呗”，可能某一次赌的过程中赌错了。

28. 终局、构型与中国优势：数据空窗期里中国跑得快

• 终局判断对标大语言模型：“可能会有大厂做的比较好，然后也会有两三家创业公司做的比较好”——灵波自认“一家背靠大厂的创业公司”。各家会跑出各自的生态（数据、本体、场景），模型随生态分化出特色——有的适合精巧任务、有的适合长程任务——最后再汇向进家庭的通用生态。
• 对人形构型没有执念：“现在到底是轮式还是足式，还不是现在的核心卡点。现在核心卡点是智能不够，智能不够的核心卡点是数据不够”——“不管足式还是轮式，它进家庭我都不会让它进家庭的，你都没办法做user study。”
• 中国牌他看得很重：他把互联网数据视为互联网红利的变现，具身数据则“可能是一个空窗期，现在大家都是一样的”——而采集一定依赖硬件和传感器，“至少在数据这方面，中国一定是比美国跑得快的”。灵波正通过“数据联盟”和伙伴一起定标准：“所有的规模化东西一定要有标准。”

29. 老师汤晓鸥与快问快答：希望机器人是个“J人”

• 对汤晓鸥的两个印象：幽默的东北老乡，以及“能快速地从一个乱序的混沌当中抓到主要矛盾”——毕业答辩上别人问怎么做的，汤问的是“这个东西到底应该怎么用”。
• 人生之书《笑傲江湖》：“特别喜欢令狐冲那种豁达的样子，什么都不太在乎的心理状态”——是不是这样的人？“我希望成为这样的人。”
• 机器人的性格题答得毫不浪漫：“我希望他是个J人，他好干活……如果在提供情绪价值和干活之间，我会果断地选择干活——情绪价值应该由人来提供。”影响他的工作：原音疑似Generalist的原音疑似GN-1——“数据的规模化确实做得非常好”（他们已经不写论文写blog了）、派的工作、Google DeepMind的工作。终极愿望是让具身像语言模型一样可传播：“如果有一天能带一个东西直接给我爸妈，告诉他这是我做的，那个成就感跟现在完全不是一个量级。”