先锋 趋势 方法 投研 作者
71.与小米陈龙的访谈:90后AI当家、车与机器人的智能,重建一个Physical AI的世界观
返回节目精读

71.与小米陈龙的访谈:90后AI当家、车与机器人的智能,重建一个Physical AI的世界观

摘要

  • 小米的 MiMo-Embodied 是把自动驾驶与机器人两类任务统一起来的具身大脑框架,技术报告称两种能力已表现出互相促进的协同效应。 逻辑是机器人数据稀缺而辅助驾驶数据更充足,多阶段训练加 CoT 把两种任务的思考过程连接起来:机器人数据教给辅助驾驶空间感知与空间推理,驾驶数据教给机器人物体运动规律,最后通过强化学习后训练,在两类任务上达到 SOTA 水平。
  • 陈龙认为,自研基座模型对车企做 VLA 非常必要,并警告拿开源模型训练 VLA 可能很危险。 预训练混入的抽象或危险内容可能在辅助驾驶关键决策时产生蝴蝶效应;有自研能力(罗福莉团队的 MiMo)才能筛选数据,并把 corner case 反哺预训练。同时拥有自动驾驶和机器人业务的主流公司包括 Tesla、小鹏和小米,另有一些小厂商。
  • 小米探索的下一代架构是 XLA 加潜空间推理:不用显式语言推理,但潜空间可以解码回语言与未来画面,用于了解思考过程并提供 guidance 和监督。 显式输出一大段文字再输出 action“延时会很高,而且不太可控”,完全不输出语言又可能退化成 VA;潜空间用“底层的机器语言进行多步推理”,不仅更快,也更全面。已介绍的用户功能包括语音控车与商场车位级导航,陈龙认为其实现方式相当于行业最优。
  • 具身领域的 scaling law 比语言和视觉难得多:训练 loss 符合 scaling law,但部署到真实世界后,表现并不会完全符合训练时的 scaling law。 原因是“具身智能本质上是一个系统工程”,轮胎摩擦力这类软硬件差异算法无法感知,而从错误状态恢复的能力在开环训练中不体现。主持人还援引高阳关于“很脏的数据”的说法;陈龙认为前提是有大规模应用场景。下一波 scaling 可能最快来自视频自监督,通过预测下一帧隐式习得物理规律。
  • 终局判断是 World Model 与 VLA 最终需要统一,语言不是全部,但能提供重要的抽象推理能力。 世界模型主要学习底层物理规律的表征;陈龙认为,预测叶子像素如何变化并非决策重点,关键是预测未来更本质的状态。VLA 则可将语言中的常识与人类智慧融入决策框架。更远处,监督学习有天花板,终局需要持续学习乃至 self-evolving。
  • 雷军曾亲自与陈龙聊了一个小时,人车家终局与统一车和机器人的方向打动了他。 2024 年中开始接触,决定花了大半年,2025 年 3 月左右入职;陈龙在小米获得了较宽松的前沿探索环境,约 60% 时间投入前沿研究。关于组织方式,他认为量产与预研“不应该分家,而应该慢慢沿途下蛋”。
  • 智驾进入深水区:剩余接管场景越来越少但越来越难,关键是最后“百分之零点几”的困难场景。 陈龙认为人才正从智驾流向具身,而中国拥有数据、产业链和快速迭代等优势。物理 AI 最终要靠“在真实的环境当中去做实验验证你的想法”;未来三年,他期待 L4 Robotaxi 服务真正实现无人驾驶,以及机器人进入日常生活。

精读

1. 伦敦学术底色:UCL、DeepMind 与“做咖啡即调参”

  • 陈龙硕士毕业于 UCL——“UCL 其实就诞生了 DeepMind”——他的观察是伦敦创业文化偏理论研究,UCL、牛津、剑桥聚集大量尖端 AI 人才,与硅谷气质不同,这层底色贯穿了他后来的 research taste。
  • 他的 signature 比喻值得原样保留:“做咖啡其实跟训练神经网络是类似的,因为它有很多参数要调整”——磨豆粗细、水温流速、出水速度,“重点是每天只能做一两杯咖啡,每次可能就调一两个参数,所以需要一段时间才能调到最佳的参数,每一个细节都会影响你最终很大的一个结果。”

2. 最后一刻上车 TR35:从生物医学工程绕进自动驾驶

  • 陈龙今年刚好 35 岁,“最后一刻上车”入选 MIT TR35,颁奖词是对自动驾驶可解释性的突破性工作、全球首创把 VLA 应用于辅助驾驶。同届有脑机接口、核聚变、生物药物方向的人——“每一个行业都有那么一小波人在用最新的技术推动进步”。
  • 路径并非科班直达:小学自学编程,大学刻意不选计算机而读生物医学工程做医学图像,深耕计算机视觉——“它是计算机跟真实世界的一个接口”。博士毕业进 AR 创业公司,不到六个月被美国一家头部网约车公司收购去做自动驾驶。
  • 2018—2019 年左右,他立项用行车记录仪采集的“低质量”人类驾驶数据训练神经网络,学习人类驾驶轨迹,验证了一个当时的 scaling law;恰逢 2017 年 Transformer 刚被发明,他们也使用了这一最新架构。

3. 三段式的原罪:招手的信息被折损掉了

  • 自动驾驶 1.0 是感知—预测—规划三个小模型串联,每段只输出位置等结构化信息:“前面这个车里的人向你招了招手,这个信息在分段式的过程当中是完全丢失掉的”——人类会理解为让行,模型看不见。
  • 诗婕的比喻获陈龙认可“非常形象”:三段式像三个人接力传水,“第一个人舀起一盆传给第二个人的时候就只有半盆了”。主持人认为本质仍是 rule-based,陈龙也认同人没有办法穷尽物理世界里所有的场景,因此这种系统开起来“很不拟人”。

4. 端到端的激进押注:Bitter Lesson 信仰与动摇时刻

  • 前司创始人为剑桥学术派 Alex Kendall。公司从 2018 年起做完全数据驱动的一段式:不检测物体、不定义规则,“完全使用一个神经网络来模拟人类驾驶的行为,直接从视频的输入直接输出 action”——当时“非常激进”,初创资源“说实话不太够用”。
  • 信仰锚点是 Richard Sutton 的 The Bitter Lesson:“大家探索的时候总是会想要加更多的东西……达到一个局部最优,但最终你发现加了这些东西对目标的影响是不大的,最终的肯定是最简洁的一些结构。”陈龙也引数学家许晨阳呼应:“越简单越纯粹越美妙。”
  • 他坦承动摇:“经常这个事情就不 work,大家也不知道怎么去改进”,想过加规则、退回分段式;是 Alex Kendall“非常赞成用神经网络来解决问题”给了信心。他自己的信仰“是逐渐建立起来的”——对比过偏模块化、求绝对安全的 Waymo 之后,坐进自家公司的车发现端到端“开起来非常丝滑、非常拟人”。

5. FSD 替他们验证了方向:“他做了还有我们什么事儿?”

  • 陈龙认为,真正量产的纯神经网络智驾“算是”特斯拉的 FSD。前司内部“还蛮开心”——“自己的想法被一个世界级的大佬做出来了”——但也有真实的焦虑:“感觉这个他做了还有我们什么事儿呢?”答案是路线不同,“我们其实更像是一个开源的路线”。
  • 前司留给他的方法论与今天的大模型范式同构:设好小 baseline 与评测指标、大量实验快速迭代;以及抵抗“局部雕花”——短期更漂亮的结果“于长期而言是无益的”。

6. 雷军一小时亲面:从小米一代用户到基座负责人

  • 大学时看完发布会立刻以 1,999 元下单小米手机一代——对比四五千元的诺基亚功能机,“相当于两个月的一个生活费”;在伦敦看完 SU7 发布会“非常激动”,认为其颠覆性不亚于小米一:“SU7 发布的时候新能源汽车已经是一片红海,但它还是做出了一个很有特点的产品。”
  • 2024 年中小米招聘团队开始接触,此前“很多家公司联系我”但只有小米让他想聊:“雷总跟我亲自去聊了一个小时,这个其实是我没太想到的。”真正打动他的是终局:人车家布局、AI 对所有设备的赋能,以及汽车、机器人和智能设备之间的连接;“感觉在小米能有更大的作为,而且可以为国家做一些贡献”。决定花了大半年,2025 年 3 月左右入职。
  • 叶航军给他的命题是“设计一个比较前沿的统一的框架,把自动驾驶跟机器人这两种任务统一在一起”——“这个是真正我想做的事情,也是我当初回国的一个原因”。

7. 为什么全球首创 VLA 上车的是他:Lingo 与扁平组织

  • 2023 年初团队开始用 ChatGPT 解决自动驾驶 corner case,“发现它确实是 work 的”,逐步做成实车部署的 Lingo(language+go 的合成词),“基本上是全球第一个在实车上测试的 VLA 模型”——当时连端到端都激进,语言模型“就更加的激进了”。
  • 他复盘“为什么是你”:一是学术基因——早期投资人包括 Ilya Sutskever、Yann LeCun、Peter Abbeel,“国际上做神经网络做 AI 很前沿的一波人”;二是工程与组织——模型极简,“一个人就可以自动化地训练一个模型部署到车辆上,第二天就可以上车体验自己训练的模型”,组织特别扁平,新 idea 可以快速验证。
  • 他也承认语境已变:前司偏学术、较少考虑规模化和量产,进入小米上市公司环境后“改变还是蛮大的”——“不仅要考虑技术的成熟度,还要考虑安全的问题、用户体验的问题”。

8. 从端到端到 VLA 是“认知跨越”:救护车可以闯红灯

  • 端到端虽是纯数据驱动,但完全黑盒:“我们并不知道它内心是怎么想的,有可能它会输出很奇怪的行为”;且不真正理解世界——它知道红灯要停,“但它不知道为什么不能闯红灯”:后方有救护车挡道时,按交通规则可以在一定情况下稍微闯红灯,“这种数据可能在你的训练当中根本没有,这是非常长尾的场景”。
  • VLA 即把语言能力融入端到端:大语言模型带来互联网预训练的世界常识,判断“可以显式地说出来”——陈龙认同语言模型能够提供这部分逻辑推理与可解释性。

9. 梦之队与技术 leader 的 hands-on 时代

  • 外界称小米智驾“梦之队”(叶航军、陈光、王乃岩、陈龙),陈龙自评“有点过”——四人是不同方向的技术 leader:陈光带 L2,VLA 可能最先应用于 L2;原图森未来首席科学家王乃岩带 L3,叶航军总管全局且“真的会去用一些前沿的工具”。他强调新行业需要技术型 leader:“特别是需要你是真正去手动训练过这些大模型的人,你才能知道当中需要什么问题怎么解决。”
  • 技术路线争论“不管内部还是外部都蛮多”。短期量产与长期探索的平衡靠总经理级视野:“量产跟预研其实不应该分家,而是应该慢慢地沿途下蛋,在预研的过程当中产出一些量产的结果。”他本人约 60% 时间花在前沿:读 paper、与 researcher 交流、招聘。

10. 90 后的双向依赖:罗福莉的基座与“开源模型训 VLA 非常危险”

  • MiMo 的预训练主要由罗福莉团队完成,后来扩展成 VL;陈龙团队做 continued pre-train,强化空间感知与空间推理。他向上游回传下游任务的难点与数据,也会安排实习生到对方团队实习。主持人概括两边的关系:“你比较需要它的基座模型吧?”陈龙回答“是的”,主持人又认为基座团队也需要下游 feedback。两位 90 后“经常一起吃饭”,“障碍还蛮少的”。
  • 本期最锋利的行业判断:自研基座对做辅助驾驶“非常必要”,而“现在很多车企其实是拿开源的模型来训练 VLA 的,我感觉这是一件非常危险的事情”——互联网预训练混入的“抽象内容、危险的东西”可能产生蝴蝶效应,在最终辅助驾驶决策时影响关键判断,造成危险行为。有自研能力才能筛数据、把 corner case 反哺预训练。

11. MiMo-Embodied:把车和机器人放进一个班上课

  • 主持人的比喻获认可:原来智驾与机器人“分别开小班教学”,小米试图合班。理由一:机器人数据远少于辅助驾驶,融合可提升机器人表现;理由二:模仿人类学习——人小时候通过与物体交互学到空间感知与推理,“当人类有了很强的能力之后,再学习开车会学习得更加容易,而且开起来会更加安全”。
  • 这是没有先例的赌注:“当时有这个想法的时候其实也不能完全确定这两种到底能不能相容”——室外驾驶 vs 室内操作,视角与输入输出模态差别都大,业界此前没有验证过。方案是多阶段学习:先增强驾驶、再增强具身、用 CoT 数据把两者连接,最后强化学习后训练,“让它进一步在这两种任务上面达到 SOTA 的水平”。
  • CoT 是统一的关键机制:“模态差别非常大,但是你的思考过程其实是可以统一起来的”——抓手机被拆成识别、定位、分步执行,超车同样拆成小的思考段落,“这些小的任务是可以产生协同效应的”。

12. 双向增强怎么发生:机器人教空间,车教运动

  • 机器人数据是强交互场景——抓取、移动、与各种物体交互——教给辅助驾驶的是空间感知与空间推理能力;辅助驾驶的第一视角数据教给机器人的是物体运动规律,“从不同物体运动的方式学习到刚体的行为、柔性物体的行为”。
  • 主持人追问这是否接近 next-state prediction,陈龙确认:通过“最终你要怎么开”的目标,模型隐式学会判断距离与速度——“这些可能在机器人的数据上面会比较缺失”。

13. 世界模型定义之争:“叶子怎么变化不影响决策”

  • 定义纷繁:狭义定义可能是杨立昆一直提倡的给定 action 预测未来状态;李飞飞基于 3D 重建的工作、辅助驾驶中的模拟器或 3D 重建、生成下一帧,以及 world action model 都被叫作世界模型,“并没有一个特别明确的定义”。陈龙甚至认为语言模型本质上也是世界模型——“可以利用语言来进行未来的思考跟预测”。
  • 他自己的定义偏向生成下一状态,但认为像素级生成不是重点:“预测这一帧的叶子到下一帧具体要怎么变化,这个对你最终决策是没有影响的……最本质的不是要生成比较好看的下一帧视频,而是要有一个比较好的表征去预测未来比较本质的状态。”
  • 主持人提醒,VLA 和世界模型被热议正因为具身与自动驾驶“还是一个 research 的问题,还没有真的被解决”,新范式过热可能导致期待过高、错过其他可能性;这也像端到端从一无是处到神奇、再到发现缺点的循环。

14. VLA 的最后一公里:为什么车比机器人跑得快

  • 主持人引前嘉宾王星星的公开质疑:许多公司声称做 VLA,实为 VLM,action 一步没落地。陈龙的解释是数据结构性差异:辅助驾驶有成熟产品与用户驾驶反馈、成熟的感知标注体系可快速生成语言数据;机器人大多还要自采数据,“不管是成本还是数据多样性方面都跟辅助驾驶差得很远”。
  • 且车的 action space 更小:本质是 2D 输出,机器人是 3D 多关节输出;道路结构与交规让驾驶环境更可控。小米的策略正是让跑得快的赛道带动慢的,终局是“一个具身的大脑来控制不管是汽车还是机器人还是家里的智能设备”——“更像未来我们想象的一个个人的助理”,这是集团级目标。
  • 他看到的数字世界端倪来自“龙虾”——OpenClaw 这样的 agent 泛化性很强,可操作电脑、自己编程,本质是大模型起 sub-agent 分配任务——“最终它进入到物理世界肯定也是这样的”。

15. 传感器哲学:量产不能只靠纯视觉,声音也是模态

  • 陈龙判断,“本质上辅助驾驶是可以通过纯视觉来解决的”,但现阶段量产纯视觉“肯定会存在一些风险”——这是他在小米学到的量产与预研之别:预研通过视觉、语言、action 三种模态可能就能实现一些功能,量产则需要更直接的模态辅助决策。雷达能直接获得真实距离,视觉则存在距离歧义;在高速场景中,准确距离对安全操作很关键。
  • 主持人补充,声音也很重要:“自从我戴耳机开车感觉没有安全感之后,我就觉得这个声音其实还蛮重要的”——能听见周围有没有车、别人按不按喇叭。模态发生冲突时,陈龙认为端到端前融合可以由系统内部根据置信度与场景自行决策,“我们可能更相信视觉一些”。

16. 语言不是全部,但提供重要推理能力:别“蒙着眼开车”

  • 主持人提到哈萨比斯关于“语言不是全部”的立场。陈龙认为语言确实会损失信息、有些事解释不了,但它是“比较抽象比较好的一个模态”——几个词就能描述本质画面,没有明确的时间限制也利于长时记忆。
  • 主持人进一步补充,人类过去的大量知识结晶浓缩在语言中,而视频信息积累时间更短、规模也相对少。陈龙对 VLA 的常见误解作了区分:VLA 不是把 V 转成 L 再转成 A——“这个就像你蒙着眼开车一样,你的副驾给你讲现在发生什么情况,你去做一个决定”——而是把 L 加入 VA 模态,L 在 V 之上做推理,最终 V 与 L 共同输出 action。

17. XLA 与潜空间推理:不用语言想,但可解码回语言

  • X 代表任意模态与任意本体——不仅辅助驾驶数据,还有机器人数据与互联网图文。XLA 是“下一代认知驱动的模型”,不用显式语言推理:输出一大段文字再输出 action“延时会很高,而且不太可控”;宣称不输出语言的“就没有利用到推理的能力,它可能就是一个 VA 了”。
  • 潜空间推理“相当于使用了底层的机器语言进行多步的推理”——时延可控、无需转译所以信息量更大,“不仅想得更快,也想得更全面”;潜空间可解码成语言和未来画面,既方便了解“它到底是怎么想的”,也能为思考提供 guidance 和监督。他去年第一时间读了田渊栋的潜空间推理论文并“特别赞成”:“人类思考的时候并不需要在内心一个字一个字地思考”——比如窄路能不能过,是在脑海里想象画面推演。
  • 用户侧增量:复杂场景推演更安全(大型障碍物绕行更丝滑、接管更少)、语音控车(小爱同学加减速、并线)、商场车位级导航(带到离目标店铺电梯最近的可用车位)。底层仍是 Transformer 的一段式 XLA 架构,各家实现不同,陈龙认为“我们的实现方式相当于是行业最优的”。

18. 具身 scaling law 为什么难:系统工程与脏数据

  • 他亲自验证过这个落差:加数据 loss 确实按 scaling law 降,“但当你部署到真实世界当中,它的性能不会完全符合训练时的 scaling law”。本质是“具身智能它本质上是一个系统工程”——“轮胎跟地面的摩擦力是不一样的,你的算法是没办法感知到这件事情”——必然出错,而从错误状态恢复的能力在开环训练的完美轨迹里学不到。
  • 主持人引高阳的说法:“具身智能不需要高质量的数据,反而需要很脏的一些数据”;陈龙确认前提是要有大规模应用场景。他判断具身 scaling law 最快来自视频自监督:预测下一帧就要隐式学会物体位置、深度、速度、属性——“一个行人下一秒会在哪里,他能跑多快,是小孩还是年轻人”——无需标注即隐式习得物理规律。

19. 监督学习的天花板:从强化学习到 self-evolving

  • 陈龙认为监督学习“促进了深度学习的发展”但也限制了学习范式——离线数据集训练完不能持续迭代,OOD 分布外场景的泛化能力不足,“你会局限在过去的世界”;要学新东西“就要重新做一遍预训练,其实是很麻烦的”。终局需要持续学习——“像人类一样在真实世界当中反复练习、回正、纠正你的错误”。
  • 强化学习“解决了一些问题,但本质上还是需要更前沿的学习范式”,比如 self-evolving。主持人追问是否可以不设定激励、让 AI 自由探索,陈龙表示也可以在真实环境中探索;他不排除机器最终抛掉人类范式,但沿现有道路,“自我迭代的范式可能更 promising 一些”。
  • 现阶段配比类似 LLM:模仿学习占比更多、scaling law 在其上体现;强化学习负责激发特性与人类偏好对齐,“reward 信号可能是比较稀疏的”——一切的前提是有 Transformer 这个 scalable 的网络。

20. 深水区与 Physical AI 终局:“总有一个中国人比你更刻苦”

  • 智驾深水区两义:一是越来越像科技产品,拼智能化水平与高级功能;二是接管场景越来越少但越来越难,“看你能不能解决最后的百分之零点几的困难场景”。陈龙看好的路线是把 World Model 融进 VLA 框架——“既能用到 World Model 底层物理规律的表征,也能使用到人类语言这个智慧的结晶来进行推理”;即使 VLA 暂时没有 World Model 热,“认知、推理和决策这个框架是没有错的”。
  • 主持人引用黄仁勋 GTC 演讲中的图,将 Physical AI 放在生成式 AI、Agentic AI 之后的最高最远处。陈龙认为难点包括数据少、不能在真实世界试错,学界长期主要在监督学习范式上探索,真正探索在线学习的学者还比较少;同时还受硬件限制,而硬件产业链“未来的优势肯定是在中国”。他用海外谚语解释回国:“There’s always a Chinese person smarter than you and working harder than you。”
  • 对各团队差距的最终因素,他不愿多预测但给了一条标准:“一定要在真实的环境当中去做实验去验证你的想法”——过去自动驾驶大量虚拟 benchmark 论文,实际使用时效果可能没有那么好,很多方法“最终发现都不是特别 work”。

21. 人才、共识与三年之约:指导机器人做更好的咖啡

  • 智驾人才正流向具身创业(初创多、薪水较高),但两者都是具身智能、转换极快;车+机器人统一范式成了招聘吸引力——大模型、自动驾驶、汽车智能“三个方向只要你做过两个”就适合。小米的“共创共识”他认为最难也最必要:“如果没有达成共识就去做一件事情,底下的成员不认可,遇到困难可能就会轻易地放弃”——车机融合正是在形成共识后克服了很多阻力。
  • 主持人的尖锐追问:跟雷军讨论三次都被拒,还会有第四次吗?陈龙回答:“我肯定还是会坚持……可能不能完全说服雷总,但是肯定会尽力去争取。”他对雷军的观察是:亲自下场与尖端人才交流,发布会准备时还用自己的电脑帮他改稿、做演讲培训;对科学家们“很宽容”,同时也会要求阶段性产出、定期 review。
  • 三年期待:L4 Robotaxi 服务真正实现无人驾驶;机器人进入生活——“帮我们做咖啡”。主持人笑他失去乐趣,他答:“但我们可以指导这个机器人怎么做更好的咖啡。”小时候看《霹雳游侠》的场景,“其实现在已经非常接近了”。