41.对话智源院长王仲远:关于世界模型,AI与物理世界,与大模型的最前沿
41.对话智源院长王仲远:关于世界模型,AI与物理世界,与大模型的最前沿
摘要
- 王仲远给出的最确定预判:人工智能将正式从数字世界迈向物理世界。 智源以“物界”系列模型探索这一方向。其技术路线图为“语言→多模态→具身智能与 AI for Science→世界模型”,理由是大语言模型路线已相对成熟、“应该交给企业来做”,而“大模型的发展还远没有到尽头”。
- 文本数据枯竭有三条出路:合成数据、后训练/推理 scaling、多模态——而多模态数据量级尤其可观。 他援引 Ilya“全世界只有一份互联网数据”的判断,指出声音、图像、视频、3D、脑信号等数据量“可能是文本数据的百倍、千倍乃至万倍”,且尚未被有效用于大模型训练,这是智源押注原生多模态的核心理由。
- 现有多模态大模型多数是“走捷径”:以语言模型为核心再映射其他模态,结果是“博士退化成高中”。 典型症状是“三点一大还是三点二大它搞不清楚了”;而人脑接触模态越多越聪明。他的技术信仰是“越简单、越统一的结构,越有可能具备更强的生命力”——原生多模态要从一开始就用统一架构装入所有模态。
- 具身智能虽火,但他公开泼冷水:这是“五年到十年周期的,甚至更长”,且“具身智能不等同于人形机器人”。 “大家千万不要认为未来三年机器人就满街跑”,热度起得太快“很可能在未来一两年陷入到泡沫的低谷”。他判断的落地路线是多模态/世界模型 foundation model + 强化学习,并以两岁小女孩看短视频学会拆糖果为例证。
- 对 scaling law 的辩护用的是七八十年的长镜头:BERT 一亿参数距人脑差一百万倍,GPT-3 差一千倍,GPT-4 的 1.8 万亿差一百倍。 “当我们的模型有一天能够到达人类大脑的参数的时候,我们再来论证 scaling law 到底是有效还是没效”——他明确表态对神经网络路线“还是 believe 的”,Transformer 被替代则是长周期事件。
- 对姚顺宇“AI进入中场休息、评估大于训练”的判断,他只部分认同:或许在大语言模型上成立。 国产模型追上 GPT-4 后确实进入应用爆发期,但“整个物理 AGI 时代的到来,还需要那么几次的技术的重大突破”;对 Meta 世界模型 V-JEPA 2 登顶榜单,他强调智源对具身团队的硬要求是“真机部署”而非刷榜。
- 世界模型连定义都未收敛,图灵奖得主们的路线也并不完全一致:杨立昆不信自回归,Bengio 不信强化学习、主张“只有智能没有自我”的 scientist AI,Sutton 则坚信 RL 与体验时代。 “有人爬南坡,有人爬北坡”,智源选择用简单、可 scale up 的大一统架构训世界模型基础模型,承认“最终能不能达到期待的效果还有待验证”。
- 智源的组织打法本身是投资线索:85后院长、29岁的 Emu3 负责人、“不论资排辈”的代表作文化、真开源生态。 BGE 向量模型下载数亿次、曾登顶 Hugging Face 月度榜首,30多个国家和地区的数百机构在用其数据与框架;张宏江“功成不必在我”的理念下,智源自我定位是长出参天大树的“土壤”,而非果实本身。
精读
1. 智源的底色:把千万级资源交给评不上副教授的年轻人
- 主持人卫诗婕开场重述三年前对创始理事长张宏江的专访:2020年 GPT-3 出现后,智源效仿 OpenAI 砍掉所有支线 all in 大模型,从八十张卡追万卡集群;刘知远当时连副教授都未评上,却在智源运作了千万级资源的项目——“在传统的科研体系里根本不可能”。
- 悟道项目中曾出现唐杰、杨志林、刘知远、黄民烈等中国大模型创业潮的灵魂人物,智源因此被称为“中国 AI 的黄埔军校”;三年后,这家机构迎来首位85后院长王仲远。
2. 院长面试聊了小半年,最后“选了那个最年轻的”
- 王仲远2018年在美团时就以理事单位身份见证智源成立,2023年七八月经引荐接触遴选:“按照以往的科研机构,一般要找个院士或大咖,我当时才三十七八岁,真的会有机会吗?”他坦言“我是心动的,不敢相信”。
- 考核是全方位的:科研成绩、系统落地能力(“不是仅仅发表论文”,要让普通人体验得到科研成果)、以及管理能力——“定战略、建团队、拿结果,要有一整套的体系”。
3. 为什么 AI 是年轻人的事业:成功经验会成为创新的桎梏
- 他引 Hinton“我很多的创新其实都是我的学生做出来的”,以及 OpenAI Sora 技术负责人在智源大会上的话:今天的 AI 突破“颠覆了以往所有的范式”——陷入传统科研范式越深的人越难自拔,“年轻人是不受束缚的,年轻人是没有失败的”。
- 落到机制上:不论资排辈、不看帽子、代表作文化;原生多模态世界模型 Emu3 的负责人今年才二十九岁,“能获得数千万资源的支持”。选人更看“有没有对于技术的理想”,呼应张宏江的“功成不必在我”。
4. 小女孩之问:促成他离开企业加入智源的时刻
- 2023年3月 GPT-4 发布几天后,他去孩子的小学给三年级上 AI 课,全班沸腾“以后可以不用做作业了”,一个小女孩站起来问:“叔叔,如果人工智能什么都能做了,那么将来我们做什么?”“这样一个简简单单的问题直击我的心灵”——他意识到原以为下一代才会触及的 AGI,“在我们这一代就有可能触及到”。
- 他的宏观判断:大模型推动的可能是“一次工业级的革命,最次也是一次产业级的革命”,短则十年二十年,长则三四十年。而在企业里“很难将自己百分之百的精力都 all in 在 AI 上”,内心挣扎之际智源抛来橄榄枝。
- 他给小女孩的答案(自认至今没有准确答案):了解并使用这项技术、形成世界观人生观价值观、培养自我学习和与人交往的能力——大学不再只是考察知识,更重要的是锻炼学习能力和与人交往的能力。
5. 基本功与细节:从微软道德标准到 Facebook 的 bad case
- 他记住的微软入职培训只有一条:“要用最高的道德标准来要求自己”;美团王兴(“兴哥”)的全员信“苦练基本功”则给了方法论——“商业拉长足够多的周期来看,很多的失败最终都源于基本功不够扎实”。
- 映射到大模型:为什么不同公司训出的模型效果不同?“归根结底是基本功”——数据质量、芯片利用率、每次网络故障的处理、“对 loss 曲线中每个异常波动都不放过去追究原因”、评测中不放过任何一个细节。
- 最佳例证是 Facebook 的实体链接:搜“苹果”是公司还是水果,团队起初“只关注指标不关注细节”,准确率很低;他深入分析各种 bad case——“当我们深入去看每一个细节的时候,自然而然你的解法就产生了”。
6. 离开微软:世外桃源与“担心被时代抛弃”
- 2016年,BAT 已成、美团和今日头条崛起,“各种高楼平地起”,而研究院是“安全的港湾,有点像世外桃源、乌托邦、象牙塔”;“我似乎意识到这个世界在发生剧烈的变化,我很担心被这个时代抛弃”,于是选择去商业性质更强、更接近产品的公司。
- Facebook 的松紧哲学:陪产假四个月、周三在家办公、三餐全免,但通过 weekly scrum、高频 OKR review、激励与淘汰机制“让你不断证明自己”,且“周围都是全世界最顶尖的研究员和工程师,不进则退”。主持人的总结被他认可:“过程上宽松,结果上严格。”
- 他把这套经验带进智源:取消上下班打卡、S 和 A 级员工年终奖“大幅提升,甚至超过互联网公司”,同时保留淘汰机制。
7. 快与慢:Llama 4 的教训与低垂果实的正循环
- 当天早晨内部还在聊“为什么 Llama 系列最近不那么给力”——从 Facebook 朋友传出的说法(他注明“不一定正确”):一拨人做几个月就换一拨人,“在快节奏的调整中缺乏了积累和沉淀”。“我的第一反应是,这非常符合 Meta 的 move fast and break things 文化”——某些方面有独特突破,某些方面就不适用。
- 智源的对应策略:确定性的事情要快(“你不快,别人就抢先做出来了”),长期探索给两三年的耐心与试错空间。主持人补充的机制他完全认同:先通过短期结果证明自己、获得更多资源,进而“去打更大的仗”;“否则,当你说要做一个重大的创新突破时,如何让投资人、资源拥有者有这样的信心?”
8. 认知迭代:《刷新》、电梯十八楼与 growth mindset
- 萨提亚·纳德拉《刷新》里两个词影响深远:同理心与 growth mindset——“一个优秀的人会随着这个世界、接触到的人和知识,不断迭代自己的认知”,对应的 fixed mindset 就是“这个人太固执了”。
- 美团“老王”的电梯比喻值得保留:“当你坐的电梯到了十八楼,到底是你自己有能力到十八楼,还是你在电梯里不断地蹦跶,是你蹦跶的能力到了十八楼?”复盘要“不仅把对的部分认清楚,还要把错误的部分反思清楚”。
- 他的职业总结:在微软学做研究,在 Facebook 学快速落地,在美团学管理——“不同的优秀企业背后是有共性的,都需要做认知的迭代”。
9. 练心智:愚昧之巅、绝望之谷、开悟之坡
- 美团管理四件套“定战略、建团队、拿结果、练心智”中最后一项:“即使你尽了全力,你依然有可能失败,这时候你的内心需要足够的强大。”老王的话他记到今天:“练成了,大家一起成就;失败了,就互相成全。”
- 美团版的这套路径是:顺利的人“错误地将天时地利人和综合的结果完全归因于自己的成果”,就处在愚昧之巅;管理者要“把你推向绝望之谷”,再从中爬上开悟之坡——“看哪些事情可以凭能力而为,哪些要顺势而为,哪些也许应该放弃”。
- 被问“你经历过绝望之谷吗”,他的回答原样保留:“肯定经历过,但我不想分享。”走出低谷的方式是去挪威罗弗敦群岛旅行:“你会发现世界如此之大,为什么我要把自己局限在自己的茧房当中?每个人的人生路径可以有很多,不一定只有唯一的路径。”
10. 快手的顿悟:Transformer 要“大一统”了
- 在美团他从只身一人做到负责四五百人的搜索与 NLP 部门;在快手接手 MMU 团队后力推的第一个项目是把视觉底层架构全部升级为 Transformer——“那个时候在企业里 Transformer 依然是有争议的,因为消耗的资源量挺大”。
- 关键洞察:当 NLP(BERT、GPT)、视觉、音频的底层都转向 Transformer,“我开始意识到,人工智能深度学习有可能要开始大一统了”——以前各领域编码方式、数据格式、网络结构互不相同、各做各的。
- 他给主持人的比喻:“就好像咱们国家有五十六个民族,但都有一个共同的语言叫汉语——当我们都能用普通话,不同模态之间就可以交流了,就有可能融合,产生意想不到的效果。”
11. 跨模态、多模态、全模态、原生多模态:一场名词祛魅
- 他的辨析:“此多模态非彼多模态。”图像、视频理解类模型多是“以 large language model 为核心,再加不同模态往语言模型映射(CLIP 之类)”的组合式;文生图用 diffusion,文生视频用 diffusion transformer——背后的技术方案并不一样,“非专业人士分不清你说的是哪一个多模态模型”。
- 全模态更代表大一统:所有模态都能作为输入和输出,就像人脑“闭上眼睛也能想象到画面,就像一个视频一样,更加类人”。原生多模态的关键在于“从一开始就设计出一种统一的架构”,而非先有语言模型再拼接。
12. 大模型远没有到尽头:数据枯竭的三条出路
- 智源的战略争论是:大模型已产业化,智源还要不要做?结论是“已经成熟和收敛的技术路线基本局限于大语言模型,它应该交给企业来做”。而 Ilya 在 NeurIPS 说过“全世界只有一份互联网数据”,pre-train 阶段可能已经结束。
- 三条出路:一是合成数据——当机器智能达到或超过人类,“就有可能创造出比人类创造的还高质量的数据反哺训练”,重要但“还没有完全突破”;二是后训练与推理模型——慢思考“又发现了一条新的 scaling law 曲线”,才有了 o3、o4、DeepSeek R1 及大家期待的 R2;三是多模态。
- 多模态的量级论据是全片最硬的数字:声音、图像、视频、3D、脑信号等模态的数据量“可能是文本数据的百倍、千倍乃至万倍”,还没有被有效用于大模型训练。
13. 多模态能否提升智能:一个 NLP 出身者的自我修正
- 他承认学界和产业界对此有争论,且自己曾有 NLP 人的“天然自豪感”——“语言是人类所独有的完备体系”,很多研究者认为“语言才是边界”。
- 他的转向:“能否提升智能非常取决于你对智能的定义。对于很多的动物来讲,它没有语言体系,它也有它的智能”——觅食、交流、攀爬、靠气味分辨,甚至有一些能力人类并不具备。
- 更务实的一击:真实落地中“仅有语言的模态是远远不够的”——PPT、流程图、设计图、医疗的核磁与 X 光、教师的教案笔记全是多模态,“不管它能否提升智能,它是人工智能一定要突破的方向”。且人类学习本就先于语言:“我们刚出生不会说话,但已经开始通过视觉学习了;系统性的语言学习是从幼儿园、小学才开始的。”
14. 捷径的代价:“博士”接上多模态后退化成“高中生”
- 现有以大语言模型为核心的多模态理解模型的怪现象:语言模型训到博士生水平,加入其他模态后“智能水平似乎退化了,退化成大学甚至高中水平”——“经常看到的问题就是三点一大还是三点二大它搞不清楚了”。
- 他的比喻辛辣:“特别像你在一个封闭的环境学到了博士学位,最后面告诉你这个世界是这个样子的,你受到巨大冲击以至于精神有些失常,智力下降,浑浑噩噩地解决一些问题。”而人脑“接触到的知识越多越聪明,并不会有一天突然不会说话了”——这正是原生多模态要探究的神经网络本质问题。
15. 什么是世界模型:预测下一个动作,而不是描述静态画面
- 现有多模态模型“对空间和时间的感知不够好”,只会描述静态画面:“这边有两个人在交流,都穿着黑色的衣服”——“但我们在真实世界里很少这么交流”,人的第一反应是预测下一个场景、下一个动作。
- 他的例子如实保留:水瓶放在边缘,“我不小心一碰它就有可能跌倒;如果瓶盖没盖是更危险的行为,因为水会洒一地——因此人类自然的动作是赶紧盖好、把水放中间一些”。它不会去说“这个水放在边缘,一个透明的塑料瓶上面没有标识”,这不是我们的思考方式。
- 杨立昆2023年在智源大会提出世界模型,但“行业里还没有很明确的定义”——连名词含义都未定,各家的技术实践路径自然不统一。智源的选择:用“很简单、很容易扩展、能够 scale up 的结构”训世界模型的 foundation model,“最终能不能达到期待的效果还有待验证;也许还不够,需要再加一些模块”。
16. 三位图灵奖得主的不同路线
- 他今年二月与 Bengio、杨立昆交流时观察到:杨立昆不相信自回归(autoregressive),“在很多场合挑战说大语言模型的技术路线是不正确的,无法达到 AGI”;Bengio 不相信强化学习、认为其不具备泛化能力,作为悲观派主张“只有智能没有自我”的 scientist AI,用相对统一的管控方式构建安全的 AI。
- Sutton 作为强化学习之父则穿着花衬衫宣称乐观,“人类从出生开始就在跟这个世界不断交互,得到 reward,然后再成长”,提出 AI 要迈入体验时代。
- 主持人问智源是否与 Sutton 同一阵营,他拒绝简单划分:“我们没办法简单地划分阵营。”“有人爬南坡,有人爬北坡,也许最终都可以爬上去,但大家经过的风景是不一样的。”
17. 具身智能为何今年这么火——以及为什么要警惕泡沫
- 他坦言“我也不知道为什么具身智能这么火”,但给出三个因素:人形机器人“终于能走起来、走得稳了”,让“碳基生命和硅基生命似乎有可能开始共存”的想象成立;强化学习在语言模型上的作用让研究者相信机器人 RL 也能突破;大模型让机器人“开始看到这个世界”,加上政策支持。
- 泼冷水的部分毫不含糊:“具身智能是五年到十年周期的,甚至更长”“具身智能不等同于人形机器人”“大家千万不要认为未来三年机器人就满街跑,这是一个完全不切实际的期待”——热度起太快,“很可能在未来一两年陷入到泡沫的低谷”。
- 关于智源的位置:“我们不是一个跟风的机构,不是因为具身智能火才做具身智能,恰恰是因为我们做了具身智能——某种程度上是我们带火了具身智能,我也不确定。”选择具身的战略逻辑:AI 要造福人类,“它不仅可以作诗,它还要做事。当它做事情的时候,它需要有一个本体”——机械手臂、轮式单臂、轮式双臂或人形都行。
18. 具身的技术路线:foundation model + 强化学习,以及拆糖果的两岁小孩
- 他的路线判断(自称“仅仅是一家之言”):类比大语言模型“foundation model + RL 后训练”的成功,具身智能“很可能是一个多模态模型或世界模型作为 foundation model,再通过真实世界的数据采集或体验学习,不断激发能力并把学到的技能记住”。
- 真实世界的佐证如实保留:今年春节,一个两岁小女孩在没有大人教导的情况下学会拆糖果、把蓝莓穿在牙签上——“我们都震惊了”。原因是她刷手机看了大量主播拆糖果的视频,大脑学习到了这种能力,又在真实世界里实践——最开始撕不开,后来发现锯齿的地方可以撕开,于是学会了。
- 强化学习之外的历史局限也被点明:以往基于 RL 的无人驾驶、机器人拿杯子“依然局限在展示,不具备像人类一样泛化的决策行动能力”。
19. 物界系列与 RoboBrain:最强大脑的验证是真机部署,不是榜单
- 今年智源大会发布的物界系列(“界”代表“虚实世界边界的突破”,与当年“悟道”——五道口谐音——一脉相承):原生多模态世界模型 Emu3、脑科学多模态通用基础模型 Brain-Mind、跨本体大小脑协作框架 RoboOS 与具身大脑 RoboBrain(均已迭代到2.0)、全原子微观生命模型 OpenComplex。
- “最强大脑”的依据:RoboBrain 在空间理解、任务规划等能力上与行业内 vision-language model 及其他具身大脑模型做了评测,“确实证明在这些能力上超过那些模型”,且已开源。空间任务的例子包括:“帮我拿那个最红的苹果”“那个最大的苹果”“最上面的苹果”;“拿水时前面有遮挡,要绕过去或移开”——对人类很简单,对现在的机器人却非常难。
- 对 Meta 世界模型 V-JEPA 2 登顶 Hugging Face 榜单,他的回应克制:“技术路线上就不太一样,且榜单在这件事情上的意义甚至不那么大。”智源对具身团队“非常重要的要求就是真机部署”,在真实场景验证而非刷榜;“这些新闻总会不断出现,我们依然按照自己的节奏和技术路线往前走”。
20. 真开源的账本:BGE 数亿次下载,却追踪不到谁在用
- BGE 通用向量模型去年十月登顶 Hugging Face 月度下载量榜首,且是2023年以来 Hugging Face 所有 AI 模型中截至去年年底的下载量第一名,“下载量数亿次”——大量企业朋友私下反馈“你们的 BGE 模型真的好用,我们内部都在用”,包括耳熟能详的国内外大型互联网公司和热门创业公司,“当然他们不会在公开场合这么说”。
- 开源数据下载数百万次,登记信息显示覆盖30多个国家和地区、数百个机构。真开源的定义:不像商业公司只开权重,智源把“代码、数据、模型本身、评测方法全部开源”——“骨子里就一直有‘功成不必在我’的理念”,育出的苗“不一定非要在智源的土壤中长出来,交给市场、交给企业也是很好的贡献”。
- 资源的现实约束也未回避:“作为非营利机构,我经常深深感受到发展所需资源的瓶颈,很多时候不得不做各种无奈的选择”——但如果技术路线选对,具体到某个团队,获得的资源有可能还不如大企业,智源“还有可能用更少的资源,做出比它更好的成果”。
21. 对“中场休息”的部分认同与 scaling law 的长镜头
- 姚顺宇判断 AI 进入中场休息、从“训练大于评估”转向“评估大于训练”,他答“我部分认同:也许在大语言模型是这样的”——去年六月他就预判年底国产模型可追上 GPT-4、之后 Agent 是重要方向,DeepSeek 的出现印证了这一点;即使没有 DeepSeek,也会有其他国产模型有可能追上 GPT-4。模型可用后,评测和用户洞察就变得关键。但研究院要继续推上限:“整个物理 AGI 时代的到来,还需要那么几次的技术的重大突破。”
- Scaling law 之辩他给出全片最可引用的数据链:2018年 BERT 一亿参数,距人脑差一百万倍;GPT-3 一千七百五十亿,差一千倍;GPT-4 的1.8万亿,差一百倍。“当我们的模型有一天能够到达人类大脑的参数的时候,我们再来论证 scaling law 到底是有效还是没效”——算力遵循摩尔定律逐步发展,数据加入多模态之后,“我对 scaling law 还是 believe 的,对神经网络这条技术路线是 believe 的”。
- 架构问题同理拉长周期看:Transformer“已被证明是非常通用、能实现数据 scale up 的架构”,效率问题确实存在,但替代它“跟芯片加速、算子优化紧密相关,需要比较长周期不断被论证、被验证”。
22. 大模型之外的种子,与“掰手腕”的务实姿态
- 人脑与大模型的学习路径差异是留种子的理由:人脑“大概十几瓦的功耗就能完成如此复杂的理解、推理和交互”、看几张图就认识猫狗,而大模型要读全互联网、用庞大集群训练。因此智源以“小资源投入+充分时间空间”布局类脑智能、数字孪生心脏、蛋白质和生命分子建模——Brain-Mind 正是“一个很小的团队”把脑电、功能磁共振、双光子等信号放进统一架构后“产生了意想不到的效果”。
- 与世界顶尖机构的差距他直言不讳:“不论在资源的投入还是人才的密度上,我们还做得远远不够。”但差异在于中国“广阔的市场、庞大的用户群体、完备的创新创业体系”——“我对长期非常非常有信心,没有任何力量能够阻碍我们在人工智能上的发展”。
- 收束的姿态是全片的精神注脚:“追寻登顶珠穆朗玛峰是我们的追求,一步一步地爬坡是我们正在做的事情”“不积跬步,无以至千里”——以及那句最确定的预判:“人工智能将正式地从数字世界迈向物理世界。”