摘要

北京人形机器人创新中心（天工机器人主创团队）开源了具身脑模型 Pelican VL（中文名“天狐”），其中 72B 版本被团队称为“应该是目前具身领域参数量最大的开源具身脑模型”。 Joy将技术分工比作“VLM是大脑、VLA是小脑”：先做好VLM再接action head；鞠笑竹则强调，不管VLA架构如何演进，核心始终是视觉语言理解部分，而VLA路线目前尚未收敛。
通用多模态模型与具身场景之间的gap远超公众想象：团队实测发现，接上机器人后，ChatGPT等模型连三四块积木都搭不出来，甚至无法挑出“最大的一块”。 Joy称这是“非常痛苦的一点”：两三岁小孩能完成的事，能写诗、做数学题和物理题的大模型却做不了。团队与李飞飞几乎同时关注到空间理解问题。
团队不认为尽可能多收集数据就是自身训练模型的最佳实践，但承认 scaling law 存在。 鞠笑竹用“大象每天吃几十公斤食物，体重和智商却只增长一点点”比喻数据利用效率；他提到红杉报告中的“2,000亿美元问题”一年后变成“6,000亿美元的问题”。团队提出 DPPO（Deliberate Practice Policy Optimization），用RL自主探索、总结弱点，再由SFT定向补强，提升数据和训练利用效率；Pelican使用约180万条数据，规模在行业中“中等偏低”，但在相关benchmark上取得了更好的表现。
产品矩阵按算力和场景分层：72B云上大脑面向需求无穷的商业、家庭场景，7B面向流程固定的工业场景，后续计划开源3B给VLA基础研究做基座。 Joy说，小模型容量有限，突然加入大量数据后，可能会被从原有分布中拉走、遗忘原先能力；这也是发布72B的原因之一。
Benchmark覆盖Where2Place、RoboSpatial、长视频理解和英伟达Cosmos等任务；标志性案例是“寿司测试”——只有Pelican判断任务已经完成并输出stop，基座模型和GPT-5都没有作出同样判断。视频中机械手已经把寿司夹出来，卫诗婕强调，机器人必须先判断任务是否完成，否则可能在目标已完成后继续错误操作。
数据采集范式是VLA与VLM路线的关键分野：卫诗婕概括VLA依靠人通过遥操作反复完成任务、采集端到端数据；VLM+DPPO则把模型接到机器人上，让机器人自主练习。 Joy认为，VLA可能过拟合原有操作轨迹，物体换颜色或形状后可能无法迁移；VLM则可以努力发展成“二十四小时的牛马”，只要机械臂不需要休息，就能持续采集数据。两条线互补：VLA更注重action、模型更小，适合端侧实时；VLM更注重理解和泛化。
开源的理由包括分享成果、获得试用反馈，以及在具身技术路线尚未收敛时提供较好的基座。 团队希望复刻互联网、计算机和人工智能领域的开源生态，让更多人参与研究。Joy说，希望更快迭代出V1、V2、V3，“到V3的时候说不定就是我们的DeepSeek时刻”。卫诗婕还用自动驾驶长期采集路况、而物理世界更加复杂作类比，说明具身数据和能力建设仍处在早期。

精读

1. 从运控到造脑：机器人翻跟斗已稀松平常，问题变成“有什么用”

鞠笑竹在优必选时期主要做大型仿人机器人的运动控制：当时机器人连走路问题都没有解决，更谈不上进入各种场景工作。转折点是2019年美国DARPA挑战赛，强化学习方法在具体场景中战胜传统机理建模方法并获得第一，此后随着算法迭代和sim-to-real问题逐步解决，强化学习逐渐迁移到人形机器人。
现在“机器人翻跟斗、跳舞”已经被他形容为稀松平常，命题变成机器人究竟有什么用、什么时候能做家务或进入工作场景。网上大量遥控操作机器人的视频，也反衬出公众更想看到机器人主动、自主完成任务。
Joy从自动驾驶转到机器人行业后的观察是，两者都要先感知环境、判断下一步动作，传感器也有共通之处：自动驾驶常用摄像头和激光雷达，具身智能也常见这两类设备。

2. 模仿学习可能造出“没有感情的任务执行机器”

鞠笑竹在优必选之后的经历中尝试过RT系列模仿学习。他的判断是，模仿学习最后可能让机器人变成“一个没有感情的任务执行的机器”：不管人怎么捣乱或破坏，它都一往无前地完成任务，不会反过来思考这个人为什么捣乱、任务是否还应该继续。
当操作问题逐步解决后，真正的智能还需要依靠大脑的思维、规划和场景理解，这也是团队做具身大模型的原因。
卫诗婕补充了泛化性的直观定义：过去的rule-based机器人把任务稍微变动一下就不会了；泛化则意味着学会任务A后，能力可以在数据基础上积累，逐步迁移到任务B并形成飞轮。Joy认可这也是大家关注VLA、以及VLM和VLA结合的原因，例如希望机器人在家里做饭、扫地、拿快递。

3. VLM是大脑、VLA是小脑，视觉语言理解是核心

Joy把VLM和VLA比作大脑和小脑：VLM负责感知环境、理解变化并发出指令，下游可以由VLA或其他模型完成具体操作。例如看到杯子倒了，VLM理解“要把它扶起来”，再把机器人或下游模型能够执行的指令传下去。
VLA面对“做早餐”这样的复杂指令时可能完成不了，因为通用视觉语言模型没有见过足够多的具身数据，不知道如何把语义和视觉信息转换成机器人可执行的feature，再传给action。因此团队希望先通过VLM把视觉语义变成机器人可理解的表示，再在前面接action head，形成更具泛化性的VLA。
这里的action不一定是非常具体的关节动作，而可能是只有机器人和模型能理解的high-level feature或指令。
鞠笑竹把这上升为技术路线判断：VLA从端到端的RT架构，演进到快慢系统分层，再到function call等方案；但无论VLA怎样变化，核心始终是VL，也就是视觉语言理解部分。先把通用能力与具身能力之间的差距拉齐，后续action如何演进，都能建立在更好的基座上。

4. “苹果对它来说就是一堆数字”：通用脑到机器人脑的距离

通用VLM可以对话、理解图片和视频，但要成为机器人的大脑，还需要理解时序和空间。Joy提到，具身智能下一步的重要问题之一是空间智能：模型要理解物体在哪里、如何随时间变化，才能在真实环境中行走、跳跃、拿取和倒水。
模型还需要具备function call能力，把自然语言或高层规划翻译成机器人能够调用的工具和动作。
鞠笑竹解释说，如果机器人没有和真实物理世界接触，苹果对它来说就只是一堆数字，它不会真正理解苹果。具身大脑要借助机器人的身体接触物理世界，甚至“慢慢产生感情”；卫诗婕随即开玩笑说，这样就会有一个永远18岁的电子男朋友。
卫诗婕还提到李飞飞所讨论的世界模型三项能力：多模态理解、交互和生成，并追问前两项是否也是VLM的关键；Selina对此表示认可。

5. 积木实验：世界顶尖期待下的模型仍不及三岁小孩

Joy讲述了团队做积木实验时的“非常痛苦的一点”：让机器人参照几块随意摆放的积木，复现一模一样的结构。测试了包括ChatGPT等在内的较好的通用多模态模型后，他们发现，即使是简单的三块、四块积木，两三岁小孩也能照着摆出来，但大模型做不到。
让模型挑出“最大的一块积木”，它也可能无法正确识别，甚至“完全get不到”。模型可以写诗、做数学题和物理题，却连一层积木都搭不好，这让团队觉得不符合直觉。
鞠笑竹和Joy进一步拆解了失败原因：模型会混淆颜色和形状，对物体之间的距离关系、相互依赖理解较弱，也不知道自己有什么能力可以操作物体，更不会规划合理的搭建顺序。因此团队要从大脑层面补足affordance、CoT思维链、规划和推理能力。
团队做实验时，恰好也看到李飞飞发布的空间感知相关研究和第一个数据集，因此几乎同时关注到这一问题。
鞠笑竹还指出，语言偏好的VLM有时即使被蒙住双眼，也会依靠内部语言信息“幻觉”出很多内容。卫诗婕进一步概括，通用模型主要从互联网二维数据中学习，而真实物理世界是三维的；即使看过很多遍拿水杯的视频，也不代表模型就能在现实中完成操作。

6. DPPO：让模型像备考学生一样刻意练习

Joy用高考复习作类比：学生先建立基础，再做一百道题，发现五十道不会；反复复习后还剩三十道，就请老师定向讲解，掌握后继续挑战更难的题。
对应到模型训练，RL阶段让模型自主做题、反复探索，偶尔做对时还要复盘“为什么这一次做对了”，从中总结出仍然完全不会的问题；随后由SFT老师针对这些弱点进行讲解，把模型逐步带入具身场景。
DPPO全称是Deliberate Practice Policy Optimization。卫诗婕复盘为“看视频指导下自主练习（RL）→发现弱点→监督微调”，Joy称这是一个“把模型专家化的过程”。
这种训练还试图避免能力遗忘：人不会因为学会开车就忘记骑自行车，模型也不应因为学会左右关系就忘记看视频的能力。

7. 大象与人脑：承认scaling law，但强调数据和训练效率

卫诗婕转述了她听到的一个来自硅谷的判断：把几家公司的大型样本数据库汇集起来，在海量、多样化的数据中发现新的智能，因此数据集和任务越多样，可能带来越高的智能。
鞠笑竹明确表示，scaling law肯定存在，但对团队而言，尽可能多收集数据未必是训练强模型的最佳实践。Joy补充说，视频同时包含时序信息和一定的空间信息；通过视角移动，模型可以从二维视频中获得部分空间和物理理解，但不可能达到100%。
在卫诗婕追问Open X等包含机器人操作、物理交互和机器人本体感知运动信息的数据是否更“有营养”时，鞠笑竹用大象作比喻：它每天要吃几十公斤食物，体重和智商却只增长一点点。资金、算力和数据充足的公司可以承受这种方式，但创业公司未必具备条件。
DPPO因此被设计为精雕细琢训练配方，最大化数据和训练利用效率，即使人员较少，也希望训练出性能不错、能够和当前市面模型一较高下的模型。
鞠笑竹又把问题从创业公司的限制上升到行业层面：红杉2023年报告谈“AI的2,000亿美元问题”，一年后标题变成“6,000亿美元的问题”。如果训练效率和数据利用效率无法改善，持续投入会成为厂商和国家的沉重负担。卫诗婕也以每天面对惊人GPU账单、晚上不敢睡觉作半开玩笑的补充。

8. 7B、72B与规划中的3B：参数量对应不同场景

Joy解释说，小模型容量就是参数量。7B模型像较小的存储空间，突然加入大量数据后，可能被从原本学到的分布中拉走，遗忘已有能力。模型容量较小时，这种“失智”现象更容易出现；这也是团队发布72B的原因之一。
鞠笑竹给出的场景划分是：商业和家庭场景中人的需求无穷无尽，需要更强通用能力和泛化效果，可以使用72B云上大脑；流程相对固定的工业场景则未必需要72B，7B可能已经足够。
7B还适合无法训练或运行72B的学生和科研院所，能够作为研究骨架。团队后续计划开源更小的3B模型，为VLA基础研究提供更强的基座。

9. Benchmark表现与“寿司测试”：只有Pelican说stop

Selina展示的对比图中，白色部分是Qwen2.5-VL-72B基座模型，红色部分是Pelican。在DPPO框架下，团队称模型在多个benchmark上取得了明显提升。
评测覆盖具身领域的典型任务：Where2Place用于判断free space，例如把一壶茶放到桌面时，不能放在杯子、花盆或已有物品的位置；RoboSpatial用于检测物品位置；另有机器人第一视角的长视频理解任务。Selina表示，Pelican在这些任务上的表现优于当前一些开源和闭源模型。
更直观的案例是“寿司测试”：给模型一段视频，并问机器人下一步该做什么。视频中机械手已经把锅里的寿司夹出来，只有Pelican判断任务已经完成并输出“stop”，基座模型和GPT-5都没有作出同样判断。
卫诗婕强调，这种完成判断对机器人是必需的：寿司既然已经被夹出来，机器人就不应继续执行无关或错误操作，否则可能把已经完成的任务重新做错。

10. 长程任务演示：左右臂分工、失败重试与function call

演示视频中的指令是：“我要去上班了，请帮我把鞋子放到鞋架上，把垃圾放进垃圾桶，把衣服放进洗衣机里。”Pelican接收自然语言指令，记住鞋子、衣服等物品的位置，自主拆解任务并生成子目标。
这种规划不是“所见即所得”：模型要回忆之前看到了什么、每个东西在哪里，还要知道自己有哪些技能。如果一只手臂拿着衣服，就要规划另一只手臂开门；如果洗衣机门没有一次关上，还要判断失败并重试。
演示中的文字是模型的思考和推理内容，右下角terminal则显示动作工具和环境感知工具的调用。function call把大模型的理解转化成下游操作、移动模块可以执行的具体指令。
场景不止家庭，团队还在商超和实验室测试了泛化能力。Selina希望让智能不再停留在屏幕上，而是进入真实世界。卫诗婕也提到，她在今年世界机器人大会看到的高频展示场景包括商超和搬运货架；鞠笑竹认为商业服务的落地可能性相对较高。

11. 无处不物理：从中学物理题到躲避小鸭子

团队还在物理常识推理评测集上与其他模型进行对比，现场展示了一道关于完整循环中热量和输入的中学物理题，卫诗婕和Selina都表示题目不容易；Selina称Pelican相较其他模型表现更好。
Joy解释，物理理解就是理解物理世界的规律。如果模型不知道杯子倒了水会洒，就无法作出相关判断。
在真实场景中，前方突然跑出一只小鸭子时，机器人要根据小鸭子的速度判断需要多久停止或躲避；自动驾驶也需要理解速度、加速度和碰撞时间。Joy进一步说，真实生活中还涉及电、热等现象，例如衣服晒完什么时候收、灯泡坏了如何修，模型需要理解的物理规律非常多。

12. Affordance：1977年的心理学概念成了具身核心

Selina介绍，可供性（affordance）最早由一位心理学家在1977年提出，指人可以通过物体的外形和功能判断它可能适合执行什么动作。
空的垃圾袋可以用两根手指提起，装满水果后则需要寻找不同支撑点并托举；长条门把手需要先压下再推，圆形门把手则要先拧再推。人拿茶壶时会捏住壶柄，但机器人可能错误地捏住壶嘴。
感知、抓取和放置、柔性操作、长程规划，本质上都依赖对可供性、空间关系和时序的理解，这是智能体从认知世界到物理世界的重要闭环。
在多视角逐步生成可供性的任务中，三个摄像机从不同角度拍摄同一场景，Pelican要推断哪些物体可交互、哪些位置适合抓取或放置，并保持跨视角的一致性：同一根香蕉从不同角度看起来不同，但模型仍要识别为同一物体。随后通过从2D到3D的三角化，把理解转成具体动作坐标。
在抓取和放置演示中，模型先规划轨迹、拆解子任务，识别面包和盘子的位置，再通过bounding box和grasp point缩小目标范围并执行动作。
Joy区分了两层能力：VLM先具备开放词汇理解，例如理解“小小的苹果”或“可爱的苹果”；再叠加affordance，知道如何操作物体；结合Where2Place判断最合理的放置位置，才能完整完成pick-and-place任务。

13. 力控：先估计，再通过触觉反馈修正

对于硬物和软物的不同抓取，Pelican采用的是一种仿人闭环：先观察物体的形状和材质，大脑根据经验预估力量，再由力觉算法根据手指触觉反馈修正，并把信息存入memory模块。
下次遇到相同物品时，Pelican可以利用之前的抓取经验，施加更合适的力量，使抓取更准确、更快、更高效。鞠笑竹补充说，模型要理解物体大小和材质，估计多大的力能把它捏起来而不捏碎、不捏扁。
如果两种物品外形相同但材质不同，模型可能先判断错误；实时反馈机制会在抓取后发现偏差、及时修正，再把信息更新回模型。
Joy认为，VLA可能需要采集更多力接触数据，而且往往是见过某种物体后不断采集同类数据。物体换颜色或形状后，VLA可能无法迁移，因为当前一些VLA更多过拟合于原有操作轨迹，没有充分利用大模型的可控性和世界知识。

14. 遥操与“二十四小时牛马”：两种数据采集范式

Joy介绍团队亲自尝试遥操作设备时的体感：设备对力没有感知，不管抓什么东西，都可能一下子捏到底，抓起来就算完成。相比之下，基于VLM的模型可以利用对材质、摩擦力等知识的理解，进行不那么粗暴的抓取。
卫诗婕概括两条路线的数据差异：VLA通常由人通过遥操作系统反复完成任务，采集端到端数据训练模型；VLM+DPPO则把具身大脑接到机器人上，让机器人自己不断尝试任务。
Joy说，VLM可以努力发展成“二十四小时的牛马”：只要机械臂不需要休息，就能持续采集数据，而且这些数据也可能反过来用于训练VLA。VLM希望理解一类物品的抓取方式，而不是换一个物体就重新采集同等数量的数据。
两个团队并存是因为分工互补：VLA团队更注重action，模型相对更小，适合部署在端侧实时完成任务；VLM团队更注重前面的理解，希望把知识输送给VLA，使其具有更强泛化性、更高成功率和更好效果。

15. 180万数据、人肉清洗与“实习生第一生产力”

Pelican使用约180万条数据，Joy认为这个体量在行业中“中等偏低”，但其中包含较多视频，因此信息量较大，也帮助模型在长视频理解上取得较好表现。
数据集还包括图片、物体位置、bounding box检测、问答、选择题等多种数据。具身智能数据集的维度较丰富，因为模型需要掌握的能力本身也很多。
Yoyo介绍，数据刚拿到时比较杂乱，需要人工逐条查看、判断哪些数据对模型有用，再结合模型筛选。百万量级数据真正全部过一遍，需要很大力气，也很容易出错。
卫诗婕借MiniMax公布训练工作时“实习生是第一生产力”的行业玩笑，引出研二在读的Yoyo。她本科就读浙江大学信息与计算科学专业，后来考入北京大学软件与微电子学院；从小学习竞赛，喜欢独自钻研并解决问题，因此觉得代码工作很有成就感。
直播还刻意呈现了年轻女性工程师的工作。鞠笑竹说，女性科技工作者在最前沿、最新的方向上同样发挥着重要作用；卫诗婕则提到她看过关于女性在STEM职业中期流失概率较高的研究，希望更多人看到女性在硬科技领域的贡献。

16. 开源赌的是DeepSeek时刻，名字指向“汲取智慧”

Joy解释，开源既是分享研究成果、让更多人认识团队的方式，也能让更多人试用模型并提出建议；团队仍处在初创阶段，需要外部反馈。
鞠笑竹从行业角度补充，具身智能技术路线尚未收敛，尤其VLA本身仍在探索，因此团队希望提供一个相对不错的基座，避免大家拿通用模型后还要重新训练各个维度的能力，并尝试复刻互联网、计算机和人工智能领域的开源生态。
他认为VLM目前处在相对稳定的阶段，但后续还会接入触觉、深度等更多模态，这些并非通用模型天然能够完成的事情。
Joy希望借开源更快迭代出V1、V2、V3，“到V3的时候说不定就是我们的DeepSeek时刻”。
结尾彩蛋还解释了Pelican的中文名“天狐”：鞠笑竹说“狐”取自鹈鹕的“狐”，并讲到围绕鹈鹕、卡皮巴拉、小金鱼和豆包娘的网络梗。团队基座模型是千问，千问的卡通形象是卡皮巴拉；Pelican“可以吃掉”这些形象，但英文不能说eat，而要说汲取对方的智慧精华、站在巨人的肩膀上。现场的天工机器人还对鹈鹕与水豚互动的视频进行了描述。

Coca-Cola：完整历史与战略（音频）141: Strutt 洪小平：大疆激光雷达前负责人做了台“电动轮椅”？不做人形也能通向具身