148: 它石智航陈亦伦：具身的三道曙光和第一道关卡

摘要

• 具身智能眼下最关键的瓶颈不是 VLA、World Model 谁胜出，而是先穿过“数据墙”。 陈亦伦用自动驾驶校准量级：积累到约 1 万小时后，他看到了明显不同；产品级系统背后通常是 10 万至 100 万小时，能力更高维的具身至少可能需要 1,000 万小时；它石智航已采到约 10 万小时，并称可穿戴采集的单位成本至少比遥操作低两个数量级。
• 陈亦伦看到的三道曙光分别是 RL 解锁 locomotion、GPT 解锁 task planning，以及端到端解锁从感知到 action 的完整链路。 但商业兑现还要依次越过数据、算力和交互三道墙：第一阶段靠数据产生最陡峭的性能红利，第二阶段靠算力“消化”数据，第三阶段才轮到 World Model、强化学习和针对具体问题的创造性后训练。
• 他对端到端的信念来自一次高压力、高风险的自动驾驶实验：把约 200 万行规则代码压缩为约 300 行网络代码，并调出约 100 辆车采集人类驾驶。 数据积累到数千乃至约 1 万小时后，网络流畅穿过规则几乎写不通的城中村混行场景；那一刻他确认“AI 可以做 planning 了”，也把 L2 视为已经找到钥匙的问题。
• 它石智航押注机器人应拥有自己的基础模型，而不是在 VLM 上“长一个 action 头”。 AWE（AI World Engine）把主要神经元用于表达时间、空间、力和 action 改变世界后的演化；陈亦伦的判断是，机器人属于接触型物理世界 AI，看图说话式数据不足以教会它操作布料、线缆等会被动作持续改变的对象。
• World Model 与 VLA 在他的路线图里不是同义词，也不是简单的竞品。 自动驾驶当前最头部的问题若是与车辆、行人博弈，就应以封闭体系的 World Model 和强化学习推进至 L3、L4；待问题转为路牌、陌生障碍和水坑构成的开放世界，再借语言和 VLA 向 L4、L5 延伸——“每个技术都是为了解决相应的问题而生”。
• 他预计 2026 年会先出现“数据大爆发”和越来越多的 demo，保守判断 2027 年一定能看到类似 2021 年自动驾驶端到端的显著效果。 更可信的领先信号不是表面上的合作公告，而是团队是否能在工业制造等垂直场景建立真实“价值池子”；它石智航首选线束、插接、柔性装配等传统自动化长期解决不了的生产力问题。
• 陈亦伦对中国团队的判断极其强势：具身时代“美国的创业者不会是中国创业者的竞争对手，完全不会”。 他的依据不是供应链成本一项，而是硬件、传感器、本体、场景、数据与算法必须反复协同；他给出的长期筛选标准，是公司能否定义自己、做出客户愿意共享收益的真实价值，而不是只追逐表面的 demo 或合作。

精读

1. 做机器人是陈亦伦长期的主线

• 陈亦伦从小因物理竞赛保送，后来在清华电子系、美国机器学习博士训练之间转向机电世界；他羡慕室友做出的东西“能动”，而自己当时做的全是算法。
• 2007 年看到波士顿动力液压机器狗在冰面保持稳定，他“就惊呆了”；博士毕业后没有走主流 AI 路线，而是在第一家公司学习电机、伺服控制，甚至亲自带过精密伺服阀和液压产品。
• 这段看似绕路的经历对应一个长期判断：当时的算法只能写出简单机器人，“不是我想要的那种机器人”，所以他一直等待 AI 真正 ready 的时刻。

2. 200 万行规则代码把自动驾驶逼向端到端

• 2020 年，团队的自动驾驶系统已有约 200 万行代码，能够处理复杂城市道路，但问题出现的速度远快于修复速度，“实在堆不下去了”。
• 感知并非陈亦伦最头疼的部分：有数据和真值就能持续优化；规控则是闭环 AI，每个动作都会改变下一时刻的环境——加塞后对方可能让，也可能抢。
• 他与丁文超等人尝试让神经网络直接规划轨迹，最终用了约 300 行代码训练网络，且是两段式的早期端到端；这并非追随 Tesla，当时 Tesla AI Day 主要讲视觉恢复三维环境，尚未把端到端规控变成行业趋势。

3. 约 100 辆车和城中村测试构成了他的 GPT moment

• 这项试验需要大规模采集人类驾驶，团队把约一半车队、即约 100 辆车投入项目；丁文超每天教司机怎样开才算“好司机”。陈亦伦回顾说，团队当时顶着很大的压力和风险推进，后来积累到约 1 万小时才看到不一样的东西。
• 前期数据没有显著效果，累计到数千小时后网络开始学到东西；数据继续增加时，能力也持续增强。
• 团队选择人车混行、车辆互抢的非结构化城中村测试，并坚持尽量少加后处理。网络流畅穿过后，陈亦伦第一次强烈意识到：“AI 可以做 planning 了。”

4. 他在行业上升期离职，因为 L2 已从科研题变成工程题

• 2022 年高级辅助驾驶正加速上量，陈亦伦却判断 L2 的钥匙已经找到，接下来主要是工程化，原有组织有能力把它推到一流产品水准。
• 他当时并不知道怎样用 AI 解 L4，但端到端规划已经证明自动驾驶只是通用机器人的一个子问题；离职时，他告诉领导和同事“接下来我要去做机器人了”，得到的反应多是不可思议。
• 他没有立即创业，因为创业在他的定义里是“打造一个企业，用来提供很好的产品、解决客户问题”，而 2022 年的市场和技术尚未 ready。之后他去了清华 AIR，在与产业界结合较紧密的环境中继续判断机器人创业的时机；公司从去年开始与创始团队筹备，并于今年 2 月 5 日正式成立。

5. 第一道曙光是 RL 已经解锁 locomotion

• 陈亦伦认为，2019 年 MIT Mini Cheetah 的主要贡献，是打开四足机器人的完整软硬件系统；ETH 团队随后找到“金钥匙”：用 RL 和神经网络直接控制全身运动。
• 这一路线依赖两块基础设施：高并发 simulator 提供海量训练，以及硬件公司通过设计缩小 digital-to-physical、也就是 sim-to-real gap。
• 因此，最能把机器人舞蹈、武术和行走做流畅的往往是硬件见长的公司；在他看来，locomotion 的门道已经摸清，剩下主要是时间发酵，“大家不会再担心 locomotion 是一个问题”。

6. GPT 与端到端补齐了另外两道曙光

• GPT 解决的是 task planning：去东方明珠可由 Google Maps、百度地图拆成逐路口导航，但机器人没有共享的任务地图；大模型恰好擅长把一句自然语言要求拆成连续步骤。
• 第三道曙光来自端到端：机器人要把高维传感器与低维指令连到最终 action，传统方法需要大量专业模块和规则，而他已在自动驾驶上看到神经网络贯通规划的可能性。
• 具身目前更像自动驾驶的 2019 年——逻辑看起来合理，但决定性效果尚未完全出现；不同的是，他已经在子问题上看过一次结果，过去一年的具身实验也“没有看到预期以外的东西”。

7. 端到端已经成为共识，但行业还欠一个 aha moment

• 自动驾驶早期是效果先出现、行业再一拥而上；具身则反过来，“端到端是大家每个人都在说的事情”，可真正让人惊叹的效果仍普遍不足。
• 陈亦伦对端到端的定义很宽：尽量用神经网络解决所有问题、通过数据获得上一代技术无法匹配的性能；其内部既可用模仿学习，也可用强化学习。
• VLA 只规定 video、language 与 action 进入同一网络；World Model 则可能指任意视角或未来视频生成，也可能指输入 state 与 action、预测 next state 的交互模型。名称没有统一，关键仍是它究竟解决哪个任务。

8. 数据、算力和交互构成必须顺序穿越的三道墙

• 第一堵是数据墙：只有足够数据，网络才能长到足够复杂。GPT 天生拥有互联网语料，自动驾驶则必须通过产品和商业模式主动获取数据。
• 第二堵常被称为算法与算力墙，但陈亦伦认为往往真正比拼的是算力；数据越多，网络结构反而越简单，“重剑无锋，大巧不工”，只有返璞归真才经得住大数据冲刷。
• 第三堵墙出现在 scaling 接近极限之后：预训练和算力都不再够用，团队必须通过后训练以及针对具体问题的方法，把困难任务真正“打穿”。
• 第一阶段的智能更像观察触发对训练片段的联想，并没有认真思考动作为何成功；进入交互阶段后，模型才要预测动作怎样改变世界，成功率也才可能再上一个台阶。

9. World Model 先解交通博弈，VLA 后解开放世界

• 陈亦伦判断，自动驾驶眼下最头部的问题是共享路权中的交互：换道该激进还是保守、该刹车还是让行，每个决策都会改变周围车辆和人的响应。
• 若目标是解决这种博弈，就需要能推演平行世界的驾驶 World Model，并通过强化学习选择动作；它甚至可以是封闭体系，因为只需建模车辆、行人与自车之间的互动。
• 他认为这一步大概率足以达到 L3、L4；再往后的 L4 到 L5，才是导航信息不足、需读路牌并处理陌生障碍和积水的开放世界，此时语言和 VLA 更重要。

10. GPT 最伟大的发明不是架构，而是 next-token prediction

• 程曼祺提出 2017 年 Transformer 可能是大模型拐点；陈亦伦的回答是，OpenAI 更伟大的创造在于找到 next-token prediction：让网络不断做“完形填空”，竟能走向今天的 GPT 能力。
• 他回忆 Andrej Karpathy 早期博客：一个不算大的 RNN 仅靠预测下一个词，就能写诗、写代码；“那个时候大家没有人在讨论 GPT”，而他看到后首先想到能否用于自动驾驶。
• Transformer 的价值在于简单、计算效率高、不易出错，能经受大规模数据冲刷；它在小数据集未必占优，却符合陈亦伦的经验：“越复杂的任务，越大型的数据，它的网络结构就会越简单。”

11. 物理世界 AI 需要比 RGB 更本质的表达

• 自动驾驶的另一个 “awesome” 发明是 BEV。无论端到端或 VLA，系统都很难绕过先把视频重建为空间、再从空间长出 planning；没有这一层，网络更像在机械记忆“看见这段视频就这样动”。
• 陈亦伦把它推广到机器人：同一物体可产生无数视角和像素，但更经典的表达是它何时占据何处、对象间有什么关系，以及受力后怎样变化。
• 因而自动驾驶和机器人都是“物理世界 AI”：最值得神经元表达的不是 texture 和颜色，而是时间、空间、接触、力与力矩这些基本物理量。

12. 机器人不是避碰系统，而是必须理解接触的系统

• 自动驾驶本质上是不碰撞系统，主要决定物体在空间中怎样摆；机器人则是接触系统，在 x、y、z 之外还必须理解力和力矩。
• 抓住硬方块后移动相对简单，因为对象几乎不会反过来改变任务；操作布料、用针刺绣或整理柔软线缆时，每个动作都改变对象，模型必须持续预测反馈。
• 陈亦伦给具身智能设定的直观图灵测试是：让机器人穿衣、戴帽，观察者仅看动作已分不清背后是人还是机器；先在足够复杂的限定场景达到这一点，且方法可扩展，就已构成重要突破。

13. 当前模型主要做内插，真正高效学习仍等待 value function

• 陈亦伦把不少“涌现”解释为训练数据片段的组合与内插：用户提出的问题总能回溯到相关片段，网络重新组合后看似产生新能力，但并非凭空创造。
• 因而当前真正泛化的首先是方法论。AI coding 模型不必读遍莎士比亚和诸子百家，但可沿同一方法解决代码；中国训练的自动驾驶系统未必适应日本或印度，却能靠补充当地数据延展。
• 多任务能力来自可持续扩充数据和模型，而部署时未必需要把所有能力都装进一个无限大的模型；“方法论支撑泛化”比一次性零样本学会全部任务更现实。
• 他提到伊利亚在一次 talk 中谈到的方向：人可能继承了极好的 value function，能主动寻找并高效吸收数据。若这一点被破解，学习效率会大幅跃升；现阶段有效方法仍是强力的数据生成器加数据拟合器。

14. 具身所需数据可能从千万小时起步

• 陈亦伦以自动驾驶经验估算：积累到约 1 万小时让他第一次看见不同，做成可用系统通常要 10 万到 100 万小时，优秀公司往往拥有 100 万小时以上。
• 若具身 AI 的能力比自动驾驶升维一个数量级，背后数据也至少可能高一个数量级，因此他给出的起点是 1,000 万小时，而不是实验室常见的小数据集。
• 这也是它石智航创业前首先解的数据问题：模型和任务可以继续演进，但若数据源无法低成本、持续增长，团队甚至没有资格进入后续的算力与交互竞争。

15. 互联网视频数量、质量和任务匹配度都不够

• 自动驾驶团队曾抓取行车记录仪和 YouTube 旅行视频，结果发现真实规模很快见顶，质量也不如想象；更致命的是，西藏旅行视频无法解决某个十字路口过不去的问题。
• 陈亦伦以 Berkeley BDD100K 数据集为例说，许多优秀研究者做完此类数据后最终“纷纷放弃”，因为孤立的静态视频难与系统正在失败的问题建立映射。
• 面对具身公司从海量视频学习的主张，他明确说这条路已被他们“画叉”：最有价值的数据必须与具体问题匹配，不能只在名义规模上巨大。

16. 仿真只在足够简单的子问题上成立

• 团队曾有 30 多名优秀工程师重建大片城市区域，能渲染雨雪和路面积水，展示效果很好，却对核心规划任务帮助不大，因为它主要提高视觉逼真度，而感知并非最难的问题。
• 传统物理仿真也有边界：把线缆切成小段、用弹簧和杨氏模量调参，本质仍以 rule 近似世界；下游已经在用 AI，数据源却还在手工调规则。
• 他认可的例外是 locomotion：多关节体力学足够简单，环境可暂时忽略，simulator 才能高效产生有效数据；即便如此，行业也花了约两年才把它做得较好。

17. Human-centric 数据引擎从“记录人”而非“遥控机器”出发

• 陈亦伦把大规模 AI 的数据源归为人和世界两类，而最直接路径往往是“先从人出来，再从人转到世界”：语言数据是人敲出的，自动驾驶数据则是行车记录仪记录人的驾驶。
• 自动驾驶真正获得数据的方式，是用最低代价记录人的驾驶行为；按今天的视觉能力，他甚至会考虑只在滴滴车辆上放一个小行车记录仪，而非八摄像头加激光雷达。
• 对机器人也一样：人戴上传感器，“看人之所看，感人之所感”，数据训练成 AI 后，机器人再从模型中提取人的经验；遥操作只是即时搬运动作，AI 则是在搬运技能。
• 他坚持数据必须同时满足真实场景与真实动作：专门修建的自动驾驶测试场不能替代“开城”，人为设计的机器人环境也不能代表真实生产；数据采集者还必须本来就会正确完成任务。

18. 一只手套要记录位置、姿态、手指与力

• 它石智航的可穿戴方案由第一视角视觉和轻量手套组成，目标是完整记录手作为终端机构的位置、姿态、全部手指状态，以及通过触觉获得的施力信息。
• 这不能只靠相机定位：叠被子时手藏在被子里、黑暗中伸手或发生遮挡，纯视觉都会失效；团队因此自研硬件和算法，确保信号稳定、准确。
• VR 手部追踪的还原质量和遮挡处理仍有不足；电影动捕只需呈现大致趋势，未必要求毫米级操作精度。陈亦伦没有找到为具身训练专门设计、可直接购买的完备手套。
• 大规模计算可用于类似 auto-labeling 的数据处理阶段，避免可穿戴设备被功耗和成本限制；手套内部也有小芯片运行缩水版模型，用于尽可能把部分计算移到端侧。

19. 可穿戴采集把遥操作成本压低至少 100 倍

• 遥操作必须把机器人推入现场，还存在延迟、动作缓慢和低成功率；工厂要先请走工人，咖啡店也会被机器人和操作员持续干扰。
• 陈亦伦给出的经验对比是：可穿戴方式采 10 条可能 10 条可用，遥操作最多约 1 条可用；达到相同数据规模时，它石智航的成本“至少”低两个数量级，即约为百分之一。
• 团队从下半年开始正式放量，当前约在 10 万小时数量级；主要成本不是手套或付给采集者的费用，而是算力成本。
• 团队先把硬件成本压到可 scale 的水平，再扩大采集；陈亦伦预计明年数据会增长很多倍，也预期采集设备和数据服务会形成独立产业，但“最懂数据的公司往往是最懂 AI 的公司”。

20. 灵巧手不是展示选择，而是数据和本体的共同承诺

• 陈亦伦是灵巧手的“坚定拥护者”：如果长期执行终端是灵巧手，采集端就应记录二十多个自由度的人手，而不是先把人强迫塞进夹爪或三指工具。
• 夹爪到夹爪、三指到三指是一种降维：短期更容易刷 demo，却丢掉真实任务所需的全量信息；要真正打穿场景，“需要的环节一个都不会少”。
• 他提到动作捕捉领域的 Manus 是成熟垂直厂商，也讨论了 Sandy Robotics 的 Skill Capture Glove；它石智航也做了两指版本，但认为既然认真做，就应直接攻克五指。
• 面对“中国团队缺少引领性成果”的质疑，他反驳说，中国早在 2021 年就做出端到端自动驾驶效果，具身数据采集也并非落后；许多本土成果只是没有被同样传播。

21. 中国优势来自软硬件与场景无法拆开的系统战

• 陈亦伦认为，具身 AI 充满硬件、场景、本体、数据与算法的往复组合：模型需要什么模态会反推传感器，数据规模会反推硬件成本，执行效果又会反推本体设计。
• 美国许多创业公司难以认真开发灵巧手，Tesla 是少数例外，因为它有汽车工业体系支撑；这也是他认为硬件产业能力不能从算法竞争中剥离的原因。
• 他的结论没有留多少余地：自动驾驶时代中美大致打平，而在具身时代，“美国的创业者不会是中国创业者的竞争对手，完全不会。”

22. AWE 把世界演化放在模型中央

• AWE 即 AI World Engine。它石智航把最多神经元和计算用于记录时间、空间、力等物理量，而非 VLM 常见的“视网膜式表达”——局部 pattern、texture 和颜色。
• 这个世界表征还必须记录交互：机器人挤压物体后，物体怎样变形、怎样反作用于机器人；“Engine”强调它会随 action 动态演化，并反过来推荐下一步动作。
• 陈亦伦因此不走“VLM 加 action 头”的主路线。他认为若机器人只是在多模态模型上长出的一个下游头，就等于承认机器人行业不值得拥有自己的基础模型；他的答案恰好相反。

23. 机器人基础模型应从机器人学重写，而非从看图说话外推

• 陈亦伦的方法是回到经典机器人学框架，再用 AI 重新 design：旧理论虽然古老，却为感知、行为、动作和控制提供了科学的理论框架。
• 语言的价值在于描述 high-level 行为，并把行为同传感器和动作粘在一起；行为像语义，底层轨迹和控制信号像语音波形。只有升到行为层，系统才容易规划长程任务。
• 从他的角度看，action 是驱动物理系统最底层的信号，尽管行业有人将其定义为关节电流、有人定义为轨迹；行为则是一连串动作之上的抽象，类似战略与战术。
• 模型短期保持闭源，以便高效迭代。陈亦伦对开源的标准不是“啪地拷贝到网上”，而是先让用户能低门槛获得真实价值，再让更多用户享受到这种价值。

24. 2026 看数据与垂直场景，2027 看端到端兑现

• 陈亦伦以自动驾驶周期类比：2019 年认真做端到端和数据，2021 年看见效果；具身从 2025 年认真启动，保守估计 2027 年“一定会有效果”，而当前进展甚至比这条时间线更快。
• 他预测 2026 年数据会“大爆发”，demo 视频数量随之增加；更重要的信号是更多团队诚实进入 vertical 领域，因为小场景能提高数据浓度，并较早产生可验证能力。
• 它石智航不会优先进入消费者市场，而是先做已有机器人和明确生产力需求的工业制造，尤其线束整理、插接、柔性装配等立体柔软工艺；这些工序遍布汽车、家电、服务器，也长期难以自动化。
• 程曼祺提醒，大客户采纳常与产业方投资绑定，外界难判断合作深度。陈亦伦的回应是看“价值池子”：只有技术与产品创造出可共享收益，合作才会实质化；判断公司是否靠谱，则先看它是否真正想清楚“要成为一个什么样的自己”。