先锋 趋势 方法 投研 作者
全自主机器人比你想象的更近——Sergey Levine
返回节目精读

全自主机器人比你想象的更近——Sergey Levine

摘要

  • 核心判断:5年是机器人自主打理你家务的中位数时间。 Physical Intelligence 联合创始人、UC Berkeley 教授 Levine 将时间表重新定义为“不是它何时完成,而是飞轮何时启动”:对于首次真正有用的部署,“个位数年非常现实。我真心希望更接近1到2年”。Dwarkesh 通过二分追问得出家政机器人的答案:“我认为5年是一个合理的中位数。”
  • 相比 LLM,实体劳动可能提供更自然的监督信号。 错误的聊天答案可能无人察觉,但“如果你在叠T恤时稍微叠错了一点,结果非常明显”。PI 已经发现,π0.5 达到足够能力后,口头指令——“现在拿起杯子”——就能成为可用的训练信号,让人机协作部署本身变成学习系统。
  • Levine 认为,这不是2009年的自动驾驶重演。 如今感知能力可以泛化,而非为演示专门打造;操作任务允许犯错和纠正(孩子可以独自洗碗,却不能独自开车);VLM 则提供常识推理,比如理解“地面湿滑”意味着什么——“大约5年前,我们基本不知道该怎么做”。
  • 真正的护城河在工业化,而不在科学突破。 机器人基础模型“更像阿波罗计划,而不是科学实验”,此前的研究积累并不足以让它们真正落地。机器人数据规模比多模态训练集低1–2个数量级,但关键问题不是完成飞轮需要多少数据,而是启动飞轮需要多少数据。
  • 涌现能力已经开始以组合方式出现。 机器人自主把第二件T恤放回收纳箱,还扶正了倒下的购物袋(“没人告诉任何人要为此采集数据”);Dwarkesh 描述的开源方案是 Gemma 权重加 action expert、1秒上下文和约2B参数。Levine 认为,记忆缺口其实是“伪装起来的 Moravec 悖论”。
  • 硬件成本曲线,是判断产业建设取舍的关键信号。 PR2 在2014年售价40万美元,如今每条机械臂约3000美元,未来还会降到“其中很小一部分”;Adnan 认为适合训练的机械臂可能不到10万条,Dwarkesh 则认为至少需要数百万条。对于中国供应全球80%的关键零部件,Levine 提出的是建设“平衡的机器人生态”,而非反驳。
  • 值得保留的宏观框架是: 若到2030年 AI 资本开支达到100–200GW、每年对应2–4万亿美元,机器人能否建造数据中心将成为瓶颈问题;Dwarkesh 认为“社会应该为全面自动化做规划”,Levine 仅表示方向上认同,并将唯一的政策杠杆指向培养“灵活性”的教育。

精读

1. 核心判断:飞轮即将启动,5年迎来自主家政机器人

  • Levine 对所有时间表问题的重新定义是:关键“不是它何时完成,而是飞轮何时启动”——只要机器人先完成一件真实用户想做的事,就能部署、积累经验并持续改进。对于首次部署,他的判断是:“个位数年非常现实。我真心希望更接近1到2年。”
  • 真正的宏大愿景不是“帮我叠T恤”,而是“现在开始替我处理各种家务……下午6:00准备晚餐……周六洗衣服……每周一来问候我”,这类任务的实现周期是“6个月、1年”。Dwarkesh 通过二分追问它何时到来,答案是:“我认为5年是一个合理的中位数。”
  • 蓝领劳动的变化不会由某个开关瞬间触发。就像编程助手一样,“生产率提升最大的是专家……他们的生产率现在被增强了”;能力边界会从“冲咖啡”扩展到“经营整家咖啡店”。至于5年后这能覆盖多少实体劳动,Levine 明确拒绝估算。

2. 为什么机器人的飞轮可能比 LLM 更容易转起来

  • Dwarkesh 的问题是:LLM 已经广泛部署,收入达到200–300亿美元,而知识劳动规模达到30–40万亿美元,却没有明显飞轮——机器人为什么会不同?Levine 的回答是:“其实已经非常接近成功了”,人机协作的飞轮已经存在;真正的障碍是如何提取并落地监督信号这些棘手细节,而不是某种“根本不可能”的问题。
  • 实体世界的优势在于,错误答案可能直接消失——“你告诉答案的那个人甚至可能不知道它是错的”;但T恤叠坏了“非常明显”:机器人可以反思、纠正,而纠正动作既意味着任务成功,也会产生训练数据。
  • π0.5 的故事是:模型达到足够能力后,团队通过“不只是用低层动作,而是真正用语言”监督,取得了“重大进展”——“现在拿起杯子,把杯子放进水槽”已经能改善机器人的表现。含义是,人机协作部署可以从现场提示、语言和自然反馈中持续学习。

3. 不是2009年的自动驾驶:3个结构性差异

  • 对于为什么机器人不会像 Waymo 一样花费超过10年,Levine 指出,2009年的感知系统可以“用一个经过一定工程设计的系统做出非常好的演示,但一旦尝试泛化就会撞上墙”。到了2025年,“可扩展”真正意味着可泛化——起点更好,但问题并没有因此变简单。
  • 风险不对称性很明显:没人会把一个青少年独自丢进车里,“更不会想过让5岁孩子独自开车”;但人们会让孩子洗碗。操作任务允许犯错和纠正,而驾驶错误“会带来重大后果”,因此无法靠错误本身学习。
  • 第三个要素是来自 LLM/VLM 的常识能力:问“这里有个牌子写着地面湿滑。我走过去会发生什么”,模型可以在不亲身犯错的情况下给出合理猜测。“大约5年前,我们基本不知道该怎么做到这一点。”

4. 更像阿波罗计划,而不是科学实验:规模化背后的数据问题

  • Levine 曾在 Google 工作,并在此基础上继续推进:此前的实验室已经取得真实进展,但基础模型需要“工业规模的建设工作,更像阿波罗计划,而不是科学实验”——要把模型本身作为核心目标,而“不只是把它当作发表论文的手段”。
  • 为什么今天不能把远程操控数据量扩大100倍?尚未解决的问题是:“哪些规模维度会贡献哪些能力维度。”任务数量可以直接横向扩展;但鲁棒性、速度和边缘情况处理,需要在正确场景中获取正确数据——“我们现在还完全不知道它最终会是什么样。”
  • 从数量上看,与多模态训练数据集相比,PI 的机器人数据“少1到2个数量级”。但更有用的框架不是“在彻底完成之前需要多少数据”,而是“启动之前需要多少数据”——找到一种能自我维持的数据采集配方,理想状态是 RL;从完全远程操控到完全自主之间,仍有“很大的中间地带”。

5. π0 的内部结构:嫁接了运动皮层的 Gemma

  • Levine 用一个颇为异想天开的类脑比喻解释架构:VLM 是带有“一小块伪视觉皮层”的 LLM;π0 再加入 action expert,也就是“一小块运动皮层”,让思维链通过 flow matching 和 diffusion 转化为连续动作(动作频率和精度太高,不适合用离散 token 表达)。从结构上看,它仍是端到端 transformer,大致属于 mixture-of-experts。
  • Dwarkesh 的观察是,机器人和 NLP 共享的不只是技术路线——它们“字面上就是同一个模型”:使用开源 Gemma 权重,再加一个 action expert。Levine 用一句话概括现代 AI 带给机器人的东西:“利用先验知识的能力。”
  • Levine 对未来10年的反向因果抱有不同寻常的期待:机器人可能反过来提升通用模型,一方面因为任务导向会迫使模型聚焦,另一方面因为物理落地支撑抽象能力——我们会说“这家公司动能很强”,也会说“我的电脑恨我”。具身经验可以成为“敲打各种其他钉子的锤子”。

6. 视频模型的表征困境:机器人拥有聚焦优势

  • 对于 Dwarkesh 转述的一位 GDM 研究者观点,坏消息是:视频预测的想法比文本预测更早出现,却仍未带来深层理解。把摄像头对准室外,你可以建模群体心理,也可以建模“水分子和冰粒子的一切”;但“等你处理完其他所有东西,漫长岁月已经过去了”。文本不同,因为它“已经被抽象成我们人类真正关心的那些信息”。
  • 好消息是,机器人“正在努力完成一项工作……它的感知服务于实现这个目标”。心理学表明,人类“有着几乎令人震惊的隧道式注意力”,而这种过滤机制“对于实现目标一定极其重要”。
  • 从 YouTube 学习也是如此:先看1年的体育录像,再被告知“现在你要打网球了”,这“相当愚蠢”。如果先知道任务,“你就真的知道自己在寻找什么”。具身模型应该能更好地吸收网络数据;这些数据“确实有助于泛化”,但“我不认为仅靠它就能解决问题”。

7. 涌现能力是组合式的,而且已经在小规模出现

  • Levine 对涌现能力的解释不只是数据覆盖面,而是:“泛化达到某个水平后,就会变成组合式能力。”他见过的最佳例子是:LLM 能用国际音标写出一份食谱,而国际音标只存在于单词发音的词典标注中。“这就像,天啊。”
  • 实验室里的意外发现包括:机器人抓起2件T恤,叠好1件,再把另一件扔回收纳箱——“我们不知道它会这样……是的,它每次都会这样做。”购物袋倒下后,机器人会把它扶正。“没人告诉任何人要为此采集数据。”
  • Dwarkesh 在参观办公室时做了自己的测试:他在演示中途把短裤翻成了反面;机器人先把短裤翻回正面,再正确折叠,全程只使用两个可对向运动的手指夹爪和1秒上下文。

8. 1秒记忆、Moravec 悖论与推理三难题

  • 之所以如此短的上下文也能工作,是因为记忆需求其实是“伪装起来的 Moravec 悖论”。认知上困难的任务,如数学和播客,需要把多个拼图暂时保留在脑中;熟练技能则发生在“当下”——“你已经把它烙进神经网络里了”。路径是先解决灵巧操作,再逐步向上进入推理、上下文和规划。
  • Dwarkesh 提出三难题:推理速度、上下文长度和参数规模难以同时最大化。他描述的 π0 具备100ms推理、约1秒上下文和约2B参数;相比之下,人脑拥有数万亿参数,有时还拥有“数十年的上下文”。Levine 的答案是表征:购物清单存储的是“牛奶”这个符号,而不是牛奶货架的图像;导航依赖空间表征。“多模态远不只是图像加文本”,还包括学得的模态。
  • 神经科学提供了线索:猴子实验显示,动作会被预先批量规划并展开执行,反馈则发生在更低的抽象层级——“不是在播放录音带”。因此,每个时间步所需的计算量“可能低得出人意料”。部署形态可能并存:低价机器人采用云端推理,断网时进入“更笨的反应模式”;需要在野外工作的系统则使用更昂贵的本地推理。

9. 先模仿、后 RL:仿真的核心其实是反事实

  • 为什么 Levine 自己的课程强调 RL,机器人却还没用上?因为“关键在于先验知识”。如果没有基础模型,仅靠自身经验学习会慢得令人绝望,这与 LLM 的路线完全一致:先做 next-token 预训练,再做 RL。“基础越强,进一步提升就越容易。”
  • 仿真中的飞行员训练是目标导向的:有明确考试,之后面对几百名乘客;而跨领域训练的模型更像是在玩电子游戏。“也许有点讽刺,真正利用其他数据源、包括仿真的关键,是先把真实数据用好。”一旦基础模型“真正理解了”,合成数据就能发挥作用,就像在 LLM 中一样。
  • 更深层的重新表述是:自生成经验“无法让你更多了解世界”,信息必须从某处进入。最优决策需要反事实,而反事实可以由模拟器、价值函数或奖励模型回答——“最后它们都是同一回事。关键是弄清楚如何回答反事实。”Levine 还指出,睡眠看起来很像重放或生成统计上相似的经验。

10. 机器人经济:3000美元机械臂、中国问题与全面自动化规划

  • Levine 亲历的成本曲线是:PR2 在2014年售价40万美元,降到 Berkeley 机械臂的3万美元,再降到每条 PI 机械臂约3000美元,未来还会降到“其中很小的一部分”。成本下降来自规模、执行器技术,以及 AI 本身降低了硬件要求:廉价视觉反馈可以替代工厂级重复精度。Adnan 认为适合训练的机械臂可能不到10万条,Dwarkesh 则认为至少需要数百万条。
  • Dwarkesh 的宏观判断是:到2030年,100–200GW 的 AI 资本开支意味着数据中心、晶圆厂和太阳能设施每年投入2–4万亿美元——机器人能否帮助建设这些基础设施?Levine 认为“原则上完全可以,而且规模会很大”。机器人不是“机械人类”,而更像推土机:“你可以造一台100英尺高的机器人”,数据中心也可以建在极其偏远的地点。
  • 关于中国的交锋值得保留:Dwarkesh 指出,供应链瓶颈集中在“中国供应全球80%的”关键环节,并认为机器人制造机器人会形成循环飞轮,在制造业已经集中的地方进一步复利。Levine 的回答是愿景,而非反驳:构建一个“平衡的机器人生态”,让 PI 在推进 AI 的同时发展自己的硬件路线,并保持“长期视野和正确的投资平衡”。
  • 终局判断是:Dwarkesh 认为“社会应该为全面自动化做规划”,并建立一个更富裕、伴随再分配的社会,“不存在什么秘密的第三条路”。Levine 在方向上认同,但保留了一层限定:“过程和终点同样重要。”他提出的唯一杠杆是教育;当 Dwarkesh 反驳说,Moravec 悖论意味着受教育程度高的工作最容易被自动化时,Levine 仍坚持:教育是“获取技能的能力……教育必须足够好。”