AI、LLM 与机器人智能领域的全球顶尖研究者

摘要

• Physical Intelligence 的核心押注，是打造能够“基本控制任何具身系统完成任何任务”的机器人基础模型。 原因在于，追求完整通用性“从长期看可能反而更容易”，就像 LLM 借助弱标注网络数据，先建立对世界的理解，最终击败为机器翻译等狭窄应用量身定制的系统。Sergey Levine 的结论是：“问题只有一个，不是很多个”（“there is one problem, not many different problems”）——不是人形机器人问题、汽车问题和推土机问题各自独立存在。
• 最值得交易的研究更新是：瓶颈已经上移到更高的软件栈。 大约6个月前，PI 发现，只要加入带有语义指令标注的数据，模型就会提升——不需要新增遥操作动作——这意味着物理灵巧性不再是主要约束，场景理解才是；而且“人可以直接和机器人说话”，更好地指导它。中层推理表征是 PI 下一步最明显的问题。
• 不要先算数据集规模，而要先把飞轮搭起来。 “我不认为有人真正知道需要多少机器人数据……我们其实不需要知道”；目标是把系统做到足够有用，能够部署并自行收集数据——“Tesla 不会担心自己的汽车能收集多少数据。真要说的话，顺序恰恰相反。”与此同时，硬件成本已从40万美元的 PR2，降到约3万美元的实验室机器人，再降到“可能只有这个价格十分之一”的机械臂。
• 对人形机器人的怀疑，仍然是温和保留。 人形机器人只是“众多可能的机器人类型之一”；行业尚未解决的分歧在于，人形机器人的杂技式动作依赖重度仿真，且“实际上往往完全没有真实世界数据”，而操作任务则依赖大规模真实世界数据和大型基础模型——究竟哪条路线胜出，Levine 表示“我不知道答案”。
• 在时间表上，Levine 相比资深机器人研究者更乐观，但相较机器人创业者更悲观。 最后被攻克的任务将是养老照护，而“给孩子换尿布会非常非常难”——这是“Moravec 悖论的顶峰”。如果2050年仍没有厨房机器人，最可能的罪魁祸首是社会—技术长尾；从纯技术角度看，关键风险在于开放世界的广度。
• 对准备行动的运营者来说，关键不确定性在于示范数据与自主强化学习之间的权重——“究竟是90/10还是10/90？” 两种答案会把正确的系统配置完全翻转；而劳动力范式是编码工具，而不是替代：人与机器人之间会形成一种共同演化的生产力“共舞”。

精读

1. 赌注：一个基础模型，适配任何身体、完成任何任务

• Levine 对这项使命的定义是：打造能够“基本控制任何具身系统完成任何任务”的机器人基础模型；公司的核心判断是，通用性比狭窄专用性更容易实现，“就像语言模型后来证明，在某些方面，完整解决自然语言任务，比单独瞄准机器翻译或情感分析更容易”。
• 这套类比背后的机制是：LLM 借助弱标注数据取胜——从网络挖掘的文本建立起“对世界理解的基础”，在此之上开发不同应用会更有效。机器人没有互联网规模的数据集，但这套逻辑反而更有力：与其训练“洗碗专家”或“叠衣服专家”，不如训练一个真正“理解物理交互”的模型；人之所以能快速掌握新技能，正是因为拥有这样的底层基础。
• Patrick 解释这件事为何重要时，先披露自己是 PI 的投资者：机器人行业存在“稻草人问题”——身体形态越来越酷，“但它们真正需要的东西都是智能，也就是一颗大脑”。

2. 泛化能力会制造糟糕演示——要据此判断行业

• 这是 Levine 整个职业生涯的烦恼：“有效泛化其实并不是做出真正精彩演示的最优方式。”演示的套路是挑一项酷任务、控制环境、把场景做到一尘不染。泛化看起来平淡无奇——PI 4月发布的视频里，机器人清理的是一个“完全没有训练数据”的厨房，脱离上下文看，“就是，嗯，它在捡盘子”。公开演示只是“能力边界上的展示”；真正的信号在论文里，或者在和单个研究者交流时听到“内部故事”。
• Patrick 质疑 Boston Dynamics：几十年来一直很酷，却没有给客户带来什么有用的东西——“公平地说，这也是对很多机器人公司的合理问题。”Levine 为正确使用演示、服务于使命辩护：“只要诚实地设定挑战就行。”PI 自己的规则是：“在有用这一约束下，让它尽可能酷。”浓缩咖啡和洗衣服不是目标，而是压力测试。

3. 赌注所在：机器人的个人电脑时刻

• 成功意味着释放想象力，而不是制造金属人：就像个人电脑在90年代触发了“令人惊叹的应用程序寒武纪大爆发”，一个可提示、可微调的机器人基础模型，能够让任何人开发机器人应用，而不必自己解决智能问题，也不必搭建一套“庞大得吓人的技术栈”。
• “我们有时会觉得机器人会是一种东西……金属人。但我不认为事情会这样发展，因为没有任何技术是那样的。”他的工具箱愿景是：5条机械臂，其中一条从天花板垂下；或者“1,000架四旋翼无人机组成的蜂群”建造一栋房子。长期看，手术机器人也不应受限于人类能够实时遥操作的范围。
• 目前，AI 挑战扼杀了形态创新——每一种新身体都意味着系统辨识和动力学特性刻画。“如果你能在车库里组装一个机器人，加载一个机器人基础模型，然后告诉它做一堆事情……那可能会成为一台非常强大的发动机。”因此，PI 已经开源其模型，让更多人动手实验。

4. 多模态 LLM 提供了一条路径

• 历史可以浓缩成3个时间点：端到端控制并不新鲜——Alvin（很可能是 ALVINN）在“1986或87年”用一个很小的神经网络驶上高速公路；2010年代初的深度 RL 打开了“超越人类水平表现”的道路；最近的进展则是多模态 LLM，它们“知道很多东西”，为处理长尾场景中的常识问题提供了路径，尽管“它们还不擅长把这些知识落到物理情境中”。
• 他对常识的工作定义是：“肌肉记忆的反面”——把在其他地方获得的知识（读到、看到或听到的）应用到当前情境并完成落地，比如围绕一个从未见过的漏气标志临场发挥。
• Moravec 悖论支配着能力地图：我们以为捡杯子很容易，是因为对人来说很容易——“那些不太擅长发现老虎的人，都被老虎吃掉了。”机器学习改变了这个方程：只要数据容易收集，即便物理上很复杂，也会落入容易解决的类别；需要多层推理、数据又难以收集的领域，则仍然困难。
• 机器人“大脑”中更棘手的部分是物理类比。“那家公司势头很足”——你完全知道它是什么意思，但“这个词背后承载了很多推论”。Feynman 关于“自旋”的类比“确实能引导粒子物理中的推断”。“我不知道 LLM 能不能做到这一点。”相关问题还有组合泛化：有学生让 LLM 用国际音标写三明治食谱，而这种格式只会在词典里逐词出现，LLM 却写出了整段文字；机器人同样应该能够重新组合已学技能，处理新问题。

5. 方法论，以及孕育它的研究文化

• Levine 的路径是：先做计算机图形学，随后在2014年跟随 Pieter Abbeel 做博士后，当时“完全没有机器人经验”，只追逐一个想法——让系统“做得越多，变得越好”。从零开始练技能只在有限环境中有效；Google 的“机械臂农场”（2015年，由二十多台机器人收集数据）实现了泛化，但产出的是“某一项任务的天才”。
• 他至今仍在追求的综合，是 AI 的两项伟大成果：生成式 AI（LLM——复现人类所做的事）和深度 RL（AlphaGo 的 Move 37——做出“人类此前没有想到的事”）。把互联网规模的知识与超越人类的改进能力结合起来，就是目标——“我还没有解决它”，但他认为已经取得了一些进展。
• 具体路径是视觉—语言—动作模型：先用文本训练，再用网络图像适配，最后加入多样化机器人数据；再叠加思维链，让机器人“真的和自己说话”（“捡起盘子”），从而让中间推断受益于互联网规模预训练，之后再通过实践强化学习。浓缩咖啡演示正是靠重复练习提升了鲁棒性、速度和吞吐量。
• 背后的文化是自下而上的：机械臂农场由一名刚入职的“4级研究科学家”发起，他向 Jeff Dean 和 Vincent Van Houcke 要一座堆满闲置机器人的仓库，Jeff 回答：“好，做吧——你需要什么？”他受那些支持个人项目的组织启发：“ChatGPT 曾经基本上只是 John Schulman 的个人实验。它一度并不是一项有大量表格和饼图支撑的公司整体战略。”至于伟大研究者，“唯一不变的是没有任何东西是不变的”——决定性能力在于知道什么时候该继续死磕，什么时候该转身看看周围。

6. 瓶颈上移：现在可以指导机器人

• 这项发现大约6个月前“有点随手一试”地出现：机器人在新厨房里失败时，只增加带有语义指令标注的经验——不新增遥操作的底层动作——就能改善泛化。瓶颈已经从物理执行任务，转移到“解释场景并选择正确下一步的能力”，而这可以用语言监督。Patrick 说：“基本上就是指导。”Levine 回答：“没错——只要和它说话，就能让它变好。”
• 下一个明显问题是中层推理表征。LLM 让文本到文本变得便利，“但这不一定是具身系统行动所需的最佳表征——有时它需要空间思考，有时需要语义思考。”如何组织这种内部思考“可能是一个非常重要的问题”，答案也许不同于 LLM 世界里的答案。

7. 不要先算数据集规模，要把飞轮搭起来；硬件正在降价以匹配它

• “我不认为有人真正知道需要多少机器人数据……我的感觉是，我们其实不需要知道。”关键在于把系统做到足够有用，让它能够被广泛部署并持续带回数据：“直白地说，Tesla 不会担心自己的汽车能收集多少数据。真要说的话，顺序恰恰相反。”
• Patrick 追问：为什么不先造一个有用、由人操作的机器人，跑起来 Tesla 式飞轮？Levine 认为“这是个好主意”，但取决于领域：“有些人可能不希望家里有一台持续由异地人员控制的机器人，但在某些应用里，这或许无关紧要。”
• 促成这一切的硬件组合正在形成：10年前 PR2 的成本约为40万美元；他在 Berkeley 实验室里的机器人约3万美元；现在每条机械臂“可能只有这个价格的十分之一”，而且还会继续下降。这些低成本机械臂若采用传统的精度依赖型控制，在工业环境中并不好用；学习能力可以弥补传感不足——该平台配备3个摄像头，没有触觉或力传感器，而“腕部摄像头本质上是伪装起来的触觉传感器，因为你能看到局部形变”。

8. 灵巧性出乎意料，机器人奥运会几乎横扫

• 创办公司以来最大的意外是：灵巧性几乎不需要特殊处理。高度灵巧的行为以及跨具身迁移——包括多指手和不同自由度——需要微调数据，但不需要修改模型；“甚至不需要通过任何提示告诉它机器人是什么。我原本以为需要一些很复杂的技术。”
• Robot Olympics 的起点是：前 Everyday Robots 的 Benji Holson 写了一篇博客，列出十几项 Moravec 式日常任务——开门、清洗沾满油脂的煎锅、用塑料袋捡狗屎。PI 按标准任务接入流程把它们作为运营测试跑了一遍——“我们没有为此开发任何特殊东西”——结果几乎全部解决，只在把衬衫翻到反面时失败（夹爪伸不进袖口），剥橙子则是“严格说来”失败（手指力量不够，最后用了小刀）。这说明了通用性的力量。
• 机器人可以超越人类的地方是插接电缆。人类会停下来处理对齐，遥操作员停得更多。“结果发现，只要找到所有这些停顿并把它们移除，就相当直接。”强化学习是通用路线；若目标只是纯粹提速，一些简单技巧也能奏效。

9. 当前争议：苦涩的教训，以及仿真与现实的二分

• 行业争论已经从“学习在机器人 AI 中有没有位置”——这个问题曾多年充满争议——转向端到端学习是否会胜出。Levine 认为，“苦涩的教训”还没有得到普遍接受：不要按照你认为机器应该思考的方式去编程，而要让它从数据中学习。他为反方提出最强论证：在复杂的开放世界里，“你不可能不用已有的物理世界知识，而这些东西我们都写进教科书了”。
• 他认为真正尚未解决的二分是：人形机器人杂技式动作的流程“高度依赖仿真……实际上往往完全没有真实世界数据”；而操作任务很少使用仿真，大量使用真实数据和非常大型的基础模型。“可能其中一条路线最终会胜出……也可能两者会有某种综合。我不知道答案，我有自己的主观看法。”
• 不依赖特定具身形态的路线有生理学依据：在猴子使用工具的研究中，追踪手部位置的神经元，实际编码的是工具尖端的位置，而不是手的位置——“工具作为身体延伸，是一种真实的生理现象。”他的结论是，一个好的基础模型应该能够操控它所控制的任何身体——“问题只有一个，不是很多个”。

10. 时间表、最后被攻克的任务，以及如何布局

• 在整个判断分布中，他处于“资深机器人研究者里的乐观端、机器人创业者里的悲观端”。机器人历史上“成功寥寥无几”，他的联合创始人 Carol 有句话很贴切：“只有爬上这座山之后，你才会看到后面是不是还有另一座山。”时间之所以格外不确定，是因为部署本身是一个冷启动事件——必须“跨过激活能垒”，让机器人能够大规模收集开放世界数据。
• 如果2050年仍没有厨房机器人，他怀疑罪魁祸首会是社会—技术长尾，但也指出开放世界广度是最大的技术风险——就像早期 Tesla 自动驾驶一样，问题在于：“人们是否能接受这种程度的不完美？”“你能接受机器人偶尔打碎盘子吗……在一个有小孩的家里？也许不能。这没关系。”纯技术层面的风险就是开放世界广度：酒店房间和餐厅厨房，他“非常清楚如何把它们控制住”；而在“几乎任何事情都可能发生”的家庭里，机器人需要“基本上在每种情况下都做出某种合理的事”。
• 最后被攻克的任务将是：“给孩子换尿布会非常非常难。”养老照护和儿童照护——帮助一个人下床——是“Moravec 悖论的顶峰”，因为人类在与他人进行身体互动方面经历了高度进化；这些任务“可能会比人们想象的更难”。
• 运营者应准备好面对的核心不确定性，是示范数据与自主经验之间的比例——“究竟是90/10还是10/90？”这会彻底改变正确的投资方向：遥操作设备、任务改造，还是新硬件。“机器学习需要数据，所以让我收集数据”是错误的默认选项——“你需要正确类型的数据”，而这取决于领域和具体判断。劳动力范式更像编码工具：不会突然替代人，而是形成一种共同演化的生产力“共舞”。PI 计划在2026年“尝试这个领域里的不同做法”，探索产品形态。