先锋 趋势 方法 投研 作者
146. 对Physical Intelligence柯丽一鸣4小时访谈:Pi的开源模型研究,机器人的江湖、族谱与主角
返回节目精读

146. 对Physical Intelligence柯丽一鸣4小时访谈:Pi的开源模型研究,机器人的江湖、族谱与主角

摘要

  • **Pi(Physical Intelligence)成立两年、投后估值超50亿美元,主线三篇论文各占一个关键词:π0是能力、π0.5是泛化、π0.6是表现。**π0.6的发现最具杠杆:让差不多能做任务的模型自己上真机收“体验数据”回灌训练池,最终在第一个工种上“clearly超越了最好的数据收集员”——一旦部署开始,数据成本有望下降,“你都部署了,可以收真机数据了,为什么不用呢”。
  • 柯丽一鸣是真机数据信仰派:叠衣服的布料物理、粘性摩擦在2026年的快照下“你可能都没法搞出这么一个仿真器”,sim-to-real仍是“半前沿”;“很有可能你这一千万小时数据都是garbage垃圾数据”。 π0.5在约100个Airbnb收数后曲线放缓,暗示有限的in-distribution数据规模或许就够——但她补一句“我们现在数据量还是太少了,肯定还要再激进一些”。
  • 不做人形是她的入职前提:“他们要说做人形,我就不来了。” 逻辑:通用大脑是像人脑一样操纵车、挖掘机等一切构型,而非绑定人形;用简单构型做成复杂任务,将来迁移到人形“概率非常大”。狂野派的补充论证:车轮是自然界没有的形态,但全世界公路都为车而建——世界会为有用的形态改造自己。
  • 江湖族谱是理解赛道的底层地图:CMU传统派(Matt Mason“灵巧在大脑不在手”→波士顿动力)对阵伯克利学习派(吴恩达→Abbeel→Sergey Levine/Chelsea Finn→Pi);2023年谷歌为大模型削减机器人部门成了“黄埔军校”,井喷出Pi、Scale、Generalist、Sunday等;Covariant过早深耕物流仓储的教训让Pi把商业化当“distraction”,只以partner形式给落地公司供模型。
  • 中国供应链是美国追不上的变量:“很难想象一台机器人里没有一个零件是中国的……到现在我都不知道美国人要是追的话该怎么追”;中国机械臂约1万美金对Franka数万美金,行业笑话是“特斯拉最牛逼的工厂在上海”。 但开源追赶悖论同样成立:follow Pi的公开论文如同follow Google——“你想追上Google,得先训一个Gemini尺寸的大模型出来”。
  • **机器人的frontier难以定义,评估是最大瓶颈:无穷的初始条件让领域没有跑马场英雄榜,各家内部指标互不可比;π0.6*提出throughput(固定时间内成功量)作答。**商业化“比我一开始想象的近”——可控环境(工厂类)是自然应用场景,机器人进家庭“不一定以产品形式,更多以探索形式,没有那么远”。
  • 偏软的信号同样值得记录:Claude Code让她两周重构全部工作流、效率约三四倍,并让这个内向者重估了VLA里L的价值;对AI毁灭论她给出权限-责任-能力三重反驳;终极浪漫是“机器人能够组装造自己就是一种繁殖的体现”,以及“造出一个东西,它可以看到宇宙的尽头”。

精读

1. 成立两年估值超50亿美元,被期待成为机器人界的OpenAI

  • 张小珺的定位:Pi是“专注研究机器人大脑”的硅谷明星公司,成立仅两年、投后估值已超50亿美元;嘉宾柯丽一鸣(K)负责强化学习方向,是核心论文作者之一,业余写科幻网文。
  • 时间戳需注意:本期录制较早,尚未囊括最新模型π0.7,技术讲解止于π0、π0.5与π0.6*。
  • 冷开场即是全片最硬的三句:不做人形、机器人造自己是“繁殖”、三篇主线关键词——能力、泛化、表现。

2. 写小说与做机器人同源:创造力加执行力

  • 她的类比:机器人做不好任务“你需要想一些新的方法”,而“你真正想写的那个故事还没有被写出来,你也需要把它创造出来”。
  • 后半程都是执行——研究是想法落地写代码,小说是“一个字一个字地在那里码”。
  • 网名坚决不透露:“救命啊,马甲,马甲保护好。”工作与生活“分得相当开”。

3. 科幻的两个命题:生产力变化后,人去做什么

  • 她痴迷的科幻只围绕两个命题:生产力变化后人的生活怎么改变,以及未来社会里人与人的关系;前者与工作直接相关——“把人做的事情自动化以后,人去做什么,是每天都会想的命题”。
  • 后者她判断有恒量:“应该有一些人性之类的东西,即使在生产力大幅变化的未来科技社会,也会流传下去。”

4. Claude Code成了人与人之间的中间层

  • 入职让她体会到“有些事情得在团队协作中才能完成”,但cloud code又在反向松绑协作:与其去问模块负责人,“我干嘛不直接问这个cloud code呢”——现在是一个人掌控三四个agent。
  • 由此生出小说构思:人人有个bot替你爬取、揉碎、投喂互联网,“以后没有这个bot,你就很难在浩如烟海的互联网里生存了”。
  • 独狼玩家的终局畅想:修水管这个“美国社会永恒的难题”交给机器人;甚至“发现一个小星球直接定居,搞很多机器人帮你搞好基建”——一千年后回看,“说不定他们看我们也是原始社会”。
  • 顺带的世代观察:下一代只跟机器人谈恋爱,“我还挺能接受的,因为我是老二次元了”——身边早有不和人类谈恋爱的朋友,她甚至能理解这些选择。

5. AI毁灭论为什么不成立:权限、责任、能力三重限制

  • 她一直想不通“帮助人类的造物变成对立面”的逻辑,于是给2026年拍快照:智能体干过最坏的事,是拿到权限后把用户邮箱删得七七八八——任务被执行了,但与真实意图没有重合。
  • 权限:大家都会prompt“不清楚先别动,跟人确认”;责任:她攀岩受伤后拿AI解答医疗问题,但“不可能AI说什么我就信什么”,必须带到人类专家面前——“谁能承担责任才会建立信任”。
  • 能力:行业自嘲仍是“教机器人把红方块放到蓝方块上,三岁小孩都会——还不如生个娃”。

6. 芜湖、失去双手的江涛老师与八岁学Logo

  • 出身安徽芜湖,教育资源与大城市有差距,但城里有位优秀的信息学竞赛老师江涛——学生时代因事故失去双手,回乡投身计算机教育,建起系统的奥赛梯次培养;素未谋面,她自认受益者。
  • 八岁进兴趣班,动机纯粹:“可以玩电脑了,太高兴了。”从图形化Logo画画入门。
  • 唯一认真读完的编程教材是《中学生学C语言》——用灯神许愿讲递归,“非常自然地融入生活,把它内化了”。

7. 从哭鼻子到“柯姐”:看起来乖,实则叛逆

  • 小学第一天顶着板寸头被全班嘲笑,“哭着上学”;毕业时已是大姐大——“有什么想法我们可以坐下来聊,不行的话就把你打服”,专管欺负人的人。
  • 自我概括:“一个看起来很乖但实际上很叛逆的小孩”;对公平的边界很清醒:“每个人也没有权利要求另一个人按他的想法做”,她只在力所能及的范围内维持正义。

8. 一万人里三四个清北:安徽教育资源之痛

  • 出国后的心痛账本:安徽每一万人只有三四个能上清北,大城市“可能一万个人里八十个”——“这种数字在安徽是想都不敢想的”。
  • 她自认不是激烈教育的优胜者:“我就是竞赛班里面中等,喜欢的事情就多学,不喜欢的就少学”,对能卷的同学“报以崇高的敬意”。
  • 今天的解法换了层面:“通过创造更新的生产力,在某个层面上抹平这些公平。”

9. 高二剪板寸独闯东南亚:把自己掩饰成男生

  • 叛逆前三名的代表作:高二末独自去东南亚背包两周,起因是迷上印度神话小说与宗教建筑;“没有明显的目的,也不知道对人生有什么影响,但就是非常想做”。父母天天劝回,后来也来找她。
  • 行前剪板寸、扮男孩,是预防式自保——社会新闻让女生“处在更可能受到侵害的位置上”。
  • 主持人点出有人会选择不去,她的回答是本集性格注脚:“自己想干的事情得找个方法把它实现。”

10. 雨血、古龙与突然决定出国

  • 升学走不通的原因很诚实:“我没有办法做我不相信不认同的事情”——要背生物化学、要补短板,“我为什么要加油,为什么要冲一冲,我不干了还不行?”
  • 转折来自游戏:撞上《雨血》“惊为天人”,觉得它完美诠释了古龙小说的互动形态;创始人好像是清华出身、后赴耶鲁——“第一次在叛逆的道路上走着走着,发现人家是正规科班出身的大神。”
  • 竞赛保送当时是去中科大这样的地方(“是好大学,但离家非常近,所以就不能去”),于是照偶像路径,高二中途急转弯出国。
  • 游戏给她的是人文底色:“人是生来体验的”;纯粹情绪的碰撞令她着迷——“你背负着血海深仇,现代社会大部分人怎么会背负血海深仇?这个可以在游戏里体验。”

11. 心理学→经济学→计算机:打破砂锅问到底

  • 大学两次换专业:心理学“非常有趣,但我实在不太适合”——想打破砂锅问到底,路径太不直接;经济学帮她理解世界,“但不能帮助我了解我在这个世界中想做什么”。
  • 没去做游戏的自我剖析:写小说是宣泄,AI研发是“对追求效率的体现”——成就感来自“把一个别人做不到的事情做到了,或者别人做这个事情,我做得更好”。

12. 大一发一作paper:李博、对抗机器学习与生成对抗网络里的博弈论

  • 美式内卷提前到大一:“入学第二个月就开始到处投简历”,简历里是高中与竞赛同学做小软件卖钱的经历;由此进实验室,遇到学术路上第一位导师、后来去芝大任教的学姐李博。
  • 选题是命运的线:她学经济爱博弈论,李博做adversarial machine learning——对抗与博弈同构;大二大三就发出一作论文,为博士申请铺路。
  • 她的生成对抗网络科普:生成器“做假钞”,判别器辨真伪,“完全无法分辨时只能靠猜”,逐步对抗让照片逼近真实——“博弈论在机器学习中的应用,一直到今天”。

13. 博士主线:从模仿学习走到强化学习

  • 入学以为做理论ML,做着做着更喜欢应用,转向机器人;从模仿学习起步——“人家给你一个样例,你想办法去超出这个样例”。
  • 越做越不满足:“如果你永远只是在照抄别人,你不能有创新”——转向强调探索、把上限推得更高的强化学习,“这和性格也有一点贴切”。

14. 2017年的江湖:实验室里唯一的学习派

  • 彼时把机器学习放上机器人是“新兴但不大众”;她的导师是传统全栈派——CMU派系出身,做路径规划与控制,主张“最极端情况下一个人能完成几乎所有任务”。整个实验室做学习方向的只有她一个。
  • 传统派的直觉:规划第一二三步连成完整计划,控制保证每步不出错;她的反问从数据出发:“机器人的聪明才智,能不能不靠我定规矩,而是从数据中直接获得?”
  • 这与2016-17年NLP从语义结构转向端到端的争论同构——“机器人可能也要走一下这样的路”。

15. 与导师的信仰之争:优雅保障 vs 黑猫白猫

  • 争执经常发生。导师嫌ML“不优雅、没有保障”——“摩擦力的建模你都不懂,你怎么就在做这个任务?”她的回敬:“说不定这个任务不需要你懂这些,我们的目标就是让不懂前置知识的人都能把任务做成。”
  • 她把ML的使命说得很重:“让专家从机器学习的中间消失,机器可以自己学习。”
  • 也承认导师给了关键的台阶:“你们模拟器里跑最好有什么用?我们传统派所有东西都能上真机,你要上真机”——落地与表现的衡量指标从此刻进她的研究品味。

16. 机器人为什么小众:五十万美金一只手

  • 2017年的成本账:隔壁Yejin Choi组花20万美金做NLP数据集已是“从来没人烧这么多钱”,而机器人这边一只shadow hand五十万到一百万美金,坏了让博士生自己修——“一返厂就是十几万没了”;Barrett Hand三指爪也要十几万美金。
  • 当时“号称最便宜”的Franka也要几万美金;如今Franka被一家中国公司收购,“说不定出个中国版,几千美刀就可以了”——中国手臂现在约一万美金上下。

17. 机器人五十年:CMU研究所与DARPA点燃自动驾驶

  • 谱系从卡耐基梅隆讲起:机器人研究所约79年、八十年代建立,“感知去看、决策去动”的结合从这里流行开,延伸出灾后救援等分支。
  • 2004-05年DARPA自动驾驶比赛让CMU“一鸣惊人”,刺激了约2006年起一批自动驾驶公司创立——传统派的高光时刻。

18. 祖师爷Matt Mason:灵巧在大脑,不在手

  • 操纵系祖师爷Matt Mason(她学术族谱的源头)最有名的一句话:“灵巧的关键不在于手本身,而在于大脑”——很简单的结构也能做很复杂的任务;她的筷子机器人直接受此影响。
  • 门下开枝散叶:她的导师做路径规划、做过“机器人酒保”;另一弟子桑北(likely Sangbae Kim)去MIT做出Mini Cheetah,“可能是现代机械狗的奠基人”。
  • 同期的Marc Raibert后来去了波士顿动力,把传统派做到极致——自造电机做出世界上第一个后空翻机器人,“告诉大家这个事情其实能做”。
  • 花衬衫是行业彩蛋:年轻时因穿着不严肃被会议同行指摘,“从此以后我就要穿这个”,连波士顿动力AI研究所的队服都是夏威夷花衬衫——“他是有一个叛逆精神在身上的”。

19. ML谱系:吴恩达→Abbeel→Sergey与Chelsea

  • 学习派的入门路径很朴素:一四一五年入行的人都看吴恩达网课;吴恩达的博士生Peter Abbeel是“最早把机器学习放到机器人上的先驱”,现在伯克利任教、同时在亚马逊领导研究部门。
  • Sergey Levine——她在Pi的汇报对象、联创——PhD读的其实是graphics,跟Abbeel做博士后才转型;“我读博时机器学习没什么教材,都是看Sergey的视频、论文和他们组的对话学习的”。他与Chelsea Finn“非常同频”,一起把RL在机器人里发扬光大。
  • 内部笑话“Sergey GPT”:ChatGPT出现前,伯克利的人把论文草稿发给Sergey,“返回一个超级polish的版本,又快又好”——ChatGPT出来了也“不能相提并论”;Pi每篇paper的科幻引用全是Sergey写的。
  • Chelsea的画像:每天四点起床游泳一小时,极度自律,且有“动物性直觉”——π0的任务选择很多由她推动,“当时大家是不知道能不能做的,她觉得能做”。

20. 更多门派:李飞飞系、宋舒然与Scale的两位创始人

  • 李飞飞的学生朱玉可、金范领导英伟达GEAR Lab;宋舒然是她“非常尊敬的女学者”——diffusion policy出自宋组,ACT与ALOHA出自Chelsea组,“里程碑式的paper”。
  • CMU一脉的Deepak Pathak(以curiosity好奇心驱动RL成名)与阿比纳姆共同创办Scale(ASR明确作“Scale”),同做具身智能大脑。
  • 阿比纳姆是“无法预测下一秒说什么”的天马行空型:很早就主张让机器人户外自采数据,还做过“亚马逊五刀一个”的带夹爪长杆收数据——“跟现在的UMI有异曲同工之妙”;学生王小龙现在UCSD任教。

21. “机器人太重要,不能只留给机器人学家”

  • 伯克利视觉大佬Jitendra的名言:“Robotics is far too important to be left for robotists。”不友善的读法是“这帮人不行,我们上”;她认同友善版——“必须有不同行业的人群策群力”。
  • 两类人的差异她讲得具体:拿到一条数据,大模型的人想“收个一百万条,让数字越来越好”;传统机器人出身的人先看“这条数据长什么样、动作、硬件环境”——后者盯物理动作,前者能跳出框架想还缺什么信息。

22. 投入产出曲线:后空翻为什么不可复制

  • 她给两派画的曲线:传统方法投入产出清晰,但后空翻的“代价是很多工程师不停调参数适配这一个任务,做新任务还得这么大投入”;ML让算法自己来做——“现在的跑酷视频,工作量和那个年代不可同日而语”。
  • 终局是交互民主化:机器人现在“要专家知道怎么用才能用得更好”,趋势是“让一个普通人也可以非常自然地交互,得到想要的结果”。

23. 为什么传统派的集大成构型是狗

  • 主持人问为什么那个年代大家都做狗,她的物理解释:操纵绕不开摩擦力建模——“话筒、衣服、褶皱,千千万万的事情很难建模”;而腿与地面接触是瞬时的,“不太需要详细搞明白摩擦力”。
  • 结论:狗需要更少物理知识,操纵器需要更多;且狗作为硬件平台的可获得性“可能比机械臂还要好”。

24. 筷子机器人:一双筷子做90%的问题

  • 与导师聊天时的“暴论”:“我用筷子能做90%的问题”(夹和放)。研究哲学是先啃最难的:“如果算法在筷子上都能成功,其他方法上更容易成功——剩下的就是工程问题。”
  • 导师用美国电影“筷子夹苍蝇”的武术想象打赌:“你能做出来就可以毕业了。”她从实验室仓库捡部件从头搭机器人——三个月整机跑通,六个月定下遥操作,全部一个人做。
  • 说服导师的论证很漂亮:这台手工机器人不准没关系,“我操纵这么一个不准确的机器人都能用筷子夹小球——只要算法和我一样聪明,即使关节有backlash,它就应该能做到”。第一篇工作2018-19年落地。

25. 从夹小球到空中夹玻璃球:不满足于模仿

  • 模仿版本让她不满足:“我时时刻刻在调整动作,花好多精力给机器人提供高质量数据,太累了。我们懒人怎么能做这种事?要让它自己去探索,超越我给它的数据。”
  • 转向强化学习后,最终夹住空中晃动的玻璃球——“人夹都有点难度”;类比是奥运训练:“搞出最适合你机体的策略,不断锻炼刻出肌肉记忆。”
  • 这套“先在问题A做到极致”的路数,正面回应传统派最有分量的质疑:“你什么都能做,但什么都做不好,那要这个算法的用处是什么?”
  • 她坦承质疑未死:工厂装车玻璃的传统方案在成功率、稳定性、速度上的保障,“机器学习暂时还没有人能说鲁棒性一样——直到今天都是前沿性问题”。

26. 地理与迁徙:西海岸学习派,东海岸传统派,人人涌向硅谷

  • 斯坦福、伯克利让西海岸ML浓度天然高;东海岸CMU、MIT传统派“更根深蒂固”,新兴学者多是近五年才招的。
  • 最近两年的信号:“大家不管在哪儿做,都在往硅谷跑”——波士顿的创业者、教授纷纷在办公室设在硅谷的公司领了职位。
  • 传统派也在“积极拥抱新工具箱”,且专家洞察依然值钱——她前一晚还在读一篇讲电机的博客,作者ML出身、鸣谢了CMU传统派教授。

27. 硅谷创业图谱:Pi、Scale、Figure、One X、Dyna

  • Pi与Scale同为“学术人创业”做通用大脑,区别在抓手:Pi押双臂操纵——暴论是“把pick and place拿放问题解决,你可以把整个生活中所有的家务都干掉”;Scale(从视频推测)更多腿、人形与狗,离商业部署更近。
  • 人形阵营:特斯拉2021-22年马斯克的话点燃硬件人的热潮;Figure创立于2022年,创始人没有技术背景但有成功创业经历——“在不熟悉的领域因为相信而做,非常有意思”;One X深耕电机、走独特的绳驱路线。
  • Dyna创始人兼具创业与技术背景,标签是“更强调商业部署落地”——叠衣服场景出自他们,2024-25年的发表在验证“机器学习已经可以渐渐落地并创造商业价值”,是最早从研究端转到部署端的一类。

28. 谷歌黄埔军校与2023年的创业井喷

  • ChatGPT出来后“效果太好了,动摇了很多人的想法”;谷歌把机器人部门“变相削减”抽人做大模型,反而放出一代人——谷歌研究所成了机器人的黄埔军校,Pi创始人全部出自谷歌,Figure、One X也吸纳了这波人;2023-25年是“井喷式的机器人创业”。
  • 同一波里的UMI双子星:Generalist AI与Sunday Robotics,创始人当年同在UMI论文上——手持爪子让人在自己的生活里采数据,并证明可迁移到机器人。从视频推测Generalist偏工业,Sunday偏家用,“目前看到的比较可爱的机器人”。

29. 大厂的bet:特斯拉压人形、谷歌并模态、英伟达卖卡

  • 特斯拉是“人形搞得最激进的一家”:她自己认为手“有了会非常好,现在没有也没关系,不是必要的”;特斯拉则要终极形态,“方方面面都和人形差不多,有很强烈的人形信仰”——造车积累让大家默认它硬件强。
  • 谷歌的机器人可能是Gemini多模态版图的一部分——为大模型提供空间感知、规划与控制能力。
  • 英伟达则是江湖笑话:“做所有事情都是为了卖卡”,所以做世界模型这类烧卡项目——“但过往一次次证明,有时真的是数据多了卡多了效果就上去了,简单粗暴也是一种美”。

30. 人形之辩:实用派加狂野派

  • 她自认“实用派加狂野派”。实用派:现阶段最重要的是能力、表现、操纵性,“不需要人形就可以做,甚至已经可以去部署做事了”;人形的问题“也许别人可以解决,我们后面再跟上”。
  • 狂野派的论证最有味道:车轮是自然界没有的形态,但全世界的公路都是为车设计的——“如果真的是有用的形态,大家将来会为这个形态改变生存的环境”;为什么非要两只手?“有没有可能自然演化链出不来的形态才是最好的形态?”
  • 她个人的终局信仰是动态组装性:“成熟的机器人形态就是随时随地把身体部件换掉,换成更适合的东西,就像它的工具一样。”

31. 通用大脑的定义:一个脑开车,也开挖掘机

  • 面对“人形才是最通用构型”的质疑,她把“通用”拆开:Pi做的是很多构型都能受益的大脑——在不同形态数据上训练、在不同形态机器人上使用,“这不代表它不能在人形上做”。
  • 类比一锤定音:“我开车、开挖掘机、操纵机械手,都是同一个大脑在操纵不同构型——这才是通用大脑最本质的定义,而不是做了一个人形的大脑就是通用大脑。”
  • 任务复杂度与构型脱钩:人形关节多难控制,但“用简单构型做出了更复杂的任务,将来迁移到人形的概率非常大”——组装麦克风用双臂做成,比让人形跑得更好重要。

32. Frontier最大的坑:评估

  • 机器人没有英雄榜:“不像其他领域发个超大数据集,每个模型来跑马场赛马看谁第一。”原因是评估必须上真机,且初始条件无穷尽——杯子位置、光照、背景、桌子高度、角度,“都可能影响最终表现,你希望都评估出来,但现实又掌控不了”。
  • 后果是前沿不可见:“每家公司内部都有一套评估,注重点都不一样”——方向分散百花齐放;但宏观命题一致:“如何让一个机械成体在现实生活中做很多任务且表现好,只是每个人选的抓手不太一样。”

33. 一台机器人如何诞生:从电机到两层大脑

  • 她的原子级拆解:电机是“会动的关节”,六七个关节按人的肘、腕、肩对照连起来,加3D打印件或金属件固定,就是一条原始机械臂;底层控制把“90度变180度”的位置信号翻译成物理执行。
  • 上面是两层式大脑:高层看任务做决策(“要在桌上拿东西,得先把手抬起来”),发给关节执行,新场景进入下一轮——“做成一个能听懂、能执行、也方便调试的东西”。

34. 派的三篇主线:π0能力、π0.5泛化、π0.6*表现

  • 理解Pi要看主线发表——“主线的命题是可以推动整个领域往前进的”:π0关键词是能力,π0.5是泛化,π0.6*是表现。
  • π0(2024年11月)做了三件事:叠衣服“之前从来没看到过这种级别的表现”;叠纸箱“这东西真的能做吗?我们来做做看”;桌面busing——前所未有的物体多样性都要处理好。
  • 2024年初Pi创立时“大家都很激动可以用大模型思路做机器人,但没人知道能做成什么样”;π0.6*则回到那个老质疑——“做什么都可以但都半吊子,模型的用处究竟是什么”。

35. π0.5:一百个Airbnb与放缓的曲线

  • 泛化的根本问题是in domain与out of domain:“训练好只能在数据内表现好,打到数据外没有用,影响就很有限。”π0.5走出办公室,在约100个Airbnb里收数据——“杂乱无章的别人家里”做日常任务,再看新家的表现。
  • 最振奋的发现是曲线放缓:“可能不需要在世界上所有人的家里收了数据才能干活——in-distribution的数据是有一个尺寸的,达到这个尺寸或许就够了。”
  • 《开放世界泛化模型》的标题可能出自Chelsea;paper里的科幻引用照例是Sergey写的,“只有Sergey记得”。

36. π0.6*:体验数据打败最好的数据收集员

  • 星号的含义:把模型自己跑出的数据放回训练池。核心主张——“智能体差不多可以做一个任务了,就去收集它的体验数据放回训练池,可以达到比固定收的数据更好的效果”;这是她所在RL团队的第一篇发表,“强调了很多方法上的简洁性”。
  • 立项本身是赌局:“能不能做一个机器人,比最习惯用机器人的数据收集员更快更好?”结果“起码在第一个工种上clearly达成了”——超越了最好的数据收集员的起点。
  • 评估指标随之落地:throughput,固定时间内的成功量;连成功失败的定义都经过打磨——“怎么保证大模型完全理解人的意思,本身是开放性研究课题”。

37. 数据成本有望下降:部署即数据

  • 真机数据贵在哪,她拆得细:平台、进家维护、雇人操作与管理——“现在的大头其实是管这个人收到你想要的数据”;把操作员换成训练好的大模型自己跑,“数据的成本应该能降很多”。
  • 纠错数据同理:模仿学习的老问题是误差积累把机器人带进“人收数据时不会碰到的糟糕情况”,所以大家专门收修复数据——“但修正数据也可以通过机器人自己跑来收,这就是强化学习比较本质性的东西”。
  • 她的暴论级判断:“将来机器人的价格就该又便宜又方便——很多人现在对数据的担忧,在时间的长河里其实都不重要,部署过程中收的数据都拿来为我所用。”

38. 真机数据信仰:仿真叠衣服仍是“半前沿”

  • 立场先行但讲理:“黑猫白猫抓到老鼠就是好猫,什么数据真的好用就相信谁。”同样十万美金budget,真机与仿真收的数量不同,但关键是“数据的质量、数据的意义,谁能让模型做得更好”。
  • 2026年快照下的硬约束:衣服的柔性、摩擦力、粘性,“你在仿真器里可能都没法搞出这么一个仿真器来”;sim-to-real叠衣服是半前沿——“没看到一家做得非常好,但也有人认为可以达成,说不定两三年里有人做通了”。
  • 反面警句值得抄录:“不要只看‘我们有一千万个小时的数据’——很有可能这一千万小时都是garbage垃圾数据。”目标若是所有场景所有任务,“目前真机数据还是不可取代的”。

39. 叠衣服有没有泛化性:状态无穷即是泛化

  • 面对“场景酷但可泛化吗”的质疑,她拆维度:衣服状态千千万万——“多一个折、拐一下都是不同状态,你收到的状态永远有限,但你要保证还能完成”;不同衣服是另一维,π0.6*里叠更多种类又是一维。
  • π0时代的泛化担当是清理桌面:几百个道具随便收随便换,“发挥收数据的人自己的想象力”——她参与了该任务的策略设计。

40. 支线工作:FAST、Hi-Robot、Olympics与partner

  • π0到π0.5之间两篇关键支线:FAST研究动作的最优表达空间——大模型在学出来的动作表达里做预测,有性能提升与方法性保证;Hi-Robot首次正式提出同一模型内的输出分层——高层policy把指令转成更短可执行的小任务,解决“十分钟长任务里模型会迷失”。
  • Olympics源自内部活动:研究员与数据收集员组队遥操机器人挑战“想都不敢想”的任务——“人手能完成的话,机器人能不能完成?”由此让大模型学会了开锁、开门这类“说起来没那么难、绝对没那么简单”的动作(她自己第一次遥操开门想了二十多分钟)。
  • 最新的partner发布:一家叠衣服公司和一家打包公司跑的是Pi训练的或使用的模型——Pi自己目前没有很多商业落地想法,但通过伙伴“变相推动研究前沿”。
  • 硬件上Pi不是纯旁观者:π0.6*用自研硬件,为做咖啡设计了低成本可换夹爪——“有这种研发你才会感觉到什么是本源问题”;硬件“与其说为软件优化,不如说为最后的任务和表现优化”。

41. 对标GPT几:还没到一,但在靠近

  • 直接回答:“我觉得我们还没有到(GPT-1),但我们在靠近了。”她每天看到的都是不完美:“这个表现不行那个也不行,是不是要有大的变革才能达到真正想要的效果。”
  • 她2017年短暂做NLP的自嘲是最好注脚:训出来的模型写莎士比亚“天天啧啧啧”;听说有人用RL做语言模型,“我说你把特别难搞的A和特别难搞的B合到一起能成功吗?完全不懂。到了一九二零年,别人就做成功了”。
  • 机器人的独特优势:VLA出现后,“在数据量与NLP完全无法比拟的情况下,其实已经做了很多东西出来”——没那么多数据也能完成具体任务,这在自然语言界反而难。

42. Scaling law与算力:数据还是太少,要更激进

  • 对scaling law她警惕过度简化:“每次看到over simplify的陈述,都觉得不够细节。”π0.5的房子曲线就是一种scaling探索——收多少个房子能在新房子取得成果、收到多少以后提升不再明显。
  • 但结论不是收手:“我们现在数据量还是太少了,肯定还是要再激进一些,我觉得会好玩。”
  • 算力之问的回答成了金句:“算力够不够,是看你们这人喜不喜欢干活——都特别喜欢干活的话,算力永远不够。”

43. zero-shot与具体表现:左脚踩右脚,看能不能上天

  • 有人说通用团队关心零样本泛化、应用团队关心具体场景跑通,两类需求完全不同;她答“相辅相成”:机器人研究就两大主题——表现如何完满,与全新领域做出像模像样的东西。
  • 她的体感:“在一个场景做到完满,可能在更多场景达到更好效果——具体任务的表现研究可以提升模型整体能力,这是我比较坚信的”;反过来大模型在新环境稳到差不多,就能马上叠加具体提升手段——“左脚踩右脚,看看能不能上天吧”。
  • zero-shot怎么提:架构与预训练研究、数据;有人觉得下一代架构是世界模型,“现在也没有说法它一定长什么样,大家都在探索”。

44. 2024到2026:从不确定到看得见的成功

  • 2024年初,叠衣服“我非常想做但不知道能不能做出来”;到年底,“不确定性逐渐变成了看得到的成功——不能保证百分百,但有成功的可能性,这个进步非常重要”。
  • 2025年π0.5进Airbnb、π0.6*把部署表现推到“纯靠数据很难达到的地方”——叠衣服是在“再收更多数据都没得搞了”之后才上强化学习的;Gemini的空间理解也让她印象深刻,“显然对robotics非常重要”。
  • 商业化体感变了:“有些我们做的事情也许已经有商业化价值——以前觉得遥远,现在感觉挺近。”最自然的场景是可控环境(工厂是代表),“通过控制环境来适配你现在能做到哪里”。
  • 2026年预期:更多惊叹的demo(“看是一回事,背后是什么进步是另一回事”)、人形做操纵“挺成熟可以开始探索了”、模型架构“应该都会有一些大的变化”。

45. 机器人vs自动驾驶vs大模型:错误容忍度决定难度

  • 自动驾驶比机器人难在stake:“你做出一个决策,那可是人命”,对完满要求极高;简单在控制几乎不是问题、决策空间更小——“从A到B,好像不需要太多C点到D点就不行了”。
  • 机器人的操纵两头难:载重、摩擦力让机械臂到不了想到的位置,叠衣服“手腕到底怎么转”有无数不一样的动作;而大模型“可以瞎说,犯错大家都习惯了”——机器人处在两者之间,“目前的发展阶段和大模型更贴合一些”。
  • 可借鉴处:自动驾驶头部公司都有自己的模拟器,还有一两家公开付费的仿真公司——“我们操纵器还没有对等的模拟器出现,这是不是有启示意义?”

46. 进家庭的隐形竞争:谁先出货,谁先安全

  • “所有机器人公司都在争夺的隐形指标,是谁能做出第一个进入家庭的机器人”——家是隐形竞争方向:“你觉得lost了方向,就想想机器人还有哪些家中的问题做不到。”
  • 三重难度:环境复杂性——“没有两个人的家和卧室是完全一样的”,他们做过叠被子但“不是到一个新家都能叠”;动作复杂性——家务“列一箩筐都列不完”;硬件与安全——“我不知道哪家的硬件能在人家里跑一个月,还做各种任务”。
  • 最生动的恐惧:“我看Optimus擎天柱最害怕的就是他要是在我家里摔了——我该花多少钱修地板?要摔在我身上,我岂不是就那个什么了?”距离“真正的具身可以在人身边工作”还有距离。
  • 小型化的权衡:比如宇树那种小型机型“没有那么大的威胁性”,更轻、省电、安全瞬间提升——但“人做的事情,小了以后有些你就做不了了,那还怎么用人的数据”。

47. 中国供应链的统治力:“美国要追,我都不知道怎么追”

  • 看春晚宇树表演:“一两年前想看到这种级别的demo只是想想而已”,做出来“有算法提升,也有硬件实力”——公司群里就在讨论怎么做的,读书会还想请locomotion专家来讲。
  • 全片最强的产业判断:“很难想象有一家机器人公司组装好一台机器人,里面没有一个零件是中国的……中国产业链制造业的优势实在太大,到现在我都不知道美国人要是追的话该怎么追。”硬件迭代快,也让中国团队“拿现有算法距离商业落地端有优势”。
  • 技术上她给了线索:CMU教授石冠亚(华大博士后时期的朋友)组最近的Omni Target;腿式机器人是高层步态+低层执行,“强化学习在locomotion界确实取得了相当大的成功”。

48. Covariant的教训:过早商业化是distraction

  • Pi“暂时完全不考虑商业化”有历史原因:Peter Abbeel在2015或16年创立的Covariant要做机器人通用机器学习方案,后来深耕物流仓储——“从大模型开发的角度回头看,这其实是分心,因为过早商业化而失去了通用泛化性,没有真的追溯本源的问题”。
  • Pi受此影响:“不要为了挣钱或打通商业闭环,去做对研究没有帮助的事情;纯粹把研究表现做到最好,商业化后面再想。”她提出一个可能的对照:“中国公司从商业逻辑上更强调实用主义和回本。”
  • 关于终局产品形态她留了口子:“也许有一些人专门做大脑,另一些人做场景商业化,最后插入别人公司的大脑——这是一种可能存在的形态。”

49. 开源追赶悖论与美国硬件困境

  • “中国团队follow派就好了呀?”她分两层:Pi论文确实公开(谷歌、特斯拉不一定),但“Google就算公开了,你想追上它,还得先训一个Gemini尺寸的大模型出来——同样逻辑适用于派,就算告诉你怎么做的,你不一定match得上”;不过“竞争永远存在,肯定还是有人能match上”。
  • 美国硬件近乎无解:“看美国现在的产业链,只能寄希望于创新了。”教育里产业缺失导致专业不火、人才断层,“不是一两年就可以投入回去的”;指望移民补链,“但美国修个地铁站都得修这么多年”。
  • 顺带的行业笑话:“特斯拉最牛逼的工厂是在上海开的,产量就是高。”

50. 强化学习的本质:探索、归因与马里奥bug

  • 她把RL拆成模块。探索:“要做更好的事情,得做一些以前没做的事情”——小到肌肉微调,大到研究方向选择;“现在大模型还不具备非常主动的探索能力”。
  • 归因(credit assignment):“宠物做了一系列事最后得到奖赏,它得知道哪件事是决定性因素”——π0.6*的算法就是帮智能体从大量部署数据里找出“其他都是垃圾,这个地方是精华,你以后多做这个精华”。
  • 奖励设计是教科书不讲的本源问题:超级马里奥里RL发现bug后“疯狂做这个bug直接通关、奖励函数最大化——‘我已经做到你想要的事了,你还有什么可说的?’但这个奖励函数一开始设计得就不对”。
  • 结论指向意图而非函数:“不是写奖励函数的问题,而是向智能体传达你让它做什么的问题”——NLP最有用的是可验证任务(代码能跑就是好),“好的奖励可以因地制宜”。她从不叠衣服,“所以我可以很纯粹地从机器人任务的角度设计”;而Chelsea对哪种叠法适合机器人有“非常sharp的intuition”。

51. VLA的未来:被Claude Code重估的L

  • 她曾怀疑语言交互(“我内向,很多事是不是不用说话表达更好”),成为cloud agent重度用户后改观:“你可以用说话给它提供更多context,让它自己搜索或制定计划——逻辑思维推理对机器人很重要,VLA中的L还是有很大作用。”
  • 但现在的VLA“还是比较原始的架构”:语言粒度停在“叠这个衣服”,没探索“这个步骤两只手怎么用”的细微联系;未来是输出端加video、加auxiliary loss,输入端给更多context,“像大语言模型一样take in much context”。
  • 终极形态她开放两种可能:专为机器人预训练的独立自闭环大脑;或“所有东西都归到一个还没被创造出来的模型——语言、图像编辑、视频生成、机器人操控都在里面,那时机器人也在训练里了”。

52. 组织切片:读书会、CO2警报与不打卡的七十人

  • 细节密度很高:约70人(“体感,我也没天天数”)挤在最初那栋楼,会议室二氧化碳检测器“超过三四个人就跳红色警戒,只能把门打开接着干”;不打卡,夜猫子的她中午到公司、凌晨一两点回家。
  • 早期每天10点例会让她抗议,CEO震惊:“最早是八点,推到九点,再推到十点,怎么你还嫌十点早?”加班无工资但自发:“吃完晚饭又跟人讨论起一个话题,就想往下再走一走。”
  • 读书会是研究机制:π0.6*上过两次——立项时讲清前人做到哪,成熟前再收一轮质疑;也有“谁最能用cloud agent赶紧上台讲”的场次,她听完“惊了”,两周重构整个工作流,“效果上应该有三四倍”——但“研究不是疯狂打枪就能打中,还是需要人的input”。
  • 治理结构:CEO Carl Houseman管基础架构、保障研究高效进行,“类似Sam Altman的角色”;研究由Sergey和Chelsea负责。

53. 一场不知道是面试的面试:最后一刻辞掉剑桥教职

  • 她本铁心当教授(“ChatGPT横空出世,我一拍大腿——funding proposal让它帮我写就行了”),拿到心仪的剑桥教职,“剑桥的人文属性和我的个性非常贴合,可以又做研究又写小说”;老板甚至在她thesis defense上向所有人宣布她要去当教授了。
  • 转折是Sergey的一位学生(likely Abhishek)到华大成了她“小老板”——与导师的critic式对话完全不同:“我有这个想法、我也有,揉一揉又生出三四个新想法。”她的结论:两种方式“都有是最好的”。
  • Pi创立一周内她被拉去“聊聊”,没人告诉她是面试,全程反客为主追问“你们在干什么”——“他们说面试我的过程中感受到了莫大的阻力”;但聊完觉得“这帮人还是挺求真的”,不像有些学术发表“为了自圆其说”。
  • 最终弃学术的账:学生只有三五年,“给他放手做开创性工作够不够?”加上算力、数据、硬件必须靠工业界——她PhD七年、一人从零搭机器人(三个月跑通、六个月定遥操作)的经历让她承认“有些事情得在团队协作中才能完成”。附带的博士观:“没有为毕业焦虑过,是很连贯很快乐的过程”——凌晨免费停车、24小时炸鸡店,两个项目灵感来自圣诞度假。

54. 意识、机器人种族与特修斯之船

  • 对“意识觉醒毁灭人类”她要的是解释:“很想有人给我解释意识是怎么诞生的——从物理化学这堆东西里怎么突然诞生了意识?”若定义为类人意识,“我其实有点悲观”;若宽泛到“跟AI聊天感觉它像个人就够了”,那“你也不能说它没有意识”。
  • 机器人种族是她的梦想课题:“机器人能够组装造自己就是一种繁殖的体现”——找教职时就这么说;坏了能修、能换形态是“非常自由自在的存在方式”(对照她攀岩受伤在家躺了很久)。
  • 特修斯之船已在Pi真实上演:编号不变的机器人“通过不断的修和改,里头全都换掉了,唯一联系就是编号一样——要不要给它起个新名字?”她笑称未来的机器人伦理审查委员会要核查“是不是从头到脚每个零件都换新了”。

55. 爱与死:机器人不会是最后的造物

  • “机器人会是人类做的最后一件事吗?”她的否定很人文:“我不觉得我们活着是为了提升生产力,我们活着更多的是爱与死——文学作品中永恒的话题。即使生产力高度发达,也有人想做不一样的东西。”
  • 但延续的浪漫她认:“生命只有一百年,放在宇宙历史上微小到不值一提。是不是有可能你造出一个东西,它可以看到宇宙的尽头?”
  • 黑盒的哲学安放:ML过程无法理解,但“bounded by the objective that you define,在数学层面上可以解释”;她的收尾暴论——“是不是偷懒就是人类文明一个本质的追求?提升生产力和偷懒是一个东西。”机器人实现那天,她要“回家写小说,做一个游戏,诺贝尔文学奖冲击一下”。

56. 《区分》与贪心算法:对硅谷单行道的温和反抗

  • 人生之书选了布尔迪厄的《区分》:读它让她分辨“我的喜欢有多少是自己的,有多少是社会塑造的”——“硅谷充斥着对生产力的崇拜,讲究效率、精简、创造,这何尝不是这个社会价值观的一部分呢?”
  • 反抗用算法说:贪心算法每步做当下最优,动态规划告诉你“每一步都做最好的决策,并不能达到全局最优解”——“没有人有全知视角,所以做九分留一分是可以的”。
  • 她那些“从来不把事情做到最后”的弯路,“才让我走上了今天这条路”——机器人“也许是我第一次觉得得把事情做到最后”,与硅谷“很多人从很早就走上同一条路一直竞争”本质不同。

57. 快问快答:西红柿炒蛋、爱丁堡与缸中之脑

  • 最爱食物西红柿炒蛋——“希望在人工智能快要来的时候,留下 一些人类日常生活的印记”;最爱地点爱丁堡——“沉重的历史放在你眼前……有一种很安稳的感觉”。少有人知的知识点选了生理常识:所谓“处女膜”医学名称是阴道瓣,第一次不一定流血——“我们对自己的身体构造有这么多缺失”。
  • 影响机器人进程的论文“太多了”:ChatGPT“也极大影响了机器人的进程”,还有Diffusion Policy、Transformer/ACT,以及更早的模仿与强化学习本源研究。基于当下认知的关键fact:“机器人进家不一定以产品形式,更多是探索形式——比我一开始想象的要近一些。”
  • 听到“语言即世界”,她的第一反应是缸中之脑:“所有感官掌控着你对世界的认知,完全可以想象我们活在一个巨大的模拟器里”——上一代纯语言模型不能把“水杯”落到物理世界,“这样的反思变相促成了多模态的研究”;至于我们是否活在模拟器里:“如果模拟器就是世界,那模不模拟没有什么差别,唯心主义。”