121. 对DeepMind谭捷的访谈：机器人、跨本体、世界模型、Gemini Robotics 1.5和Google

摘要

• 机器人的GPT-3时刻还差两三年，真正落地再加五到十年。 谭杰的刻度很清晰：现在"看到了足够的sign of life，说明scale up现在的training recipe是会work的"，但从论文到敢做live demo要一两年，从demo到落地要五到十年——自动驾驶从早期demo到真正落地也隔了十年。当前的硬数据：简单pick and place成功率90%以上，拉拉链这类精细操作只有30-40%，“百分之三四十的成功率在现实生活中是不可用的”。
• Gemini Robotics 1.5的两个突破，其中第二个直接针对数据稀缺。 一是把thinking trace塞进VLA，机器人能把"按颜色分拣衣服"拆成多步边想边做；二是跨本体迁移Motion Transfer：桌面机器人Aloha从没见过垂直场景，混入可能是Franka的数据后"突然间也能做那样的事情"——“假设你学会了开车，我从来没有学过开车这个任务，但我也学会了开车。“方法本身是"secret sauce”，追问两次不松口。
• 终局的bet是合成数据，不是遥操。 他基本认可王鹤那笔账（一台人形至少10万、一万台10亿、每月维护数亿到十亿）：“我会非常诧异，如果终局大家是通过完全遥操的数据解决机器人的，这个可能性是非常低的。“他自认"信仰scalable data那一派”——仿真、人戴相机采集、视频生成模型造的数据，收官快问快答的最后一答：“光靠real data是解决不了机器人的。”
• 视频生成就是新仿真，世界模型是硅谷押注的下一范式。” 不远的将来，传统的物理模拟的仿真会慢慢被生成式模型的仿真取代”——500个家庭场景以前要手建，现在只要500个prompt。判据是可交互：Genie（音）可以驾驶一只龙，左转右转看到完全不同的世界，才更像世界模型，静态视频还不是。他自己曾误判视频生成2030年才可用，“我肯定是低估了视频生成的发展速度”。
• 机器人大模型至今绝大多数仍是多模态大模型的微调，“So far, not yet"是独立学科——这结构性利好有基座的大公司。 没人从头pretrain机器人大模型（要几万卡、几个月，且没那么多数据）；他认为Gemini的vision encoder见过很多互联网数据，“visual generalization come for free”。张小珺推测：强调机器人大脑独立性的，可能恰是没有基座模型的创业公司。
• 中国硬件"雨后春笋”，但数据飞轮转不起来。 对"国内公司有硬件、更像特斯拉路线"的说法，他一句话拆掉：“本质的区别是特斯拉的车是有用的，所以它有数据飞轮；现在的机器人硬件还没达到有用的bar。“文化差异在耐心：硅谷愿意为信仰烧十年，国内"采十几个小时数据看结果再投——你只有几百小时数据，其实你都无法验证scaling law”。
• 人才战争已经重定价：硅谷也996，Meta一亿美金package搅动全行业。 他一周工作70-80小时，回国对比后"发觉好像国内不一定比我卷”；留人不一定靠钱，最优质人才更在意变革时能否坐在driver seat——“一个有使命感的人不会容忍I’m on a wrong ship”。节目中提出的两个押注是：只押一种形态押人形，只押一种架构押端到端；同时反复泼冷水：demo是十遍里最好的一次，“大家不要高估了现在机器人的能力，然后低估了机器人能够实现的时间”。

精读

1. 从图形学到机器人：“机器人就是在真实世界里做图形学”

• 谭杰的路径：上海交大毕业，本科后在上海做过一个类似酷家乐的图形学创业；Georgia Tech读图形学博士（导师Karen Liu，现在Stanford），在Pixar实习做physics based character animation；毕业后先去光场相机公司Lytro（“先拍照后对焦”），一年半后加入Google Brain，至今近十年。
• 转行的核心framing：“你可以认为机器人就是在真实世界里做图形学，或者图形学是在simulation里面做机器人。“佐证是Berkeley的Sergey Levine同样出身图形学，两人当年在SIGGRAPH做presentation"前脚后脚”，后来不约而同转了robotics。
• 当时的机会窗口：robotics还是rule based的MPC时代，“以前你做robotics，你肯定要一个PhD，否则那个数学都搞不明白”；而simulation里机器人已经能翻跟斗、跑步，DARPA挑战赛的真实机器人还在摔跤——“如果能把simulation的东西放到真实世界里面，机器人会有非常非常长足的进步。”

2. 论文开创第一个范式转移

• 2015年他带着"用图形学变革robotics"的口号找教职，拿到Cornell等面试，但学界满是怀疑，“我并没有拿到我想要的教职，于是我就去硅谷工作了”。
• 第一篇Google论文《Sim-to-Real: Learning Agile Locomotion for Quadruped Robots》把深度强化学习用于四足步态，方法借的是AlphaGo时代的PPO而非大语言模型。“我开始那篇论文其实开创了整个强化学习和Sim to Real在机器人上的应用。”
• 证据链摆在眼前：十年前最好的是波士顿动力（MPC做到极致，“整个学术界都不知道他们怎么做的”）；五年后宇树能打拳、跳舞、上墙翻跟斗，“其实就是因为大家采用了同样一个技术叫强化学习，然后Sim to Real”。他的十年总结：第一个paradigm shift是强化学习，第二个是大语言模型。

3. 大语言模型是大脑，强化学习是小脑

• LLM之前机器人没有common sense：“你说帮我做杯咖啡，它完全不知道什么意思”，一切靠编程。LLM带来两件事：自然语言接口——“任何人都可以指挥机器人做事儿了”；以及常识分解——问Gemini做咖啡的步骤它能列出详细plan，“如果每个步骤都足够简单，它就能一步一步把它做完”。
• 分工的比喻贯穿全集：大脑是推理、做计划（大语言模型），小脑是执行——走路、平衡、manipulation，“这个是强化学习非常擅长的一部分，大脑小脑都需要有”。他对"具身智能之智"的定义也是双份的：大脑要有解决问题的规划能力，小脑要dexterous。

4. 具身智能是独立学科吗？“So far, not yet”

• 张小珺带来云栖大会的观点：具身基座模型是独立方向，不是大语言模型的延伸。谭杰不绕弯子：近几年机器人智能的发展"主要还是依赖于多模态的大模型”，缺的只是robot action输出——做法就是拿多模态模型当基底、加机器人动作数据做fine-tuning，“至今为止，它其实并没有一个什么质的改变”。
• 他留了口子：未来碰到数据format、world model等瓶颈时"可能它会变成一个更加独立的学科"，但现在绝大多数做VLA的、做机器人大模型的，仍是在已有大模型上微调。

5. 现状与时间表：单任务能行、泛化差得远，GPT-3时刻还差两三年

• 泛化短板的量化：窄域demo（比如折衣服）可以做得非常好；但通用模型做简单pick and place"也许成功率有百分之九十几"，拉拉链这类精细操作"成功率可能就是百分之三四十"，而"百分之三四十的成功率在现实生活中是不可用的"。结论：“虽然我们的进展非常快，但是gap也非常的大。”
• 对标GPT标尺：“可能还需要两三年的时间达到GPT-3、GPT-4的水平，使得你真正觉得哇，这东西还是真的会有用的”，之后"还需要额外的五到十年时间使得它真正落地"。
• 落地为什么慢有个通用公式：想法到论文6个月到1年；论文到敢做live demo一两年（“写论文的时候你有很多很多的assumption”）；demo到落地五到十年——自动驾驶从DARPA开二十几公里到Waymo/Tesla成为产品，“当中的确隔了十年，这并不是一个非常夸张的事情”。

6. 为什么押通用而不是一个领域一个领域做

• 张小珺的pushback很锋利：自动驾驶动作输出如此有限都花了十年，机器人为什么不像自动驾驶一样一个领域一个领域做好？谭杰承认"这里面很多争论是比较philosophical的，两条途径都有可能，并没有对错"。
• 但他给了一个更社会学的答案：“可能会有一个大佬，他可能是Elon Musk，可能是Steve Jobs……当一个大佬发话以后，就会有很多follower，就会很多钱进来、很多talent进来”，通用人形这条路就被做成了正解。
• 再加上LLM先例压阵：以前英译中一个model、VQA一个model，“当你真正有一个generalist model的时候，specialist model就是完全不能与其竞争”。

7. 过去一年半为什么突然加速：技术、钱、996

• 三个变量：一是VLM本身的进化，thinking model用inference time的token budget换答案准确率，“使得robot can think as well”；二是重视程度——“CEO们都重视了，那么分配的资源也好、算力也好就会增长”。
• 三是竞争强度：“以前大家觉得996是中国传统，现在硅谷也是996……没有人想输在这场competition里面。如果你世界第二，你团队里最优秀的人就会觉得我要去那个世界第一的团队。“时间点在ChatGPT发布后一年半到两年，大家意识到这东西可以用在机器人上，“然后大家就开始非常卷”。

8. 数据是最明显的瓶颈：金字塔怎么搭

• 语言模型的数据是"free"的，机器人活在unstructured environment里，“需要极大量的非常diverse的数据，但这个数据又是现在不存在的”。数据少到什么程度？“现在的数据量完全没有办法saturate model的能力，所以你还没有发现第二个瓶颈是什么。”
• 他认可的数据金字塔：底层互联网数据量大质糙；往上是egocentric video（戴个眼镜就能采，YouTube上很多，但人和robot形态差异大，“大家还不知道怎么用它”）；再上是simulation数据（有sim to real gap）；塔尖是遥操采的robot specific数据。预训练阶段只需学"对物理的理解”，靠量取胜；塔尖要的是本体和任务的高质量精细数据，量可以小——“整个这个金字塔都非常的重要。”

9. Gemini Robotics 1.5突破一：机器人边想边做

• thinking trace成为VLA的输出：以前的VLA输入图像和语言、直接输出马达角度；现在做"衣服按颜色分类"这种multi-step task，模型先输出文本——“这个是红色的，所以要扔到红色那一堆里面”——再输出action，再想下一步。“上一代的模型是没有办法想这么细致的东西的。”
• 第二重价值是透明度：“机器人可以向人表达我下一步想干什么、为什么我想这么干”，安全性和人机交互都受益，“使得人可能会更安心一些”。至于文本与动作模态来回切换会不会混乱——“我们其实没有发现有这个问题”，起始符终止符分得清。

10. 0.5秒 vs 20秒：快慢双模型是算力受限下的过渡态

• 机器人的thinking budget和LLM完全是两个世界：“大语言模型可以想二十秒再给你答案，只要答案是对的大家都很高兴。但如果机器人每一步都要想二十秒，你就崩溃了——它可能每一步想的只有零点五秒。”
• 于是拆成ER（embodied reasoning，慢思考）加VLA（快执行）：打包行李这种要额外获取信息的任务，ER可以查Google search、翻calendar、看weather report，想二十秒come up with a plan再交给VLA执行。这也是论文标题"把AI agents带入物理世界"的本意——agent的关键feature是use tools，demo里机器人做垃圾分拣会先查Google Map确认自己在San Francisco，再按当地法规决定怎么分。
• 但他明确说双模型是过渡：“语言并不是一个high bandwidth的交流方式，它会丢掉很多信息……如果有一个unified的model，那可能是最佳的。“卡点是要做reasoning的模型必须非常大，而"现在的算力是不足以支持"每秒5-10次决策的大模型。自动驾驶的端到端不可类比——它的planning靠地图等传统方法在模型体外，所以模型不用很大。

11. Overthink的坑与reward function的死结

• 加thinking最容易出错的是过拟合：thinking标注太单一，“做一些没见过的任务的时候，它的thinking会非常奇怪，然后它会做完全不make sense的事情”。
• 对"具身智能缺乏可验证反馈信号"的流行说法，他只认一半：imitation learning有label不缺信号；缺的是强化学习——“我要把这份菜放到冰箱里面，这个怎么用数学来表达成功与否？“成千上万个manipulation任务每个都要写reward function，“我觉得这是一个几乎不可能的事情”。这正是RL解决了走路（“向前走了、没有摔跤”，reward好写）却没解决操作的原因。Motion Transfer主要靠imitation learning，绕开了这个死结。

12. 突破二：Motion Transfer——跨本体的一次"质变”

• 背景先泼冷水：跨本体"大家说了很多年"但一直oversell——Google自己的RTX混了二十几个学校的数据，“说有benefit，但其实那个东西很难量化”；Physical Intelligence说五个本体混训更general，“这个也很难量化”。
• 这次的证据是硬的：Aloha是桌面双臂机器人，训练数据全在平面上，让它从书橱上层拿书，“它会做的事情就是还是在桌面上磨磨蹭蹭摸一些东西”；把在垂直workbench采数据的一个工业级双臂机器人数据混入、用Motion Transfer训练后，“Aloha突然间也能做那样的事情”。他的类比：“假设你学会了开车，我从来没有学过开车这个任务，但我也学会了开车。““这从根本上解决了数据量不够的问题。”
• 边界要说清：不是给个新机器人零训练就能用——“它的泛化性是任务层面的泛化性，并不是机器人本体上的泛化性”，只在有训练数据的本体间迁移任务。三个本体：Aloha、一个工业级双臂机器人、一个名称听不清的人形机器人。方法怎么做的？“It’s a secret sauce”——被追问两次，“真的很难评论”。

13. 迁移的上限：embodiment gap和你自己有多少数据

• 第一个变量是构型差距：单臂夹爪迁到双臂人形"肯定是一个非常非常难的问题”——注意这次三个本体全是双臂；夹爪到五指灵巧手也比夹爪到夹爪难。“如果embodiment gap非常大，这种跨构型的迁移就会比较难。”
• 第二个变量是目标本体的自有数据量：数据已经很多的机器人，其他本体带来的正向delta"会非常小”；但人形这种采数困难的本体，从Aloha的海量数据迁移"就会非常有效”。

14. 数据路线图：遥操终局的可能性"非常低”

• 下一步的重心他毫不含糊：“数据数据数据。“方向是用越来越少的遥操、越来越多可快速获得的数据——simulation、YouTube上的human video、甚至视频生成模型生成的数据，“如果我们能在这方面有些突破，解决机器人问题指日可待”。现状坦白：目前主要用真实数据，“成本非常的高”。
• 对王鹤算的那笔账（一台人形至少10万制造成本、一万台10亿、两班倒遥操每人月薪小几万、每月维护一万台的成本数亿到十亿）：“虽然我没有仔细算具体数字对不对，但这肯定不是很scalable的方式。我会非常诧异，如果终局大家是通过完全遥操的数据解决机器人的，这个可能性是非常低的。”
• 真实vs仿真的关键澄清值得记住：“泛化性是数据的coverage导致的，并不是因为它是真实数据还是虚拟数据。如果你从来没有采集过厨房烧饭的数据，你的模型就很难会烧饭。”

15. 没人从头pretrain机器人大模型——云栖分歧的一个可能根源

• 范式差异：LLM界研究预训练配比、后训练、RL怎么用；机器人界"很少很少有公司真正从头开始去pretrain一个机器人的大模型”——预训练"可能需要好多万卡或者好几个月的时间”，而且根本没有那么多机器人数据，所以大家都在预训练好的大模型上微调。
• 张小珺推测：“强调机器人基座独立性的人可能来自创业公司，所以他自己没有基座大语言模型，而你们在Gemini之上，感受是不一样的。“谭杰认为这"非常可能”，并给出实证：他认为Gemini的vision encoder见过很多互联网数据，学校里的人还在苦攻光照、布景变化的visual generalization，“我们就发觉这个visual generalization come for free，不需要做任何的研究，它就已经特别好”。

16. 视频生成就是新仿真：一次被打脸的2030预测

• 仿真的定义在漂移：以前指Bullet、MuJoCo、Isaac Gym解物理方程；现在"很多人认为仿真其实就是生成一段视频，如果这个视频看上去物理是正确的”。他的判断相当激进：“不远的将来，传统的物理模拟的仿真会慢慢的被生成式模型的仿真给取代。“现在处于"刚开始”。
• 经济账并不简单：生成视频算力更贵，但解决了场景构建——传统仿真要500个家庭场景得designer一个个手建，“但我要五百个家庭场景的视频，你只要五百个不同的prompt”。
• 自我纠错的故事原汁保留：几年前《流浪地球》导演来硅谷问，等流浪地球三上映时导演这个工种还存不存在。他安慰对方"不急，那个还要好久”——当时觉得要2030年才有可用的视频生成，“我肯定是低估了视频生成的发展速度的”。顺带评级：Sora到Sora 2"肯定是质的飞跃”，但Sora 2对比一个可能是Veo 3的模型"没有太本质或者让我觉得特别惊艳的地方”。

17. 世界模型的判据：“你可以驾驶着一只龙”

• 定义一句话：“给上前一帧，给上机器人的动作，你可以预测下一帧。“绝大多数视频生成模型做不到按动作改变下一帧，“所以现在我还不会称之它为世界模型，但是从现有的视频生成模型到世界模型就不是很遥远”。
• 具体对照：一个可能叫Veo的系统是视频生成模型，一个可能叫Genie的系统更像世界模型——“你可以驾驶着一只龙，你可以说我要左转右转，你会看到完全不同的世界。“谁做得最好？他没有明确给出第一名，只说Sora和OpenAI做得不错，还有很多小公司在做。所有视频生成模型的进展"都会让机器人领域感到非常兴奋，因为这就是一个新的仿真或者新的world model”。

18. 用算力换精度：仿真派vs真实派是信仰问题

• 仿真不够真实怎么补？不断变化仿真参数、生成极大量数据，“从平均的意义上，它可能也足够cover这个真实世界的物理了……用算力来换精度”。当前瓶颈：幻觉加非物理现象——大家爱用体操视频测模型，翻滚过程中"不知道有多少腿会被生产出来”。
• 为什么云栖大会现场一些团队反而不信仿真？他的解释很诚实：真实数据见效快、加数据马上看到提升，但"最终的数据不可能无穷无尽，它肯定有个玻璃天花板”；仿真数据需要一段基础研究，初期"很多东西可能都在noise的范畴之内”，可一旦research突破"它就没有那个玻璃天花板。所以这是一个信仰问题，绝大多数research都是信仰问题"。
• 他的站队：“我信仰的是scalable data的那一派”——仿真、人带camera自己采（不是遥操）、视频生成模型生成的数据，“这些东西都是可以用算力来给你无穷无尽的数据的”。附带一个行业痛点：数据质量没有标准定义，data foundry的数据效果不好时"我们肯定说是data没采好，他们肯定说你们的model没train好，这里有一个扯皮的过程"。

19. 架构之争：他认为端到端可能胜出

• 回应王星星"大家对数据讨论太多、忽略架构创新"：架构创新重要——Motion Transfer本身"有很多程度是架构和算法的创新"——“但是巧妇难为无米之炊”，数据的量和coverage不够，泛化能力肯定不行。
• 分层vs端到端，他用亲身经历作答：早年PPO效率低，他选了捷径——底层传统控制、上面用RL调参数，“效果也不错，立竿见影”，但"整个历史的轨迹并没有朝着我想象的这个方向走"，后来主流变成了完全端到端的state in action out。教训：“也许你直接投入最终你相信的那个端到端的unified大模型，最后那个可能会胜出。“现在团队"基本上都是端到端的”，双模型只是短期的proof of concept。
• VLA是终极架构吗？“VLA是现在效果最好的模型”，但语言描述复杂行为有信息损失——“我在转笔的时候，你要用语言来表达我下一步应该干什么，那是很困难的”。所以硅谷流行说下一个范式是world model：VLA可能演化成V-L-V——vision和language进去，生成下一帧，再基于它出action——与VLA共存而非替换。对"VLA+RL是傻瓜架构"的说法：“不傻瓜，这个做出来可厉害了”——VLA显得套路化，只是因为action表达等探索在过去一年慢慢converge了。

20. 触觉的三段心路：被打脸，再反转

• 第一段：直觉相信触觉重要——“你每天都有皮肤感受着触摸到的世界。“第二段：Stanford的Aloha论文让人纯靠视觉遥操"从皮包里面拿出一个信用卡，一个非常薄的东西”，“狠狠的打了我的脸”，于是他hold了一个belief：视觉可以做95%的事情，剩下5%才需要触觉。
• 第三段反转：最近遥操五指灵巧手用剪刀——手指套进环里，没有触觉反馈，“我不知道什么时候开什么时候关”，剪刀根本控制不住。结论带着方法论：“当你觉得触觉不重要的时候，可能是当时的发展阶段还没有到”——夹爪时代视觉解决95%成立（他认为现在还在夹爪时代），灵巧手时代触觉必不可少，加模态是必然。
• 对马斯克"Optimus看YouTube学任务、纯视觉就够"的拆解：前半句完全同意——“希望有一天我们的机器人可以坐在电视机前看看Netflix、看看YouTube就学会了各种技能”；后半句不同意——“通过视觉学习东西和通过视觉解决问题是两个不同的问题”，自动驾驶可以纯视觉，manipulation要跟世界反复互动，不行。

21. 只能押一个的话：形态押人形，架构押端到端

• 硬件没收敛、未来硬件可能不适配今天的大脑怎么办？“这就说明cross embodiment非常重要。“个人判断：人形"不会成为唯一的形态，但它一定是个主流的形态。如果你只能bet on一种embodiment，我还是会bet on人形”。
• 但他强调这取决于你坐哪把椅子：“这完全取决于你是在一个大公司做事情，还是在做一个startup。“他的目标是"solve AGI in the physical world”，聚焦终局形态，“所有其他的东西可能都是distraction”；创业公司背着资本的盈利期待，只能短期落地、把数据飞轮转起来。
• Waymo vs Tesla的类比：Waymo一切决策为L4服务，特斯拉从L2、L2.5卖车攒飞轮，“这两条路没有对和错”。但他给Waymo记了一功：“它真的把驾驶员从车里面拿走。我自己也是特斯拉用户，FSD非常厉害，但这个和你有勇气把驾驶员拿走，是一个零到一的突破。”

22. 换战场：当高中生都能用PPO，就该去做基座模型了

• 离开locomotion的理由是个通用规律：“当一个技术越来越容易用的时候，那个技术很快就会普及。“MPC时代要个PhD才解得动方程；强化学习普及后"很多高中生都可以网上down一个PPO的包，从NVIDIA拿一个Isaac Gym，train一下deploy一下”——领域马上就卷了。他顺手推了一步：prompt engineering人人会用，“大语言模型的出现可能很快会解决很多很多、不仅是robotics、是各个行业的问题”。
• 于是转向机器人基座模型。他口述为"二零一二年”，路径是一条线：SayCan用语言模型给机器人common sense、分解复杂任务；RT-1证明Transformer架构能吸收大量数据；RT-2在VLM上加action训练、借用互联网知识；再到Gemini Robotics。

23. Google Robotics十年：从10个人到160—180人作者名单

• 他九年前加入时团队约10人（“我好像是唯一的华人”），管理松散，“每个进来的researcher都独当一面，you can do whatever you like”——爽，但"你个人的impact是非常有限的，就像一个very well paid的PhD”。Google后来不想只养一个"academic lab but very costly”，从promotion、performance review、incentive各种structure上推动集团军作战。现在robotics团队150人。
• 规模的直接证据：Gemini Robotics一代（三月版本）author list约120人，1.5代160到180人——有人做data pipeline、有人做research、有人做evaluation和data collection，“你真的需要一个非常大的团队、非常强的算力才能把这样一件事情做好”。
• 组织方法论一句话：“what是自上而下的，但how其实经常是自下而上的。“Motion Transfer正是例证：三四个小团队各有想法，而且互相compatible，“像搭积木一样搭在一起”。对大力出奇迹的精确表述：“大力是必要条件，如果你不scale up很难有奇迹发生；但光scale up、不够聪明、光堆算力堆data，我觉得是不够的。”

24. 大公司病与"这个时代等不起”

• 他的另一份职责叫research iteration speed，本质是对抗大公司病：researcher要用一份数据得过due diligence、legal compliance，“你可能需要几周的时间”；采购一台新机器人从表达意愿到发出purchase order"可能超过三十个business days”。他去跟legal、operation团队谈判：“这个时代真的是等不起——你等了三十天以后，那些非常有使命感的researcher都跑了。“好在DeepMind自上而下重视robotics，开了很多special case加速。
• 考核只认impact：论文数量质量citation是一个维度，成果集成进产品带来的价值收益是另一个。淘汰机制上Google比Meta"更耐心一点”——没有clear cut的比例线，表现不达标先进改进plan，“you will have a second chance to prove yourself”。

25. Meta一亿美金挖人：三种解释，留人靠driver seat

• Meta"把AI人才的价格炒高了，非常的高”。值不值一亿美金？他摆出三种说法而不下结论：供求——所有大公司AI first但最优质人才供给极少；算力杠杆——“算力是非常贵的，不如花钱招一些人好好利用这些算力，那个价值远大于这些人的cost”；以及"挖这些人比买类似的公司还是便宜的”。package"经常可能是四年的”，但那个case他真不知道。Meta的动机也直说：过去一两年"Meta的模型不在first tier了"，从头培养大模型团队非常困难，挖人最直截了当。
• 作为manager的留人经验：先看对方offer价格是否合理、会不会砸了团队公平；但真正的杠杆是使命——最优质的人才"真正care的不一定是钱"，而是变革发生时要在driver seat，“一个有使命感的人，他不会容忍说I’m on a wrong ship”。战绩：“我经常可以留住人，当然也有失败的，成功的多。”
• 华人叙事顺势展开：现在团队"百分之五六十是华人"——“AI有很多是数学，华人数学比较好，又talent又能吃苦。“他判断AI会改变华人难进硅谷管理层的旧格局（举了最近回字节的Google华人高管永辉为例）；也不讳言印度人的优势：表达能力强、更愿意speak up，“在美国的高层里面印度人的比例是更高的”。

26. “牛马"面试趣闻：白人PhD主动要求多招华人

• 招人时一个美国白人PhD候选人反过来对他说：“我真的希望你们team能多招点华人”——因为他合作过的做AI做机器人的华人"非常的努力，而且非常的productive”。
• 这位候选人还学会了一个词：“牛马。他说他特别喜欢自己做牛做马……他说他是不是对这个词有什么误解？“在他心目中这是刻苦努力的象征。录了没？“录了。“张小珺追问是不是见到你才这么说——“我看他以前的论文，他的确有很多华人的合作伙伴。”

27. 路线图与安全红线：能力超过安全理解就该停

• 未来两三年：会有一个GPT时刻，“人们会真实的意识到generalist robots are coming”，更多钱涌入。五年内：有泛化能力的机器人先落地偏传统领域——制造、物流、超市，“不再是以前一成不变的自动化动作”。十年：机器人开始广泛进入家庭。
• 安全的表态是categorical的，原话保留：“AI safety和机器人safety，它们不是儿戏。当AI能够自我迭代的时候，或者机器人能够自我迭代的时候，我觉得人类是面临生存问题的。“DeepMind有responsibility and safety council审查所有模型的社会影响；worst case下"如果机器人的能力超越了我们对AI安全的理解，你应该停下机器人能力的发展，让safety catch up，再齐头并进”。

28. 中美：硬件在中国，耐心在硅谷，但中国机器人的数据飞轮还转不起来

• 回国观察：中国硬件公司"像雨后春笋般为全世界提供着便宜又优质的机器人硬件”——宇树、智源、星海图。但文化差异在资本的耐心：硅谷"哪怕你并没有做出什么初期的结果，只要大家相信一个东西，大家还是愿意花时间、花精力、花钱上去做”，可以信十年；国内追求短期落地盈利，“你采十几个小时数据，给我看结果不错，再继续投——但初期的这些钱是远远不够的。在robotics上你需要几万小时的数据，如果你只有几百小时，其实你都无法验证scaling law”。马斯克的意义正在于此：他做成了很多事，让硅谷"愿意相信一个看上去非常不着边际的信仰”。
• 张小珺提出"国内公司有硬件可以先采数据，更像特斯拉路线”，他一句话拆掉：“本质的区别是特斯拉的车是有用的，所以它是有数据飞轮的。现在中国企业的硬件还没有达到一个bar使得它是有用的，所以数据飞轮转不起来，你其实很难跟特斯拉类比。“不考虑地缘政治，“智能在美国发展更快，供应链、硬件制造、本体甚至一些控制国内做得相当好了——如果中美能够有更好的合作，对全人类尤其机器人领域是非常重要的里程碑”。

29. 垂直场景能赚钱，但generalist成型后"specialist很难生存”

• 他认可的垂直样本：网上一个可能叫Dyna的折衣demo令人惊艳——柔性布料manipulation传统controller和规划算法写不出来，“的确是需要AI的价值的”，且美国人力成本高、需求真实，“找到了AI能够增加value、取代传统算法，同时vertical的确有量和需求，那个交集上的一个点。总体来说要找到那个交集还是挺难的”。
• 但这不是他的事业：“Solve AGI in the physical world.“通用大脑实现后会覆盖垂类：“当一个generalist真正成型的话，specialist其实很难生存的——我可以做你的事情，但我还可以做一百个其他不同的事情。“推到极端连自动驾驶都能被吃掉：家里的人形机器人可以帮你开车，“也许你就不需要再去买那个有自动驾驶功能的车了”——他自己也承认这个场景非常极端，“从效用上不一定需要，但是这是可以取代的”。
• 他的机器人五阶段论：automation（车厂编程机器人，已实现）→ teleoperated robot（硬件完善但没大脑——“特斯拉在很多场景里是遥操的，你有时候分不出来它是遥操的还是自主的”）→ narrow domain的generalist（自动驾驶）→ 真正的generalist（人形进家庭，跟人一样capable）→ superhuman（“因为强化学习，因为机器人有碳基生物所没有的存储、power density，它可能在很多领域会超越人类的智能和体能”）。

30. 惊喜与冷水：从抓不起圣诞袜，到25个陌生任务完成10个

• 一年前的真实水平：团队想做一个Christmas demo，往圣诞袜里塞礼物，“那时候我觉得机器人连袜子都抓不起来”。今年CoRL：一位好像是MSR的researcher自带一个布满按钮、滑块、旋钮、耳机线插口的box，现场出25个训练数据里绝无的task，机器人完成了10个——“这个在六个月前是不可想象的”。对王星星"能干活的机器人现在是一片荒漠”：“我基本上同意吧，能干活的humanoid机器人现在是一片荒漠。”
• 但整场访谈他反复泼同一盆冷水：行业外的人对机器人发展是overestimate的——“大家习惯于把最好的结果拿出来拍一个video，它可能只是代表了我拍了十遍里面最好的那个结果……投资人会稍微清醒一点，但投资人也是经常overestimate整个行业的发展的。“泡沫？“可能会有巨大的泡沫”，取决于发展是否持续加速、落地场景是否真的找到——一年前他觉得短期不可能落地，“现在大家似乎找到了一些可能可以落地的方向”。
• 张小珺的观察他照单全收：AI有明确主线，机器人"这里一点那里一点，都还没有解决，都才刚开始”——“机器人是很多很多一系列问题叠加而成的综合性问题，不是说解决一个问题它就突然间能work。“如果只能挑一个：“如何能够获得高质量的数据，这是我们现在第一个亟待解决的问题。“收尾对仗：“大家不要高估了现在机器人的能力，然后低估了机器人能够实现的时间。”

31. 养娃与机器人：manipulation is way harder than locomotion

• 训机器人和带娃（大娃12岁、小娃5个月）“非常相似”：娃就两种学习方式——强化学习（不断探索、获得reward）和imitation（看爸妈和小伙伴做什么）。错位在于：“somehow对kids来说manipulation happens earlier，但是对机器人来说，manipulation is way harder than locomotion。”
• 当前画像发展极不均衡：locomotion已超越成人——“北京机器人运动会上，宇树的那个人形跑得比我快了”；夹爪manipulation"像两三岁的小孩，抓的不是很稳，但大概理解你要他干什么，尝试几次能做对”；灵巧手？“nothing works。”
• 机器有智力还算不算机器？“至少用现在的方法做人工智能做机器人，它可能还是更接近于机器”——现在的机器学习"只是从大数据里面找到一个统计规律”，和人的意识非常不一样。能接受孩子跟机器人谈恋爱吗？少见的诚实非答案：“这是一个我没有仔细思考过的问题……意识究竟是什么，我并没有更好的答案。”

32. 快问快答与最后的bet：必须相信synthetic data

• 生活侧写：玩赛车（“真实赛道太贵了，在家买了一个很好的模拟器”）、练钢琴、种花；推荐两本书：《Start with Why》（“彻底的改变了我的communication skill”）和《高效能人士的七个习惯》；心目中影响机器人进程的论文：他自己的Sim-to-Real四足论文、SayCan、RT-1、RT-2、RTX、Gemini Robotics。最喜欢的地点：上海；硅谷餐厅推荐：家边上的云南菜Pink’s Bistro。
• 基于当下认知最重要的一个bet，也是整集的落点：“你得相信synthetic data的价值。光靠real data是解决不了机器人的。”

Verification Notes

• 原始字幕将转向机器人大模型的年份说成“二零一二年”，与访谈中其他时间线存在矛盾，无法仅凭原始字幕确定。