165: GEAR 高深远：世界模型、自进化循环、DreamDojo
摘要
高深远的核心判断是，机器人自进化不必等到“完美世界模型”：policy、action-conditioned world model 与负责规划和打分的通用 agent，只要把级联误差压到可接受阈值，闭环就能从局部任务启动。 他在录制时判断，苗头“可能就发生在今年”，即 2026 年，但同时把 WAM 的成熟期估为 2—3 年、DreamDojo 式通用模拟器真正成为大爆点估为约 5 年；因此要区分“简单任务首次跑通”与“大规模真正有用”。“一旦连接起来，整个循环会变得越来越简单，越来越自动。”
在粒子、显式 3D、隐空间和纯视频四条世界模型路线中，高深远最看好 video-in/video-out，因为语言和视频是目前最具代表性的两个 data-rich 模态，最容易承接基座模型的泛化能力。 显式 3D 的坐标一致性强，却要经历重建、渲染和 3D 标注；JEPA 式隐空间更紧致高效，却暂时难与 GPT、Gemini、Sora 等生态直接连接。视频路线的关键资产不是单一算法，而是强视频基模、训练分布、算力 infra 与机器人 action 数据的组合。
DreamZero 与 DreamDojo不是互相替代的两种产品，而是闭环中的 policy 与 simulator：前者作为 WAM 输入任务文本、同时输出未来视频和机器人 action，后者接收真实 action 轨迹并预测未来世界状态。 DreamZero 功能上与 VLA 对等，但多了视频预测；DreamDojo则可在动作真正执行前比较后果。高层任务可以先在文本步骤上搜索，低层抓取角度、力度和速度再由 DreamDojo 优化，形成“想步骤—看未来—调动作”的两级推演。
世界模型近期最可兑现的价值，是把具身智能最昂贵、最不公平的物理环节转成可并行计算：部署前搜索、可复现评测、虚拟遥操采数、干预纠错和 reinforcement learning。 现实测试受人员、光照、摆位、校准和物品损耗制约，模拟环境则能精确重置；若速度和真实性继续提高，训练轮数取决于 GPU 数量而不再取决于“一天二十四个小时”。高深远将其概括为“拿算力换高效性和公平性”。
真正卡住闭环的不是生成画面够不够漂亮，而是物理理解与 action control 两种泛化能否同时可靠。 只有专家轨迹会让世界模型形成错误偏好：抓偏了也生成抓成功，便失去反馈区分度；它需要做到“你给它一个抖的，它就是得抖，你给它一个丝滑的，它就是得丝滑”。好消息是它不必覆盖整个动作空间，只需覆盖当前 policy 可能输出的分布，而 policy 越强，这个分布越窄。
DreamDojo 的实质性进展是以 Cosmos 为基座，再用约 4.4—4.5 万小时 egocentric 人类视频预训练、最后用机器人数据微调，并通过 Latent Action 把无动作标签的视频转为可控训练信号。 团队称其对机器人数据未见过的环境和物体有更好泛化；但测试物体至少在数据中出现过或有类似物体，数据分布也未精调，所谓 OOD 是相对机器人数据而非整个预训练语料。Latent Action 是否长期必要，高深远本人也“打上一个问号”。
这个市场暂时没有统一 benchmark，投资人很难从论文表格判断领先者：不同机器人的自由度、action space、相机位置乃至改装方式，都会让模型无法直接 zero-shot 比较。 当前团队往往要把别人的世界模型重新训练到自己的本体上，只能比较少数模型；最终可能靠一个跨本体世界模型，或行业收敛到少数标准机器人来解决。DreamDojo 因内部已有傅利叶 GR-1 数据而选择该本体，并非对其商业或技术优劣作出背书。
竞争胜负仍会高度依赖视频 foundation model，但不会简单等同于“谁的视频最多”：电影级生成所优化的分镜与分布未必服务机器人决策，面向 Physical AI 的预训练倾向更关键。 高深远最关注 Google DeepMind 的 Genie 3、SIMA、Veo 闭环，也认为 NVIDIA Cosmos 的开源路线可能给 startup 降低前置成本；他提到 OpenAI 将 Sora 团队重组到 robotics，认为这可能意味着其重新认真推进相关工作。创业公司仍可从 reward agent、垂直 policy、世界模型或特定 domain 切入，但不能掌握基模会带来训练分布、基础设施支持与版本时滞上的劣势。
精读
1. 决策意义上的世界模型必须由 action 控制未来
高深远先把 buzzword 拆开：拥有大量 world knowledge 的多模态基模可以自称世界模型，但决策领域更严格的定义，是根据历史状态预测未来，并让预测结果受某个 action 条件控制。
Sora 所说的“video generation as world simulator”在这个宽定义下成立：文本能够编辑天空、人物或环境，因而也是“对世界的一个干预”。但文本控制画面，不等于能接收机器人关节轨迹、汽车路径或游戏角色动作。
对 decision 真正有用的模型，必须回答的不是“用户想看什么”，而是主体执行某个具体动作后，世界会变成什么样。“action 就是对世界的一个干预。”
2. 通用智能体首先只能假设自己可控
程曼祺追问文本编辑与机器人动作的主体差异：视频用户像“上帝”一样改变环境，机器人则身处世界内部。高深远承认这是关键区分，通用具身 policy 通常只应控制自己的 action。
能编辑其他 agent 或环境仍有价值，例如为自动驾驶、游戏构造罕见 case；但机器人部署到任意环境时，不能预设自己能直接和其他 agent 通信，因此“从通用性的角度来说，一个自身的世界模型还是最通用的”。
multi-agent 长期仍可能超过人类：车辆与机器人能够直接联网，V2X 也能提升安全和决策质量。两人的共识是先做好单体自主，再考虑车联网或百亿机器人之间的通信式世界模型。
3. 粒子与显式 3D 用结构换来了效率和一致性
最抽象的路线以粒子、点、图或几何矩阵表示物体状态，模拟成本低、所需数据少；代价是柔性物体等不同对象往往需要专门定义，跨对象泛化较弱。
World Labs 的 Marble 代表显式 3D 路线：用点云、Gaussian Splatting 或 occupancy 等方式重建世界，物体坐标明确，移动、编辑和空间上的漫游都容易，长期一致性也天然更好。
这条路线的成本在于“观测—重建—渲染”的多阶段链条：通常需要 3D 标注，且不是完全 end-to-end。最终 policy 仍消费图像或视频，多一次表示转换就多一层数据和优化瓶颈。
4. JEPA 压缩决策信息，视频路线则保留现有基模生态
Yann LeCun/AMI 推动的 JEPA 式路线在 latent space 预测未来，只保留与决策更直接相关的高层语义。经典例子是人在街上无需预测每张脸，只要知道前方“大概有一个人”就足以避让。
高深远认可隐空间更紧致、推理更省算力，尤其适合真机部署；但首先要学出正确空间，还要设计评测，并与 policy、语言模型和视频模型重新对齐。
程曼祺把局限概括为难以直接受益于行业进展：新 latent space 既不能天然被 GPT、Gemini 读取，也不能直接接上 Sora 类模型。高深远的回应是，这条路线“有希望”，但语言和视频目前可能已足够通往 AGI。
他自己的下注是 video-in/video-out：像素预测只是监督目标，不要求决策时执着于唯一细节；生成结果本来就是采样，现代模型也可能比人更有能力补齐画面，因此重建目标与决策有用性并不天然冲突。
5. 视频路线的核心优势是从富数据模态向稀缺 action 对齐
高深远认为，通往 AGI 的可扩展路径应从语言、视频两个 data-rich domain 出发，再向机器人 action 这种稀缺模态对齐；另造一套表示会损失现成基模的泛化能力和工程积累。
GEAR Lab 并非只押视频，也会按研究兴趣尝试各种有希望的路线。只是无论最后在哪个空间预测，隐空间本身通常仍从视频学习，而视觉推理速度也会随芯片和生成模型优化持续改善。
6. 世界模型变热，是生成质量、数据和 policy 同时跨过了起跑线
第一推动力是 Sora 一类生成模型：行业从“什么都模拟不了”走到能够生成逼真画面和部分物理规律，世界模拟器才从概念变成可实验对象。
第二是数据供给。policy 主要需要专家轨迹，世界模型却要公平模拟成功、失败和随意动作；随着具身数据供应商、开源数据集及不同分布的 action data 增长，训练模拟器才开始可行。
第三是 policy 本身已有一定水平：早期策略只会实验室里的简单任务，既不需要泛化反馈，也会输出过于混乱的动作。如今 action 分布更可控，世界模型更容易模拟，policy 下一步的核心诉求也转向场景和任务泛化。
7. policy 与世界模型通过 action 和 state 逐时刻互相喂入
policy 可以是 VLA 等各种决策模型：它读取观测并输出 action；世界模型读取历史状态与该 action，预测下一时刻观测，再把结果交回 policy，形成多轮交互。
两者既能上机器人端侧，也能在网络条件允许时放到云端，因此模型大小并没有绝对的 policy/世界模型分界，关键是部署环境、延迟和带宽。
高深远强调，世界模型无需公平模拟理论上的全部动作，只要覆盖 policy 可能输出的分布。policy 越成熟，动作越接近“拿杯子就是拿杯子”，模拟器面对的空间反而越窄。
8. DreamZero 是带视频预测的 policy，DreamDojo 才是动作条件模拟器
DreamZero 被称为 World Action Model：输入当前任务的 text instruction，同时预测未来视频与机器人 action。功能定位上它仍是 policy，与 VLA 对等，平时也是按 policy 使用。
它又有世界模型的一面：若把文本规划视为 high-level action，DreamZero 正是在该文本条件下生成相应未来状态；相比 VLA，它多了视频预测，相比普通世界模型，它又直接输出低层 action。
DreamDojo 接收的则是真实机器人轨迹等 action，并生成相应未来视频，属于更严格的 action-conditioned world simulator。
因此 WAM 不是简单“取代世界模型”：DreamZero 的 action 可以继续送进 DreamDojo，由后者在执行前模拟后果，两者分别承担 proposal 与 verification。
9. 高层文本搜索和低层轨迹搜索可以形成两级推演
人做任务时通常先想“拿起、移动、放下”等步骤，而不是直接规划每个关节。DreamZero 可以对多个文本子任务生成未来状态，让人或 agent 先选择更可能完成目标的步骤。
选定子任务后，DreamZero 已给出机器人轨迹，但接近速度、抓取角度和力度仍可优化；这些低层候选 action 再交给 DreamDojo，比较各自未来后果。
高深远用人的想象解释价值：“没有世界模型的话，所有的决策都是先不管后果，反正我做了就做了。”世界模型把现实中的试错搬到动作执行之前。
10. 世界模型首先提高安全性，也把具身评测变成可复现实验
想象式搜索允许机器人先看到潜在动作后果，再选择动作，因此最直接的价值是更安全、更泛化，而不只是生成更逼真的视频。
现实评测既低效又不公平：需要真机和人员值守，失败会损耗物品；上午与下午的光照、摆位、传感器校准也不可能完全相同，不同实验室更无法复制同一个房间。
世界模型可以把任一初始状态保存并精确重置，让同一批 policy 在一致条件下反复交互。高深远称其本质是“拿算力去换这些高效性和公平性”。
11. 实时模拟器能把遥操、纠错和数据采集搬进虚拟世界
DreamDojo 做到实时后，操作者可用原有遥操设备控制世界模型里的假机器人，记录相应 action，而不必拥有真实机器人。
当 policy 已能基本工作，操作者还可在模拟运行中介入，把错误动作纠正回来；这些 intervention 轨迹可以继续训练 policy，形成比从头示范更有针对性的数据。
遥操硬件仍然需要，但可随可穿戴设备简化。节省的主要是机器人本体、场地、重置和损耗成本，而不是完全取消人的操作。
12. 虚拟强化学习的最大杠杆是突破物理时间
现实机器人一天只有二十四小时，还受人员上下班和设备数量限制；世界模型中的环境则可以随 GPU 速度加快、随卡数横向复制，让 policy 在虚拟环境中反复试错而不造成真实损坏。
高深远用 QQ 农场类比：人在睡觉，虚拟世界仍能推进。如果现实 gap 足够小，在集群里跑一个月“可能会涌现一些东西出来”，但他明确说现在“还远远没有到那个阶段”。
程曼祺提到 Demis Hassabis 设想用 Genie、SIMA 式系统加速科学实验乃至可控核聚变研究，随即提出鸡生蛋问题：若模拟世界已足够真实，AGI 或具身智能是否早已实现？
高深远的回答是闭环不必等待完美模拟器；局部可靠的反馈已能改善 policy，改善后的 policy 又会生成更好的训练分布，因此世界模型和智能体可以循环上升，而非先后完成。
13. 自进化闭环由规划评判 agent、policy 和世界模型组成
通用 agent 负责定义任务、把文本规划交给 policy，并判断世界模型生成的未来状态是否好；这个判断可以是 reward 分数，也可以是文本反馈。
policy 输出 action，世界模型据此生成未来视频，再由 agent 评估并更新 policy。三个接口分别是 text、action、video，恰好连接当前较成熟或数据较丰富的模态。
目前闭环只能在简单任务上运行，因为 agent 的 reward 泛化、policy 的 action proposal 泛化和世界模型的未来预测泛化都会出错，三者叠加形成级联误差。
14. 一旦越过误差阈值，闭环会因 action 分布收窄而加速
policy 达到基本安全水平后，可以进入新房间自行采集数据，不再一部署就乱动、打坏物体甚至损坏机械臂；数据即使不优秀，也已落在可接受动作范围内。
这些自动产生的数据帮助世界模型学习两件最关键的事：“对物理的模拟”和“action 控制能力”。预测越真实、与输入动作对应越准确，给 policy 的反馈就越可靠。
更强的 policy 又会输出更窄、更合理的 action distribution，世界模型不再需要处理大量抖动和荒谬动作；模拟压力下降后，反馈继续变准，形成正向飞轮。
高深远认为简单任务的临界点“可能就发生在今年”，即 2026 年；但他另估 WAM 架构和训练方式成熟约需 2—3 年，DreamDojo 式 action-conditioned world model 成为大爆点可能要约 5 年。这些是不同层级的判断，而非同一发布日期。
15. 泛化上限由新物理和新 action 两类能力共同决定
高深远把当前研究优先级排为泛化、长程稳定性、效率，其中泛化“决定这个世界模型能够应用的上限”，并进一步拆为物理理解与动作控制两部分。
物理泛化要求模型在机器人数据未覆盖的场景里，仍能理解水、纸、抹布等对象；若把柔软抹布生成得像刚体，画面再清晰也无法提供可信反馈。
DreamDojo 的主要目标正是把人类视频中的场景、物体交互和物理知识迁移给机器人。只有模拟器能覆盖新环境，policy 才能在这些环境里通过反馈获得提升。
16. 只有专家轨迹，会让世界模型错误地把失败生成成成功
Policy（包括 VLA）需要最优示范，因此既有机器人数据大多是“抓就抓成功”的专家轨迹；世界模型却应当无偏地模拟所有相关动作，不能对成功结果有偏好。
数据偏差会造成一种致命假反馈：输入抓偏的轨迹，模型仍生成抓住物体，因为它从未见过失败。“你给它一个抖的，它就是得抖，你给它一个丝滑的，它就是得丝滑。”
人类第一视角视频包含大量随意和非专家动作，能扩大 action distribution；当前 policy 也可以自动采集自己可能输出的动作。随着 policy 变强，世界模型最终只需覆盖越来越接近专家的窄空间。
17. 长程世界模型需要稳定生成，也需要记住不可见的物体
生成式世界模型多轮交互会累积误差，显式 3D 则因绝对坐标固定而更稳定；效率问题也仍存在，但高深远认为两者与电影级视频生成的产业需求同向，主流技术会共同推动解决。
当前大家关注的可能是约 1.5 秒的短程瞬时决策，家庭服务却是连续长任务。模型既要保持场景不漂移，也要在物体暂时不可见时保存状态。
典型灾难是把物品放进柜子、关门再打开：现有生成模型可能随机决定物品是否还在，policy 因而收到 random signal，而非可靠世界反馈。
至于“剪刀在哪个抽屉”这类跨天家庭记忆，高深远认为用文本或长 context 记录抽象位置更合理；具身研究当前更聚焦已知任务下，如何产生高成功率 action。
18. 世界模型没有统一 benchmark，是 action space 天生不统一
当前几乎每篇论文都自建 benchmark，只与少数模型比较。世界模型无法像 LLM 一样拿来即测，因为它的 action 输入绑定具体机器人自由度和动力学。
即使都用宇树等同一机器人，相机安装位置、是否拆掉机器人头部并在脖子上装相机，也会改变观测分布；action space 一样，并不意味着已有模型能够 zero-shot 工作。
公平 benchmark 可能以两种方式出现：一个世界模型掌握多种机器人 action space，或研究社区收敛到同一标准本体。高深远认为走到前一种状态时，世界模型本身已经相当强。
现阶段只能把别人的模型重新训练到自己的机器人上，成本远高于调用语言模型 API。中间指标可看画面真实性和 action following，最终仍要看它能否提高下游 policy 成功率。
19. DeepMind 与 NVIDIA 都在用富模态接口拼出闭环
高深远最愿意 follow 的是 Google DeepMind：Genie 3 提供可交互世界，SIMA 是 policy，Veo 提供视频 foundation model，Gemini 类 VLM 则可承担任务规划和状态评分。
DeepMind 先在游戏验证有现实优势：游戏数据的产生、并行和评测不受物理时间限制，人类制作游戏时又写入大量 3D 与决策知识，之后有机会迁移至机器人。
NVIDIA 的 Cosmos 更接近视频和视觉语言基模层，需经 post-training 接入 action；在具身环节，DreamDojo 对应模拟器，DreamZero、VLA 或其他 policy 对应 SIMA 的决策位置，通用 VLM 负责连接和评判。
20. 世界模型竞争正在显式 3D、latent、游戏和机器人之间分叉
高深远列出的主要路线包括：NVIDIA 的视频世界模型；Yann LeCun/AMI 的 latent representation；World Labs 以显式 3D 服务游戏等应用；Wayve 的 Gaia 系列聚焦自动驾驶。
他也关注 General Intuition 的游戏世界模型叙事：疫情期间积累的大量游戏行为数据可突破物理限制。GEAR 此前的 EgoScale 也显示，游戏里学到的决策知识能帮助现实 policy。
对 OpenAI，他观察到 Sora 团队重组进 robotics lab，因而判断公司可能想在世界模型上做出一些东西，并认为 2026 年竞争会很激烈；关于团队规模，他没有给出确定数字。
Anthropic 在该方向公开动作较少，但高深远不认为必然是 miss：统治虚拟 agent 已足够强，physical AGI 也可以先把多模态基模做强，再把机器人对齐留作最后一步。
21. Physical AGI 有“现在碰 robot data”和“最后再对齐”两条路
第一条路线现在就训练机器人 policy、世界模型和 action 数据，是 NVIDIA GEAR 及许多具身 startup 的选择；优势是直接解决动力学与真机问题。
第二条路线先打造极强的语言、视觉和虚拟 agent，使模型掌握通用表征与 world knowledge，再将视觉与 action 对齐。高深远认为字节、AMI，乃至未来可能投入的 Anthropic 都可能采用这种思路。
两条路线都 make sense。DreamZero 之所以受关注，正因为它初步显示视频模态与 action 有很强对齐能力，意味着强基模团队未来并非无法后发进入 robotics。
22. 高深远从 V2X 数据生成转向了单体自动驾驶世界模型
他约在 2023 年下半年开始研究世界模型，最初做 multi-agent 感知与 V2X；当时多数数据来自 single agent，于是借 Diffusion 图片生成补充稀缺的多车数据。
特斯拉发布世界模型后，他转向更通用的单 agent 路线。GenAD 尝试从 YouTube 收集自动驾驶视频，突破当时学界主要依赖约 5 小时、新加坡单城公开数据的限制。
随后的 VISTA 继续推进视频物理质量、action control 精度和控制模态。但他也看到学界劣势：车企已有高质量视频和轨迹标签，学界却要处理下载、清洗和补 action label；“整个学术界其实都走在特斯拉后面。”
23. 加入 GEAR 是研究口味匹配，也是从原创探索转向规模化验证
高深远 2024 年已与 GEAR 接触，但当时仍想在博士阶段多做一作；2025 年再次联系并加入实习，毕业后将正式进入 NVIDIA GEAR Lab。
契合点之一是 Latent Action：他此前已研究能否把 latent-action policy 与 latent-action world model 接起来，GEAR 团队也在探索相近方向。
GEAR 内部一条主线是 GR00T N1、N2 等 policy，另一条是从 DreamGen 延伸的世界模型工作。高深远选择 DreamDojo 式 action-conditioned simulator，是因为他更想知道世界模型最终“能够去 enable 什么东西”。
24. DreamDojo 用约 4.4—4.5 万小时人类视频换取机器人泛化
DreamDojo 想提供可复用的预训练权重：社区面对新机器人时，不必从零训练，只需把自身 action data 接入并微调，就能得到相应世界模型。
训练链条是 Cosmos 视频基模、人类 egocentric 视频预训练、机器人数据微调；人类阶段约 4.4—4.5 万小时。团队在机器人数据未覆盖的新场景和新物体上观察到更好的泛化。
这个规模并非理论最优点，而是最终版本训练时能使用的全部数据；高深远承认团队尚未充分调整数据分布，若进一步配比和筛选，迁移能力“可能会更好”。
另一个进展是实时性：此前模型往往在实时与泛化之间二选一，DreamDojo 试图同时满足两者，使用户能直接遥操体验，并在 policy 部署时快速搜索 action 后果。
25. Latent Action 释放无标签视频，但高深远不确信它是终局
Latent Action 能以统一方式为无标注视频抽取动作表示，不必知道具体本体和视角，因此“有多少 video，就能给多少 video 打上 action 标签”，不会破坏视频数据的 scalability。
DreamDojo 延续了他在 AdaWorld 中验证的思路；当时资源有限，他让一千多个游戏持续产生行为视频，再用 Latent Action 构造可控世界模型。
这种表示是有噪声的“中间站”，不能精确描述每种身体，却离不同 action space 都较近，适合跨本体迁移；像人失去双手后改用脚，仍需从共享意图适应新执行器。
但他主动保留不确定性：若未来人类和机器人数据都有高质量标签，且本体越来越接近人，绕经 Latent Action 可能反而多余。采集也正从专门摆台，转向工作中佩戴外设自动留下标签，合成数据同样自带标签。
26. DreamDojo 的证据、边界与下一步都指向闭环泛化
团队选择傅利叶 GR-1，主要因为已有内部数据、构建测试集方便，并非断言它优于其他本体；长期选型还要看故障率、易用性、采用量，以及与人类数据、灵巧手的接近程度。
六组 benchmark 围绕两条主轴：未来画面的真实性和物理合理性，以及不同 action 对生成结果的控制精度。团队先用内部 GR-1 数据验证，再借 EgoDex 等多物体数据确认迁移，最后扩大人类数据。
“分布外”严格指机器人训练数据未见，而非 Cosmos 和约 4.4—4.5 万小时人类视频全部未见。高深远甚至认为 scaling 最终会让“所有的问题都变成见过的问题”；DreamDojo-HV 数据集则预计在后续 research 完成后开放。
对“只做 policy 就够了”的反方观点，他的回应是世界模型确实更难，却不必先变得完美；局部 noisy 的反馈已经可能提升 policy。startup 也可从 reward agent、垂直 domain 或任一组件验证 scaling law，但自有视频基模在训练分布、infra 和迭代时滞上仍有优势。他进入工业界的最终目标，是继续推高各组件泛化上限，把“自我进化的循环”真正接起来。