Runway押注视频之外：世界模型、机器人与神经操作系统——Anastasis Germanidis

摘要

• Anastasis Germanidis认为，没有证据表明世界模型需要绕道采用JEPA式架构。 他对Yann LeCun“理解世界的运行规律，与生成可爱视频截然不同”的说法回应得很直接：“它们是同一件事。”他指出，在Physics IQ基准中，固体力学、流体动力学和光学得分会随着模型规模和算力扩大而“可预测地提升”，但也提醒，视频模型可能作弊，当前表现很容易被过度解读。
• Germanidis认为，实时生成不是可选项，而是必然趋势：“如果2年后我们还不是主要使用实时模型，我会非常惊讶。” Runway的characters模型是一个以24 FPS运行、经过步数蒸馏的自回归头像模型；在他看来，这是“实时视频模型最大规模的部署”。扩散模型提供两条蒸馏路径：缩小模型，或将推理步数从50步降到4步，让许多场景下的前沿模型也达到实时表现。更低的服务成本叠加更好的用户体验，使这条成本曲线值得关注。
• 本期最具扩张性的判断是：界面世界模型会把软件渲染为生成像素——“这里没有HTML、CSS、React……为什么要生成用于生成像素的代码？ 直接生成像素就好。” 终局是“完全神经化的操作系统”；同一类模型还可以充当合成数据生成器和计算机使用Agent的实时RL环境，让这项技术突破创意工具的边界。
• Runway“意外地仅靠扩大视频模型规模，就造出了机器人领域的SOTA模型”，而其数据论也颇具分量：第三人称视频的数量比第一人称数据多3个数量级。 基于Gen 4.5构建的GWM-1，仅使用数百小时机器人微调数据，而机器人预训练通常需要数十万至数百万小时。Runway称，在RoboArena上，真实世界与仿真结果的相关性非常好，这意味着策略评估可以在仿真中扩展，而不必依赖硬件。
• 2024年2月的Sora时刻让Runway在“Runway完了”的喧嚣中经历了“数小时的存在主义危机”。 随后公司用3个月把模型规模和训练算力扩大10倍，从零开始建立模型并行能力，并在当年夏天推出Gen-3。这段韧性故事，加上最初在Series B阶段决定建设1,000张A100集群的“略显不理性”押注，构成了同一套模式：在证据出现之前下注，然后快速适应。
• 谈到竞争格局，Germanidis承认西方在视频领域落后：“排行榜前10名、前20名里，大多数模型都是中国模型。” 他与NVIDIA共同发起Cosmos Coalition，希望通过开放权重、物理基准和基础设施，把世界模型研究带入开放生态。他质疑长期依赖中国模型蒸馏的策略，认为这可能锁定性能上限；Runway则认为，不靠蒸馏也能训练出强模型。
• 创意AI的采购标准已经从质量转向可控性（单次生成最多50个参考素材），如今又开始转向延迟。 企业采用非常活跃，Runway目前可能拥有公司历史上最多的开放岗位，尤其集中在机器人领域。近几个月艺术家态度也明显变化——戛纳导演和Ron Howard都公开表达了对AI的支持；随着工具越来越可控，AI更像“一把画笔”，而不是“一个能替你想好整部电影的魔法实体”。

精读

1. 创业论点：把生成模型交给艺术家，它们就会走出分布

• Germanidis在加入Runway前把艺术实践与机器学习工程结合起来：2015年做过一件画廊作品，为访客分配Mad Libs式身份（“你是建筑师，你30岁，你喜欢运动”），再通过模板和马尔可夫链模拟闲聊，时间上早于可用语言模型很多年。贯穿始终的问题是：“通过创造这些极其简单的互动模型，我们能对人类了解什么？”
• 他与联合创始人Chris基于NVIDIA的pix2pixHD打造Uncanny Road（2016–17年；这是最早一批1K分辨率图像生成模型之一，训练数据来自自动驾驶），由此得到关键验证：用户用一份“非常无聊的数据集”生成了“100多万名行人、100多万个交通标志”和“巨型人类”。他的总结是：“你可以拿同一批生成模型，从另一个方向看它们……把它们交给艺术家，他们会做出你意想不到的东西。”
• 2016–17年的原始推断是“问题不在于是否发生，而在于何时发生”：分辨率和质量会以可预测的方式提升，因此“总会有一个时点，大多数内容都会由模型生成”，创意工具也必须随之重构。

2. 7年压缩：从抠像工具到2022年的阶跃

• Runway的第1版只是把开源模型封装起来，服务于不会机器学习的艺术家；由于当时的模型“还没有好到可以产品化”，公司在第1年就成立了研究组织。多年间，旗舰产品一直是Green Screen，一款机器学习抠像工具——“没人喜欢手动做这个”——曾被用于《瞬息全宇宙》。
• 他对2018–2022年社群的怀旧颇有启发：那是一个规模很小的圈子，任何项目都可能走红。比如顾问Gene Kogan制作的片段，把纽约地铁重新风格化成梵高或另一位画家的风格——他认为，这种东西“对人们来说完全是一次启示……也许放在10年前就是如此”，足以说明行业发展有多快。
• 2022年的潜空间扩散和DALL-E 2构成了阶跃变化；swyx补充说，他之所以进入这个领域，是因为Stable Diffusion可以“在消费级硬件上运行”。

3. 不理性的A100押注——以及Gen-2的周末黑客项目

• 2022年年中，Runway处于Series B阶段，Germanidis相信语言模型的规模定律会迁移到视频，于是签下了1,000张A100集群的订单——“也许是一个略显不理性的决定”——目标是在2022年秋天实现视频领域的“Stable Diffusion时刻”；当时SOTA还只是256×256分辨率的CogVideo。
• 2023年1月推出的Gen-1有意采用视频到视频路径：“当你有更强的条件约束时，这基本上是一个更容易的问题”，比文生视频简单。重度用户把Blender渲染结果、用书本搭建的城市等素材交给它，再用手机拍摄并转换成照片级真实感。
• Gen-2的起源此前很少被讲述：它在Gen-1发布2个月后公布，甚至早于Gen-1全面开放，最初只是Germanidis的“周末项目想法”——把文生深度模型串接到Gen-1的深度到RGB模型上。他提到，2阶段管线如今正在回归：Reve的文生图模型会先由规划器生成边界框，再交给扩散Transformer；Vibhu补充说，Ideogram当天也发布了类似思路，“这个社群很小……大家彼此交流”。

4. Stable Diffusion的源头故事

• Germanidis的说法是：当时在Runway任职的Patrick Esser于2021年末与Robin Rombach及CompVis的其他研究人员合作潜空间扩散；Stable Diffusion“基本上是同一个模型，只是用了更多算力训练”，并加入无分类器引导和LAION的审美子集，训练运行由Stability出资。“它原本就是一个开源研究项目”，因此Runway继续发布各个版本，包括Stable Diffusion 1.5。
• 对于后续风波，他的说法相当克制：“可能有一天出现了一点沟通误会，但最终很快就解决了，几个小时内就解决了……现在都过去了。两家公司走上了各自的道路。”

5. 文生视频从来不是答案——镜头控制如何埋下世界模型种子

• 早期最大的教训是：“很早就已经清楚，文生视频不会是答案。”Gen-2主要被用于探索，因为“没有任何东西可以把它锚定住”；因此2023年连续推进条件控制：Motion Brush通过绘制箭头指定运动，此外还有输入帧控制和镜头控制。
• 镜头控制的意义超出了电影制作：“那是你第1次感觉到，自己不是在生成一段短视频，而是在世界内部移动……也许这就是我们后来关于世界模型的一些想法的种子。”
• 关于提示词，他说：“每一个投入生产的视频生成模型，底层都在使用复杂的提示词补全管线。”他把这条脉络从DALL-E 3论文中的合成描述追溯到Sora；Vibhu的概括是：“人类不擅长写提示词。”

6. 世界模型论与LeCun之争

• Runway在6月公告中提出的框架——“人类心智不再是AI的中心，我们的世界才是”——建立在对DeepMind使命的反转之上：不是先解决智能、再解决其他问题，而是从世界本身那些尚未被书写的复杂性出发。他举例说：“如果我让你用语言描述如何系鞋带，那是很难描述的事，但示范起来却显而易见。”这正是Moravec悖论在训练数据上的体现。
• 被问及这一范式是否需要类似JEPA的中间层时，他说：“我们是一个非常务实的研究实验室……我们还没有看到任何迹象，表明视频预测本身无法扩展。”对于LeCun在社交媒体上称理解世界运行规律不同于“生成可爱视频”的说法，他的回答是：“它们是同一件事。”但他也补充，模型“可能会作弊”，比如通过切换场景、挑选样本来规避难题，因此“不能被当前视频模型的表现过度欺骗”。
• 证据来自Physics IQ：该基准通过首帧滚动物理现象，再对固体力学、流体动力学和光学进行评分；结果随模型规模和算力扩大而“可预测地提升”。Gen-2“就像GPT-2”：只能生成勉强连贯的视频，但“没有理由认为它在规模扩大后不应该奏效”。
• swyx的反驳值得保留：柏拉图洞穴式的疑问是，模型从结果中学习，同时“丢掉”整整一支物理学分支，“感觉不太对”。Germanidis的回应则很有力：“纵观整个机器学习史，很多事情都让人感觉不太对。”

7. Sora改变叙事，Gen-3在3个月内回应

• 2024年2月，Sora发布，明显优于Gen-2；Twitter上出现“Runway完了”的判断，而OpenAI“正处在最佳状态……没有人甚至能接近它”。Germanidis承认，当时“经历了数小时的存在主义危机”。
• Runway把过去3年从大语言模型中学到的经验压缩到几个月内：从ConvNet转向扩散Transformer，通过“大量失败尝试”搭建分布式训练基础设施，把模型规模和训练算力扩大10倍，并在“完全没有经验”的情况下学习模型并行。他说，如果问Runway的人最喜欢哪个时期，很多人会选那段冲刺。Gen-3在当年夏天上线；几个月后，Gen-3 Alpha Turbo跟进，他认为这可能是第1个投入生产的步数蒸馏模型。

8. 实时生成不可避免：蒸馏的2条路径

• 扩散模型提供2个杠杆：像大语言模型那样蒸馏成更小的模型，或者蒸馏推理步数——从50步降到4步，而且输出往往“具有可比性”。很多时候，Runway会直接把前沿模型进行步数蒸馏，使其达到实时表现，而不是从更小的模型起步。
• characters模型由会说话的头像组成，采用步数蒸馏、自回归架构，运行在24 FPS；它是“实时视频模型最大规模的部署”。他的判断没有保留：“如果2年后我们还不是主要使用实时模型，我会非常惊讶。实时视频生成就是不可避免的——用户体验好得多，服务成本也低得多。”随着蒸馏改进，质量差距会继续收窄。
• 对于swyx认为一致性模型的热潮已经退去，他回应：“我不会这么确定地说它没有留下来……我们仍然落后于语言模型2-3年。”

9. 界面世界模型：生成像素，跳过代码

• 现场演示是一个完全由实时视频模型渲染的UI：“没有HTML、CSS、React在驱动这个界面。”它可以接受点击、拖拽和滚动，元素行为通过提示词指定（“如果我按下这个按钮，我希望发生这件事”），还可以生成音频或音效。背后的理念是：“为什么要生成用于生成像素的代码？直接生成像素就好——这是端到端理念在前端的应用。”
• 终局是Karpathy所说的完全神经化操作系统。在他看来，如今用一个僵硬的聊天框包裹通用LLM“有点奇怪”；最终“界面本身会变得可学习”，独立应用的概念会消失，个性化也更容易通过提示词工程实现，比如为无障碍需求放大文字，或针对不同访客生成不同版本。
• 每个世界模型都服务于两个方向——“面向人类的世界模型，以及用来训练Agent的世界模型”。因此它可以成为合成数据生成器，也可以成为计算机使用Agent的“实时RL环境”。他坦率承认经济账：运行视频模型显然比渲染HTML更贵；第1步是先找到“明显更有吸引力”的交互，成本问题随后再解决。

10. 长上下文是他等待的研究突破口

• 核心约束是自回归误差累积：生成帧不断被反馈回模型，微小误差会逐步叠加。“这不是一个新问题”，LLM已经解决了对应版本；“所以它是一个可解决的问题，但无疑仍然是挑战。”
• 按他自己的数据，目前characters模型可以自回归持续生成最长30分钟；开放式探索模型GWM Worlds在明显退化前能生成“大约几分钟”。swyx提到，Genie大约只能维持1分钟。“如果每隔几分钟就要重启一次，这不是理想的游戏体验。”

11. 机器人：意外的SOTA与第三人称数据论

• “随着我们扩大视频模型规模，意外地造出了机器人领域的SOTA模型。”最初各实验室来找Runway要合成数据，后来开始要模拟器；GWM-1是在Gen 4.5基础上改成自回归、动作条件化并经过步数蒸馏的模型，形成一个可以“走进去”的模拟环境，用于探索反事实动作。
• 验证工作使用了RoboArena场景。Runway称，世界模型内部的策略表现与真实世界结果之间存在非常好的相关性，因此评估可以在仿真中扩展，而不必在硬件上进行。相比Isaac Sim、MuJoCo等传统模拟器，布料、湿滑表面和其他复杂交互很难、很耗时，可能还需要数字孪生以及对每个物体进行3D扫描；而这套方法是“只要拍一张环境照片，就能在首帧内展开策略”。
• 数据层级本身就是这套论点：遥操作最难规模化；UMI数据是人类第一人称视频配合机器人夹爪；GoPro第一人称采集更容易，但第一人称数据仍比第三人称视频“少3个数量级”，而人类很大一部分能力“来自观看其他人怎么做”。结论是：“最终胜出的，是最丰富的数据源。”因此，视频预训练加上数百小时机器人微调，就可能支撑良好表现，所需数据远少于机器人预训练通常使用的数十万至数百万小时。
• 目前模型会针对合作方的具体形态进行后训练，包括单臂、双手和人形机器人；他预计1-2年内，GWM的不同变体——操作、导航、characters——会统一成“一个实时视频模型”，模拟“身处这个世界是什么感觉”。再加上动作头，世界模型就会变成策略本身，也就是“世界动作模型”的方向。

12. 清醒梦测试：为什么失败必须能够被仿真

• 他为世界模型设定的图灵测试是：戴上VR头显进入一间房，在里面走动并与物体互动，然后回答自己是在透视模式中，还是在一个生成世界里。“如果你无法确定……就说明模型已经足够好了。我们还远未达到这一点。”
• 差距在于反事实：让视频模型生成一个人射门得分或射失的画面时，它更擅长生成进球，因为训练数据偏向成功。对于机器人评估和未来的在线RL，“你希望失败能够被非常好地仿真”。这引出了swyx的调侃：这是“唯一一个成功样本太多的领域”。

13. Omni模型与跨模态迁移押注

• “从外部编排迁移到模型内部”是反复出现的模式：思维链提示最终变成原生推理，单镜头视频加外部编排最终变成原生多镜头生成。把这些能力内化确实有信号：“LLM并不是很好的视频剪辑师——那会让人感到诡异。”与此同时，Runway的视频Agent已经可以处理从简报到分镜再到视频的工作流，以及广告效果反馈闭环。
• 最大化的世界模型会纳入越来越多模态，押注能力迁移：Riffusion通过在频谱图上微调，把Stable Diffusion变成“一个相当可规模化的音乐生成器”；Runway则在The Well上微调视频模型，把从天体物理到原子尺度的数值物理模拟当作RGB帧处理，获得了“比从零训练快得多的合理表现”。长期目标是：不同于AlphaFold为数据有限的问题定制专门架构，把分散的科学数据汇聚到一个模型中。至于为什么现在不直接做Omni模型，答案是：“我们需要先解决机器人问题。”

14. 开放生态、中国排行榜与艺术家态度的显著变化

• 竞争层面的承认是：“排行榜前10名、前20名里，大多数模型都是中国模型”，西方模型只有少数。与NVIDIA共同发起的Cosmos Coalition是开放生态方案，重点包括开放权重、物理基准和基础设施。面对swyx关于从中国模型蒸馏的挑衅，他质疑这是否是长期策略：“你的上限会被它的性能所限制”；Runway相信自己不靠蒸馏也能训练出强模型。
• 他对艺术家反弹的“热辣判断”是：问题在于文生视频的叙事本身把反应推得过热。一个魔法般的单一提示词容易被理解为替代人类，而今天的模型需要“最多50个参考素材”，更像“一件工具，而不是一个能替你想好整部电影的魔法实体”。艺术家态度已经明显变化：戛纳导演和Ron Howard都曾在Runway电影节上表达支持。
• 用户优先级经历了几个阶段：先是质量，再是可控性，如今转向延迟。即时生成10个结果的迭代速度，重新带回了“过去创意工具所拥有的一些魔力——Photoshop就是即时的”。9月30日的旧金山峰会将把争论搬到现场，参与者包括NVIDIA、Physical Intelligence以及DeepMind的嘉宾；讨论主题涵盖VLA与世界模型、遥操作与大规模视频数据、像素与JEPA与3D，而他“非常强烈地认为”最终会是像素胜出。