LLMs之后：空间智能与世界模型——World Labs 的 Fei-Fei Li 与 Justin Johnson
摘要
World Labs押注空间智能将与语言智能互补，成为下一代基础模型前沿，而算力终于大到足以攻克这一方向。 Justin Johnson估算，自AlexNet以来，单卡性能提升约1,000倍，训练规模也从单卡扩展到数百、数千乃至数万张GPU，使单个模型可调用的算力约多出100万倍。视觉、空间与世界数据需要更多处理，这让世界模型成为下一个合理的Scaling前沿。
Marble是一枚刻意设计成两面性的楔子：现在就是有用的3D产品，同时也是通向通用世界模型的第一步。 它接受文本、单张或多张图片，生成可编辑的3D世界，并支持精确布置摄像机和导出；游戏、VFX、电影、室内设计以及潜在的机器人仿真，都是正在出现的用例。World Labs有意避免把它做成纯粹的“科学项目”，而Fei-Fei Li称Marble是更大空间智能技术栈的“第一眼”。
当前的技术选择——Gaussian splats——把生成对象变成可导航的几何体，而不是一串视频帧。 Splats可以在手机和VR设备上实时渲染，但如果要在4年前的iPhone上以高分辨率跑到30–60 fps，就必须限制密度和保真度。其他系统已经采用基于帧的生成，未来也可能给粒子附加质量或弹簧，或者使用基于token的表示；数据结构并非永久不变。
物理是当前最大的未解能力缺口，也是创意工具与可信工程软件之间的分界线。 模式拟合或许能预测看似合理的轨道，却未必能推导力向量或“F等于MA”；Fei-Fei表示，尚“没有迹象”表明潜在建模能够得到因果定律，而Justin希望物理能力能在规模扩大后涌现。对电影背景来说，合理性已经足够；但对必须屹立不倒的建筑来说，还远远不够。
商业化的扩张路径是横向的，但先后顺序仍被刻意保留为开放问题。 创意产业是Marble的滩头阵地；室内设计Beta用户已经可以重建并编辑房间，而机器人则可能利用生成世界，填补稀缺真实世界数据与不可控互联网视频之间的“重要中间地带”。Fei-Fei表示，是否直接进入具身应用，“还有待决定”。
World Labs的讨论并不意味着要抛弃transformer，而是指向多模态与更丰富的学习闭环。 Attention仍然有效；Justin指出，transformer原生建模的是集合，1D顺序来自位置嵌入，因此空间token不必以架构推倒重来为代价。真正缺失的要素，可能是提出假设、采取行动、证伪并在线更新，而不只是改变模态。
人才与研究瓶颈不只是资本问题：学术界资源不足，也太容易被前沿实验室的Scaling路径吸引。 Fei-Fei为BEHAVIOR等开放基准辩护；Justin希望学术界去追逐“疯狂的想法”，包括在集群取代单GPU之后，探索矩阵乘法之外的分布式计算原语。他对硬件的警告很具体：从Hopper到Blackwell，单位功耗性能“基本没变”，这为押注10–20年的架构研究留下了空间。
精读
1. 100万倍算力跃升打开世界模型窗口
两人的合作始于2012年：Justin在AlexNet问世的那个季度加入Fei-Fei的实验室。此后，他先后在University of Michigan和Meta工作，兴趣转向3D视觉、图形学与生成式建模。两年多前重新联系时，他们发现彼此独立地走到了同一个问题上——“语言模型之后是什么？”——于是决定“把所有鸡蛋放进同一个篮子”，共同创办World Labs。
当被问到世界模型领域相当于AlexNet的突破是什么时，Justin给出的不是某个具体模型，而是一组使能条件：自AlexNet以来，单卡性能提升约1,000倍；与此同时，计算规模从单张GPU扩展到“数百、数千、数万甚至更多”。因此，单个模型如今可以调动的算力，大约是他读博初期的“100万倍”。
语言是第一个成功承载大模型的领域，但Justin的下一步推理是：视觉、空间和世界数据本来就需要更多处理。Fei-Fei所指向的终点因此更宽：模型能够在多模态世界中“理解、推理、生成”，最终支持复杂程度接近人类互动的交互。
2. 学术界的问题是资源，而不是开放与封闭的二元对立
主持人的追问很值得保留：如果拥有最佳数据集的实验室必须实现回报，博士生又更早被产业界吸走，ImageNet还能否重现？Fei-Fei表示自己确实担心，但更担心的是“学术界资源配置失衡”，而非商业压力本身。Justin则把生态描述成开放、封闭、专有和公共模型的混合体，并将不同商业模式比作iOS与Android。
她给出的反例是Stanford开放的BEHAVIOR数据集和基准，用于在模拟环境中开展机器人学习。通过Stanford HAI，Fei-Fei也一直倡导公共部门建设算力和数据基础设施，包括在第一届Trump政府期间参与推动一项名为National AI Research Resource（NAIRR）的法案，计划涵盖国家级算力云和数据存储库。
Justin的重新表述是：5或10年前，学者还可以用几张GPU训练出state-of-the-art系统；如今失去这种能力，反而说明“这项技术确实奏效了”。学术界应停止假装自己能赢下最大模型竞赛，也不应沦为培养人才、让其进入产业GPU集群的职业培训机构，而应转向“疯狂的想法”、新算法、新架构和新系统。Fei-Fei补充了理论基础、跨学科研究与蓝天科学。
他举出的例子是硬件感知型架构研究。今天的网络以矩阵乘法为中心，是因为它适合GPU；但计算单元正逐渐从单张GPU变成节点或集群，而模型仍被概念化为单体。被问到NVIDIA是否只是赢得了“硬件彩票”时，Justin的回答是“是，也不是”：Hopper到Blackwell的单位功耗性能基本持平，这使替代性的分布式计算原语成为一个合理的10–20年学术课题，而不是3个月的创业周期。
3. 图像描述预示了多模态与产品直觉
Fei-Fei曾经以为，自己会“用整个职业生涯剩下的时间”解决一个问题：给定一个场景，用自然语言讲述它的故事。将卷积网络的图像表征与LSTM结合后，他们在CVPR 2015推出了图像描述系统，从一张图像生成一个句子——她原本以为这可能要花100年才能实现。
团队起初以为自己是第一个做到的，后来才知道Google几乎同时得出了类似结果。New York Times记者John Markoff发现了这两项工作，并将它们放在同一篇报道中。这段经历留下了一个仍然有用的教训：当表征、算力和数据同时跨过同一阈值，重大的模型想法可能会独立涌现。
随后，Justin与Andrej Karpathy合作完成了一篇ICLR 2015语言建模论文——“我本该坚持做语言建模”。他们用包含Linux源代码在内的数据训练小型RNN，并开展经验性的可解释性研究，发现某些LSTM单元的活动与开括号等结构相关，并在对应的闭括号出现时关闭。
CVPR 2016上的密集图像描述结合了3种表征：整张图像的整体特征、候选区域，以及每个区域对应的文本。联合网络在一次前向传播中画出边界框并生成描述；Justin还搭建了一个由Stanford提供服务的摄像头演示。在ICCV 2015的Santiago会场，预测结果从California传输过去，速度糟糕到只有“1 FPS”，但“它居然能工作”本身就足够重要。
4. 像素保留结构，但模式拟合不等于物理
Fei-Fei区分了不同模态：生成式架构可以共享部分组件，但一个“深度3D、4D的空间世界”所具有的结构，与一维信号根本不同。Justin则为“像素至上”辩护：文本最终仍是由眼睛看到的，token化会丢失字体、换行和二维布局；像素虽然效率更低，却提供了更少损失的表征。Fei-Fei还指出，声音也可以被编码成信号。
Fei-Fei提到一篇Harvard论文：模型生成了看似合理的行星轨道，但其力向量却很“离谱”。Justin概括了两条路径：一是明确用物理模拟器生成的力来训练；二是端到端训练，并希望内部涌现出类似物理的表征。Fei-Fei的警告更直接：“没有迹象”表明潜在建模能够抵达因果定律；当代深度学习仍然是在拟合模式。
Marble生成的拱门让这个区别变得具体。模型可以渲染出外观正确的结构，却不知道中央石块如何承重。对虚拟电影制作来说，Justin认为合理性或许已经够用；但对要建造实体建筑的建筑师来说，力的建模至关重要，因为“你不会希望这东西塌掉”。
Fei-Fei表示，她不认为视觉生成与建筑生成之间存在什么根本差异，问题在于扩大数据规模并改进模型。Justin则明确把能力涌现表述为有条件的判断：其他大型模型已经在规模扩大后获得了意外能力，他希望这种迁移也会发生，“但这会是一个需要我们走完的过程”。他的谨慎之处在于，即便模型存在认知，也可能是一种不同于人类内省的“外星式智能”。
5. Marble将基础模型计划与可用的3D产品结合起来
Marble接受文本、单张图片或多张图片，并生成与之匹配的3D世界。用户可以编辑反事实场景——把瓶子变成蓝色、移走桌子、重新排列物体——并导出多种格式。Fei-Fei称它是第一个公开可用、能以这种保真度生成3D世界的模型，但也强调这只是“这段旅程的第一部分”，并非已经完成的空间智能系统。
Justin形容这是一次刻意的平衡：构建通用世界模型所需的能力，同时避免做成“科学项目”。Marble已经显露出理解不同输入、建模不同世界以及表示世界如何变化的能力；与此同时，游戏、VFX和电影用户今天就能从中获得价值。产品既提供了即时的商业切入口，也为更大规模的模型奠定基础。
精确的摄像机控制不是装饰性功能，而是一个揭示底层能力的特征。视频生成器往往要求用户用文字描述推镜、摇镜等运动，却无法精确控制几何关系；Marble允许用户放置并记录摄像机，是因为其底层存在一个3D场景。Justin强调：“你不是在逐帧生成。”
目前Marble原生输出Gaussian splats：由带有位置和方向的半透明粒子组成，彼此合成后形成场景。它们可以在包括手机在内的客户端设备上高效渲染。Justin强调，这个原子单元并非不可改变：World Labs的RTFM模型会在交互过程中一次生成一帧，未来架构也可能生成代表3D世界片段的token。
6. 动力学、机器人与设计沿着同一横向技术栈扩展
Justin提出了从静态splats走向动力学的两条路线。World Labs可以预测粒子的质量、弹簧或其他物理属性，再将其交给经典模拟器或学习型模拟器；也可以在每次动作后重新生成整个场景。后者更通用，因为不受预定义属性限制，但计算成本也高得多。现有物理引擎同样可以生成训练数据，其行为被“蒸馏”进网络权重。
保真度部分取决于产品约束。World Labs希望场景能在手机和VR设备上流畅运行，包括在一部4年前的iPhone上以高分辨率达到30–60 fps，这会限制splat数量。更新的手机、MacBook、本地GPU、更低的帧率或更低的分辨率，都可以放宽这一限制，支持更密集、更高分辨率的世界。
Fei-Fei把机器人训练放在两个受限极端之间：高保真的真实世界数据至关重要，却十分稀缺；互联网视频数量庞大，却缺乏可控性。因此，模拟世界构成了一个“重要的中间地带”，能够提供多样状态，让具身智能体在其中行动。Marble当前仍更偏向创意产业，机器人是否立即进入路线图尚未决定；不过Justin表示，这件事“可能会比预想更早发生”。
横向能力已经催生出计划外的设计用途。Fei-Fei说，用户可以根据两张图片重建一间厨房，并编辑台面、地板和橱柜；Justin则说自己曾用Marble重建车库，API Beta用户也在开发室内设计应用。但发布过程同样暴露了普通的执行风险：Justin找不到高级编辑功能，Fei-Fei只好承认“我们的UI还可以改进”，并半开玩笑地说明了为什么需要招聘产品人才。
7. 空间智能找回被语言抽象掉的具身底层
Fei-Fei质疑“装满Einstein的数据中心”这种说法。借鉴人类存在多种智能的观点，她将空间智能定义为语言智能的互补能力：能够“在空间中推理、理解、移动和互动”。World Labs并不是要替代语言，而是要补上单靠语言无法覆盖的一类能力。
她举出的高低两个例子，本质上遵循同一机制。按Fei-Fei的简化描述，猜测DNA双螺旋结构需要在3D空间中推理分子和化学键；抓起一个杯子，则需要感知杯子、手、上下文、几何关系和可供性。语言可以讲述这两个过程，但“这种被讲述出来的语言本身，无法让你拿起杯子”。
Justin计算过，如果以每分钟约150个词持续说话，每天产生的token大约只有215,000个，远小于实际生活体验的带宽。Fei-Fei补充了进化上的不对称：自然界花了约5.4亿年优化感知和空间智能，而语言即使按慷慨估计，也只有约50万年的历史。视觉之所以感觉容易，是因为它经过了深度优化，而不是因为它简单。
Newtonian理论体现了这层层级关系。Justin认为，只有在长期具身体验、观察世界之后，人类才会写出定律；语言是在原生空间理解之上建立的抽象层。LLM已经“直接跳到了最上层”的高度抽象推理，而空间智能则重新打开这个黑箱，找回那次跃迁中可能丢失的东西。
8. 因果发现需要实验，但transformer仍然可用
Justin提出，可以把天体运动数据喂给模型，观察Newtonian定律是否会自行涌现；Fei-Fei给出的“诚实猜测”是，大概率不会。训练充分的模型或许能准确预测一颗虚构行星每天的轨迹，但“F等于MA”或“作用力与反作用力相等”属于另一层次的抽象。Justin进一步追问：如果模型只接受视觉数据训练，它如何避免得出地心说？
Justin认为，缺失的能力来自学习范式，而不严格来自模态。人类会提出理论、采取行动、将结果与预期比较，再在线更新——最普通的例子是下楼找钥匙，没找到后修改假设。规模化之后，这种实验与证伪的循环才会产生物理学。主持人则将同一过程概括为：高效排除与证据不一致的可能世界。
两位嘉宾都不希望移除语言。Marble已经接受语言输入，未来系统可能组合多个专门模型，Fei-Fei也承认“也许有一天我们会拥有一个通用模型”。另一位主持人则把心智理论与情绪智能联系起来，并警告说，人们可能已经“可能过度地”依赖并不具备这些能力的系统。
Fei-Fei预计世界模型会超越sequence-to-sequence架构，但Justin澄清，这并不意味着要抛弃transformer或attention：“有效的东西就继续用。”Transformer原生建模的是token集合；1D顺序通过位置嵌入进入，而逐token操作与置换等变的attention可以支持其他排列方式。因此，空间建模改变的是所表示的结构，并不要求把每个已验证的组件全部重建。