摘要

Foerster 的判断是，深度强化学习输掉了硬件彩票，因为环境运行在 CPU 上，而智能体训练在 GPU 上。 把两者都放到 GPU 上，能将实验速度提升几个数量级；Chris Lu 报告的基础加速比约为 4,000×。如果更广泛的环境也能迁移，RL 终于可能成为“硬件彩票的赢家”。
GPU 原生模拟可能把迫在眉睫的真实数据瓶颈，转化为纯算力扩展机会。 Foerster 提议先在近似环境中学习，这些环境的运行速度可能快 10,000×，再把得到的算法迁移到 Dota 等昂贵的真实场景。JAX 的 jit 和 vmap 让数百万个并行实例成为现实，也削弱了最大型实验室的基础设施优势。
更高吞吐量已经在简化 RL 算法，而不只是让旧算法跑得更快。 实验室的 PQN 去掉了目标网络和经验回放池；黑箱进化策略则特别适合发现策略目标函数。学到的目标函数重新发现了裁剪和回滚机制，加入了其他尚未解释的特征，并对意外的好结果表现出“谨慎乐观”。
当基准测试悄然从衡量工具变成优化目标时，自动化算法发现就会变得危险。 Foerster 称，把 ARC 作为目标是“一个糟糕的主意”：开发者应探索广阔的人类可解决推理问题空间，在开发过程中完全避开 ARC，只与其他测量工具一起定期使用。否则，由 LLM 驱动的程序搜索只会把 Goodhart 定律工业化，而不是产出可迁移的智能。
Foerster 的押注是，用充沛算力发现能在陌生领域保持样本效率的算法。 人类之所以能创造性地下棋，是因为无法模拟数万亿步；进化同样通过“极度样本低效的过程”，造出了能够快速适应的智能体。元层要做的是用算力挖掘通用学习规则、探索策略和想象能力，而不是过拟合于单一游戏的策略。
多智能体系统可能同时提供真正具备智能体属性的 AI 所需架构，以及测试时算力。 Foerster 认为，语言、推理和心智理论都源于互动，并预计更强的智能体会设定子目标、自我改进并重组为团队。“多智能体学习一直都是未来”，但如今具备推理能力的智能体，可能让去中心化群体智能成为下一代平台。
这一集在治理层面的核心呼吁是，AI 的集中化带来的对齐问题，比 AI 与人类之间的冲突更大。 Foerster 只接受透明、民主治理、类似 CERN 的集中式资源，认为“这项技术属于所有人，包括我们不喜欢的人”。他偏好的终局是整体对齐：个人 AI 代表参与民主网络，超级智能只能通过人类及其助手共同涌现。

精读

1. 深度 RL 输掉的是硬件彩票，而不是自身潜力

Foerster 的判断是：深度学习天然适配 GPU，而深度 RL 却把基于 CPU 的环境与基于 GPU 的智能体割裂开来。这种错配制造了基础设施和算法层面的复杂性，让实验速度大幅放缓，也使强化学习看起来像是从根上就不稳定。
主持人的反驳值得保留：改变一个架构或参数，仍然可能让 RL 系统崩溃。Foerster 认为，这种敏感性源于研究者在一小组环境上“沿山爬坡”，因为每次运行提供的科学信号都昂贵、稀疏且嘈杂。
更快的反馈循环之所以重要，是因为研究者本身也在进行元学习。Foerster 的前提是，数量级更多的经验可以改善指导算法设计的梯度，最终产出更稳健、在现实世界中样本效率也更高的方法。

2. 合成环境把数据墙转化为纯算力扩展

Foerster 警告称，容易获得的现实世界数据供应可能会耗尽。他提出的替代方案是“纯算力扩展”：利用不完美但速度极快的模拟环境，发现能将进展迁移到下游任务的学习流程，而这些任务中的物理经验往往缓慢且昂贵。
Dota 说明了这一论点：一个运行速度快 10,000×的近似版本，不必复现每个细节，只要在其中开发的算法能泛化到真实游戏即可。在无法获得源代码的情况下，Chris Lu 建议学习一个常驻 GPU 的动力学模型，类似 Genie 等生成式游戏系统已经展示了这一思路。
这并不会消除具身智能的瓶颈；真实智能体仍必须收集物理经验。这里的押注更窄，也明确带有条件性：大规模合成经验可能发现一些算法，让智能体更高效地利用稀缺的现实世界交互。

3. JAX 让小型实验室也能进行超大规模实验

Lu 将这一思路追溯到 Model-Free Opponent Shaping：该方法必须跨越另一个智能体的完整训练轨迹进行学习。团队只用了几乎免费的 Google Colab 算力，在 PyTorch 中编写简单环境，便发现了 GPU 原生模拟的效率。
JAX 进一步扩大了这一突破口。它类似 NumPy 的接口降低了环境实现门槛，jit 将程序编译到 GPU 上，vmap 则能把针对单个环境的函数转换为数百万个并行实例。
分支密集型程序仍然不太适合这一框架，但实验室的 Kinetix 工作展示了这种抽象的延展性：一个完全用 JAX 实现的通用物理模拟器和渲染器。
Lu 估计，即使使用相对朴素的 JAX，基础加速比也约为 4,000×；通过更底层的 kernel，还能进一步提升。Foerster 更大的论点在于可及性：小型实验室如今也能运行过去只有资源极其充足的机构才能开展的实验。

4. 超大规模 RL 正在产出更简单、也更奇怪的学习规则

速度不仅消除了延迟，也让算法可以去掉更多机制。Foerster 重点介绍了 PQN：本质上是在大量智能体和转移上并行执行 Q-learning——“不再需要目标网络，不再需要经验回放池”。他希望更干净的算法也能变得更容易理解、更稳健。
Mirror Learning 提供了理论起点：如果数据收集策略与更新后策略之间的漂移惩罚满足特定性质，重复的策略更新最终会收敛到最优策略。PPO 的裁剪规则只是更大设计空间中的一种。
团队把替代性的漂移函数参数化为神经网络。尽管元梯度是更复杂、也更符合共识的选择，但黑箱进化策略“吞下了苦涩的教训”，通过样本估计高阶效应，并证明自己与 GPU 超大规模计算格外匹配。
可视化后的 DPO 目标函数重新发现了类似 PPO 的裁剪机制，同时加入了“好得令人难以置信”的响应：当优势值极大时，约束其远离参考策略；当优势值较小时，则允许更大的变化。它还重新发现了回滚：PPO 目标函数会让偏离过度的负优势策略梯度归零，而讨论显示，DPO 会把它推回参考策略。

5. 学到的目标函数必须先被解释，才能走出 JAX 的边界

Foerster 和 Lu 无法解释学到的每一个特征，尤其是熟悉的裁剪行为之外新增的几个特征。他们坦率地承认，这些特征是否编码了真实规律，仍是一个开放的研究问题。
人类解释可以把黑箱目标函数转化为符号化的单行 Python 规则。这一点很重要，因为典型的 JAX 环境并不是真实世界；紧凑的表达式可以迁移到其他模拟器、学习型世界模型以及下游代码库。
后续工作让目标函数具备时间依赖性：它在早期明确偏好探索，后期则变得更保守，但团队仍未找到一个令人满意的参数化描述，来刻画由此产生的漂移函数流形。
LLM 提供了两座可能的桥梁：用符号代码拟合黑箱目标函数，或直接变异程序，由 JAX 提供快速的适应度反馈。这会在自动化发现、人类解释和新理论之间形成“良性循环”。

6. ARC 应该衡量通用推理，绝不能成为产品目标

Foerster 的警告是绝对的：“把 ARC 挑战作为整个社区的目标，是一个糟糕的主意。”ARC 极其出色地暴露了能力缺口，但围绕其任务进行工程优化，会污染它原本用来提供的证据。
主持人进一步强化了这一质疑：测试时训练和主动微调，可能在人工监督下有效解决 ARC，却无法让模型获得面向开发者、并能泛化到新任务的能力。Foerster 同意，解决一个基准测试，不等于覆盖人类推理。
他的第一条补救方案是流程性的：研究广泛的人类水平推理，在方法开发中永远不要使用 ARC；也许每年只与其他人类可解决、但 LLM 仍然困难的问题一起参考一次。
更激进的方案，是把基准测试生成提升为一等研究问题。如果生成的挑战确实覆盖相关问题空间，那么对其进行沿山爬坡可能提升广泛能力；但如果由 LLM 评委定义什么才“有趣”，自动化搜索可能只是利用它们的不准确之处。

7. 创造力是受约束的搜索，进化则是元优化器

Foerster 把创造力视为提出有价值的问题、课程和候选方案的机制；推理则负责探索并解决这些问题。演绎是否让人感觉具有创造性，与其形式标签关系不大，关键在于“我们是怎么做的”。
他用国际象棋作了清晰对比。人类无法模拟数万亿步，因此下棋需要直觉、想象力和非常规路径；DeepMind 面向国际象棋的做法，则可能把挑战转化为暴力算力问题，但 Foerster 表示，这类方法实际上并未真正迁移到其他领域。
他的折中方案是用充足样本打磨对通用算法的直觉——包括规划、探索和想象——而不是让策略过拟合于单个任务。Foerster 希望元层由此同时实现算力扩展和类似人类的样本效率。
他的进化类比提供了因果解释：人类是“一个极度样本低效的过程——进化”的产物。元优化在漫长历史中消耗了巨量算力，最终造出了一个能够适应新情境的智能体。

8. 群体智能连接自主性、对齐与开放获取

Foerster 长期以来的假设是：“智能是多智能体互动中的涌现现象。”其他智能体构成最困难的环境，迫使系统发展出心智理论、语言、教学、协调与合作能力，而与静态物体互动则无需达到这一程度。
他勾勒出一系列平台：DNA 与进化、单细胞、多细胞生物、终身学习的动物，最后是促成了人类独有推理和认知能力的群体。多智能体 AI 可能成为下一代平台，通过重新连线、分工和再次搜索，在测试时部署更多算力。
奖励劫持并非人工智能独有。Foerster 指出，围绕 p < 0.05 接受信号的科学 p-hacking 就是例子；每一个经过塑造的奖励都邀请系统去利用它。今天的 LLM 主要是在模仿，而且被设计成具有有限自主性的系统，但智能体化预训练可以明确教授目标追求。
更强的智能体系统很可能会设定子目标、改进自身学习过程，并组建师生团队，使表面上的自主性难以避免。因此，Foerster 更偏好去中心化的群体，而不是他认为“相当反乌托邦”的单体式 AGI。

9. 核心对齐冲突在于，谁掌握钥匙

Foerster 的开放源代码论文，回应的是一场只聚焦开放模型风险、却忽视封闭模型集中化的讨论。在他的框架中，去中心化获取能力能够保留主体性、民主平衡与创新；封闭系统则可能让非凡权力集中在少数私人行动者手中。
主持人承认，前沿 AI 可能需要集中的专业能力和资本。Foerster 将规模与控制分开：他支持 CERN 式的资源池化，前提是数据、对齐方法和治理透明且接受公众问责，而不是由私人“曼哈顿计划”追求最大利润。
对于灾难性风险，Foerster 坚持认为规模很重要。开放的双用途系统可能带来恶意使用，但也能暴露漏洞、分散防御能力；失控的“回形针最大化器”或利润最大化器，则可能威胁西方民主国家，甚至威胁整个物种。
他的道德前提十分宽泛：AI 学习自人类共同的文化产出，因此“这项技术属于所有人，包括我们不喜欢的人”。平等获取有助于维持国际平衡，而不是把集体智能留给狭窄的西方精英。

10. 公共基础设施必须保留个人主体性

Foerster 承认，开放研究目前依赖 Meta 等产业参与者，这也是他一半时间在 Meta 工作的原因之一。从长期看，他希望建立 CERN 式联盟，汇聚学术资源，让数万名研究者能够共同推进开放式登月计划。
他偏好的终点远不止发布模型权重。在“整体对齐”框架下，每个人都拥有一个 AI 代表，超级智能只通过由人类和助手组成、接受民主治理的网络涌现——把今天的竞赛转化为一个 AI 自身可能帮助解决的协调问题。
他认为，开发者不应对开放模型的蓄意滥用承担责任，就像锤子制造商不应为袭击事件负责。否则，社会得到的将是一个审查式的“锤击服务”，替用户决定哪些图片可以挂上墙，而不是让用户继续承担责任的工具。
最后的类比指向制度层面：Google Search 将人类的“集体记忆”索引私有化，而封闭式 AI 如今有可能控制人类的“集体智能基础设施”。一个说“计算机说不”的模型，就像打字机否决了作者；Foerster 认为，开放源代码是眼下的出路。

（预告）Xi Jinping 与中国科技公司、芯片禁令的长期影响，以及对台湾的悲观展望为什么所有人都在复制 Deep Research？