连续生成与决策强化学习
讨论流匹配与带约束强化学习在生成和决策中的边界
0个信源参与该主题的先锋
全部段落
9月21日
- Alexander Mattick Mattick 的核心警告是：预测能力提升本身，并不会消除搜索、动作选择或保证的必要性——而这些能力才是把预测器变成智能决策者的关键。 即便拥有完美的国际象棋世界模型，也不会因此知道如何击败 Magnus Carlsen：“能够预测未来，与能够推断出正确行动之间存在差别。” 对投资者而言，更好的生成视频或机器人演示因此只能证明预测能力更强，还不能证明系统具备自主智能。
- 生成模型技术栈已经把高成本工作从推理端转移到了训练端：能量模型把归一化留给 MCMC，扩散模型将可逆加噪过程摊销，流匹配则把选定的输运路径学习成监督回归问题。 Mattick 提出的经济性检验比通常的生成式/非生成式分类更锋利：“问题不是它们能不能做到，而是这么做是否经济。” 他的明确判断是，除物理能量函数、廉价成对比值或可能的预训练用途等少数场景外，基于能量的建模“已经不太有用，至少不再有用了”。
- 只要公司希望在图像、音频、视频和物理轨迹等连续领域获得类似语言模型的规模，流匹配就有用。 语言天然可以逐 token 分解；连续数据则没有这种结构，因此扩散模型和流模型借助潜在时间来拆解问题，从噪声逐步走向完整输出，而不是从左到右生成。代价体现在运行层面：流路径可以被塑造成更易采样的形状，但去噪步骤更多并不自动意味着结果更好——25步与150步之间，可能就会把有效的细 …
- 约束是具有经济价值的先验信息，不是应该藏进奖励函数里的尴尬因素。 Mattick 拒绝“奖励已经足够”这一实践版本，因为“绝大多数信息都非常、非常昂贵”；让智能体重新学习已经通过“血汗和泪水”获得的知识，会浪费数据、算力和现实世界试验。OpenAI Five 手工调制的奖励权重表就是他的样本：走错车道实际上是一条约束，而击杀英雄则需要负奖励，因 …
- 显式约束强化学习提供了更清晰的工程接口和更好的可组合性，但并不会凭空保证安全。 工程师可以很自然地说明某个载荷会压坏机器人，或区域供热管道绝不能爆裂，却很难用同样自然的方式调出一组惩罚系数；加入相关奖励时，约束也不需要重新调遍整个奖励函数。但期望成本约束可能掩盖肥尾，投影方法可能凭空制造障碍，拉格朗日方法则会在边界附近震荡——因此真正的实践分野在于能否可靠地 …