Titans：LLM 的神经长期记忆，与作者 Ali Behrouz 对谈

摘要

• Erik Torenberg 的投资判断是：持续演化的记忆，而非原始世界知识，可能是今天的 copilot 与“即插即用的知识工作者”之间最后一个重大突破口。 企业上下文散落在 Slack、邮件、文档、GitHub、会议和任务系统中，Tyler Cowen 所说的“稀缺的就是上下文”在 AI 时代成为字面事实。Torenberg 估算，拥有百年历史的企业训练专属模型可能要花数百万至数千万美元，小企业则约需数万美元至十几万美元；如果能摊薄到大量 AI 员工身上，成本可能并不高。

• Titans 将记忆的载体从向量或矩阵中的一组数字，改成了一个能在推理过程中学习的神经网络。 RAG 存储的是可搜索记录，Mamba 风格的循环系统更新的是数值状态，而 Titans 使用一个 MLP，在运行时通过梯度下降更新权重。Ali Behrouz 认为，这项工作的意义不在于交付一个最终模型，而在于打开一条新的设计轴：“没有哪种架构是终点。”

• 记忆 MLP 学习一张从 attention key 到对应 value 的关联映射，让未来的查询无需保留每个 token，也能取回历史负载的近似值。 Attention 通过把查询与所有已存储 key 显式比较，提供非参数化解法；Titans 则把这些关系压缩进固定大小的参数中。代价是无法精确召回，但换来了更高效率，以及更接近人类、会逐渐淡化的长期记忆。

• Titans 让记忆管理高度依赖输入：预测误差产生“惊讶度”，动量将一次重要更新延伸到周边事件，衰减则为新信息腾出空间。 Behrouz 的直觉是，“所有令人惊讶的事情，大概都值得记住”，但惊讶之后的解释性 token 即使本身并不出人意料，也可能十分重要。记忆衰减、当前更新以及此前的惊讶是否延续，都由依赖 token 的学习控制量决定。

• Behrouz 不接受用循环记忆取代 attention 的前提；Titans 明确是精确短期 attention 与压缩长期记忆的混合体。 团队测试了 Memory as Context、Memory as Gate 和 Memory as Layer，其中更有原则性的 context 与 gating 设计通常优于简单交错 layer。在 Nathan Labenz 的粗略统计中，传统 layer 方案在约 30 组规模与任务比较中只赢了约 2 组。

• 最受关注的 benchmark 是长上下文表现，但 Behrouz 反复提醒，现有测试是合成任务，不能证明通用工作负载也会取得同等幅度的提升。 据报道，小型 Titans 模型可扩展到 200万 tokens，甚至在 1000万 tokens 上达到约 70% 的准确率，而 GPT-4 的 benchmark 表现迅速下滑。在报告的对比中，Titans 的实现已经快于 Mamba，不过一些较新的线性模型仍然更快，而且 Titans 尚未进行定制 kernel 优化。

• Titans 为长期运行的 agent 打开了一条可信路径，但它本身并没有解决终身学习或企业知识获取问题。 将现有的 Llama 或 R1 风格模型改造成 Titans 看起来可行，但尚未得到验证；持续更新有限的记忆也可能造成灾难性遗忘。Behrouz 下一步要测试的是更广泛的问题：神经记忆能否像 transformer 一样跨越决策、强化学习和其他模态发挥作用，而不只是用于语言建模。

精读

1. 记忆是上下文窗口与经济价值之间缺失的中间层

• Torenberg 的框架从 LLM 已经具备的两项能力出发：模型权重中规模庞大但已经固化的世界知识，以及有限上下文窗口内由 attention 提供的工作记忆。真正缺失的是持续的一致性——一个 agent 能在长期运行的一段任务中始终“知道自己是谁”“知道自己做过什么”以及“知道自己要去哪里”。

• 现实约束不只是上下文窗口有多大。组织相关知识分散在 Slack、邮件、文档、GitHub、会议记录和任务系统中，收集、整理和维护都很繁琐。Torenberg 认为，模型直到“真正随着 Gemini 2.5 Pro 才开始适当地奖励这项工作”；ChatGPT 更新后的记忆功能让人看到了一点雏形，但据他所知，还没有产品化方案能在企业规模上把这件事做好。

• 他的 GE 或 3M 思维实验是：把一家拥有百年历史的公司的产品、人员、历史、财务、流程和内部争论都训练进模型，直到它比任何一个人都更了解这家机构。它仍然可以检索官方记录来获得依据，但也能识别自己是否找到了正确材料，并接上那一层让人工 onboarding 如此昂贵的隐性知识——“我们这里是怎么做事的”。

• Torenberg 估算，启动成本可能达到数百万或数千万美元，大致相当于 OpenAI 公开报价的定制模型价格，但如果摊薄到所需的足够多份副本上，仍然物有所值。小公司可能只需花费数万美元至十几万美元。他的有条件判断十分直接：长期记忆的突破，可能是劳动力市场发生剧烈重构之前剩下的主要障碍。

2. Behrouz 从神经科学走向序列架构

• Behrouz 形容自己的路径“非常不寻常”：他从图算法起步，随后用图神经网络做异常检测。图异常、疾病检测与脑部疾病之间的联系，把他带向神经科学，最终又引向受人类记忆学习机制启发的架构。

• 他的基础判断是，人类之所以能从少量样本中高效学习，是因为自身的学习机制经历了“数百万年的进化”。很难相信研究者能凭借一个更优架构，一步跳过这段过程；更合理的路径，是先模仿大脑中有用的机制，再继续改进，走向未来所谓的“超智能”。

• 在 S5、RetNet 以及其他替代性序列模型兴起之际开始攻读博士学位，让 Behrouz 对突破 transformer 的单一主流产生兴趣。但他与试图消灭 attention 的研究者立场不同：准确建模当前上下文 token 之间的依赖关系仍然必要，因此他预期最终胜出的会是混合架构，而不是纯粹的循环替代方案。

3. Titans 用记忆网络取代记忆状态

• 在 Behrouz 的高层解释中，传统 RNN 会先对输入数据和向量化隐藏状态做投影，将两者结合，再把结果写回状态；读取则是再次从该状态进行投影。因果线性 attention 同样可以写成循环形式，但它的隐藏记忆是矩阵，而不是传统 RNN 以及 Mamba 等模型所使用的向量。

• 概念上的突破在于重新追问记忆应当具有什么物理形态。Behrouz 不认为几个孤立的数字像生物记忆：“它是向量吗？是矩阵，还是神经网络？”他的答案是相互连接的网络，因此 Titans 的记忆本身是一个 MLP，而不是一个被动容器。

• 这一转变创造了第二条扩展轴。序列模型已经从向量发展到线性层或矩阵；Titans 则允许使用 2 层、3 层或 4 层 MLP，未来还可以探索更深的网络或卷积结构。最初的 MLP 刻意保持简单，并不意味着架构搜索已经结束。

• Titans 也拥抱持续的 test-time learning。Behrouz 认为，记忆无法被干净地划分为预训练阶段和训练后阶段，因为人类记忆“始终在学习”。TTT 视角本来就把循环模型理解为某种 test-time training；Titans 只是让可训练对象更丰富、更新规则更具表达力。

4. 短期精确度与长期压缩需要混合架构

• Behrouz 用人类记忆做类比：attention 提供高保真的短期记忆，RNN 则提供会逐渐淡化的长期记忆。人们很少会编造 20 或 30 秒前刚接收到的信息，但可能会重构甚至幻觉式地还原 20 年前的事件。因此，循环衰减不只是缺陷，也像有限记忆不可避免的选择性。

• Nathan 进一步指出了工程约束：人脑不会随着每一次人生经历而不断增大，但 full attention 的全 token 交互会越来越昂贵；按他的表述，其记忆占用会随序列长度的平方增长。一个有边界的系统必须判断什么值得保留，什么可以安全消失。

• Attention 之所以仍然有价值，正是因为它显式保留最近的 token，并准确建模它们之间的两两依赖。长期神经记忆则接受更模糊的召回，换取固定大小、循环更新以及超越滑动 attention 窗口的时间跨度。Behrouz 设想的终点是两者结合，而不是其中一方取代另一方。

• 两种记忆之间如何迁移，仍然没有答案。Behrouz 指出，神经科学界对于短期记忆如何转化为长期记忆本身就存在分歧，没有已经确定的生物机制可以直接照搬。这种不确定性推动了 Titans 的多种整合设计，也让不同方案的相对表现成为一个实质性的架构结论。

5. 数学等价不等于架构方向消失

• Nathan 追问，Titans 是否真的具有根本创新，还是只是 TTT、DeltaNet、Gated DeltaNet 和 Longhorn 所属家族中的又一种改写。Behrouz 承认这些模型之间存在家族联系：共同的 test-time-training 表述可以统一许多模型，而看似微小的数学变化往往正是模型之间的分界。

• 因此，他衡量贡献的标准是未来性：重点不在模型是否“足以终结世界”，而在它是否改变研究者接下来尝试的方向。Transformer 也曾通过 FlashAttention 和额外组件持续进步。Titans 的目标是“提供一种新的视角”，促成后续研究，而不是宣布一个终点。

• 一些 Titans 配置会退化为已有系统。选择矩阵化记忆，再移除内部 layer normalization 等部分组件，结果可能接近 DeltaNet 或 Gated DeltaNet；与 TTT 和 Longhorn 也存在类似联系。但即使部分方程重合，不同视角仍然会导向不同实验。

• Behrouz 将研究路径分成两条。一条是改进循环记忆管理，通过更好的更新和衰减规则决定保留什么；另一条是改进记忆架构本身，从向量走向矩阵、MLP 以及更远的形态。未来系统可以把两者结合，但它们回答的是不同问题，不应被视为同一个优化问题。

6. 持久记忆补齐三存储架构

• 在完整设计中，滑动窗口提供短期上下文，神经模块返回相关的长期信息，持久化的可学习参数则编码与当前数据无关的任务级知识。三者共同进入 attention 过程，随后更大的网络以大致 transformer 式的方式继续运行。

• Behrouz 承认，持久记忆“可能并不是很必要”。它补齐了受人类启发的记忆分类，并带来了“非常、非常轻微的提升”，没有观察到负面影响。希望采用更精简 Titans 版本的实现者，完全可以将其移除，以节省参数并简化设计。

• 这里也有一个技术上的理由：因果 attention 可能过度聚焦于最初的 token，尤其是在把召回的长期材料拼接到当前上下文之前时。将可学习、与数据无关的 token 放在最前面，有助于缓解这一效应并提升表现。

• 这个想法早于 Behrouz 讨论的 attention-sinks 论文。更早的一种推导把 2 层 MLP 解释为类似 attention 的乘法，再用 softmax 取代其 GELU 式非线性；拼接的可学习参数随后可以在 attention 内承担相近作用。对 Torenberg 来说，这再次说明，同样的数学结构可以承载完全不同、同时富有生产力的概念含义。

7. 关联记忆将 key-value attention 变成学习映射

• 向普通循环记忆写入信息，意味着先投影新数据，再将其与隐藏状态结合；读取则是对该状态应用一个 query。当记忆变成神经网络后，读取就变成一次前向传播：输入一个 query，网络输出与该输入关联的信息。

• Behrouz 将 attention 本身解释为关联记忆。已存储的 key 与 value 彼此关联；新的 query 不必与任何 key 完全相同，因此它与各个 key 的点积可以衡量相似度。这些分数将 query 表示为已知 key 的混合，而对关联 value 使用同样的混合，就能返回相关负载。

• Titans 对这一操作进行提炼。在运行时，它训练 MLP，使一个 token 的 key 能够产生该 token 的 value，目标是最小化预测值与目标值之间的差异。后续 token 的 query 如果与相关历史 key 相似，就应当能够召回 full attention 通过显式计算得到的 value 的近似值。

• Torenberg 反复验证这一解释，Behrouz 也予以确认：模型学习“每个 token 拥有什么”，以预判未来某个 query 对它的询问。Attention 是保留并比较所有 pair 的非参数化方案；循环神经记忆则通过优化压缩这些关联，用一部分精度换取有边界的存储和更高计算效率。

8. 惊讶度与动量决定什么能留下

• 固定大小的 MLP 不可能无限吸收信息，因此 Titans 需要一套保留策略。Behrouz 的直觉规则是：“所有令人惊讶的事情，大概都值得记住。”从技术上看，key-to-value 预测不佳会产生关联损失梯度，提供即时的惊讶度信号，推动参数发生更大更新。

• 单靠惊讶度会把记忆锁定在一个 token 上，但有用的单位可能是一整段事件。Behrouz 举的例子是“I’m leaving”：在工作日结束时离开很平常，但如果意味着离开公司，含义就完全不同。周围的词语揭示了具体解释，而后续解释性 token 即使可以被预测、局部上并不令人惊讶，也可能是事件不可或缺的一部分。

• 动量会将更新状态向前延伸，让系统在周围 token 上保持更高敏感度。Torenberg 将其比作不仅记住 9/11 的震撼，还记住教室、随后发生的对话、女友以及父亲回到家。突发事件创造出一段时期，其中的细节会变得格外突出。

• 记忆和惊讶度都会衰减。旧参数必须为新信息让位，旧的惊讶也应当随着上下文变化而停止放大更新。Behrouz 确认，衰减、即时更新和动量控制都是学习得到、依赖输入的：每个 token 都会影响有多少状态能够保留、自身梯度是否重要，以及此前的惊讶是否应当延续。

9. 运行时梯度下降可以变成适合 GPU 的矩阵乘法

• 如果每个 token 后都执行一次字面意义上的梯度更新，系统就会形成顺序循环，训练速度也会很慢。Titans 之所以可行，是因为梯度计算和参数更新可以改写成对偶的矩阵乘法形式，延续 TTT 中描述的技术，并向 GPU 或 CPU 暴露可并行的工作。

• 权重衰减会增加一个标量或按 channel 计算的向量乘法，但仍然可以用 Hadamard 乘积或对角矩阵表达。动量看起来更难处理，但它的惊讶状态方程本身就是线性递推，因此可以用类似 Mamba 所使用的 parallel scan 算法按 chunk 计算。

• 另一种方式是展开动量递推，把梯度项和衰减系数都表达成矩阵运算。更大的结论是，“在推理时学习”并不意味着必须使用不可约的逐 token 优化循环；同一套更新语义也可以支持硬件高效的批处理。

• 在论文的计时实验中，随着上下文长度增加，attention 的训练时效率下降；Titans 比 Mamba 更快，但一些更新的线性模型仍然快于 Titans。Behrouz 强调，团队关注的是架构而不是底层 kernel；他预计，专门优化后，Titans 的效率可以接近那些极快且简单的线性 RNN。

10. Context 与 gating 击败朴素的 layer 交错

• Memory as Context 会形成一个反馈回路。长期记忆先检索与当前输入相关的信息，将其放入 attention 的上下文；attention 再决定如何把召回的历史与最近 token 结合。输出随后回到长期模块，帮助决定未来应该写入什么。

• Memory as Gate 将短期和长期记忆视为并行分支。同一份数据同时进入两者；attention 在局部窗口内建模精确的两两关系，神经模块则提供历史相关信息。两者输出随后被拼接或相乘，让网络能够组合这两类来源。

• Memory as Layer 按顺序交替运行两个模块，类似已有的 transformer-RNN 混合架构。一个短期 layer 为后续长期 layer 过滤信息，长期 layer 的输出再影响下一个 attention layer。Behrouz 将其纳入测试，部分原因是这一配置在文献中很常见，而不是因为神经科学或第一性原理特别支持它。

• 这一对比挑战了默认的混合方案。Nathan 粗略统计 9 个类别、3 个规模后发现，Memory as Layer 可能只赢下约 30 个单元格中的 2 个，其余大部分由 Context 和 Gate 分走。他的结论——Behrouz 也认可——是：让两套记忆系统进行有原则的交互，通常优于简单地把 attention 和循环 layer 交错排列。

11. 非线性记忆扩展表达力，但理论结论需要限定

• 单独来看，Titans 的神经记忆仍然是类似 RNN 的机制，但 Behrouz 认为它的表达力更强，因为记忆架构和循环更新都更加丰富。完整的 Context 或 Gate 架构在理论上可以忽略其中一个分支，以适应更偏好另一分支的任务，提供“两全其美”的可能；但他也承认，混合架构不可能在每个任务上都击败纯 RNN 或 transformer。

• 他给出的具体微型技能是状态跟踪：从 0 开始，执行“向左走”“向右走”等命令，然后报告最终位置。他表示，在引用的理论框架下，对角状态空间模型和 transformer 无法保证完成这类计算，而一个单层非线性 RNN 可以直接处理。

• Behrouz 将 Mamba、Mamba-2、RetNet、S4 和 S5 都放在相关的对角模型限制之内，并将其与 TC⁰ 复杂度类联系起来。Titans 的非线性记忆可以完成状态跟踪任务；DeltaNet 那样的非对角线性转移同样可以解决，因此这一优势并非 Titans 独有。

• Nathan 的反驳更偏实践：像 o1 这样的推理模型似乎可以“靠说一遍把任务做出来”。Behrouz 同意，理论必然会简化真实部署，也可能无法涵盖额外的推理 token、prompt 或模型组合。这里的说法是给定假设下的保证，不是断言生产环境中的 transformer 一定无法完成简单的跟踪 prompt。

12. 最突出结果是数百万 token，但测试是合成任务

• Behrouz 认为长上下文是 Titans 最令人兴奋的结果，同时立即补充，benchmark 是合成的，可能会夸大其在通用任务上的收益。在这一受控对比中，小型 Titans 模型处理了 200万 tokens，并在 1000万 tokens 上达到约 70% 的准确率，而 GPT-4 的 benchmark 表现迅速下滑。

• 在这一时间跨度上，Memory as Context 尤其重要。将短期和长期分支拆开后，一个分支可以检索紧凑的历史信息，另一个分支则在有边界的局部窗口中进行推理；在这些实验里，Memory as Gate 和 Memory as Layer 能处理的上下文长度短得多，但准确率更高。

• 随着训练 token 预算变化，模型排名可能发生改变。Behrouz 提到一张“mixture of Mamba”图表：训练数据较少时，Mamba 式循环表现更好；但随着 token 数量增加，transformer 最终扩展得更好并反超。因此，任何固定学术预算下的架构排名，都不应被误读为不可改变的 scaling law。

• 随着团队增加训练 token，Titans 相对于受测的 transformer 和线性 RNN 替代方案始终保持较强表现，在探索范围内没有出现反超节点。Behrouz 将其视为令人鼓舞的收敛表现，而非最终结论：学术实验无法把模型规模和 token 预算推到足够远，以彻底解决 scaling 问题。

13. 长度泛化比百万 token 的训练数据更重要

• Nathan 指出，互联网上几乎没有跨越数百万 token 的连贯事件，似乎意味着长记忆模型缺乏合适的训练材料。Behrouz 的回答是长度泛化：只要架构和训练技术允许模型从较短序列外推到目标长度，而性能不会严重下降，就不必直接在每一种目标时间跨度上训练。

• 纯循环模型或神经记忆模型在序列变长时都可能遇到困难；按 Behrouz 的经验，性能下降大约从 16K 开始出现，未经修改的 transformer 也有类似问题。位置编码、归一化技术和架构选择都很重要，因此更多长序列数据有帮助，但“这不是故事的终点”。

• Memory as Context 看起来很适合做外推，因为各自承担的职责都有边界。记忆模块把长流压缩成固定数量的召回 token，而局部 attention 不必对整段历史进行 attention。

• Nathan 提议把 Titans 记忆移植到现成的 Llama 或 R1 模型上，再继续训练，让 attention 学会使用召回的上下文。Behrouz 说这“有可能”实现，并希望有人开展这项工作，但没有提供移植结果；这一集传达的是一个研究机会，而不是可直接部署的方案。

14. 灾难性遗忘仍是终身 agent 的瓶颈

• Nathan 追问，受限于预训练模型潜在空间的记忆，是否真的能学习 GE 或 3M 历史这样陌生领域的内容。他提出，或许可以先继续预训练，丰富基础表征，再让运行时记忆开始工作，将持久的领域知识与不断演化的事件经验结合起来。

• Behrouz 将问题转向灾难性遗忘。在漫长时间和连续任务中更新参数，可能让模型适应当前上下文，却抹去更早的上下文。有限的神经记忆可以大幅延长上下文，但这并不等于模型能够在没有干扰的情况下无限积累技能与知识。

• 这一让步对 agent 判断至关重要：Titans 可能帮助系统记住错误并保持连续性，但还无法造出一个“不会重复犯同样错误”的终身工作者。Behrouz 表示，如果能在这一层面克服遗忘，也将对机器人和强化学习产生影响，这恰恰说明问题仍有多大。

• Behrouz 更愿意进行的下一项实验，是走出文本，进入 agent、决策、强化学习和其他天然包含长期历史的模态。不同整合方式可能适合不同领域：MAC 可能适用于语言建模，MAG 则可能更适合决策。决定性测试在于，Titans 能否像 transformer 一样在深度学习的广泛领域发挥作用；目前，“我们不知道”。