先锋 趋势 方法 投研 作者
写入、改变、回忆、遗忘:MongoDB 的 Pete Johnson 谈检索如何驱动智能体表现
返回节目精读

写入、改变、回忆、遗忘:MongoDB 的 Pete Johnson 谈检索如何驱动智能体表现

摘要

  • Johnson 的核心判断是,智能体表现越来越取决于速度、规模和检索质量;一味堆满 token,既带来成本问题,也带来相关性问题。 他提到 Uber 在 13 周内“烧光了 2026 年的 token 预算”,并指出学术研究发现,上下文窗口里真正最重要的通常只有“最前面的 7000 个 token 和最后面的 7000 个 token”;与其每轮都塞满 100万个 token,不如让每个智能体循环只拿到“恰到好处的 20万个”token——这会推动企业从最大化窗口转向筛选正确上下文。
  • Johnson 坚持认为,embedding 模型并没有像市场共识所说的那样商品化,这也是 MongoDB 收购 Voyage AI 的核心逻辑。 Voyage 模型通常位居 Hugging Face 的 MTEB 基准榜首,他称其相较部分其他 embedding 模型最多可提升 14%,这“可能就是幻觉与正确答案之间的差别”;reranker 还能再带来 5%–10%的提升。他最后强调:“Anthropic 目前没有在售的 embedding 模型,他们推荐我们。”
  • MongoDB 对自身经营位置的表述是:2026财年收入约25亿美元,占1000亿–1100亿美元数据库市场约2%–3%,并已覆盖约75%的《财富》500强;随着 AI 扩大适用场景,速度、规模和检索质量正让文档模型相较 SQL 更具优势。 Nathan 提到 MongoDB 市值约300亿美元,并将 Voyage 收购价格定格在2.2亿美元——不到这一数字的1%——用来检验传统厂商能否低成本吸收模型层价值;Johnson 的回答是,MongoDB 既有的分片、复制和安全能力让向量搜索更容易加上去,而 Voyage 本身具备差异化。
  • 智能体记忆是当前前沿,也是“眼下智能体最难的问题”——Johnson 引用了同事提出的公式:“写入、改变、回忆、遗忘”。 遗忘最难;成熟系统如今会使用 token 预算、基于 RBAC 共享的记忆,以及一种新的“分类记忆”类型:每轮只检索5个相关的垂直领域术语,而不是把100个术语全部塞进去。Johnson 更大的警告是:“我们已经构建数据库60年了,而构建智能体大约只有18个月。没有人掌握所有答案。”智能体目前还没有自己的 LAMP stack。
  • 企业落地的现实是:Johnson 接触的大多数《财富》500强企业仍在做带人工介入的员工端场景,而不是完全自主、面向客户的 AI,因为两者的风险收益并不对称。 同事之间的薪资泄露已经很糟,但客户数据泄露会演变成“由一名 VP 承担责任”的事故。ROI 能否成立,最终取决于问题选得对不对——要挑选那些本来就有指标的问题,比如呼叫中心、SDLC,因为“如果你原本没有衡量某件事表现的指标,就不知道它是否变好了”。
  • Johnson 最反常识的观察是,他在2026年走访7个国家时遇到的2个最成熟的 AI 客户来自墨西哥城和圣保罗,而不是美国。 云计算和移动互联网浪潮中,没有超大规模云厂商的数据中心或通信基站会形成地理护城河;但如今“接入已经民主化”,模型、向量数据库、embedding 模型和 reranker 的可得性广泛提升,原本被认为存在的美国领先优势正在被削弱。
  • 一家向量数据库初创公司创始人对传统厂商的反驳,Johnson 认为“有一定道理”:进入向量数据库的大多数数据“以前根本没进过任何数据库”——包括 SharePoint 里的 PDF、音频、视频和其他非结构化数据——这意味着 AI 浪潮扩大的是可索引数据的边界,而不只是重新分配既有数据库份额。

精读

1. 数据库设计取决于当时最稀缺的资源,而稀缺资源一直在变

  • Johnson 讲起自己的职业起点时带着一个个人化的钩子:E. F. Codd 在 IBM 发布、奠定 SQL 基础的白皮书可以追溯到1970年6月——“我碰巧出生于1970年2月,所以我和 SQL 一样大。”1970年,存储成本远高于其他资源,因此规范化设计是理性的:同一条数据绝不存储两次,把他和妻子的共同地址拆散放进3张表里。
  • 到 MongoDB 在2007年10月提交第一次代码时,“47年的摩尔定律”已经让时间成为稀缺资源:云、移动,以及系统不能在周末停机。把地址反规范化,分别写进2个 JSON 文档,换来的就是“一次磁盘读取”,而不是3次——这是 MongoDB 速度优势的一部分;同时,数据从磁盘到客户端始终保持 JSON 格式(磁盘上是 BSON),进一步放大了这一优势。
  • 他甚至比大多数厂商更直白:“我们的教育体系存在一种偏见,一种历史偏见,认为你必须始终做规范化。”这对很多场景仍然成立,但 AI 正在扩大不适合规范化的场景集合。

2. 市占率只有1000亿–1100亿美元市场的2%–3%,而 AI 正在扩大优势区间

  • 数据按原话计算:Nathan 提到 MongoDB 市值约300亿美元;Johnson 表示,公司2026财年收入约25亿美元,占1000亿–1100亿美元数据库市场约2%–3%,并已进入约75%的《财富》500强。企业在数据库选择上分成两派:按工作负载逐一选型,或采取全栈式策略;背后的变量包括 greenfield 与 brownfield 的组合,以及企业内部现有的人才储备。
  • Johnson 在整期节目中反复回到同一条主线:MongoDB 的优势在于“速度、规模和检索质量”。随着企业围绕 token maxing 制定策略,并在2026年晚些时候演进出新架构,第三项对智能体架构的重要性正在快速上升。在一家北美三大车企之一,Johnson 称 MongoDB 用3天时间培训了约250名工程师,覆盖经销商效率、维修技师工具和车内体验等场景。

3. 纠正记录:MongoDB 是 schema-flexible,不是 schemaless;这正是向量搜索容易加上去的原因

  • Johnson 反驳 Nathan 的表述:同一个 collection 里的文档可以拥有不同结构,但这叫 schema 灵活,不等于没有 schema——“任何一个改过已经上线的 SQL schema 的人……都知道我说的痛苦。”
  • 向量搜索的故事起点并不典型,而是词法搜索。2020年,MongoDB 发现客户会在集群旁边自行部署 Apache Lucene 服务器来做关键词检索,于是推出 Atlas Search。随后出现了关键一步:“归根结底,向量就是一个浮点数数组。”它不过是灵活文档上的另一个属性,建立索引后就有了向量搜索。这也支持带预过滤的混合搜索:标题做词法检索,简介做向量检索,再筛选出2000年以后出版的书——“3个查询能力杠杆”。
  • 2025年收购 Voyage 后,整个闭环完成:可以在任意向量数据库上使用 Voyage,也可以在 MongoDB 上使用任意 embedding 模型,或者选择“组合起来更好”的方案。

4. 苦涩教训的工程化版本:持续删除开发者需要自己维护的管道

  • 新近公布的 rank fusion 和 score fusion 聚合管道阶段,把过去分开的向量检索、词法检索以及手工合并结果,压缩成“向我们的服务器发起一次往返调用”,直接按 rank 或 score 返回预排序结果。Johnson 的销售段子是:“开发者只有两种:喜欢 MongoDB 的,以及还没试过 MongoDB 的。”
  • 同一思路又重复了2次:春季发布的 $rerank,把“先做向量搜索、再调用 reranker”的往返压缩成一次 API 调用;auto embeddings 则持续监控指定属性,任何字段变化或新文档出现,都会自动通过用户选择的 Voyage 模型重新生成 embedding 并更新索引,不再需要维护自建 embedding 管道。背后的理念是:“未来3年构建 AI 智能体的开发者,会多于过去3年构建智能体的开发者……我们必须降低学习曲线。”

5. 分块的取舍,以及 Voyage 如何用2个技巧化解它

  • Johnson 先解释经典的迭代循环:按句分块会丢失上下文,按3页分块又会推高存储成本,并淹没你真正想找的那句话——“答案永远是视情况而定”,所以开发者通常要跑3到4轮测试。Voyage 的 contextualized chunking 在去年夏天随 v3 推出,v4 则在过去6周发布,改变了这个权衡:把目标句子及其周边上下文作为2个字符串发送,返回一个同时平衡两者的浮点数数组,让两者“以某种超位置叠加”的方式结合——Nathan 用了这个说法,Johnson 确认“工作原理正是如此”——从而在更小 chunk size 下实现“更好的检索质量,而这在其他情况下是不可能的”。
  • 第二个技巧是 Matryoshka embeddings,名称来自俄罗斯套娃:embedding 维度通常在256到2048之间,并按顺序排列;生成1024维 embedding 后测试512维时,只需“截掉最后512维”,不必对整个语料库重新做 embedding。两项功能都没有消除质量与成本之间的决策,但都压缩了迭代周期。

6. 这些能力什么时候才重要?Johnson 给出门槛,并反驳商品化论

  • Nathan 以“一个人的业务”做了坦诚自检:过去5年积累的邮件、Slack、私信和转录文本,合计约1GB个人检索语料;他用 Gemini embedding 模型把这些内容混在一起,没有做任何评估——那他怎么知道自己遗漏了什么?Johnson 毫不回避:“你不会冒犯我……大多数人都是从 Postgres 和 pgvector 开始”,再配上云厂商默认提供的 embedding 模型。
  • Johnson 给出的门槛很明确:当具体场景需要时,毫秒级延迟才重要;规模要达到“大约10万个向量这个量级”;至于质量,“大多数人认为 embedding 模型已经商品化,但事实并非如此”。Voyage 模型通常位居 Hugging Face 的 MTEB 基准榜首,相较部分其他 embedding 模型最多提升14%;reranker 还能再增加5%–10%。最后的关键点是:Anthropic 没有在售的 embedding 模型,但推荐 Voyage。

7. 从简单 RAG 到 token maxing 后遗症:为什么需要更成熟的记忆系统

  • Johnson 对技术演进做了压缩式回顾:ChatGPT 在2022年的架构是输入查询、输出答案;RAG 提供了注入私有数据的方式;工具和 MCP 在2025年帮助解决知识截止日期问题;而智能体循环随后暴露出“上下文窗口仍然非常愚蠢”——每一轮都是全新的,于是产生了粗糙记忆:先把整个 session 塞进去,再把3天的 session 全部塞进去。
  • 这种粗糙做法有2个代价。第一是钱:Uber 在13周内耗尽2026年 token 预算,这件事“引发了大量关注”;第二是功能:学术研究显示,最前面和最后面大约7000个 token 最重要,而“中间的内容最终可能只是让 LLM 变得模糊和困惑”。新的目标是:“如果我能为这一轮智能体循环只挑出恰到好处的20万个 token 呢?”
  • 他观察到的《财富》500强新趋势是分类记忆:面对100个垂直行业或公司专属术语,每轮只通过向量、词法和预过滤组合检索出其中5个相关术语,追求“这一轮完美的上下文窗口”,尽管这个窗口永远无法真正完美。

8. “写入、改变、回忆、遗忘”:为什么遗忘最难

  • Nathan 分享了自己在记忆系统上的痛苦:按照 Karpathy 启发的 wiki,把每月日志摘要汇总成年度摘要,但模型会把已经放弃的项目“作为一个开放线程保留几个月、又几个月……哥们,我实际上根本没做过那件事”。这引出了 Johnson 最坦率的承认:“这是眼下智能体最难的问题……我们已经构建数据库60年了,而构建智能体大约只有18个月。没有人掌握所有答案。”
  • 他看到正在成熟的模式是,应用作者承担2项责任:先带着 token 预算查询记忆系统——“给我最好的5万个 token”;再把答案送回系统,由系统负责整理和写入;同时通过 RBAC,让相同岗位类型的同事共享记忆。他逐字引用一位同事的框架:“写入、改变、回忆、遗忘”(Write, change, recall, forget)——记忆是有半衰期的。
  • 在图结构方面,面对规模更大、分类更重的语料库,客户通常会构建6层到12层图结构,再在叶节点内部做向量检索;这一切都可以在一个基于 JSON 的平台里完成。Johnson 担心的是,有些记忆架构依赖 LLM 多轮处理来缩小语料库,而不是使用成本更低的 embedding 模型和 reranker,因为 token 和延迟都会累积。他举的例子是 MongoDB 最大客户 ElevenLabs:在其音频平台上,为每个客户运行微型智能体。

9. 自建还是采购:赢家选的是更好的问题,而不是更好的技术

  • 在7个国家与约100家客户交流后,Johnson 将市场分成3类:“我买了这一个工具的许可证,就结束了”;陷入 ROI 孱弱的 PoC 试验泥潭;以及少数真正成熟、在优化记忆系统的客户。对于中间那一类,他说:“他们最大的差别不在于如何应用技术,而在于他们选择尝试解决什么问题。”
  • 他的选题筛选器是:从企业最重要的10到15个业务问题中,哪些拥有高质量数据和现成指标?“糟糕的数据质量和糟糕的安全态势不会被 AI 解决,只会被 AI 放大。”呼叫中心受欢迎,是因为单次通话成本和通话量本来就有记录;软件交付则不同,“代码行数是一个糟糕的指标”,真正重要的是从想法到上线的速度。
  • 贯穿全期的反复提醒是:“这里没有 React 和 Angular,也没有智能体的 LAMP stack。”即使选择采购,企业也应预期需要进行大量定制。

10. 部署现实:员工端、人机协同,因为风险并不对称

  • Nathan 分享了一个他认为位于底特律、只有一个门店的 Greg’s Pizza 案例:AI 接起电话,在顺利路径上的表现令人印象深刻,但把他带有对抗性的提问——“是哪家公司提供支持?”——误读成了企业订购披萨。Johnson 随即给出更冷静的判断:他接触的大多数《财富》500强企业,正在做的是员工端场景,并保留人工介入。
  • 原因既有 ROI,也有安全性。对员工而言,KPI 和奖金机制本来就存在,因此 AI 带来的跃升可以被归因和衡量;安全方面,同事之间的薪资泄露已经很糟,但客户之间的数据泄露会变成“由一名 VP 承担责任”的事故。

11. Voyage 交易的宏观信号:以及那些从未进入数据库的数据

  • Nathan 提出了尖锐问题:MongoDB 已经在自己的平台上实现了向量搜索,却又以他提到的2.2亿美元收购一家模型初创公司——不到他提到的约300亿美元市值的1%——那么这是否说明“基础设施才是最大赢家,模型会商品化,传统厂商则防御初创公司”?Johnson 的回答仍然围绕运营现实:得益于 JSON 基础,向量搜索可以相对容易地加上去;MongoDB 还拥有十多年 Atlas 分片、复制和安全能力,而“部分新出现的向量数据库公司……还要追赶这些能力,并且正为此挣扎”。另一方面,Voyage 在市场错误地将 embedding 模型视为商品时,确实具备差异化。
  • Nathan 转述了一位初创公司创始人的反驳:“进入我们向量数据库的大多数数据,以前根本没进过任何数据库。”这些数据散落在数据湖和各种非结构化堆积物中。Johnson 认为“这有一定道理”,并提到视频、音频和 SharePoint PDF,如今都可以通过 embedding 变得可搜索。

12. 世界并不落后,而技术周期还在持续缩短

  • Johnson 主动分享的意外发现是:他在阿姆斯特丹和伦敦工作,并走访多伦多、班加罗尔、墨西哥城和圣保罗后表示,“我今年谈到的2个最成熟的客户在墨西哥城和圣保罗”。这些公司原本以为美国竞争对手领先,结果事实恰恰相反。他的解释不是美国更保守,而是接入已经民主化:云计算时代,“如果超大规模云厂商还没有在你所在国家建设数据中心,你基本就没办法”;移动时代,没有通信基站,“一部 iPhone 也帮不了你太多”;而如今,基础设施已经广泛可得。
  • 最后一个技术细节是1月发布的 shared embedding spaces:Voyage 4 的4个版本——文本模型中包括 Hugging Face 上开放权重、免费的“nano”——共享同一个 embedding space。因此,用户可以用大模型为语料库生成 embedding,再在笔记本电脑上用 nano 跑开发查询;在牺牲部分检索质量的前提下,开发阶段可能只需承担语料库 embedding 的 token 成本,从而基本消除查询阶段的 token 成本。
  • Johnson 对技术迭代速度的最终判断是:Anthropic 在2年前感恩节前的那个周一发布 MCP,到3月时所有竞争对手都已接受它;token maxing 在3月初浮现,到4月就已经不再是值得讨论的话题。这个周期比以往任何一轮技术浪潮都更快——“我们所有人还有很多东西要一起学习。”