先锋 趋势 方法 投研 作者
🔬 苦涩教训正在蛋白质领域重演——Alex Rives,BioHub
返回节目精读

🔬 苦涩教训正在蛋白质领域重演——Alex Rives,BioHub

摘要

  • Alex Rives 的核心押注是,蛋白质生物学将遵循“苦涩教训”:让通用序列预测器沿着进化规模化,生物结构就会在没有手工编码先验的情况下自行涌现。 进化会约束哪些氨基酸能够共存,因此预测被遮蔽的残基会迫使 ESM 推断结构与功能背后的隐藏变量。自2018年以来,模型规模在每一代大致扩大一个数量级,Rives 表示:「我相信规模定律」(“I believe in scaling laws”)。

  • ESM-C 相比 ESM-2 的决定性进步,来自拓宽进化数据分布,尤其是加入数十亿条嘈杂的宏基因组序列。 尽管模型规模更大,ESM-2 已出现边际收益递减;参数规模大致相当、但数据更多元的 ESM-C 则显示「规模化不再带来递减收益」。对这套论点真正关键的瓶颈,因此不只是架构是否足够巧妙,而是能否获得尽可能多进化语境中的氨基酸数据。

  • 这套新获 MIT 许可的系统,将蛋白质世界模型、ESMFold 2、机制可解释性工具,以及覆盖68亿个非冗余蛋白质的图谱整合在一起。 团队对按70%序列一致性聚类出的11亿个代表序列预测了结构,从而覆盖更大的蛋白质集合;稀疏自编码器则揭示了从基础化学到抽象功能的特征。Rives 称之为「迄今建立的最全面蛋白质结构与功能图景」。

  • 在商业层面真正有影响力的能力,是基于搜索的蛋白质设计,尤其是 scFv 抗体已在少数试验中达到治疗活性所需的亲和力水平。 Rives 表示,治疗性设计「基本上就是从通用序列—结构—功能模型的搜索中涌现出来的」;他还称模型在抗体上的表现显著更好,而进化信息在抗体设计中可能没那么有用。完整 IgG 尚未测试,不过 scFv 可以重新制成抗体格式,他看不出这一方法无法奏效的理由。

  • 这场对话把静态蛋白质模型视为第一阶梯;更大的奖赏,是建立一个能够在未见过的生物学语境中预测真正全新干预措施的虚拟细胞。 Rives 认为,今天的虚拟细胞模型能够很好地表征训练数据,但回答新实验问题的能力「非常有限」。要形成有用的细胞级或acles,需要扰动生物学与空间生物学、多模态测量、实验反馈,以及覆盖分子、基因组、细胞并最终延伸至生理层面的模型。

  • Biohub 正在内部投入4亿美元、外部投入1亿美元,搭建这套缺失的数据栈,同时承认这仍只是所需资源的一小部分。 短期计划是将现有实验规模扩大10x–100x,随后开发再扩大10x或更多的技术,同时增加干预数量、测量模态与生物学语境。「我们等不了几十年」;Rives 希望在几年内完成所需数据的生成。

  • 蛋白质数据和算力似乎都还没有耗尽:ESM-C 使用了约10亿条序列,而 Rives 估计可用序列可能在1000亿条量级。 不应因为小幅变异而将其视为冗余并丢弃,因为这些变异可能传递功能信息——「一个突变就足以摧毁蛋白质的功能」。Rives 表示,算力增加100x会改善 ESM-C,但前提是数据同步扩张;收益还能持续多久,仍「完全是一个经验问题」。

精读

1. 进化为蛋白质模型提供所需监督

  • Rives 将这项计划追溯到2018年夏天:当时,他在 Meta AI 的团队训练了早期蛋白质 Transformer 语言模型。此后几代模型中,规模大致每次扩大一个数量级,并反复带来新的能力。

  • 生物学前提非常具体:折叠蛋白质中彼此接触的残基不可能独立进化。一个位置发生变化,就要求其他位置做出相容变化;这些变化会在序列数据库中留下统计模式,反映出底层结构与功能。

  • Rives 有意采用通用任务定义:遮蔽氨基酸,并预测「进化会选择的氨基酸」。在数十亿条序列上解决这一任务,会迫使模型推断塑造蛋白质、但原本不可见的约束。

  • 主持人提出蛋白质并非自然语言,Rives 给出的经验性回答是:AI 尚未掌握规模化能力何时能够迁移的完整理论,但进化已经通过「40亿年生命并行开展实验」生成了庞大的训练集。

2. 宏基因组学打破 ESM-2 的数据天花板

  • ESM-2 的规模从约10亿参数提升到100亿参数,但其结构表征曲线出现边际收益递减。Rives 现在将这一结果解读为数据受限,而不是对规模化的否定。

  • UniRef 提供了经过整理和聚类的已知序列生物学覆盖。ESM-C 则加入了从热液喷口、极地环境、深海、土壤、人体肠道及其他生态系统中不加筛选采集的宏基因组材料。

  • 这些宏基因组数据本来就很混乱:研究人员对环境 DNA 进行测序,从碎片化的 contig 中翻译出可能的蛋白质,同时往往缺少完整基因组、物种身份,也无法确定每条推断出的序列是否构成完整蛋白质。

  • 噪声换来了多样性。在参数规模与 ESM-2 大致相当、算力略高、并额外加入数十亿条序列后,ESM-C 产生了一条平滑的规模化曲线;从更小模型外推出的结果,能够预测更大模型的表征保真度:「数据才是真正的关键。」

3. ESM-C 将语言模型变成开放蛋白质图谱

  • Rives 称 ESM-C 是第四代模型,在发布前一年多完成训练,目前已依据 MIT 许可证全面开源。该系列包含3亿、6亿和60亿参数模型。

  • 围绕语言模型,团队构建了用于结构预测的 ESMFold 2,以及用于揭示模型所学特征的稀疏自编码器工具。其目标是建立覆盖蛋白质序列、结构与功能的世界模型,而不只是下一个 token 预测器。

  • 这套图谱将主要序列数据库合并为68亿个非冗余蛋白质。团队按70%序列一致性进行聚类,并对11亿个聚类中心预测结构;相关成员应共享同一折叠结构,只存在较小变异。

  • 这些结构为人们理解蛋白质多样性增加了数亿条可访问记录。计算得到的特征还将一些序列相似度很弱、但拥有共同功能或结构模式的远缘蛋白质联系起来。

4. 可解释性揭示模型未被明确教授的生物学

  • 在 ESM-C 各层训练的稀疏自编码器,揭示出一种类似生物学实验发展出的还原论图景的层级结构:底层是生化性质与结构构件,随后是大型功能主题和抽象概念。

  • 「亲核肘部」是 Rives 最有说服力的案例。拥有不同拓扑结构的蛋白质家族可能独立进化出这一结构基序,但 ESM-C 却在这些进化距离遥远的家族中使用「同一个特征」来表示它。

  • 他的解释仍然只是一个假设:预测需要压缩,而压缩会产生潜在变量。由于每个氨基酸的选择都与整个序列相互纠缠,亲核肘部这样的可复用概念,能够帮助模型预测许多原本互不相关的语境。

  • 同一特征空间还会将远缘相关的基因编辑系统,以及其他功能未知的蛋白质聚集在一起。其中一些可能是尚未被发现的编辑系统,但仍需实验验证;Rives 提到,Feng Zhang 的团队曾利用第一版 ESM Atlas 找到一种新的基因编辑系统。

5. 分布结构为“涌现”提供一种假说

  • Rives 引用了 Zellig Harris 在1954年提出的「分布结构」:一个词出现的语境受其含义约束,因此统计结构可以在没有明确获得定义的情况下恢复语义结构。

  • 他对生物学的类比非常直接。一个氨基酸能够出现的语境,由蛋白质的结构、功能、生物学角色以及与其他蛋白质的关系决定;因此,学习这些语境集合,就应该能够暴露产生它们的隐藏生物学变量。

  • 这一框架也解释了小幅序列差异为何有价值。广泛的进化多样性能够教会模型结构抽象,而家族内部的密集变异,则可能在一个突变就足以摧毁功能的分辨率上教会模型功能。

6. ESM3 与 ESM-C 提供两条通向可编程生物学的路径

  • Rives 表示,ESM3 与 ESM 的理念一致,两种方法都有其位置。ESM3 的目标是实现明确的可编程性,通过序列、结构和功能轨道,让生物学家能够用正确的生物学信息提示模型。

  • ESM-C 则把设计视为世界模型搜索:指定目标标准,再在其预测空间中搜索满足条件的分子。它已经生成迷你蛋白质结合体,更值得注意的是还生成了 scFv 抗体。

  • 主持人将其与编程代理进行比较:后者先进行广泛预训练,再通过后训练或强化学习获得可编程性。Rives 认为两种路径之间的转换很有前景,但正确方法尚未被理解:「两者都需要。」

7. 抗体结果检验通用模型能否胜过专用流程

  • scFv 将抗体的一条重链成分与一条轻链成分合并为单链,从而形成复杂的结合界面。Rives 估计,抗体约占新药的四分之一,因此这是一个具有重要商业意义的治疗模态。

  • 在少数试验中,ESM-C 通过搜索找到了亲和力和活性达到治疗功能要求的 scFv。Rives 强调,这种能力来自通用蛋白质模型,而不是专门为抗体工程训练的系统。

  • 主持人的质疑很关键:迷你结合体正变得越来越常规,但纳米抗体、scFv,尤其是抗体本身,难度会不断上升;抗体的多样性也意味着,多序列比对不像在保守蛋白质中那样天然有用。

  • Rives 尚未测试完整 IgG。scFv 可以重新制成抗体格式,他看不出完整 IgG 设计为何无法奏效,但这仍是一个前瞻性判断;他目前更谨慎的表述是,ESM-C 在抗体上的表现「显著更好」。

8. 快速结构预测是入口,不是虚拟细胞

  • ESMFold 2 不需要多序列比对,因此可以直接从序列出发,在几秒内生成原子分辨率预测。Rives 表示,在多聚体预测上,该系统属于开放模型中的最先进水平。

  • 主持人提议,初步可以预测人类蛋白质组中所有成对相互作用,建立一张初始互作组。Rives 认同这一计算代理可能很有价值。主持人还指出,静态结构忽略了对大量细胞生物学至关重要的动态过程。

  • 在 Biohub,团队正在构建具有更高细胞对比度的冷冻电子断层成像技术。Rives 希望,这类工作最终能够实现结构和经验均得到解析的互作组,尽管技术障碍仍然巨大。

  • 第一性原理模拟目前还无法跨越这一鸿沟:即使是物理折叠模拟,也只能处理少数折叠速度较快的蛋白质。Rives 还提出了细胞的信息论视角,将基因组、转录、细胞程序和表型联系起来。

  • 历史上,领域曾预计蛋白质结构预测将来自第一性原理模拟;但机器学习的模式识别反而取得了重大进展。Rives 认为,学习细胞生物学底层程序,可能是在当前规模化信息论时代可获得的正确抽象。

9. 虚拟生物学需要规模化的实验反馈机器

  • Rives 对虚拟细胞的标准是泛化:它必须预测一个不在训练数据中的实验。当前模型「能够很好地表征底层数据」,但在新语境下预测新干预的能力很弱,而这正是基础科学真正需要的能力。

  • Biohub 的计划将4亿美元投向内部数据生成和支撑技术,另将1亿美元投入外部项目。重点包括 Perturb-seq、转录与成像联合测量、空间生物学,以及同时测量表型、转录组、蛋白质组、基因组和表观遗传组。

  • 按 Rives 的估算,现有项目可能已经覆盖约10亿个细胞,但他希望规模再扩大数个数量级。现有技术在合理投入下或许可以扩大10x–100x;再扩大10x或更多,则需要更好的实验、自动化、灵活机器人和更便宜的多维测量。

  • 反馈闭环完成了这套论点:模型可以围绕数千、数百万乃至数亿个假设进行推理,筛选少量实验,观察结果,并更新自身表征——「有点像 RLVR」,但要扎根于生物学。算力与数据必须同步扩张;ESM-C 最终是否会再次出现边际收益递减,仍需由经验验证。