先锋 趋势 方法 投研 作者
🔬训练 Transformers,解决癌症试验95%的失败率——Ron Alfa & Daniel Bear,Noetik
返回节目精读

🔬训练 Transformers,解决癌症试验95%的失败率——Ron Alfa & Daniel Bear,Noetik

摘要

  • Noetik 的核心判断是,肿瘤学90%-95%的临床失败率,主要是患者筛选问题,而不是分子设计问题。 Ron Alfa 认为,癌症试验往往不存在安慰剂效应,因此出现应答就说明相关生物学确实处于活跃状态;传统开发流程无法识别正确的患者亚群。Noetik 希望直接从人体肿瘤中发现具有治疗意义的患者亚型,再将其同时用于反向转化靶点发现和试验设计。

  • 公司声称的护城河,不是事后拼装的公开生物学数据,而是一套专门构建、受控生成的人体肿瘤数据集。 Noetik 已为超过1亿个细胞生成空间分辨转录组数据,并与H&E组织学、蛋白成像和基因型数据配对;按其观察,这一数据集“至少大一个数量级”。仅使用40%或10%的数据训练,模型表现就明显恶化,尤其是在泛化到未参与训练的癌种时。

  • Noetik 用昂贵的多模态检测进行训练,但临床推断可以依赖几乎每位肿瘤患者都已经采集的标准H&E图像。 Travis McKie 将H&E称为病理学的“通用语言”:模型可以区分应答者和非应答者,预测局部表达的基因,并揭示超越单突变或单蛋白生物标志物的生物学。这为从历史试验走向前瞻性诊断提供了一条可信路径,并可用同一种低成本输入覆盖多种药物。

  • 它的“virtual cell”刻意追求实用和自上而下,而不是试图模拟细胞内的每一条生化反应。 OctoVC 关注在特定患者背景下,T细胞、巨噬细胞、肿瘤或基因表达会发生什么变化;PerturbMap 则在小鼠肿瘤内通过约100种带条形码的基因扰动检验模型预测。其目标是在不先构建机制上完美的细胞模型的情况下,预测哪种药物适合哪位患者。

  • 模型工作正从掩码重建转向自回归空间预测,组织上下文开始成为真正的扩展变量。 OctoVC 采用极高比例的掩码——按主持人回忆约为99%——以避免模型只是补全局部边缘。TARiO 的下一个token预测目标显示,更大的模型主要在更长上下文中胜出,暗示真正解锁复杂患者级生物学的,可能是更多周边组织,而不只是参数量。

  • 5,000万美元的 GSK 协议是最明确的商业验证,但交易结构同样关键:这笔金额包括首付款和里程碑付款,另有独立的年度模型许可费。 GSK 获得了已在肺癌和结肠癌数据上训练的 OctoVC 模型,并可用自身的转化数据进行微调。Akash Tiwari 的关键表述是,这看起来像一笔有实质意义的生物医药业务开发交易,只是“交易底层实际上是模型”,而不是分子。

  • 投资风险与护城河不可分割:Noetik 花了约4年搭建基础设施,在确认方法有效之前,投入更接近1,000万美元而非5,000万美元。 公司至少有18个月没有足够数据训练模型,单次转录组实验处理2张切片就要2周;它所说即将公布的试验重分析结果目前也尚未披露。Dan Barr 认为,每个主要癌种以及部分精选的小癌种各有数百名患者,可能就能泛化到整个肿瘤学,但他也明确保留意见:覆盖全部疾病生物学,可能还需要再增加一个数量级的数据。

精读

1. 患者筛选,而非药理学,是被指认的失败环节

  • Alfa 以 Noetik 的逆向判断开场:“90%、95%的癌症药物最终都会在临床失败。”但与此同时,行业在药理学、靶点筛选和分子设计方面都已达到前所未有的水平。他认为,主要失败点出现在更靠后的环节:没能识别出哪些患者拥有药物可以利用的生物学特征。

  • 他的证据,是藏在失败总体结果中的应答者。Alfa 表示,癌症试验往往不存在安慰剂效应;当患者出现应答时,说明药物确实产生了活性。试验之所以失败,可能只是因为这种生物学特征被稀释在一个不加区分、广泛入组的患者群体中。

  • 因此,这个平台可以双向工作:既可以从人体肿瘤出发,反向转化寻找新靶点;也可以分析2期和3期活检样本,识别能够预测应答的生物学特征,再据此重新设计下一项研究。Noetik 表示,后一个方向已经投入了大量工作,但相关结果仍未披露。

  • Alfa 进一步推进了“亚型”这一判断:“实际上没人知道这些亚型究竟是什么。”一个长期被视为单一肺癌亚型的类别,可能包含3种功能上截然不同的疾病;这些潜在分层在治疗上的意义,可能超过病理学家沿用超过1个世纪的分类体系。

2. “Frankenstein 式”临床前模型让临床团队只能猜

  • Bear 的批评从永生化细胞系开始:许多细胞系已经存续40年或50年,往往带有异常的染色体数量和表达程序,与任何可识别的人体细胞都不相似。研究人员仍然把它们标记为结肠癌或肺癌细胞,但 Bear 称其为“Frankenstein 式细胞”(“Frankensteinian cells”),因为它们在实验中的反应往往无法映射回患者。

  • 把这些细胞移植到动物体内,也没有弥合这一鸿沟。肿瘤学研究通常会把它们植入皮下某些“奇怪的位置”,再通过合同研究组织测试数百个细胞系,并根据哪些名义上的结肠癌或卵巢癌细胞系出现应答来推断适应症。即使源自结肠癌的细胞系,也可能缺少人体结肠肿瘤中的典型突变。

  • 由此形成的临床链条极其残酷:在缺乏患者层面临床前指引的情况下,团队可能把所有符合条件的肿瘤患者都纳入一项约50人的开放标签研究,同时摸索剂量、安全边际和疗效信号。假设肺癌包含10个相关亚型,那么最终只有少数患者应答在统计上并不意外,但分子仍可能因此被终止开发。

  • 主持人的总结指向了拟议中的解决方案:不要再假设今天的适应症标签内部同质,而要找出真正会应答的患者亚群。Bear 补充称,现有生物标志物——单一突变、单一染色蛋白或单一基因特征——都“偏向简单化”,与临床成功之间通常只有很弱的相关性。

3. 生物学训练数据必须先被设计,之后才能扩展

  • Tony Bui 不认同有用的生物学语料库可以事后简单搜集。Protein Data Bank 是经过数十年有意积累形成的;Shawn Wang 则以 ImageNet 精心整理并标注的120万张图像为例。核心教训是,“必须有意识地设计要生成的数据”,并提前考虑它需要支持哪些模型。

  • Bui 将规模视为“必要条件,但未必充分”。语言之所以展现出惊人的规模效应,部分原因在于语料库足够大;但数千小时的视频并没有自动产生同等水平的能力。生物学还要面对数万种基因和蛋白质、它们的空间组织、健康组织、其他疾病,甚至其他物种。

  • Shawn Wang 提出相反的判断:既然生物学源于底层物理过程,也许这个空间会比语言更早进入模型的分布之内。Bui 的回答仍然保留余地——他的“直觉是生物学相当复杂”,Noetik 距离覆盖全部生物学还很远,而他的结论是“我不知道”。

  • 蛋白质折叠提供了另一重校验:讨论指出,优秀模型可能只需要使用PDB中很小一部分数据;也有研究者认为,只要算法足够强,PDB在1990年代覆盖的数据就已经足够。Dan Barr 的范围更窄:主要癌种以及部分精选的小癌种各有数百名患者,可能就足以广泛泛化到整个肿瘤学。

4. Noetik 把组织、细胞、分子和批次放进同一个体系

  • Tony Bui 在 Recursion 工作6年的经验影响了实验设计。图像信息密度高,可以在一张切片上容纳许多患者;与测序相比,图像还能降低边际数据生成成本,因为测序中每增加一次实验,往往就对应另一组患者样本。

  • 临床锚点是H&E:苏木精和伊红染色形成病理学家熟悉的紫粉色组织对比,用于对几乎所有切除肿瘤进行分类。H&E 能捕捉组织结构,但无法可靠识别所有相关细胞类型,因此 Noetik 又加入多重免疫荧光,以识别B细胞和肿瘤微环境中的其他组成部分。

  • 空间转录组学提供分子层数据:在同一批细胞的已解析位置上检测约1,000至19,000个基因。探针会结合各类RNA,仪器再持续数周循环完成检测;讨论将最终输出比作一张拥有“20,000个颜色通道”的图像,而不是RGB的3个通道。基因分型则补充底层DNA变异信息。

  • 批次控制直接嵌入物理样本设计。Noetik 会对每个肿瘤采样数十次,将数百份患者样本随机分配到不同阵列,并让每位患者出现在多张切片和多次处理流程中。这样,研究人员可以判断患者嵌入反映的是免疫疗法应答,还是仅仅反映“染色批次”。

5. Virtual cell 是制药启发式工具,不是完整细胞复制品

  • Noetik 区分了两种定义。完整的 virtual cell 需要在受到任何外部信号后,模拟细胞内数百万条化学反应;讨论认为这在理论上有意思,但现有数据模态无法解决。Noetik 追求的则是“一种对制药有用的启发式工具”。

  • 按讨论中的描述,目前多数 virtual cell 工作是在培养细胞中,预测小分子或CRISPR扰动后的转录组变化。问题在于转化价值:如果终点是患者体内会发生什么,那么“对来自患者的数据进行建模”更有可能成功,而不是去模拟一种体外抽象。

  • 因此,Noetik 的模型通过自监督学习基因、蛋白质、细胞、组织和患者背景。团队有意没有大量依赖电子健康记录,因为他们不希望模型表征被医生在当时掌握的信息以及最终记录下来的内容所限定。

6. 一张H&E图像可以同时支持药物发现、试验挽救和诊断

  • 在分子进入患者之前,Noetik 可以在肺癌、结肠癌、卵巢癌或更广泛的肿瘤学患者队列中模拟其靶点。结果可能是否定最初的适应症选择:一个原本为肺癌设计的靶点,可能在肺癌中生物学意义不大,却与卵巢癌相关。

  • OctoVC 可以询问,在特定肿瘤微环境内,T细胞会表达什么;也可以模拟移除某个靶基因或靶蛋白后的结果。有效输出包括免疫功能增强、肿瘤生长减缓,或其他被认为与临床成功相关的反应。

  • 最清晰的回溯性用例从已接受治疗的患者队列开始:如果应答者全部位于某个自监督患者聚类,而不是另外9个聚类,那么这就直接给出了入组假设。训练需要完整的多模态数据栈,但推断只需要H&E,包括多年以前完成的试验所保存的数字化图像。

  • 模型还可以仅凭H&E预测基因在何处表达。如果应答者组织中富集了某种药物的蛋白靶点,就能提供一重可解释性校验;周围的多基因模式则解释了为什么单蛋白生物标志物会漏掉应答者。Noetik 正在合作项目中使用同一输入,包括已宣布与 Agena 的合作,而最终诊断产品是顺理成章的终点。

7. 规模、架构和可解释性共同强化数据护城河

  • 学术界的配对数据集可能只有100名或几百名患者,空间转录组学数据规模往往还低于这一水平。Noetik 表示,其拥有超过1亿个空间解析细胞,全部与H&E和蛋白成像配对,按其考察结果,规模至少比替代数据集大一个数量级。

  • 内部消融实验支持规模效应:把训练数据缩减至40%或10%,模型表现都会“差很多”,尤其是在泛化到训练中排除的癌种时。数据集在早期突然翻倍,也带来了即时的性能跃升。

  • 团队并不认为数据量本身就足够。Noetik 正在构建定制的多模态架构和自监督目标,针对患者差异、基因或蛋白质反事实以及可读的生物学输出进行训练。他们称之为“世界模型”,因为任务是预测某个动作之后会发生什么,而不只是对图像进行分类。

8. PerturbMap 把人体预测重新接回具因果性的动物实验

  • 讨论触及了 Noetik 以人体为先的方法所面临的张力:公司承认仍在使用小鼠和注射细胞。人体数据应当用于训练主模型,但FDA 可能仍要求证明新机制在动物系统中有效;如果没有有意搭建桥梁,开发者最终只能“倒推回这个系统”。

  • PerturbMap 构建约100种不同的CRISPR敲除,每种都携带组合式蛋白条形码,再将它们共同注入小鼠肺部。最终得到的可以是数百个肿瘤,同时保留可读取的肿瘤身份和空间生物学,而不是把单一细胞系植入皮下、充当人体多样性的替代品。

  • Noetik 可以将基因与免疫冷或免疫热表型建立因果映射,再叠加药理学;团队描述过类似“50种敲除对应50种药物”的面板。缺乏免疫浸润的人体肿瘤,也可以通过基因方式在小鼠中重建;这些小鼠肿瘤同样缺少免疫细胞,也不会对免疫疗法产生应答。

  • 更令人意外的一步是“在计算机中将小鼠人源化”:在人体H&E和空间转录组学上训练的模型,直接运行于小鼠H&E,并输出人类基因预测。已知的抗原呈递敲除会正确呈现为免疫冷表型,同一信号通路中的多个基因也会产生相似的推断表型。团队承认,面对真正全新的生物学机制,结果仍然存在不确定性。

9. 只有看见足够多的组织,自回归才会扩展

  • OctoVC 采用掩码自编码:把每种模态切分成token,隐藏其中大部分,再根据剩余内容重建基因表达、蛋白质区块或组织学区块。主持人回忆掩码比例约为99%,团队回应称这与其方法一致。

  • 极高比例的掩码是有意设计的。如果只隐藏10%,模型可以通过延伸附近边缘等“无聊行为”完成任务;隐藏更多内容,则迫使模型学习蛋白质之间的相关性以及组织的整体结构,而不是依赖局部连续性。

  • TARiO 将目标改为自回归的下一个token预测,本质上是一种结构化掩码,与LLM扩展背后的损失函数相似。这并不是 Noetik 的第一次尝试,但在空间转录组学数据上,它让更大模型和更长上下文带来的收益变得更加清晰。

  • 微妙之处在于,更大的模型主要在上下文更长时才有帮助——也就是说,它们一次可以看到更多组织。低表达但具有预测力的基因可能是部分原因;不过,在相同上下文、对比更小与更大物理区域的受控实验中,更大的区域同样更有利于大模型。

10. GSK 获得的是模型许可,而不是分子资产

  • Noetik 已宣布与 GSK 达成协议,授权其在肺癌和结肠癌上训练的 OctoVC 模型。5,000万美元的 headline 金额包括首付款和里程碑付款,年度模型许可费另计;Tiwari 还提到,首付款和近期经济收益达到数百万美元级别。

  • GSK 可以用这些模型进行模拟和治疗发现,再用自身“堆积如山”的转化病理学数据和临床试验数据进行微调。这样,共享基础模型就能变成更接近 GSK 专有版本的工具,而药企不必先统一所有数据孤岛,也不必自行构建基础模型。

  • Tiwari 认为,药企的需求正从围绕单个项目定制的合作,转向覆盖数十个管线项目的访问权限。这笔交易看起来像传统的行业业务开发交易,但其结构性突破在于:“交易底层不是分子,交易底层实际上是模型。”

11. 这条护城河要求公司在任何学习曲线出现前就下注

  • Tiwari 表示,Noetik 开设实验室、购买仪器、获取人体肿瘤样本,并以每次2张切片、耗时2周的速度运行转录组实验,而当时“没有任何迹象表明这一切会奏效”。他的总结更加直接:“一个大大的零。一个大得离谱的疯狂下注。”

  • 公司至少有18个月没有足够数据训练模型;单次转录组实验处理2张切片就要2周。Tiwari 表示,投入“更接近1,000万美元”,而不是5,000万美元。当时不存在显而易见的空间数据现成方案,AI团队只能从第一性原理出发,摸索这一片“陌生的数据大陆”。

  • 他们给其他初创公司的建议是:从机器学习问题出发,再反向设计数据集。“任何数据集”都不会自动对应一个有价值的机器学习用例;小规模试点可能因为低于临界规模而失败,即使完整实验最终会成功。“这件事没有捷径。”

  • Noetik 最后的下注是自上而下的抽象化。正如简化的神经网络比 painstakingly 拼接的生物物理神经元模型更早预测真实大脑反应,功能性组织模型也可能比自下而上的生化模拟更早预测患者应答。这或许是“生物领域首次隐约接近 ChatGPT 时刻”,但仅靠阅读文献的智能体,不会取代新数据、新机器学习方法和临床转化。