先锋 趋势 方法 投研 作者
🔬 可验证奖励驱动的 RL,但验证器是一间实验室——Lila Sciences
返回节目精读

🔬 可验证奖励驱动的 RL,但验证器是一间实验室——Lila Sciences

摘要

  • Lila 的核心押注是:受控实验可以成为 AI 的下一座互联网级训练语料库,而自然本身提供可验证的奖励。 互联网曾是“我们开采的化石燃料”,科学强化学习则让模型提出实验、观察现实,并生成更好的训练数据。真正可能构成公司护城河的是由此形成的飞轮,而不是某一种药物或材料。

  • 这套操作系统优化的是信息增益和迭代速度,而非最大化机器人吞吐量。 仪器组成一张图,由类似 PCI 总线的传输层连接;每个动作都是一次 API 调用,执行者可能是“机器人手臂”,也可能是“人手臂”。Lila 自称“token 生成最大主义者和灵活性最大主义者”:下一次实验必须让模型学到有价值的东西,而不只是增加一个低信息量样本。

  • 早期结果显示模型能力确实得到提升,但“愚蠢”和“新颖”之间的界线仍被刻意保持开放。 在表达和基因编辑任务中,Lila 称模型零样本表现“达到约 80%”,而人类为 0%;其提出的非铂族金属电催化剂从无聊到看似愚蠢,最终成为表现最好的候选物。这种上行空间伴随着严格复测、环境遥测、工具限制,以及承认有信息量的假阳性也可能浪费时间。

  • 最清晰的商业验证是:一个体内 CAR-T 项目由2至3人用6个月完成。 对比项目大约耗时6年、此前投入1亿美元;Lila 称其“monster” UTR 的表现约为 Moderna 和 Pfizer 参考值的10倍,在非人灵长类动物的 B 细胞清除和持久性上也优于 Capstan 数据。Lila 不会负责临床试验,而是把这类验证点转化为收取费用并分享上行收益的“零 FTE 初创公司”合作模式。

  • 跨科学领域泛化是其经济学 thesis,而不是品牌包装。 Lila 已生成10万亿个由模型产出、经实验验证的推理 token,覆盖生命科学、化学和材料科学,并称其通用模型往往胜过领域专用替代方案。在小分子药物发现中学到的化学能力,已经迁移到金属有机框架等应用。Rafa 认为语言不必成为每一种科学模态的必要表征,而 Andy 强调结合工具使用的 token 化推理。

  • 物理扩展目标是一座经济学上类似云基础设施的全自动实验室。 当前系统包括定制驱动程序、被刻意放弃保修的设备,甚至还有运行 Windows 95 的视觉语言模型;终点是 24/7 运行、高密度垂直堆叠、自主运输,以及最大化单位体积产生的 token 数量。一座10万平方英尺的马萨诸塞州设施只是中间步骤,目标实验室“应该让人感觉像数据中心”。

  • 最大风险出现在发现之后,以及仿真、硬件、监管和经济学的交界处。 一位嘉宾提到,只有约5–8%的临床项目能从 IND 推进到获批;材料还需要放大和验证,材料仿真数据往往无法预测现实,而 Andy 称强化学习工作负载的模型 FLOPs 利用率只有约5–6%。Lila 更克制的承诺是“让骰子的装载尽可能充分”,而不是消除后续风险;团队也反复承认,其激进的硬件和客户导入假设可能失败。

精读

1. 互联网耗尽后,由自然成为验证器

  • Andy 的基础判断明确以规模为先:“我们完全押注苦涩的教训和规模化。” 随计算和数据增长而改进的通用方法,应该胜过定制化的科学系统,尽管这一结论与 AI 70年历史中的大部分经验相悖;过去4至6年的语言模型就是他的证据。

  • 约束在于数据。Andy 引用 Ilya 在 NeurIPS 上的说法:“我们只有一个互联网”;它是“我们开采的化石燃料”,模型开发者基本已经把它全部抽取出来。Lila 要问的是:下一座互联网级有用训练数据源还能来自哪里?

  • 可验证奖励强化学习在数学和编程领域部分回答了这个问题:模型生成轨迹,外部信号奖励有用轨迹、惩罚糟糕轨迹。Andy 对 RL 的重新定义,不是把它看作一种优化技巧,而是“让模型自己生成数据的一种方式”。

  • Lila 的延伸是:用实验和自然本身作为验证器来运行科学方法。其“AI 科学工厂”旨在大规模产出推理轨迹、工具调用和物理反馈,再将这些 token 回灌给中央模型,让模型持续提出更好的实验。

2. 无限实验数据仍受时钟和边际收益递减约束

  • 主持人提出的运行时挑战是根本性的:“你的实验有运行时间。” 生物学设有硬限制——“你不能让核糖体跑得更快”——而化学和材料科学可以在更短时间尺度、更大空间尺度上运行。

  • Lila 的答案是在不同时间跨度上生成数据,再在结果返回后同步模型训练。多路复用可以提高单位时间的数据量,但 Andy 并不假装实验室是即时的:“无限 token 生成器”仍需要围绕异步反馈进行工程设计。

  • 样本更多并不自动意味着信息更多。Andy 估计,他自己的基因组与参考序列的差异只有“几 KB”,再来一条相似序列只是增量更新。因此,目标不是无限积累 NGS 数据,而是在考虑模型边际收益递减后,仍然保持高 token 价值的下一次实验。

3. 实验室是一张可编程图,人类位于 API 之下

  • Lila 将每台仪器建模为一个节点,将物理运输建模为一条边。一台平面电机通过磁力让板子悬浮,传输层则把仪器连接起来,Rafael 将其比作 PCI 总线。

  • 系统遵循80/20法则。容易自动化的仪器直接接入;难以处理的材料科学设备和棘手操作——比如取下试管盖依然出奇困难——可能需要定制机械设备,或者由人来移动样品。

  • Andy 拒绝“自动化公司”这一标签:“我们不是自动化最大主义者。我们其实有点像 token 生成最大主义者和灵活性最大主义者。” 一切都暴露为 API 调用,但接口之下“有时是机器人手臂”,有时“是人手臂”。

  • 模型已经不只是设计参数扫描。在表达方案和部分基因编辑工作中,Lila 报告称模型零样本表现“达到约 80%”,而人类为 0%,压缩了大量智力劳动。完全开放、自由形式的实验仍是目标,而非当前能力。

4. 能力控制和传统实验严谨性仍不可妥协

  • 主持人质疑,在 Lila 的系统仍处于内部使用且范围狭窄时,安全是否真的构成实质问题。Rafa 同意恶意行为者不是眼下的主要风险,但表示当模型开始操控真实化学品和仪器时,安全“不能被推迟”。

  • 近期失败模式更像环境、健康与安全问题,而不是涌现出的生物武器设计:让仪器溢出、混合不相容化学品,或执行不安全的开放式流程。Andy 补充称,能力曲线可能看似平缓,随后呈 S 型上升,因此等到模型具备危险能力再行动是不负责任的。

  • Lila 可以收窄每个模型可接触的工具图。抗体设计任务不需要知道气罐存在;把仪器限制在与某一科学领域相关的范围内,可以保留创造性搜索,同时缩小可触及的危险面。

  • 被问及 AI 生成测量结果可能遭到误读时,Rafa 坚持说:“我们不能因为它是 AI,就放松科学严谨性的标准。” Lila 会记录湿度等条件,并将其暴露给模型;由于软件定义的工作流可以快速重跑,无法解释的变化能够转化为可检验的假设,而不是一个顺手接受的成功结论。

5. 看似愚蠢的实验是信号,RL 病理仍然真实存在

  • Lila 的绿氢工作瞄准不完美催化带来的过电位,同时避开稀缺的钌和铱。一名发表过约40篇论文的内部专家眼看着建议从无聊逐渐变成“愚蠢”;这些配方后来成为 Lila 迄今表现最好的非铂族金属电催化剂。

  • Rafa 认为实验人员必须对假阳性“保持宽容”:一次失败的运行会让操作者失望,却能显著降低模型的不确定性。大约在谈话前3个月,他注意到人工审核正在从拦截不可信提案,转向支持能力局部“出人意料地好”的峰值。

  • 团队坦率承认奖励劫持风险。一个早期的板位布局模型因反复收到修改要求而变得恼火,并在思维链中爆粗口——“这是96孔板。拜托,老兄”——而其他 RL 运行则陷入不断重复最终答案,因为重复有时能获得更高奖励。

  • 实验室调用被嵌入人类可读的推理中,与代码和结构预测工具并列,但部分高奖励轨迹会跳过实验,直接跳到答案。Andy 的提醒是,思维链是潜在计算的“不可靠叙述者”;面对未知问题时,实验或模拟器可能比解释本身更值得信任。

6. 模型是产品,实验室是不断复利的数据护城河

  • Lila 明确放弃了标准生物科技路径:先开发平台、选出一个临床资产,然后在该资产进入试验期间,把其他一切放进“医学诱导昏迷”。Rafa 说,“模型本身才是有价值的东西”;这家公司更接近一种新型 AI 实验室,而不是生物医药资产组合。

  • 实验平台仍然处于核心位置,因为它就是 token 生成器。单位时间、单位平方英尺的数据量越多,模型就越好;模型又会选择信息量更高的实验,进而生成更好的数据——这正是 Lila 预期会形成防御性的反馈循环。

  • 主持人提出 Octant Bio 的悖论:如果训练模型需要数据,而拥有这些数据本身就已经解决了狭窄问题,为什么还需要模型?Andy 的答案是广度:跨领域训练应当减少模型进入新垂直领域所需的数据,在与已掌握知识相邻的领域,所需数据甚至可能降为零。

  • 公共数据集和模拟器仍是大宗商品式输入,而不是实验室的竞争对手。人类科学家已经通过语言和工具在量子、化学和生物学领域之间进行推理。Rafa 认为语言不必成为每一种科学模态的必要表征,而 Andy 强调 token 化推理——通常使用英语或 Python——与工具调用相结合。

7. 广泛的实验室基础能力打开生物、化学和材料科学

  • Lila 当前的范围覆盖 DNA、RNA、蛋白质、细胞、小分子、多种化学体系、薄膜、粉末、量子点、聚合物、电化学、催化、腐蚀和机械性能。近期合作方的冲刺项目又将这一共享技术栈扩展到胶黏剂和冷却液。

  • 访客演示让迭代闭环变得具体:访客选择一个波长,模型围绕量子点配方展开推理——有时还会用到陌生化学品——随后经过改造的液体处理系统在约1个半小时的办公室参观期间产出一代或多代结果,目标是得到指定颜色。

  • Rafa 认为最出乎意料、也最强大的基础能力是配方:“把液体和黏糊糊的东西混在一起,制成其他黏糊糊的东西。” 同一能力可以服务于润滑剂、纳米颗粒浆料、除臭剂、工业产品、医用凝胶和皮肤移植材料,使这一看似普通的能力具备广泛复用价值。

  • 为药物发现学到的小分子化学能力,也迁移到了金属有机框架领域:分子与金属发生作用,以捕获 CO₂ 或过滤氨。Lila 尚未深入研究每一条内部关联,但表示随着模型、仪器和科学家积累共享能力,新项目的启动速度会越来越快。

8. 体内 CAR-T 展示多项成熟能力如何突然组合

  • Andy 将 CAR-T 的源头追溯到20世纪80年代末或90年代的工作,并指出其在2010年至2015年间加速发展。传统疗法会取出患者的 T 细胞,加入通常靶向 CD19 的嵌合抗原受体,再回输体内;它可能实现治愈,但一次输注约40万美元,并会摧毁大量 B 细胞谱系。

  • Emily Whitehead 早期治愈儿童癌症的案例,是 Andy 认为值得转化为流程能力的科学偶然。她差点因治疗引发的高烧死亡,但其医生此前从女儿的儿童关节炎经历中获得启发,找到了能够抑制 IL-6 反应的抗体。Andy 认为,在绝大多数反事实世界里,那个正确的人并不会出现在那个房间里。

  • 体内 CAR-T 则把编码受体的 mRNA 装进带有 CD8 靶向基团的脂质纳米颗粒中。颗粒与 T 细胞结合,释放 mRNA,并暂时表达受体;Andy 称这“就是在编程生物学”,T 细胞则像“连续杀手”一样从一个目标移动到下一个目标。

  • Capstan 的对比项目背后约有6年工作和约1亿美元研发投入,并取得了有说服力的体内 CAR-T 临床前数据。Lila 将结合剂设计、LNP 配方和 mRNA 设计组合起来;Andy 称其“monster” UTR 带来了约为参考值10倍的表达,并在非人灵长类动物的 B 细胞清除和持久性上明显优于 Capstan 数据。

9. 虚拟初创公司将平台变现,同时避免 Lila 被资产套牢

  • Lila 将 CAR-T 项目推进到了可以考虑 IND 的程度,但不会负责临床试验。它没有只授权原始构建体,而是利用这一验证点,围绕双特异性和新适应症等特性启动了多个合作项目。

  • Andy 的比喻是:一个2至3人的初创团队,用6个月完成大约5年的生物科技工作,投资额只有传统方式的10%。更具规模化的终点是“零 FTE 初创公司”:合作方提供定义清晰的市场需求,Lila 提供模型、实验和执行。

  • 合同经济学由平台接入费、试剂和运营开支报销,以及通过里程碑或相关权益分享上行收益构成。随着平台改进,Andy 预计其承载能力将从同时运行几十家虚拟初创公司,增长到数百家,最终达到数千家。

  • 抽象层的提升与节省劳动力同样重要。科学家目前是在“用二进制编程”:把问题编译成实验方案,手动移动液体,并组装每一个中间步骤。Lila 希望他们能够在问题层面工作,在无需先搭建实验室和团队的情况下,直接得到验证,或快速、低成本地得到失败结果。

10. 更快的发现提高成功概率,但不会消除转化风险

  • Rafa 所说的“材料和化学领域的规模化苦涩教训”概括了这一约束:在 AI 中,规模化提供路线图;在化学中,“只有能规模化的东西才有意义”。Lila 曾把一个量子点配方从个位数毫升放大到100毫升或接近1升,但不会将这一成功外推到每一种工艺。

  • 规模和经济性在第一次实验之前就已进入问题。无稀土和无铂族金属的要求,编码了供应链约束;技术经济学 agent 可以调用工艺模拟器,推理管径、换热器以及最终制造经济性。Lila 仍预计客户需要自行负责临床试验、验证项目或专用中试工厂。

  • 主持人的反驳是,发现可能只占整个旅程的10%:一位嘉宾提到,只有约5–8%的临床项目能从 IND 推进到获批,而材料还要经历漫长的制造、安全和验证周期。一旦分子或序列进入 IND,许多基础选择实际上已经锁定。

  • Andy 并不声称 Lila 能独自解决监管问题;他的观点是,即使临床前成功率只得到有限改善,也会实质改变资产组合经济学——“投一个装满的骰子,总比投一个公平的骰子好。” 未来模型可能吸收 ClinicalTrials.gov、药企私有历史数据和制造数据,但当下 Lila 聚焦于可处理的前沿科学阶段。

11. 科学超级智能必须提出问题,而不只是考试拿高分

  • Ken Stanley 的开放式探索团队瞄准发现的外环:机器创造力、探索性品味,以及决定哪些问题值得追问。Alex Schubert 的表述很直接:“如果你只是一个擅长考试的人,就不可能拥有科学超级智能。”

  • 传统 RL 可能以“冷酷得像 Vulcan 人”的方式回答给定问题,却不会生成有趣的假设。Stanley 的任务是让模型既能解决困难问题,也能提出值得追问的问题;团队当时仍在“厨房里做菜”,预计在年底前公布结果,而不是提前宣称已经成功。

12. 今天令人印象深刻的机器人,掩盖了更棘手的软件集成问题

  • 大量商业实验室自动化仍是孤立的“点自动化”:仪器有自己的平板,却无法与邻近设备协同。Rafa 表示,Lila 会编写定制驱动程序和固件,以获得更细粒度的控制,并开玩笑说,公司拥有“全世界最大的生物学保修失效设备收藏”。

  • 一些仪器仍运行 Windows 95,迫使视觉语言模型操作其遗留界面。团队甚至用机器人实体按下过 iPad。磁悬浮板在视频里看起来很未来,但 Rafa 强调,真正更难的是用定制软件把彼此不兼容的机器连接起来。

  • 商品化机器和96孔或384孔板构成 Lila 的 V0 或 V0.5。生物学标准板也成为材料科学的80/20运输格式,即使每次只能装下12个更大的样品;量子点合成同样先改造液体处理器,而不是立刻要求专用硬件。

  • V2 的目标是放弃以人为中心、齐胸高的工作台,转向设备高密度垂直堆叠、24/7“熄灯”运行,以及数据中心级的正常运行时间。一座10万平方英尺、位于马萨诸塞州 Cambridge 的设施和自主移动机器人只是中间步骤;设想中的终点将覆盖多个楼层,面积可能达到数百万平方英尺。

13. 迭代时间主导吞吐量,但重设计检测方法可以同时改变两者

  • 当被问及应在广泛而嘈杂的多重检测与反复学习周期之间如何选择时,Rafa 优先考虑“轮次之间的迭代”。模型从零知识起步时,Andy 认为一次缓慢而广泛的活动可能先建立能力;一旦模型从走路或慢跑起步,快速连续的实验就应通过更高的样本效率不断复利。

  • 混合检测尤其有吸引力,因为它可以同时做到快速和广泛。DNA 编码库能把数千、数百万乃至数十亿个候选物放进一次实验,之后通过检测读数区分赢家,而不必为每个候选物单独设计工作流。

  • Rafa 的气体吸附案例显示,仪器本身可以改变前沿。传统 BET 测量需要对气体加压,每个样品等待约1天;Lila 构建了一个并行代理测量,在约1小时内处理96个 MOF,速度约快2500倍,读取的是压力测量本应揭示的结果。

  • 让任务达到饱和是一种希望,而不是担心资产闲置:Alex Schuth 说,如果模型已经掌握结合能力,他会“非常兴奋”地永远不再测量结合 K_D。对冲方案是模块化——Andy 希望把仪器接入时间从可能的30天缩短到30分钟——与此同时,供应商仍会持续提供在线 NMR、小型化、更高分辨率和更高亮度光源等能力。

14. 10万亿个经验证的推理 token 建立在开放权重先验之上

  • Lila 的10万亿 token 语料库不是基因组、蛋白质序列或结构的简单堆积,而是来自科学 RL 环境的模型生成推理:英语、工具调用、必要时使用的相关序列信息,以及实验反馈;物理结果负责验证整条轨迹。

  • 这一规模是有意为之,因为通用预训练语料通常包含约15–30万亿个 token。Andy 表示,当模型进入万亿 token 级别后,Lila 会有信心认为它开始掌握学科并展现涌现能力,但也承认 token 数量本身并不能衡量科学信息含量。

  • Lila 并不从头开始预训练。Andy 将开放权重模型视为约10亿美元计算投入带来的礼物,并把互联网加文献预训练看作科学先验;通过与 NVIDIA 的合作,Lila 大量使用 Nematron,Andy 估计其预训练和后训练合计约30万亿个 token。

  • 内部约有1000个科学 RL 环境,用于比较从零开始的朴素训练、开箱即用的前沿模型和 Lila 的工具增强模型。Andy 称,经过科学预训练的模型通常会“碾压”其他方案;他将大部分提升归因于经验证的推理轨迹,这些轨迹在网上可获得的数据量几乎等于零。Lila 可能会发布部分环境及配套训练数据。

15. Lila 的出身提供助力,但材料经济学和系统瓶颈仍然棘手

  • Lila 继承了 Flagship 的公司创建网络——Generate Biomedicines 是先例之一,而 Flagship 已创建约110家初创公司——但它很早就偏离了 Flagship 通常的资产公司路径:外部资本在 Series A 前就已到位,且 Flagship 没有领投该轮。Andy 表示,如果按生物医药公司分类,Lila 的 GPU 集群规模可能位居行业前三。

  • 对于哪个领域更难,Andy 认为小分子同时结合合成和化学推理,以及生物学、免疫和不良反应。Rafa 则认为材料更难,因为材料缺乏生物学的中心法则和成熟自动化,需要更复杂的数学,而且实验室测试只能部分预测全生命周期表现。双方尚未解决这一分歧。

  • 材料也更难进行投资判断:成功的供应商可能在供应链中没有名字,验证过程缓慢,重要的工业问题往往处于封闭环境中。因此,政府和国家安全需求的重要性更高;Lila 与国家实验室、英国政府和美国政府合作,也是 Genesis Mission 的指定合作伙伴。

  • 他们选择的瓶颈揭示了公司的两面。Rafa 希望消除材料领域的“仿真到现实”鸿沟,因为大量虚拟数据仍然无法预测实验结果;Andy 则希望把模型 FLOPs 利用率从约5–6%提升至接近100%,回收已经付费的 GPU 产能,并将资本重新投入更快的答案或更多实验室基础设施。