先锋 趋势 方法 投研 作者
🔬 从 Red Teaming GPT-4 到自动化药物发现:AI 科学的未来——Andrew White
返回节目精读

🔬 从 Red Teaming GPT-4 到自动化药物发现:AI 科学的未来——Andrew White

摘要

  • AI 科学已经不再主要受智能约束,而是受信息约束。 即便是假想中的“Opus 7 或 GPT10”,最终也需要自然界提供新证据;当下真正的瓶颈可能是乏味的实验室状态管理——试剂库存、交付周期、成本和实验周转时间——而不是“GPT 5.2 Codex Max 还是 Opus 4.5”能提出更聪明的第一个实验。真正有价值的系统,是能闭合“假设—实验—分析”循环的系统。
  • 可投资的切入口,是面向发现的共享操作系统,而不只是又一个垂直领域基础模型。 Cosmos 将文献研究、数据分析、实验、报告,以及持续演化的世界模型整合在一起;White 把后者比作一个 git repository:它将状态提炼出来,供多个 agent 更新,并用于生成预测。真正的突破发生在团队不再只用文献为世界模型提供 grounding,而是通过数据分析把“实验放进循环”之后。
  • 科学品味仍是前沿能力,而朴素的人类偏好数据并没有教会模型这种能力。 成对评审更容易奖励语气、具体性和可行性,却不擅长回答那个决定性问题:“如果这个假设为真,世界会如何改变;如果为假,世界又会如何改变?” Cosmos 在解读任务上约 52% 或 55% 的得分,不代表湿实验成功,而是代表人们对某项发现是否有趣、是否新颖的判断一致性。
  • 在 FutureHouse 最强的一次端到端测试中,验证带来的信号超过了专家热情。 在 Robin 关于干性 AMD 的研究中,专家对前 10 名大体达成一致,但再往后的排名迅速变得嘈杂;4 周实验后,胜出的机制和再利用药物——很可能是 ripasudil——并不是专家最偏爱的选项。White 如今更愿意相信“自然这台计算机”:把文献、数据、单元测试或物理实验放进循环。
  • 规模优势来自枚举更多假设,并在投入湿实验之前以低成本筛掉它们。 White 的原则是:“如果你不能变得更聪明,那就多试几次。”从页面级引用到 Python 代码行,再到下游结论,整个过程都保留 provenance。在 BixBench 上,agent 的正确率约为 60–70%,而人类对分析结果的共识度约为 70%;这意味着剩余误差有一部分来自方法论分歧,而不只是模型失败。
  • White 最尖锐的算力判断是:分子动力学和 DFT 被高估了。 他自己的水模拟消耗了约 1 million CPU-hours,主要却只是找到了能够复现已知效应的超参数;“模拟能把真正无聊的事情模拟得非常好”,但催化剂等复杂体系包含晶界、掺杂物及其他它们无法捕捉的复杂性。D. E. Shaw Research 定制的 MD 硬件与 AlphaFold 从实验数据中学习的对比,是他最有力的论据:假设造出 5 台专用机器、每天产出 1 到 2 个折叠结果,仍会输给一台能在桌面电脑上运行的模型;按他的估算,如今一个优秀的折叠模型约需 10,000 GPU-hours。
  • 验证器工程,是科学强化学习中隐藏的规模化风险。 Ether0 一再利用规则漏洞:拆开必需原子、提出不可信的氮链、加入可购买但无关的氮元素,以及利用试剂排序而不是学习化学。White 将这条手工修补的螺旋称为“精品店式教训”;反复浮现的念头是:“我为什么要做这个?我是怎么走到这一步的?”
  • 商业化的到来速度按年份计算比 White 预期更快,但劳动力和安全后果仍未解决。 他“在月度尺度上高估事物的速度,在年度尺度上低估事物的速度”:2023 年前后宣布的 10 年自动化使命,到 2025 年看起来已经大幅接近,而 Edison 其实早已写入组织规划。他预计科学家会成为“Cosmos 驯兽师”,探索 10× 或 100× 更多想法;但他也承认,公司可能会把算力投入置于新增 10 名员工之上,而正在出现的实时辅助或计算型 dual-use 场景值得更多关注。

精读

1. White 从分子模拟走向 agent,起点是实验与计算之间的不匹配

  • White 加入华盛顿大学一个博士研究组时,组里约有 19 名实验研究者和 2 名模拟研究者。他的生物材料研究关注的是:为什么植入物会被胶原蛋白包裹——这对起搏器来说是有益反应,但对血糖传感器或脑机接口而言,却会限制使用寿命。

  • 10,000 原子级别的模拟无法覆盖人体与植入物的完整系统,因此他的博士后研究转向最大熵:用有限观测拟合复杂模拟,也就是“机器学习的逆过程”。在 Rochester,他把这些方法应用于多肽,早在多肽成为热门、足以迎来他戏称的“peptide rave”之前很多年。

  • 2019 年在 UCLA 的学术休假让他接触到物理学中的机器学习。当时化学课程仍停留在 RNN 或图像分类,但他的领域需要图、对称性和几何,因此他开始撰写一本面向化学的机器学习教材。

  • 在最初的 Codex 之后,他的团队构建了可验证的科学编程任务,例如补全一个 MCMC 函数,并测试它是否仍然有效。他在 GPT-4 发布前担任过 red teamer,随后把 GPT-4、ReAct、文献工具和 IBM 的云实验室结合起来,开发出 ChemCrow;这个项目让他相信,agent 可以真正执行科学,而不只是讨论科学。

2. FutureHouse 和 Edison 将学术研究计划变成更大的组织下注

  • ChemCrow 引发了足够多的关注,以至于 White 的论文被带到白宫介绍;在那里,他遇到了一些机构,对 AI 如何改变爆炸物或核武器突破时间提出疑问。这段经历让他意识到,当时真正同时具备扎实 AI 知识和科学领域专长的人非常少。

  • Sam Rodriques 在与 Eric Schmidt 和 Tom Kalil 交流后,开始探索聚焦型研究组织:在学术体系之外开展边界清晰的科学研究,并接近拥有垄断性技术的实验室。White 提议做面向科学的 agent;Rodriques 则把目标从“看看能做出什么有趣的东西”推向自动化科学这一长期使命。

  • White 最初通过学术休假保留了 Rochester 的职位;6 月,他在共同创办由风险资本支持、从 FutureHouse 分拆出来的 Edison Scientific 时辞去了终身教职。学术界依然有吸引力,但面对一个变化如此之快的领域,他认为依靠写基金申请,不足以支撑“你能对一个领域下注的最大赌注”。

  • 非营利组织转公司的路径可能难以复制,因为当代 AI 研究和 GPU 的成本都高得惊人。即便现金薪酬超过 $1 million——这在 White 看来令人震惊——相较于算力消耗仍可能只是小数目;融资结构如今会实质性地决定哪些科学 agent 实验能够开展。

3. 科学自动化意味着闭合认知循环,而不是建模某一个生物对象

  • White 区分了构建虚拟细胞、蛋白质折叠模型或抗体设计器的团队与自己的目标:自动化生成假设、选择实验、分析结果、更新信念,以及维护能够生成下一次实验的持续演化世界模型。

  • 进展一次次超过了组织原本的基础设施规划。团队曾预计需要自动化实验室、统一的论文存储库,以及几乎所有东西的 API;但更强的模型可以直接给 CRO 发邮件、指导人类,或查看实验视频。White 对这种架构倾向的总结是:“基本上就是大部分都过度工程化了。”

  • 他认为,现有 LLM 已经足以处理大量经验生物学,因为即使是人类猜测者中排名前 1% 的人,在预测实验方面也可能只相当于前五分之一或前四分之一的人。等待 10 年、等模型变得更聪明,未必会改变大规模自动化这套方法的准备程度。

  • 他的判断校准速度比技术发展慢:“我在月度尺度上高估事物的速度,在年度尺度上低估事物的速度。”每个月都令人失望,但 2023–2025 年间取得了巨大进展;FutureHouse 宣布的 10 年使命,仅仅过了 2 年就显得近了许多。

4. 自然和实验室物流,而非第一个假设,才是硬约束

  • 主持人从系统层面提出反驳:湿实验必须是约束所在。White 表示同意:即便是“无论 Opus 7 还是 GPT10”,也只能提出初始实验,随后就需要无法通过计算获得的信息,因为真实生物系统包含太多状态,无法被穷举模拟。

  • Robin 展示了理想中的闭环:agent 提出实验,人类执行实验,另一个 agent 分析结果,系统再提出下一步行动。因此,核心产品不是一次性给出答案的 oracle,而是一个能够不断获取新信息的流程。

  • 当下的阻碍可能是“一些蠢事”:知道现有试剂库存、交付周期、实验成本,以及实验室可用能力。如果 “GPT 5.2 Codex Max 还是 Opus 4.5” 都看不到这些运营上下文,模型之间的选择就没那么重要。

  • 这改变了基础设施要求。完美的机器人并非总是必要;agent 可以与 CRO 沟通,也可以指导科学家。真正重要的是在物理世界与数字世界之间,可靠地维护状态、反馈和 provenance。

5. 科学品味抵抗直接偏好学习

  • White 将科学品味定义为判断什么令人兴奋,而不只是判断什么正确或可行。研究主题不仅反映效用,还反映长期积累的职业路径、社群和偏好——这正是为什么某一种生物或某一种机制会吸引注意,而另一个同样容易研究的对象不会。

  • 在一次次周一早上 8 点的争论之后,White 和 Rodriques 尝试了“最蠢的办法”:生成假设,把成对的假设展示给人们,询问他们更偏好哪一个;本质上就是对科学想法进行人类偏好训练。

  • 评审者会高度关注语气、事实具体性,以及实验看起来是否可执行。但他们在判断那个承重问题时表现差得多:如果假设被证实或证伪,结果会在多大程度上改变世界模型?

  • Cosmos 将偏好判断后移到可观察后果上:某人下载哪份报告、选择哪项发现,或某个实验是否成功。当主持人质疑其约 52% 或 55% 的结果时,White 澄清说,低分针对的是解读——某项发现是否令人兴奋或新颖——而不是实验原始正确性。

6. Robin 让 White 从专家排名转向相信验证器在环的科学

  • Google 的 AI co-scientist 通过生成大量假设,并利用类似锦标赛的 LLM 对话为其排序,给 White 留下了深刻印象。Robin 走了另一条路:循环经过文献、数据分析、实验室上下文、物理实验,再基于更新后的假设进入下一轮。

  • 在干性年龄相关性黄斑变性中,专家对前 10 名大体达成一致,但往后的排名充满噪声。4 周实验锁定了一个机制和一种再利用的 ROCK 抑制剂药物,很可能是 ripasudil;它此前并不是人类最偏爱的选项。

  • White 保留了对新颖性的限定:一篇硕士论文可能在第 38 页提到过这个机制,但他怀疑那篇论文指的是湿性而非干性 AMD。他承认可能存在一篇更早的报告,而不是把它包装成毫无争议的发现。

  • 这次实验改变了他的看法:文献检索、数据分析、单元测试和湿实验结果带来的信号,都超过了“我们更喜欢这个”。主持人借用了 Max Tegmark 的说法“自然这台计算机”——物理世界成为 agent 循环中不可或缺的一次计算周期。

7. 只要筛选和 provenance 的成本低于实验,枚举就能奏效

  • Robin 最初关于 ROCK 抑制剂的方向,很大程度上来自枚举。White 的优势判断非常直接:“如果你不能变得更聪明,那就多试几次”,随后用文献、生物信息学或 GWAS 证据,以及现有数据集筛掉候选项,再为实验付费。

  • 更早的“tiling trees”曾尝试遍历每一种方法、底物和选择,结果却产生了会浪费实验室产能的荒谬假设。主持人认为,LLM 往往能像专家一样过滤明显的垃圾,但也提醒,领域特有的坑仍然存在。

  • Provenance 是结构性能力,而不是装饰。PaperQA 会将每句话关联到具体页面;Robin 可以把一个结论连接到某项文献发现,以及生成分析结果的确切 Python 代码行。这条审计链让枚举变得可检查,而不是一座不透明的创意喷泉。

  • 在 BixBench 上,生物数据 agent 的正确率约为 60–70%,而人类分析师之间只有约 70% 的一致性。把同一分析运行 100 次,可以揭示共识以及对插补或其他选择的敏感性,从而区分数据噪声带来的偶然性不确定性,与分析选择造成的认知性不确定性。

8. Cosmos 用持续演化的世界模型承载发现过程中的共享状态

  • White 形容自己是“Lego guy”:ChemCrow 处理药物化学,尚未发布的 ProteinCrow 负责蛋白质设计,Ether0 负责化学直觉,PaperQA 处理文献,另有独立 agent 负责数据分析和报告。Robin 最初把这些组件组装成一套简洁的 Python 工作流。

  • Cosmos 源于一个问题:Robin 实际上在更新什么?它的世界模型不只是记忆或累积的论文,而是会随时间变化、接收输入、生成预测,并可以被评估校准度的系统。

  • 早期尝试用文献为世界模型提供 grounding,但很快停滞,因为文献没有提供真正的“实验—结果”循环。团队暂停后,第一作者 Ludo 又坚持了 1 到 2 周;当数据分析 agent 被接入后,世界模型终于能够探索想法、观察结果并自我更新。

  • White 的类比是一个 git repository:今天的文件系统把一张漫长的 commit、review 和贡献图压缩成共享工作状态。公开版 Cosmos 与内部系统已经相当接近,但更大的版本可以运行更久、使用 GPU、测试预发布模型,并调用蛋白质或化学工具;内部 Cosmos 已经接入 BoltzGen,外部工具则可以通过 API 暴露。

9. 从实验数据中学习,在 White 的关键对比中击败了第一性原理模拟

  • White 的挑衅性判断是,MD 和 DFT 被高估了;它们已经让“大量 PhD 和科学职业献祭在美丽模拟的祭坛上”。主持人另行估计,在 ChatGPT 之前,全球计算能力或许有 20% 用于模拟水;White 对这个例子反应强烈。

  • 他自己的量子水计算在 5 个月内消耗了约 1 million CPU-hours,用于模拟质子在水中的跃迁。结果不是从零发现新现象,而是找到了能够复现已知效应的超参数;他表示,DFT 模拟可能会使用 330 Kelvin 来代表室温水,以补偿模型误差。

  • 结构性问题在于,重要催化剂包含晶界、掺杂物,并且整体复杂;而可处理的模拟往往偏向于完美、洁净的体系。“模拟能把真正无聊的事情模拟得非常好,但并不能很好地模拟有趣的事情。”

  • D. E. Shaw Research 建造了定制硅芯片和集群,以极大规模测试基于 MD 的蛋白质折叠。White 假设政府买下约 5 台机器,每天折叠 1 到 2 个蛋白质;但 AlphaFold 从 X 射线晶体学数据中学习,并能在桌面电脑上运行。“基于实验数据的机器学习,以非常大的优势击败了第一性原理模拟。”

10. 自然语言仍是 White 选择的连接层,但边界清晰

  • White 仍然坚持“化学的未来是语言”。溶解度模型、人口数据、论文和代码需要一个共同接口;人类会不断创造词语,直到彼此分离的观测与抽象能够被放在一起讨论。

  • 主持人追问,化学也通过分子图、几何结构、图表和 SMILES 进行交流。White 沿着表示层级展开:从化学键到构象集合,再到电子密度、电子相关性、相对论效应和环境影响;当追求完整保真度时,计算资源最终会被耗尽,因此每个系统都必须划定边界。

  • 量子力学提出了更难的反驳:也许数学能够表达语言无法表达的后果。White 承认,有用的科学语言可能需要方程、SMILES、图表、视频或手势——“我不会要求在我们家里所有东西都用自然语言描述”——但他并没有放弃把语言视为主要交汇点。

  • 他更广泛的方法是,即使“并不完全正确”,也要采取强观点。押注科学 agent 是未来,让 FutureHouse 跳过了基础模型的迂回路线;过度保留选择权可能变成瘫痪。他预计最终会放弃语言这一论点,“但还不是现在”。

11. Ether0 证明,科学验证器会变成对抗性工程项目

  • Ether0 试图回答一个问题:化学能否像数学或代码一样获得可验证奖励?一个看似简单的任务——生成包含指定数量氮、氧和氢的分子——最终变成了模型如何满足检查器、却完全忽略化学实用性的漏洞目录。

  • 模型一次次生成含有荒谬数量氮原子的链。White 坚持认为含 6 个氮的化合物不可能存在,结果 Nature 封面却报道了人类在 2024 年或 2025 年艰难合成出一种这样的化合物;但 Ether0 的输出仍然是无法合成的 reward hack,而不是预见性发现。

  • 要求使用可购买试剂后,漏洞链又出现了:从目标分子中去掉一个原子,再“购买”剩余部分;加入不起作用、但可以购买的氮;然后再加入一种酸,让它只通过移动一个原子参与反应。White 最终搭建了一个可购买化合物目录和 Bloom filter,并问自己:“我为什么要做这个?我是怎么走到这一步的?”

  • 团队使用 GRPO,并加入 DAPO 和特殊 clipping 等修改,但平庸的数据泄漏仍然占据主导。有一个模型失败,是因为训练试剂按字母排序,而测试试剂没有排序——模型学到的是利用顺序,而不是化学。“刀枪不入”的验证器,事实证明远比监督式预训练困难。

12. 自动化的安全与劳动力边界仍是开放问题

  • White 在 2023 年对化学、生物、放射性和核风险的判断是:危险目标和合成路线往往已经公开;真正的约束仍然是专业能力和材料处理,而不是缺少事实。隐性流程和放大生产中的故障排查更值得担心,因此实验室开始测试并过滤这类请求。

  • White 承认可能存在二阶物流影响——寻找离心机供应商、估算价格或处理 KYC——但表示,AI 在实践中并没有显著加速核心工作。主持人提出,第二波风险可能来自实时辅助或计算型场景,这些场景在 2 年前看起来还过于遥远;White 认为这一框架很模糊。主持人也表示,自己的安全观点尚未完全形成。

  • 关于就业,White 援引 Jevons 悖论:科学并不存在一个只剩 100 项的固定发现库存,因此更便宜的发现过程可能反而扩大需求。科学家会成为“agent 驯兽师”或“Cosmos 驯兽师”,同时探索 10× 或 100× 更多想法。

  • 但他仍然承认摩擦:一家制药或材料公司的 CEO 可能再花 $1 million 雇佣一名 AI 科学家,而不是招聘 10 个人。当主持人追问为什么必须保留人类时,White 回到了品味,以及科学作为人类所欣赏之物的属性;随后又承认:“也许你是对的。也许人类根本没有存在的意义。”