Google 的 AI 科学家最初是一次自动化 Kaggle 的尝试——Google Fellow John Platt

摘要

• Platt 认为，ERA 直到最近 Gemini 的能力提升后才真正变得可用。 他表示，在 Gemini 2.0 时代，“这是不可能做到的”；而在实验开始奏效后，Gemini 各个大版本和中间版本的进步都十分显著。他回忆说，Gemini 2.5 已经能立即写出 boosted-decision-tree 代码，并告诉那些不喜欢 2.0 的科学家：那已经是“上古时代”了。
• ERA 的核心洞见是，许多科学问题都可以转化成“可评分任务”：编写代码，最大化一个预先定义的分数。 它的 Monte Carlo 研究循环借助 Gemini 改写 notebooks；Gemini 能阅读论文、提出代码，并利用有助于构建模型的“梯度”。随机改写代码基本以失败告终，因为大多数变异都有害；LLM 作为变异算子，则能做出更有信息量的修改。
• 人类仍必须定义目标，并持续监督目标是否被正确执行。 评分函数可能存在漏洞，agents 和人类都会通过钻漏洞来刷分。Platt 举例说，Kaggle 参赛者曾在一个卷云竞赛中发现标签存在半个像素的误差。他表示，研究人员既需要创造力，也需要严谨性；人类必须确认优化后的结果确实是在描述现实，而不只是预测得准。
• 持续性航迹云约占人为全球变暖的1%，而且或许可以用相对低的成本规避。 冰过饱和区域可能把排放的水、冰或烟尘效应放大约10,000∶1；避开这些区域有时只需下降两个飞行高度层。ERA 还找到一个简单的反事实模型，解决了 Platt 的团队曾经卡了两年的反射阳光问题。
• Platt 认为，具备商业意义的核聚变可能“3年后，而不是30年后”实现，但他强调这只是概率判断，并非确定预测。 Lawson 判据要求密度、温度和约束时间的组合超过阈值，而每种路线都有自己的阿喀琉斯之踵。他还强调，电气化和电池并不能提供一个适用于所有场景的气候解决方案。
• 天气预报已经经历了一次机器学习带来的重大跃迁，而气候问题仍然难得多。 天气预测的是大气的演化轨迹；气候关注的是一个本身也在变化的吸引子的统计特征。由于未来数据有限、碳循环行为存在巨大不确定性，Platt 希望未来的系统能把数据与散落在大量论文中的科学知识结合起来，但他表示 ERA 目前还做不到这一点。
• 最大的瓶颈在于物理实验。 Platt 理想中的系统是一个“万能实验室”，只需输入一段 JSON 描述，就能执行任何实验。ERA 目前处理的是计算问题，而实验仍是真实世界的 ground truth，也是主要瓶颈；他同时认为，科学家仍应建立深厚的领域知识、严谨性和创造力，并通过足够多未经优化的实践来锻炼这些能力。

精读

1. ERA 的起点：把科学问题变成“可评分任务”

• 在 Google Research 做了10多年 AI for science 后，Platt 的框架是：大约两年前，团队“偶然找到了这种映射”——许多科学问题都可以表述为：“我真正想要的是一段能把某个分数最大化的代码。”统计模型拟合只是这一更大框架中的一个例子。
• 一个不太直观的例子是，ERA 论文第一作者 Michael Brenner 用这套工具快速处理科学论文。对于常微分方程或偏微分方程的渐近展开，ERA 可以提出解，测试其在 epsilon = 1e-4 时是否满足渐近正确性，再让 Gemini 在最大化拟合效果的同时改进数学推理。
• 遥感场景涉及不同卫星之间的信息增强超分辨率：把 OCO-2 或 OCO-3 窄幅但精确的 CO₂ 测量，与 GOES 大约每5分钟一次、分辨率较低的红外图像结合，再叠加天气和长期反照率数据，用一颗卫星的数据估计另一颗卫星的信号。

2. 底层机制：在 notebooks 上做树搜索，让 Gemini 充当变异算子

• 这套 harness 首先帮助科学家定义一个可评分任务，生成带评分函数的 Python notebook，然后在数百或数千个候选 notebook 上运行 Monte Carlo 研究。随着变异不断生成子节点，这些候选方案可以形成一棵树。
• 选择采用 upper-confidence-bound 策略：对某次变异的潜力做乐观估计，Platt 描述为大致预测其95%分位数结果。因此，系统不会总是选择当前最好的 notebook；有时会选第五好的候选，因为探索可能更有价值。团队也尝试过把两个候选方案的思路重组为第三个候选。
• 初始种子不需要 starter code。只要给出文字版问题描述，并可选择附上5篇相关论文，Gemini 就能读论文并完成第一次编码尝试。代码 bug 可能导致分数实际跌至负无穷，随后系统可以继续变异这个候选方案。
• 默认设置是大约10路并行搜索，也就是同时生长约10个叶节点。并行度过高会让各条搜索路径无法相互学习；每轮结束后，被剪枝的历史和此前结果会回流到基本上共享的一个上下文中。
• 这比早期的进化式编程效果更好，因为“在代码空间里随机变异基本没有价值”。随机变异大多有害，但 Gemini 能凭借变异算子本身积累的大量世界知识，识别出更有信息量的尝试方向。

3. 评分函数仍是人类的工作——Goodhart 定律始终在等待

• 主持人认为，最难、也最需要人类判断的环节，可能是确定正确的评分标准。Platt 表示同意：agent 可能钻目标函数的漏洞，得到的是字面上被要求的结果，而非科学家真正想要的结果。因此，研究人员必须反复修改评分标准和指令。
• 这个不间断内循环的价值，在于科学家可以从实现细节上升到科学问题本身。他们不必把大部分时间耗在导入文件或让数据库运行起来，而可以思考成本函数究竟应该代表什么。ERA 还可以建议将哪些数据集拼接在一起。
• Platt 引用了 Goodhart 定律：一旦指标成为目标，它就不再是可靠的指标。这一原则适用于每一个 leaderboard 或 benchmark，因此优化过程必须叠加多层严谨性，并进行细致核查。
• 这套流程明确是 human-in-the-loop。ERA 可以运行数小时，返回样例和进展，随后接受进一步指导——“就像有一个精力过剩、从不睡觉的研究生”。

4. Gemini 的能力曲线决定了一切

• 当被问及是否存在某个相变节点时，Platt 表示，ERA“在 Gemini 2.0 时代根本不可能实现”。团队先实验了一段时间，看到系统开始奏效，随后 Gemini 各个版本及中间版本迅速进步。
• 他记得的拐点是 Gemini 2.5：他让模型写 boosted-decision-tree 代码，结果“它直接就写出来了”，于是他说：“这是一个全新的世界。”
• 对于那些试过 Gemini 2.0 后放弃的科学家，他的建议是：那个模型已经落后了一年——“那已经是上古时代了”。
• 一篇 preprint 将 ERA 与另一个可以调取论文并编写代码的公开 harness Antigravity 结合起来，但在这次对话时，ERA 加 Antigravity 的组合尚未公开提供。

5. 预测模型与描述模型：Newton 并不是在给苹果建模

• Platt 区分了预测模型和描述模型：前者在数据集上最小化误差；科学真正希望用于外推的是后者，因为它们捕捉到了物理规律或现实的真实描述。他的例子是，引力并不是真的关于苹果：如果模型只在下落的苹果上训练，它不会知道该如何描述行星。
• 当被追问先验从何而来时，他说两者的边界并不清晰。科学家用直觉和积累的事实约束模型；在当前 ERA 的工作中，对应的来源是 LLM 在预训练中学到的直觉与世界知识。
• 如果给出已有论文，ERA 可以改造已发表的方法，而且经常能反向工程出论文中的代码。Platt 举了一个屋顶太阳能设计的例子：他认为系统在没有安装原始模拟器的情况下，复现了论文中的方法。
• 但边界同样重要：据 Platt 的经验，ERA 还不能从零开始发现一个完全新的物理模型。如果没有被告知 Clebsch–Gordan coefficients 这样的概念，它无法可靠地凭空发明出整套形式体系。不过，在给定已知约束和相关文献后，它可以演化出包含这些要素的模型。

6. 多重假设检验，以及人类为何仍在循环中

• 主持人担心，变异假设和超参数会扩大搜索空间，并带来严重的过拟合风险。Platt 的结构性回答是：科学家仍必须判断结果究竟是对世界的描述模型，还是只是在测试数据上取得了成功的预测模型。
• 他说，系统还没有成为发现全新物理学的机制，但它是帮助科学家发现新科学的强力工具。
• 对于普通过拟合，他的答案是，研究人员必须使用和过去相同的技术，同时格外小心，不要把自己骗过去。主持人将这一点概括为：“你需要使用相同的技术，但必须非常谨慎地使用它们。”Platt 表示同意。
• 在品味与严谨性之间，Platt 认为两者都不可缺。有些人会专注于创造性假设和新科学；另一些人则会确保系统不崩溃、不出现糟糕的扩展性，也不产生错误结果。这些角色不一定要由同一批人承担。
• 前沿发展并不平整：编码、知识搜集和寻找相关材料的能力大幅提升，但严谨性、哲学思考和创造力仍然较弱。Platt 的 AI co-scientist 曾让他了解到一种存在于岩浆中的陌生离子，但他不认为这能替代人类创造力。

7. ERA 起步于“AutoKaggle”——人类也会通过刷目标来获利

• ERA 最初名为 AutoKaggle，因为 Kaggle 属于 Google：最初目标是构建一个能够参加 Kaggle 风格竞赛的系统。它在一些 playground 竞赛中表现非常好，尤其是在 CDC 举办的一项竞赛中，成功预测美国各州及领地下一周的 COVID 和流感病例。
• 在其他竞赛中，它也曾接近胜出，但没能跨过最后一道门槛。Platt 说，成绩往往取决于一个人愿意花多少精力，把最后的0.001或0.01分挤出来。
• 在 Google 的一个 contrails 竞赛中，人类参赛者发现标签存在半个像素的错误：人工数据旋转时，像素中心与左下角原点之间的区别被处理错了。他们利用这一漏洞，击败了赛事组织者。
• Platt 的结论是，人类也可以表现得像 LLM 一样，通过刷目标来获利。因此，Goodhart 定律适用于每一个 leaderboard，而不只是自动化系统。

8. 航迹云：约占人为变暖的1%，或许只需下降两个飞行高度层

• 持续性航迹云可以形成肉眼可见的“华夫格”状卷云。它们白天会反射阳光，但在约10微米、对应地球约300-Kelvin 黑体辐射的波长上，会吸收部分向外发射的红外辐射，并向两个方向重新发射。由于红外效应昼夜都在发生，净效应通常是增温。
• Platt 引用的估算显示，航迹云造成的人为全球变暖约为1%。在欧洲等航班密集区域，航迹云卷云可能带来约1 watt per square meter 的局部辐射强迫，而全球平均的全部人为变暖约为3 watts per square meter。
• 关键在于大气中肉眼不可见、却能长期存在的冰过饱和区域。这些区域可能呈煎饼状，高度只有几百米。在其中每排放1克水、冰或烟尘，大约就能抽取10 kilograms 的水，比例约为10,000∶1。
• 飞机有时只需下降约两个飞行高度层，就能避开这些区域，但会付出一些额外燃油成本。Google 将卫星监测与定制的卷积模型或 U-Net 风格模型结合，因为天气模型还不足以直接准确定位冰过饱和区域，然后把地图提供给航班规划软件。
• 降温效应并不是一个简单的地球工程机会。Platt 表示，增温总体上是持续性的，而有把握的降温主要发生在极地夏季；那时南极上空基本没有航班，其他极地附近的航班也相对较少。

9. ERA 的代表性成果：一个卡了两年的反事实问题

• 估计航迹云的增温效应本质上是一个反事实问题：研究人员可以测量航迹云实际存在时发生了什么，却无法观测航迹云不存在的另一个宇宙。
• 团队建立的向外长波辐射模型表现尚可，但反射阳光部分始终很难处理，连续两年没有突破。他们把人工航迹云注入数据，构造合成测试，而团队自己的方法都没能通过这些测试。
• ERA 在可能的混杂变量中进行搜索，找到一个通过测试的模型。模型很简单，使用了团队此前从未尝试过的一组混杂变量。事后看，它显得很直观，但确实解决了一个现实中的瓶颈。这项工作曾在 EGU 上讨论，后续论文仍在准备中。
• 相关的 CO₂ 工作同样意义重大。到2100年，未来生物圈吸收碳的规模不确定性可能达到约300 parts per million，而当前浓度约为440–450 ppm。通过卫星估计 CO₂，是降低这一不确定性的一个步骤。

10. 天气已经完成跃迁；气候仍然难以被 AI 攻克

• 天气预报关注的是大气在约15天内的演化轨迹，预测窗口受混沌和蝴蝶效应限制。Platt 表示，机器学习、大规模数据集和充足算力已经让天气预报发生重大跃迁，这项工作主要始于约2018年，而不是最近的 LLM 浪潮。
• 一个被重点提到的进步是热带气旋预测，包括更准确的路径预测，以及更早识别和处理增强过程。Platt 指出，飓风本质上是由海洋热量驱动的热机。
• 气候更难，因为它关注的是系统的统计特征，而不是某一条近期轨迹；与此同时，底层系统本身也在变化。按 Platt 的表述，天气问的是你位于吸引子的什么位置；气候问的是吸引子的统计特征，而吸引子的形状本身可能移动，甚至在临界点发生变化。
• 当气候模拟出现不稳定时，研究人员可能无法判断这种不稳定究竟是真实的物理效应，还是模型失效。未来30年的直接数据也不存在，无法告诉我们某次外推是否过拟合。
• Platt 将过程模型描述为一种还原论式拆解：把复杂的气候系统分成许多部分，有时每一部分还要单独做专门拟合。冰微物理体现了这一难题：晶体形状、下落速度和混合行为都存在不确定性，却可能显著影响气候模型。
• 他希望未来出现一种系统，能够读取并整合远多于单个研究者所能掌握的、经过更充分评估的科学知识，同时以受约束且符合科学常识的方式拟合数据。他明确表示，当前的 ERA 还无法完整做到这一点。

11. AlphaFold 的考验：什么时候黑箱已经够用？

• 主持人认为，AlphaFold 迫使人们重新思考科学理解究竟需要什么。数据驱动模型可以极其有用，却未必提供物理学家传统上追求的那种机制直觉。Platt 引用了那句格言：所有模型都是错的，但有些模型是有用的。
• Platt 的判断标准主要取决于数据是否足够丰富，以及问题是否封闭。在有足够数据覆盖相关案例的领域——他以蛋白质和 PDB 为例——AlphaFold 这样的统计模型可以非常有效；而在气候这种开放、非平稳且需要外推的场景中，谨慎就重要得多。
• 在 PDB 覆盖的范围内穷举式应用 AlphaFold，对 Platt 来说尤其能说明模型在数据充分覆盖的区域内是多么有用。
• 主持人还主张采用还原论式组装：把各自可理解的部分组合成连贯的整体；相比之下，一个声称能够解释细胞的巨大黑箱模型可能很难被信任或检查。
• Platt 认可从简单模型起步这一长期有效的基本纪律。主持人建议先拟合线性回归；Platt 补充了 SVM 这一简单基线。他们一致认为，即使有大量数据，许多生物学问题也很难取得超越简单基线的改进。

12. 核聚变：“3年后，而不是30年后”

• Platt 表示，具备商业意义的核聚变在本世纪末实现“确实存在一定概率”，并把自己的个人估计表述为“3年后，而不是30年后”。他强调这是一种可能性，而不是确定性预测。
• 他用于保持怀疑的工具是 Lawson 判据：密度、温度和约束时间必须共同超过某个阈值。每种核聚变路线至少有一个维度存在阿喀琉斯之踵，因此，某一个指标达到稳定水平的新闻标题，并不能证明完整判据已经满足。
• 在与 TAE 的合作中，Platt 接触到 field-reversed configurations：在某些磁流体力学假设下，理论认为它们不稳定，但实际中却可以稳定运行。Z-instability 可能制造一种摆动，并由 PID 系统控制；但偶发放电仍可能损坏设备，让运行中断数周。
• Google DeepMind 曾研究用于 tokamak 的控制系统，以防止 disruption。主持人将故障模式描述为等离子体能量击中真空室；他们开玩笑说，一次重大 disruption 可能把 ITER 变成一块极其昂贵的砖头。
• 宏观经济层面的框架是“悲伤饼图”：气候问题不存在单一的万能解。更大范围地推进经济电气化，可能让电力需求增加约5倍；而当电池需要覆盖最后10–20%的需求时，成本会越来越高。因此，某种稳定或基荷电力可能很有价值，Platt 将核聚变视为潜在贡献者之一，而不是万能方案。
• 对话还谈到一个颇具推测性的设想：在核聚变反应堆中把汞嬗变成金。Platt 认为这个想法很巧妙，但表示它可能行不通。

13. FireSat：在火灾还只有一间屋子大小时就将其捕捉

• Platt 表示，野火在大约一间屋子大小时可能很容易扑灭，但一旦扩大到1英亩，就会难得多。火势有时会在一段时间内维持较小规模，随后迅速增长。
• Google 设计了一个低地球轨道卫星星座，使用中波红外传感器，因为火焰会以温度的形式显著突出。根据轨道配置不同，大约50–80颗卫星可以在全球任何地点，在约15–20分钟内探测到直径约5米的火灾。
• 传感器的原生分辨率约为50 × 50米，再通过多光谱超分辨率和其他 AI 方法，将有效火点定位分辨率提升至接近5 × 5米。这些传感器无法简单搭载在任意微型卫星星座上，因为中波红外探测需要制冷。
• Google 与其参与其中的非营利组织 Earth Fire Alliance 以及 Muon Space 合作；一颗原型卫星已经发射。Google 还通过 Android 和 Search 传播火灾边界信息。
• 团队与 U.S. Forest Service 合作，开发了 Rothermel 火灾传播模型的快速神经网络代理模型。Platt 引用 World Health Organization 的估计称，野火烟雾每年造成约300,000人超额死亡。
• 他对气候韧性的理念是，社会可能需要同时进行适应和减缓：气候变化就像一种严重疾病，因此既要治疗症状，也要处理根本病因。

14. 相变之后的建议：深入一个领域，也要自己爬山

• Platt 认为，过去12–18个月发生了相变。这个领域正从一个个独立构建的专用模型，转向通用 AI 系统；但 AI for science 社区仍在摸索最好的工具和工作流，尚不能把这次转型视为尘埃落定。
• 他举了自己21岁儿子的例子：儿子正在 RNA 和化学领域建立专业能力，同时使用 vibe coding 等 AI 工具。Platt 的建议是，在积极尝试新系统的同时，把一个领域钻深。
• 当主持人问，如果 AI 能瞬间解决过去用来训练人的基础问题，人们该如何建立专业能力时，Platt 用徒步作比喻：即使可以开车上山，徒步登山仍然值得，有时也更有乐趣。
• 他回忆自己曾用多种语言反复重写 boosting，并说这一过程教会了他 boosting。科学和技术工作就像运动训练，既需要高效完成任务，也需要花时间锻炼底层能力。
• Platt 强力维护团队中20%的时间，用于学习和实验。他警告说，过度优化生产力本身也可能变成一种过拟合，并消耗掉创造性工作所需的时间。

15. 不要成为“空心西装”——以及“万能实验室”的愿望

• 针对主持人关于人们可能变成监督 agents 的中层管理者的玩笑，Platt 表示他们不应成为“空心西装”。LLM 会犯一些不寻常的错误，不能被完全信任；但人类也应对自己的工作采取同样程度的怀疑。
• 他回忆起与 Feynman 相关的一句警告：人不能欺骗自己，而自己又是最容易被欺骗的人。长期有效的能力包括生物学和物理科学等基础领域知识、数学、严格核查、创造力，以及跳出框框思考的能力。
• Platt 的魔法愿望是一个“万能实验室”：只需接收一段 JSON，就能执行任何实验。这要求解决某种类似 AI-complete 的机器人学问题。
• ERA 目前仍然是计算系统；物理数据还得由人收集。实验仍是真实世界的 ground truth，也是瓶颈，而通用的 lab-in-the-loop 系统仍处于高度开放的探索阶段。

16. 1982年与 Feynman、几乎为零的算力，以及 Hopfield 的回环

• Platt 在1982年上了 Feynman 的计算物理课程，当时 John Hopfield 和 Carver Mead 也在相关环境中。每周二安排客座讲座，Feynman 会在周四解释为什么讲座材料是错的。Platt 将其称为“Feynman effect”：离开教室时确信自己已经理解，走出门后才意识到其实并没有。
• 课程讨论了可逆的台球计算机、热力学极限，以及应该追求哪类计算。这门课由 DARPA 资助，学生还被要求参加每周一次的 prime-rib 晚餐。
• Platt 形容当时可用的计算能力“按四舍五入误差计算等于零”：他作为 Carver Mead 的系统管理员，使用一台约1 MIPS 的 VAX 11/750，而研究组共享一块80-megabyte 硬盘，大小大约相当于一台洗碗机。
• NeurIPS 源于一次名义上私密、却吸引大量人试图参加的 Snowbird workshop，此前还有 Santa Barbara 和 Caltech 的“Hopfest”活动。Platt 指出，transformers 可以被理解为一种 associative memory，这与标题“Hopfield Networks Is All You Need”相呼应。
• 他说，神经网络受益于围绕 BLAS 和 GPUs 形成的硬件与软件生态。他不声称知道人脑是否通过矩阵乘法工作。神经网络开始大幅超越 CPU，大致是在最初的 ImageNet 和语音识别突破时期，当时 GPUs 对这些工作负载变得实用得多。
• 主持人补充了一个故事：Platt 读研究生时的朋友 Brian Catanzaro 曾用一次简短交谈说服 Jensen Huang，相信 CUDA 和 GPUs 可以服务于 deep learning，这推动了 NVIDIA 转向这一市场。
• Platt 还表示，是他创造了“convolutional net”这一通用术语，因为他不在 Yann LeCun 手下工作，也不想把自己的工作称为 LeNet。

17. 两颗小行星、一座 Oscar，以及量子计算的稳步推进

• Platt 在1980年代 Caltech 的行星科学课程中发现了自己的小行星，当时授课者是 Gene 和 Carolyn Shoemaker。学生们把同一片天空拍在胶片上，用立体镜寻找移动的“浮点”，再以参考恒星为基准测量，并把观测结果发送给 Minor Planet Center 的 Brian Marsden，将不同时间的观测连接成轨道。
• 他发现了两颗小行星。其中一颗以他的父亲命名；后来 Carolyn 将另一颗以一位教授命名，Platt 抱怨自己原本想给它命名，于是 Carolyn 把另一颗交给他命名。那颗小行星后来以他的母亲命名。随后，一位业余天文学家通过掩星观测发现了这颗以其母亲命名的小行星周围存在一颗卫星；Platt 说他相信这件事发生在去年。主星估计直径约4 km，卫星约1 km。
• Platt 表示，Vera C. Rubin Observatory 的 Simonyi Survey Telescope 在6周内发现了11,000颗小行星，但他不确定其中有多少最终会获得正式名称。
• 他的 Oscar 来自一项始于1986年 Schlumberger 实习期间的工作：他用弹性模拟对织物和其他柔性物体建模。这项工作后来发表在 SIGGRAPH，其衍生技术成为 Pixar 电影所用物理模拟的一部分。大约20年后，他获得了这座奖项。
• 谈到量子计算时，Platt 表示自己以数十年为尺度评估进展。这个领域目前处于 NISQ 时代，这个术语由 John Preskill 创造，但 Platt 并不特别喜欢它。他将 Google 的 Quantum Echoes 工作描述为一种 Feynman 式方法：把参数化 Hamiltonian 拟合到 NMR 测量等观测数据上；它能否达到足以带来重大突破的规模，仍未有定论。
• 他说，Google 的量子团队正沿着 Hartmut Neven 的路线图推进，时间尺度是几年到数年不等；具体里程碑的时间点应向 Neven 核实。超导量子比特因可扩展性仍令他看好，但其他架构最终也可能胜出。
• Platt 不期待出现瞬间相变：量子系统是模拟的，而且极其脆弱难控；把物理量子比特扩展成有用的逻辑系统仍然困难。主持人指出，物理量子比特到逻辑量子比特的开销，以及连接性，都是重要约束。
• Dave Bacon 开玩笑说，Platt 总是领先时代20年；10年之后，他就“走到了一半”。主持人则提出另一种理论：Platt 可能本身就是因果变量——他开始研究某个领域，现实最终才追赶上来。