Bioinfohazards：Jassi Pannu 谈如何管控 AI 模型学习的危险数据

摘要

• Pannu 的方案只限制约占数据 1% 的一小类数据——这一比例只是粗略估计，尚未被测量；这些数据直接把病原体序列与传播性、毒力、宿主范围或免疫逃逸联系起来，从而保住开放生物学。 绝大多数原始序列数据仍会开放；敏感的“功能数据”则置于分层的生物安全数据等级中，研究人员把代码带入可信环境，而不是下载底层数据。Nathan Labenz 尽管自称是终身信奉技术乐观主义的自由意志主义者，相信数据“想要自由，也理应自由”，仍支持这些管控，因为未来的智能体会利用网上留下的任何高信号信息。

• 选择性排除训练数据，可能提供一种罕见的低成本安全干预，而且不会广泛削弱生物模型的有用能力。 Evo 2 排除了感染人类和其他真核生物的病毒序列，ESM-3 的开发者则对比了过滤版和未过滤版模型；危险病毒任务上的表现大幅下降，但其他领域能力仍然保留。在 Evo 2 的一项评估中，相关表现“基本等同于随机”，而非只是逐步变差——这表明范围窄的数据管控不必把模型整体变成“笨模型”。

• 相关威胁正从只能由专家驾驭的生物学，转向极端组织、单独行动者，并最终转向自主 AI 系统。 大流行病原体不适合作为民族国家武器，因为它们无法定向攻击；要保护本国人口，就得事先接种疫苗，而且很难不引人注意，因此主要大国对管控存在共同利益。迫切性在于，已有系统能根据手机照片为实验室工作排障，Opus 4.6 还会自发在 Hugging Face 上找到加密的基准数据集并解密其中答案；Nathan 认为，对危险生物信息设置的壁垒应假定可被发现，而不是长久有效。

• 2012 年的禽流感实验仍是最清晰的警示：物理实验及其公开发表的结果都可能制造不可逆的风险。 两组研究者让一种当时被认为病死率约为 60% 的禽流感病毒株在雪貂之间具备哺乳动物间传播能力；其中一组“只需要 5 个突变”。此类研究后来基本被撤销资助，但仍属合法；私人实验室的透明度很低，而天花序列已经可以在概念上与一份公开发表的马痘逐步合成方案结合。

• AI 可以压缩计算疫苗设计的时间，但 COVID-19 的经历表明，发现阶段“不是瓶颈”。 SARS-CoV-1 的研究早已确认刺突蛋白的重要性，因此 SARS-CoV-2 测序后可以迅速完成设计；临床试验、监管、制造和全球分发耗时远长得多。因此，更被忽视的机会不只是提升分子生成能力，而是开发能提高临床试验成功率、扩大实体部署规模的工具。

• 真正具有决定性的平台跃迁，是把研究智能体、生物基础模型、机器人、实验和新生成的因果数据连成一条闭环。 Pannu 对更深层多模态融合给出的保守时间窗口是“5 至 15 年”，因为自主实验室的吞吐量仍是约束；仅仅汇总药企的专有数据，帮助也只会有限。如今的数据集仍是“手工艺化”的、观察性的、有偏且不一致；机器人扰动有望生成系统性的因果证据，让 in-silico 模型真正具备预测能力。

• 没有任何单一管控能让生物学安全，因此纵深防御的基础设施路线图覆盖“延缓、威慑、检测和防御”四个环节。 优先事项包括强制 DNA 合成筛查、安全的数据与算力环境、跨供应商订单监测、被动式全球病原体监测、PPE 储备，以及远紫外线空气灭菌等建筑环境防御。核心论点是纵深防御：数字进攻越来越便宜，而反制措施仍受物理世界瓶颈限制；因此，韧性要求多道相互独立的防线同时起效。

精读

1. 疫情检测仍要等病人发病

• Pannu 的出发点是一个制度性空白：社会没有针对陌生病原体的国家或全球被动式预警系统，无法像雷达监测 ICBMs 那样提前预警。检测只有在患者出现症状、前往医院并引起临床医生警觉后才开始。

• 医生首先会用鼻拭子检测流感、RSV、鼻病毒等熟悉病因。只有当这些检测均为阴性且病情严重时，医院才会升级到宏基因组测序；因此这套系统应对已知病毒尚可，却难以及时识别真正的新型病毒。

• 研究认为 SARS-CoV-2 大约在 2019 年 11 月下旬或 12 月出现，但直到 1 月才完成完整测序。随后，一名中国研究人员未征得政府许可便公布了序列，推动诊断设计和产能扩张；相比之下，流感的全球序列网络依赖各国实验室主动贡献序列。

• Nathan 一再被要求分享儿子癌症数据的经历，暴露出其中的错位。Pannu 说，医学对个人隐私有很强的保护，但面对“整个地球都是你的患者”这类社会性风险，相关机制要弱得多；美国医院、州和医疗网络彼此割裂，使问题进一步恶化。

2. 受保护的临床数据无需复制也能保持可用

• 英国的 OpenSAFELY 是 Pannu 认为可对照美国碎片化体系的案例。它于 2020 年创建，让研究人员可以访问覆盖英国 95% 人口的临床记录，同时将底层私人信息留在受控平台内。

• 它最关键的设计选择，是“迫使研究人员来找数据”。研究人员提交代码，从不需要查看或持有底层私人记录——Pannu 后来把这套模式从隐私保护延伸到了危险生物数据。

• 这一架构的重要性在于，访问控制不必等于科学瘫痪。共享的安全环境既能减少泄露，又能让研究人员不必逐一与每个掌握相关数据的机构谈判。

3. 快速疫苗设计依赖多年积累的科学基础

• Nathan 指出，第一份 COVID-19 mRNA 设计似乎在拿到序列后几天内就完成，而且在成为最终接种的疫苗前几乎没有改变。Pannu 认同从刺突蛋白反推 mRNA 序列的速度极快，但强调计算“显然不是瓶颈”。

• 研究人员并非从一张白纸开始：SARS-CoV-1 的研究早已确认刺突蛋白的重要性。正是这些积累下来的知识，让团队在 SARS-CoV-2 测序后立即选定靶点，尽管 SARS-CoV-1 本身在演变成全球大流行前就已被控制。

• Nathan 关于 gain-of-function 的追问紧随其后：当临床试验、监管、制造和全球分发主导时间线时，缩短靶点选择的时间价值有限。Pannu 转而强调 AI 在这些被忽视的实体环节中的机会，包括提高临床试验成功率，以及改善反制措施的生产和部署。

4. 大流行武器更偏向非理性行动者，而非民族国家

• Pannu 将毒素、有可靠抗生素反制手段的非传染性生物体（如炭疽），以及最极端的情形区分开来：一种缺乏诊断、治疗手段或疫苗的新型大流行病毒。最后一类的后果远为严重，因为它会自我复制并扩散到攻击者无法控制的范围。

• 这种不可控性使大流行病原体不适合作为民族国家武器。要保护本国人口，就必须设计疫苗并在不被察觉的情况下大规模接种；因此 Pannu 把重点放在恐怖组织、小型极端主义团体和单独行动者身上——他们更不受理性威慑约束。

• 这一威胁模型也为美中协同创造了可能：两国都能从防止下一场大流行中受益。若从匿名下载转向身份核验、用途审批和使用记录，就能形成“差异化授权”——为病毒学家和反制措施开发者保留访问权限，同时提高恶意用户的门槛。

5. 功能数据，而非原始序列规模，才是瓶颈

• 在 Pannu 所说的 Carlson 曲线下，测序成本下降速度快于 Moore 定律，生物学已经被海量 PB 级数据淹没。仅 GenBank 就包含超过 40 PB 的数据，其中大多是未注释、原始且质量参差的测序数据。

• Protein Data Bank 则完全相反：多年来靠艰苦结构实验积累出的数据集还不到 1 TB，理论上放得进一只 U 盘。过去，解析单个结构就可能耗费一名研究生整个博士阶段，说明数据量可能掩盖信息价值的差异。

• 序列数据大多是观察性的。Evo 2 等模型表明，序列可以支持蛋白质相关任务、基因组生成，并在不同生物尺度上运行；但 Pannu 说，更关键的输入可能是因果性的“功能数据”：基因敲除、系统性扰动，以及对病毒蛋白如何与人类蛋白结合的测量。

• 因此，拟议的管控应针对把病原体与传播性、毒力、宿主范围或免疫逃逸联系起来的数据集——这些正是政府在湿实验研究中已经审查的属性。清洗现有互联网数据将是“赫拉克勒斯式”的苦差事，且大概率徒劳；真正可操作的瓶颈在于未来由 Genesis Mission、OpenAI Foundation 数十亿美元级投入以及 Chan Zuckerberg Biohub 等项目资助产生的因果数据。

6. 5 个突变同时暴露实验室和信息风险

• 2012 年，两个独立团队对禽流感展开实验；当时这种病毒被认为病死率约为 60%，但尚不具备高效的人际传播能力。研究以雪貂为哺乳动物模型，提高了病毒的传播性；其中一组发现“只需要 5 个突变”。

• Pannu 认为，两篇论文当时同时投给 Science 和 Nature；两家期刊在论文披露使这项工作成为可能的突变后，向美国政府发出警报。这一事件同时包含两重风险：增强后的病毒可能因普通人为失误逃逸，而论文公开则可能向他人提供复现实验所需的突变、操作流程和反向遗传学知识。

• 物理控制体系并不完美：CDC 的冷冻柜里曾发现被遗忘的可存活天花样本，尽管当时据称全球只有 2 个地点存有活体样本。信息控制更难——天花序列已经公开，研究人员逐步合成马痘这一近亲的操作方案也已公开。

• Nathan 认为，这类研究的防御性收益很弱，因为更快设计疫苗并不能消除主要响应瓶颈。Pannu 也同意，常规疫苗研发不需要让病原体变得更易传播、更具毒力或更善于免疫逃逸；新冠之后，此类研究已被大幅撤资，但并未被明确列为违法，私人实验室仍是一个可见性盲区。

7. 生物学模型目前彼此分立，但正走向同一闭环

• Pannu 主要把通用 LLM 视为知识“赋能”工具：它们可以教非专业人士生物学，也可能回答如何非法获取武器或天花的问题。因此，前沿开发者使用分类器和拒答机制，拦截一小类操作性信息。

• 专门化的生物设计工具提供的是能力，而不只是知识。它们通常要求使用者具备计算生物学专业能力，却能让专家完成此前不可能完成的工作——例如从序列快速推断蛋白质结构、探索替代设计，或预测分子结合。

• Evo 2 和 ESM-3 属于第三类：更大型的生物基础模型，试图在蛋白质、基因组和调控系统之间推断可迁移的规律。它们对数据和算力的需求，使 Google DeepMind 和 Evolutionary Scale 等大型组织比单个学术团队更有优势。

• 这些类别的界线可能在“整合式工作流”中消失：智能体设计实验，自主机器人执行实验，结果数据更新基础模型，智能体再选择下一项实验。本期的框架还包括利用手机图像排查实验室故障、持续数日的自主研究，以及 Opus 4.6 绕过加密恢复基准答案。

8. 机器人，而非企业数据共享，是下一次跃迁的瓶颈

• Nathan 追问，生物学何时会获得类似图像与文本联合理解模型所展现的深层多模态融合——不只是 LLM 调用蛋白质模型，而是共享权重，能够在语言、序列、结构和实验性证据之间流畅推理。

• Pannu 给出的诚实预估是“也许在未来 5 至 15 年”。目标很明确，但因果数据仍要靠物理实验获得，而实验室自动化仍受机器人技术、样本搬运、流程一致性以及扩大现实世界工作规模的难度约束。

• 药企拥有有价值的专有数据集，也在训练内部模型，但强制共享只会让行业“再向前一点”。现有生物学数据“有点手工艺化”，且多为观察性数据，因而带有偏差、杂乱不一；系统性的机器人扰动和谨慎复现代表着一种根本不同的数据生成范式。

• 最终的愿景是让 in-silico 模型替代部分湿实验工作，预测药物在细胞和动物中的作用，并把临床结果预测到足够准确，从而减少试验次数、提高成功率。Pannu 反复强调，这仍是愿景，而不是当前能力。

9. 当进攻仍停留在数字世界，双重用途能力会带来失稳

• Pannu 愿意为虚拟细胞模型、临床试验优化、反制措施的生产与分发等相对低风险应用“踩下油门”。更难的问题不只是哪些能力应当存在，而是谁能获得这些能力、在什么条件下获得，以及能力成熟到什么程度。

• 她刻意设定的未来主义红线，是一种能够快速合成病原体、且成本低廉的自主机器人。这类设备不应作为现货产品出售；即便其底层自动化也服务于合法生物医学研究，访问和使用仍需要被追踪。

• 病毒设计体现了双重用途陷阱。更好的病毒工程可以推动基因疗法，或推动感染细菌的噬菌体研发，但一个能通用设计这类病毒的系统，也可能被改用于人类大流行病原体；而疫苗及其他反制措施仍被卡在物理世界的时间线上。

• Nathan 反驳称，即使是有益的全细胞模型，也可能被用来暴力枚举病毒变体。Pannu 承认，几乎每一项生物医学进步都存在有害路径，但她以直接性、后果和所需专业能力划线：一个只需有限生物学知识就能生成针对人类病毒设计的模型，比需要多模型协同、且所需专业能力高到让民族国家大概率会选择其他武器的工作流，更值得担忧。

10. BDL 管控数据，同时保留开源模型

• 拟议的生物安全数据等级框架包括 5 个等级，从 BDL0 到 BDL4，参照实体实验室的生物安全等级设计。它把遏制对象设为数据，而不是病原体或模型，因为学术生物 AI 高度依赖开放模型，而有价值的功能数据仍然昂贵且集中。

• BDL0 覆盖绝大多数生物信息，完全不设访问限制。BDL1 增加基础身份和账户要求；更高等级逐步要求研究人员说明拟开展的项目，并在使用与危险病原体属性更直接相关的数据前获得批准。

• 更高等级的触发条件包括传播性提高、宿主范围扩大、动物到人传播、更高毒力，以及免疫逃逸或疫苗逃逸。任何使用 BDL3 或 BDL4 数据训练的模型也必须安全处理——否则发布模型只会把受限能力重新包装并传播出去。

• Pannu 称 99% 的开放数据是合理估算，而非测量事实，因为不存在全面清单。最高等级可能只影响几十家或更少的专业实验室，其中许多本来就在非正式限制访问；最大的未知数，是政府资助视野之外私人产生的数据。

11. Evo 2 和 ESM-3 表明选择性排除数据可行

• 核心实证问题是：一个强大模型在学会生物学更深层规律后，能否通过插值绕过训练数据中的微小缺口？如果可以，排除危险数据只会增加管理成本，并不能真正移除相关能力。

• Evo 2 团队在保留感染细菌的病毒信息的同时，剔除了感染人类及其他真核生物的病毒序列。预训练后，评估显示其病毒蛋白相关任务的表现显著变弱，生成对应功能性病毒的序列能力也下降，但其他生物学领域仍保持有用。

• Evolutionary Scale 训练了过滤版和完整数据版 ESM-3，使研究人员能够直接比较其在病毒蛋白功能预测等任务上的表现。Pannu 形容 Evo 2 受影响任务的表现“基本等同于随机”，而不是小幅下降——这是本期最有力的证据，说明有针对性的排除可以消除危险能力，同时不让模型整体失灵。

12. 可信环境可以让安全机制服务研究人员

• 可信研究环境通过把敏感数据集中存放、让获批研究人员把代码带入其中，来把这套方案落地。理想情况下，它们还应提供足够的算力用于模型训练，不过 Pannu 说这是否可行尚不确定。

• 她不确定政府是否应该直接建设并运营所有环境；研究人员发现，一些公共系统使用起来很笨重。大学和大型合作项目可以按政府制定的标准自行建设平台，把责任放在机构而不是单个研究人员身上。

• 集中化也可能是科学收益，而不只是合规负担。AI 研究人员本来就希望获得整合的数据和算力，而不是把数据集分散在各个实验室；设计良好的可信研究环境可以在增加身份认证、监测和限制的同时，为防御性病原体研究“踩下油门”。

• 数据管控在隐私和人类基因组治理中也有先例。Pannu 认为，Biden 和 Trump 两届政府在 gain-of-function 监督上正在出现跨党派推进，并希望为美国 AISI 配足资源和人员，把开发者目前各自临时开展的能力评估标准化。她还肯定了美国和英国 AI 安全机构在生物安全方面的有益工作。

13. DNA 筛查只有在剩余的 20% 不能掉队时才有效

• 大约 80% 的基因合成供应商会自愿筛查订单。自动序列匹配先检查订单材料是否类似埃博拉、天花或其他受关注病原体；被标记的订单再交由人工专家处理，同时通过客户身份核查确认下单者是谁、订单是否符合合法研究。

• 筛查成本下降已经消除了大部分原有负担，但 Nathan 指出了攻击者的明显优势：恶意客户只需转向不筛查的供应商。Pannu 说，当前推动的方向是让所有供应商都必须筛查，而不是把 80% 的参与率视为足够。

• 分散下单又造成另一处弱点。有人可以从多家公司分别购买小片段，但供应商没有实时合并这些信号的系统；解决它需要为安全信息共享提供法律授权，也需要在制度上明确由谁负责协调。Pannu 提到 FBI 只是一个可能的例子，并非已经敲定的方案。

• 全自主云实验室会形成未来的网络攻击面，但 Pannu 强调，目前实验室离这一情形还很远，仍依赖人类搬运样本。如果具备病原体能力的自动化系统出现，系统必须能够抵御恶意行为者远程部署“1000 个智能体的大军”来夺取控制权。

14. 生物学需要分层防御，而不是单一制胜理论

• Pannu 不赞成寻找生物学版的单一核威慑理论。生物学是分布式的、双重用途的，其价值恰恰在于很多人都能从事；可行策略是在四层之间建立纵深防御：“延缓、威慑、检测、防御”。

• 延缓包括数据管控和强制合成筛查。威慑包括国际社会对生物武器的禁令，尽管执行乏力仍有价值——但对不理性或自杀式行动者无效，因为他们不会对传统惩罚作出反应。

• 检测意味着建立被动式“生物雷达”，能够在不等待患者出现症状或依赖自愿上报的情况下发现陌生病原体。对具有较长无症状期的感染而言，这一点尤其重要：Pannu 提到早期 HIV 传播，认为这类事件正是社会希望提前得多识别的对象。

• 防御不应止于疫苗，还包括人们已经习以为常的环境防护：过滤水可以阻断霍乱，纱窗可以阻挡蚊媒疾病，但建筑物没有针对空气传播病原体的同等默认防线。远紫外线和乙二醇蒸气或许可以在无需识别病原体的情况下被动灭菌空气；Nathan 的家人已经在儿子住院期间使用 Aero Lamp，既是个人防护，也是在支持这一新兴市场。