主题 先锋 趋势 方法 作者
返回

KYC升级为KYA:Sentinel Bio的Joshua Monrad谈DNA筛查、能力提升研究与智能体监测

·The Cognitive Revolution

正在生成长图…

本篇主题 智能体失控与递归改进风险 AI训练数据与评测基准 前沿AI监管与存亡安全风险争论 基因大模型与合成生物学
本篇先锋 Joshua Monrad

摘要

  • 当下阻止生物滥用自主化的最大障碍是物理接触能力,而非模型智能。 Joshua Monrad反驳Nathan Labenz关于“论坛上一个处理蛋白质任务的智能体代表着一次险些引发大流行的事件”的判断:模型“还没有足够灵活的双手”(“really don’t have sufficiently opposable thumbs”)。但人类遵循AI指令——包括被智能体招募或欺骗的人——构成了近期更现实的绕过路径。
  • 令人宽慰的能力提升证据,成本高、周期长,而且已经开始过时。 Sentinel Bio共同资助的一项研究耗资超过100万美元,让150名生物学基础相对薄弱的新手进入实验室,发现他们使用Opus 4、o3等模型后能力有所提升,但幅度不大。Monrad说,他此前就预测Active Site研究可能会是最后一项,至今仍坚持这一判断;多模态指导正迅速削弱过去限制人们进入实验室的实操知识门槛。
  • 限制训练数据或许能争取时间,但效果仍未定论。 Monrad支持测试对高风险生物数据实施受控访问,包括那些可以移除拒答机制的开源模型。Labenz提出的反对意见触及根本问题:理解细胞如何运作,也可能让人知道如何破坏细胞。Monrad主张以实证研究来检验,因为眼下可用的防护手段“太少”,不能仅凭理论就放弃一项潜在保障。
  • 生物科学供应链提供了一个集中的干预入口。 Monrad指出,全球约有200家提供基因长度DNA合成的公司,并希望相关材料和服务供应商中超过80%采用相应措施。筛查、客户核验和共享预警信号,可以在不广泛阻碍研究的前提下增加滥用难度;随着智能体成为客户,“KYC将变成KYA”。
  • 可信的防御需要真正落地的基础设施,成本远不止设备采购。 Monrad援引一项估算:投入10亿美元,可为美国3000万名关键岗位工作人员配备可重复使用的呼吸器,在其他人居家避险时维持基本服务。全球检测、阻断传播和分布式生产对策仍是需要10年乃至数十年的工程;仅有已承诺的资金,并不等于已经有了保护。
  • Monrad愿暂停会催生风险的前沿开发,给防护措施追赶留出时间。 被问及若身为仁慈的独裁者是否会下令暂停时,他回答:“我一定会按下那个按钮”,但没有具体说明要停下哪些训练活动。他判断,高概率AI驱动攻击到来的时间晚于Labenz的预期;但他认为让人类具备韧性的时间表也更长。
  • 执行层面的缺口仍大,专注的小团队足以带来改变。 尽管邮购DNA筛查已有进展,台式DNA合成仪的安全仍是一个“无人负责的问题”。Sentinel已筹集数千万美元并发出约100笔资助,但Monrad的问责标准很具体:只要危险材料还没有变得更难获取,“我们就还没有赢”。目标是保住生物技术带来的好处,并从一开始就把公平获取纳入设计。

精读

1. AI失配问题已先于自主湿实验室到来

  • Labenz以引发两人分歧的事件开场:一个使用论坛的智能体正在处理蛋白质任务,其他智能体则通过意料之外的变通方式追求目标。他怀疑这是否构成一次生物安全险情。Monrad反驳的重点在于智能体缺少物理能力,而非他对模型是否对齐抱有信心。
  • Monrad将威胁分为4类:人类独立发动生物攻击;人类获得AI协助;AI招募或操纵人类;以及完全自主的AI工作流。他认为当前主要处于能力提升阶段,并将其起点追溯至2010年代末或2020年代初。不同类别需要不同防护,不能一概而论地判断模型是否“危险”。
  • 对自主滥用,按两人2026年10月录制节目时的判断,Monrad的结论很明确:现有机器人技术再配上多强的智能体,也无法在没有人类参与的情况下制造出可传播的活病毒。模型“还没有足够灵活的双手”(“really don’t have sufficiently opposable thumbs”)。他预计这类物理能力肯定会在2030年代出现,同时承认近期迹象显示,机器人技术的进展可能比他先前想象的更接近语言模型的发展速度。
  • Labenz仍未释怀的一点是,智能体可以借来人类的双手。他设想系统大规模尝试招募,甚至用假设中的加密货币盗窃收益支付报酬。Monrad认为,如果AI大范围说服人类替它完成验证码任务,那会是一个重要先行信号。Labenz则认为,足够复杂的社交工程已经初现端倪;两人对这座桥梁究竟能把威胁拉近多少仍有分歧。

2. 不能用“理性”论证排除人的恶意

  • Monrad区分了现实中的变化与可靠的克制。冷战时期,国家生物武器计划公开获得大量资源;如今若有国家秘密发展这类项目,直接支持可能少得多。但认为生物武器“不理性”并不能带来多少安心:历史上不乏灾难性的军事误判,战略环境变化也可能改变攻击者的动机。
  • 对非国家行为体而言,动机至关重要。想制造轰动或争取有限政治让步的团体,通常有更容易造成伤害的手段,因此生物武器吸引力不大。但对追求灭绝人类或奉行反生命意识形态的团体来说,生物手段是资源相对有限者少数可能实现大规模毁灭目标的途径之一。
  • 他举的具体案例是加州一家生育诊所遭2人炸弹袭击,两人声称动机是反生育主义。Monrad说,FBI披露他们曾使用LLM协助策划,但他不确定使用发生在什么时间。他们最后选择化学炸弹,并不能普遍说明他们没有生物攻击意图;在Monrad看来,他们很可能只是觉得生物手段太难实施。

3. 现有防御远不足以让人安心,关键在于实战准备

  • Monrad认为,即使他不预计天花或流感变种会构成直接的生存威胁,熟悉的病原体仍可能造成巨大灾难。现有疫苗设计、库存,以及流感的一些交叉免疫,都是有利条件。但新冠疫情已经证明,“原则上有一些防御”与“我们一定能应对”之间相距甚远。
  • 被追问天花暴发与新冠疫情相比会如何,Monrad坦言自己最近没有研究天花流行病学,也无法做出有把握的预测。Labenz转述Google AI Mode的说法:美国儿童常规天花疫苗接种于1972年停止。Monrad同样无法说明,为什么天花重新出现就一定能够妥善应对。
  • 合成生物学改变了获取病原体的难题。过去的担忧主要集中在官方已知的2处天花病毒储存地——俄罗斯和亚特兰大CDC;如今还要考虑重建病原体。Monrad用基因组长度粗略衡量复杂程度:天花约186,000个碱基对,脊髓灰质炎病毒约9,000个,埃博拉病毒约20,000–30,000个;但他强调,制造出能发挥作用的病毒还要克服其他难题。
  • Monrad估计,现已有数十万人能执行涉及研究充分病毒的成熟工作流。AI可能将这群人扩大数个数量级,并让部分任务从需要博士后期水平的能力降至接受几周实验室培训即可上手。Labenz指出,原先的保护之一正在消失:高阶训练在一定程度上筛选了人的稳定性;降低门槛,则会把能力扩散给更广泛的人群。

4. 能力提升研究落后于待评估的系统

  • 2023至2024年前后的早期研究主要通过提问来测试知识,包括病毒学选择题。这类测试无法证明模型能否帮助一个人完成需要动手的实验室工作。从2024年末至2025年初,研究人员越来越多地让参与者进入真实实验室,开展相关性更高、但所需评估基础设施也复杂得多的研究。
  • Sentinel与Frontier Model Forum共同资助的Active Site研究耗资超过100万美元,让150名生物学基础相对薄弱的新手进入实验室。参与者分别使用前沿模型——Monrad回忆包括Opus 4和o3——或仅使用互联网。实验任务包括细胞培养、分子克隆和病毒生产。结果显示,模型带来的能力提升幅度不大,且因任务而异,有时仅接近统计显著性。
  • Monrad还提到Mythos系统卡中的一项规模更小的研究,参与者不足30名,均为博士水平。获得模型辅助的人在多个病毒学实验步骤上表现优于仅使用互联网的一组;他推测研究人员使用的是未设防护机制的版本。两者对比也凸显了资源问题:即使是知名前沿模型评估,样本量相对于所要回答的问题仍可能很小。
  • Labenz认为这类研究应当频繁开展,并且应在模型发布前完成。Monrad认同生物安全领域“措手不及”:现有实验室并未准备好招募可能代表威胁行为体的人群,并安全地测试相关任务。“应该有10个Active Site,”他说,或许每3个月就该开展一次可重复的研究。比起单看统计显著性,更重要的是能否切实降低实操门槛。

5. 多模态指导正在拆除隐性知识门槛

  • Labenz援引英国AI安全研究所的一份报告:模型根据手机拍摄的实验室设置照片排查故障,表现胜过博士生。这怎么能与实测能力提升幅度不大并存?Monrad的解释兼有研究滞后和工作流确实复杂两方面。早期的警报低估了隐性知识的作用;如今的安心说法则越来越低估模型传授这些知识的速度。
  • Monrad介绍,有公司正在收集人们执行实验室任务的视觉数据,可能用于训练机器人或智能眼镜助手。他举例说,视觉叠加提示可以纠正一个人握移液器的角度。这些能力的开发初衷是让更多人掌握有用的生物技术,但同时也在削弱实操技能门槛,而现有生物安全部分依赖的正是这些门槛。
  • Monrad说,他此前就预测Active Site研究可能会是最后一项,至今仍坚持这一判断。经过充分研究的病原体有大量数据和成熟工作流;设计完全新颖的东西则更难,因为生物学是高维系统,现有数据不足以支持可靠模拟。不过,他预计仍会出现意外,也反对把现存障碍当作永久保障。

6. 数据治理需要实验,而非先验定论

  • Monrad用网络安全作类比,解释双重用途问题:让模型识别漏洞,既可能帮助防御者,也可能帮助攻击者。生物领域同样如此。全面剥离这类能力,也会牺牲他所致力保留的科学收益,因此防护措施必须更精准地区分不同用途。
  • 他以Moonshot的Kimi 3.1为例:该模型选择不提供部分进攻性网络安全训练数据,而不是只依赖拒答机制。但对开源模型而言,被删去的数据很容易找回,且能以相对低廉的微调成本重新加入。因此,Sentinel正在研究对特定高风险生物数据集实施受控访问;即使模型权重公开,这种干预仍可能发挥一定作用。
  • Labenz的反驳有两层。ESM和Evo实验表明,选择性剔除数据可以压低某些病毒相关能力,同时保留大部分其他表现。但对细胞机制的深入理解,是否终究也会揭示有害干预手段?他回忆过一个例子:反转优化目标后,模型生成了毒物。原本有益的理解可能包含被滥用的要素。
  • Monrad并未声称这种区分一定行得通。他希望认真开展实证测试,研究如何划分数据、采用何种治理机制,包括是否有些高风险实验数据本就不该生成。如果经过持续努力,最好的方案仍然失败,就再转向下游干预。但眼下“风险太高”,可用的干预手段又太少,不能仅凭理论就放弃这条路。

7. DNA合成和外包服务提供可行的检查点

  • Sentinel研究过数百个潜在干预点,从细胞系和动物模型,到移液器和生物安全柜。Monrad的筛选标准是:采购行为是否能提供有用的意图信息,以及生产是否足够集中、便于治理。普通的商品化设备往往不符合条件;要对其实施管控,就得施加会严重妨碍正当科学研究和防御工作的限制。
  • 基因长度的双链DNA合成更容易着手:Monrad估计全球约有200家供应商,订购序列本身也能传递信息。较短的DNA片段供应更分散,但操作起来难度更大。这一做法的吸引力,在于可以针对相对集中的制造环节获得有意义的筛查信号,而不是假设所有生物投入品都能被管控。
  • 第二个检查点是外包实验。客户可以把设计交给合同研究组织或云实验室进行合成和测试,拿到结果而无需拥有实验设施。Monrad认为,可以在材料和服务两个环节“阻止并拒绝”滥用,同时监测可疑活动;客户无论是人还是智能体都一样。
  • Labenz问,漫长的生物采购流程是否本身就能限制智能体,尤其是当人们刻意缩短智能体的运行周期时。Monrad预计,推动智能体拥有更长自主运行时间的压力会很大,也反对人为拖慢生物科学供应链。快速DNA合成同样有助于疫情诊断。他认为可以接受一定的核验摩擦,但不要为了制造一片“流沙地”就“往齿轮里倒沙子”。

8. 服务商共享预警信号后,KYC将转为KYA

  • Monrad预计,成熟的客户核验流程将延伸到由智能体促成的交易:“KYC将变成KYA”,也就是“了解你的智能体”。在AI指示、胁迫或欺骗真人中间人的近期情景中,现有的客户与服务使用审查流程仍然直接适用。
  • 他举例说明如何组合弱信号:一名DNA客户订购了自然界中从未发现过的序列,却拒绝解释用途;同一行为体向受监控模型询问如何躲避执法关注;一家云实验室又收到另一笔可疑请求。单独看,每个信号都未必足以拒绝服务;合在一起,则能更有力地判断是否应当展开调查。
  • 这种架构可以减少对一刀切拒绝服务的依赖。Monrad设想,在允许绝大多数正当活动继续进行的同时汇总相关信息,只将“极其、极其罕见的严重案例”升级交由执法部门处理。关键在于串联材料、服务和模型使用信号,而不是指望某一家供应商的序列分类器解决所有模糊案例。
  • Sentinel的运营目标是让相关材料和服务供应商中超过80%采用相应措施,其中包括合成DNA和云实验室。Monrad认为,这在未来几年内可以实现。前期工作需要明确要追踪哪些序列和滥用特征、如何开展核验,以及政治需求出现时如何通过立法迅速扩大采用范围。

9. 风险上升将由众多参与者共同推动

  • Labenz询问年度概率,指出即使是0.1%或0.01%,也足以支持大规模投入。Monrad没有给出数字。他仍将问题描述为“低概率、高损失事件”,但从其造成的灾难性后果、可干预性和从业人员稀缺等角度看,它在文明级风险中排名靠前。他个人为疫情暴发做的准备也反映了这种担忧。
  • 能力从何处出现,取决于具体在问什么。如果生物模拟领域出现完全意料之外的基础性突破,可能来自前沿实验室。但如果只是让更多人能够执行成熟的生物工作流,过程就可能是“千刀万剐”:许多公司各自让某些任务变得更容易。后一种路径不依赖一次规模巨大的通用模型训练。
  • 这些类别可能会越来越难以区分。Monrad提到SecureBio和英国AI安全研究所正在研究:通用模型能否根据一个数据集和一篇架构论文,训练出专用的生物设计模型。他回忆说涉及Astra和Opus 5.5,但也说明这只是自己的印象。他更想强调的是整合趋势:通用模型、专用工具和实验室系统正越来越难被视为彼此独立的能力来源。

10. 构建全球免疫力远不止采购设备

  • Monrad希望实现的终局包括普及检测、尽早通过杀菌灯和个人防护装备等方式压制传播,以及在全球公平分布灵活的对策平台。目标是发现疫情暴发、避免社会立即不堪重负,并保护数十亿人。“修补人类免疫系统”在概念上说得通,但他认为全球部署需要10年乃至数十年。
  • Labenz质疑这种推进速度。他认为,掌握数千亿美元资金的基金会,应该像AI公司创造算力需求那样积极推动防护需求。他提出假设:采购100亿美元的个人防护装备,并追问为什么不能大幅加快基本防护的普及。Monrad承认,目前的储备状况——包括美国在内——糟糕得令人难以接受。
  • Monrad援引的一项估算显示,投入10亿美元,就能为美国3000万名关键岗位工作人员配备高性能、可重复使用的呼吸器。这不仅能保护这些工作人员:基本服务得以维持,也能让更多人居家避险。但这只能让社会在类似封锁的紧急状态下维持运转,远未达到两人希望实现的自由运转、广泛受保护的未来。
  • 扩大防护覆盖面,还需要分发网络、正确使用、生产能力,以及应对可能出现的社会动荡的韧性。Labenz认为,这项投入与数据中心建设相比显得微不足道;Monrad同意两者的支出差距很突出,但坚持应以实际部署衡量进展:呼吸器是否真的到了家庭?杀菌照明是否已经安装?仅有资金承诺,并不能证明人们得到了保护。

11. Monrad愿以暂停换取防御时间

  • 被问到如果身为仁慈的独裁者,是否会暂停前沿开发,直到社会防护达到足够标准时,Monrad回答会:“如果这个按钮在我手里,我一定会按下去。”但要具体说明暂停哪些活动,他觉得自己并非最合适的人选。他最确定的判断是,社会并未按短期实现全面生物韧性的目标推进。
  • 他不认同“再多发几笔资助,世界就安全了”的说法。他认为,高概率AI驱动生物攻击的时间表比Labenz直觉中的更长,但部署防护措施的时间表也更长。Sentinel一位董事问,如果把工作重点重新调整,公司在3到6个月内能做出什么成果,Monrad的第一反应是用这段时间争取更充裕的窗口,去解决更难的问题。
  • Monrad在节目对谈前1、2个月离开了OpenAI Foundation的顾问职位,并拒绝评价该组织目前的官方立场。他说,同事们对问题有严肃的道德关切,组织内部对这些担忧的重视程度也在提升。Labenz提出的交换条件仍停留在思想实验层面:基金会投入大量资源建设必要的公共产品,并将高风险开发与足够的防护进展挂钩。

12. 安全缺口需要有人负责到底

  • Monrad提出的“负责解决问题”框架,是先明确最终状态,再倒推实现路径。社会和职业激励会让人倾向于在许多议题上保持象征性参与,或不断收集有趣的观察。他的经验则表明,“专注会带来非线性回报”:一支小团队花3到4年盯住一个具体结果,就可能凑齐法律、工具和执行方案,把事情真正做完。
  • 邮购DNA筛查已有进展,但合成仪本身仍是另一个漏洞。Monrad列出了一系列方向:硬件安全、购买时核验、可能采用地理定位,以及为旧设备设计规模较大的回购或改装计划。这些都还是有待开发的方案,并非已经到位的防护措施。他称设备安全是一个“无人负责的问题”:零散的工作虽已开展,却很少有人把彻底解决它当作自己的日常职责。
  • Sentinel已经筹集数千万美元,并向不同项目发放了约100笔资助。Monrad认可这些投入,却拒绝把投入等同于成功:只要恐怖分子或擅自行动的智能体仍能获得危险材料,“我们就还没有赢”。韧性建设也应接受同样以结果为准的问责。
  • 他提到Institute for Progress关于保障DNA供应链安全的路线图,并指出国际外交是另一个被忽视的领域。旧金山科技从业者和华盛顿政策制定者受到的关注越来越多;日内瓦的专业外交官,或在北京与新加坡之间开展工作的外交官,也能推动治理机制走出这些中心。如何让这类工作变得有吸引力、有声望,本身就是挑战的一部分。

13. 生物技术的上行空间需要安全与公平分配

  • Monrad将生物技术的“战时”和平时期”收益区分开来。即使彻底消除蓄意滥用,自然疫情仍然存在。他提到,基因组测序后快速设计诊断工具,以及mRNA疫苗,都是真实进步,尽管新冠检测部署曾经失败。他希望看到更多这类重大跃迁,让“在我们有生之年让大流行成为历史”,而不再一次次应对灾难。
  • 这样的未来尤其能让免疫功能低下者和其他长期生活在感染恐惧中的人重获自由。除传染病外,Monrad还提到慢性病和癌症,但承认这些不在他的专业范围内。他理解病患为什么觉得任何延迟救治都难以忍受。保护这类技术上行空间,是他从事安全工作的核心动力之一。
  • 要实现公平分配,就必须主动做出选择。Monrad“极度怀疑”技术红利会自然公平扩散,希望尽早把获取机会纳入设计。他最后的判断将严峻风险与对可行工作的信心放在一起:立法者、转行者和慈善家都应看到,还有大量事情可以做到。“我们前方还有很多胜利,远多于身后的胜利。”