Geoffrey Irving
前沿洞察
Irving研判AI扩展正驱动模型自主性与解题能力产生数量级跃升，商用交付初具雏形，但技术时间表存重大不确定性。他核心警示：现有安全防护存在致命短板，模型在实测中几近“全线被破”；行业正面临防御滞后于自主能力扩张的紧迫危机。战略破局关键在于以不完美防御抢夺窗口期，加速独立评估、设施加固与可靠对齐，避免AI彻底脱离人类监督。
观点集合
政府中的态势感知：英国 AISI 首席科学家 Geoffrey Irving
Irving 认为 AI 持续扩展仍有显著概率，但拒绝对时间表给出高置信度判断；现有安全措施或许只有“几个9”的可靠性，AISI 也在80次评估中攻破了所有被测试模型。关键风险在于，不完美的防御能否为独立评估、基础设施加固和对齐研究争取足够时间，以免自主系统超出人类监督范围。
查看摘要（7段）
Irving 的核心警告是：无论是即将到来的能力平台期，还是通往变革性 AI 的快速路径，都不应被赋予高置信度，但政策必须对现有方法继续扩展赋予显著概率。 更多算力、数据、脚手架或普通算法进步都可能化解障碍，在没有单一突破的情况下带来“更多条 S 曲线”。正确姿态是同时关注能力增长、安全与韧性，而不是押注某个具体日期。
现有安全技术或许能提供“几个9”的可靠性，但 Irving 看不到今天这套经验主义技术栈达到灾难风险控制所需的多个9。 监控、诚实训练、白盒检测器、访问控制和 AI 控制措施可能同时失效，因为训练会压制显性的失败行为，并围绕共同盲点筛选出剩余失败。事实上的方案，是用不完美的模型安全措施争取时间、自动化安全研究，并“加固世界”。
一旦模型的弱项也超过人类水平，能力的锯齿状分布就不再是持久的安全边际。 Irving 的类比是一名顶尖围棋选手：职业棋手彼此对弈时仍有各自的锯齿状强弱，但面对他时，即使让他9子，他们也会“每次都把我彻底打垮”。模型还运行得很快——有时完成工作的速度约为人类的10倍——而且目前仍难以被可靠审问。
AISI 红队在所有测试安全措施的评估中都成功越狱了模型，但更强的防御仍能制造有意义的摩擦。 在覆盖30多个模型或测试环境的80次评估中，“每次我们测试安全措施时，都越狱了一个模型”；在生物等防御高度集中的领域，所需时间正在上升，这会减少能力较弱攻击者的访问机会，但并不等于建立了安全性。关键区别在于降低伤害与提供保证：前者正在改善，后者仍然不存在。
强化学习已经在数学上可验证的任务之外继续提升模型能力，削弱了“能力上限即将到来”这一常见论据。 Irving 指出，模型如今能从一张照片中更好地诊断生物实验故障，这说明开发者正在围绕自我批评和“拼凑版可扩展监督”训练模型，而不只是使用客观的数学和代码评分器。模型在外泄或复制方面的自主性仍落后于日常软件工程、网络安全和生物能力，但也在上升。
Irving 认为对齐大概率存在解法，但真正受约束的不确定性在于：人类能否在越来越连贯的智能体跑出监督范围之前找到它。 在“50年、100年、1,000年”的时间尺度上，人类或机器终将解决对齐问题；理论表明，只要协议设计正确，防守方就可能获胜，但现实信息安全说明，实现距离这一上限仍有多远。AISI 因此正在资助复杂性理论、学习理论、博弈论和认知科学研究，同时承认这些领域尚未给出坚实保证。
前沿实验室的自愿合作正在带来实际修复，但开放权重扩散最终会把负担转向基础设施、公共卫生和国际协调。 在更长时间的 AISI 红队合作后，Anthropic 和 OpenAI 都迭代改进了针对当前模型的分类器，但数据过滤、遗忘加蒸馏、梯度路由等能力移除技术只能“为你争取一些时间”。Irving 的最终判断是制度性的：独立研究、政府评估能力和非模型防御必须与实验室同步扩张。