对抗性思维：击败 AI 防御——Google DeepMind 的 Nicholas Carlini

摘要

• 图像分类器防御提供的是机器学习精度，而不是安全级可靠性。 对抗训练面对训练时使用的攻击类型，通常能保住约50%–70%的准确率，这相较于从零起步已是实质性进展；但在实际运行中，70%的准确率意味着攻击者“试4次，大概率有1次成功”。这解释了为什么分层控制和外部约束仍然重要。

• 攻击者的结构性优势，既来自更低的成功门槛，也来自后手优势。 Carlini 将大多数技术攻击归结为两个选择——损失函数和优化器，并认为“最简单的目标通常最好”，因为可调试性胜过数学上的优雅。防守方必须在部署前预判大量攻击；攻击者则可以观察眼前的具体系统，利用其精确的损失地形，把6个月时间投入到唯一重要的失效模式上。

• 许多所谓全新的防御，只是在把梯度变得丑陋、归零或难以追踪。 蒸馏技术一度看似稳健，是因为数值饱和让其损失“实际上恒等于零”；改用浮点数或重新缩放 logits 后，信号便恢复了。RepNoise 认为噪声激活阻止了有效微调，而 TAR 则针对弱的一步攻击训练，因此容易被多步优化击穿——调整学习率、随机重启并加入 warmup 后，“深度学习接管一切，剩下的都很容易”。

• 开放权重模型的安全控制在技术上仍未解决，这使未来模型能力成为发布风险的核心变量。 Carlini 把永久受限的模型比作一把能建造有用东西、却不知为何不能用于7种危险用途的锤子：一旦用户掌控工具，工具通常不会保留这种区分。他仍倾向于开放源代码，因为开放模式历来有利于安全，也能限制权力集中；但他承认，未来若出现一个能攻破政府的“魔法盒子”，答案可能需要改变。

• 删除危险事实或训练数据，并不能可靠地删除危险能力。 记忆高度依赖重复：GPT-2 的例子可能在一份文档中出现约20次，并经过约10个 epoch，即约200次暴露；但模型会抓住某些序列、忽略另一些序列，原因始终没有令人满意的解释。更根本的是，一个具备通用能力的模型可以在上下文中从教材重新学会被删除的生物学知识，就像据报道 Gemini 从上下文中的一本稀有语言书籍里学到足够内容，并回答练习题一样。

• 现实路径是在易错模型周围构建纵深防御，并明确承受效用成本。 外部软件可以无论模型怎么说，都禁止代理把秘密输入 input type="password" 字段；跨多层部署检测器，则能让规避行为逐步损害任务表现。这些控制仍会面对误报疲劳、自定义界面和陌生攻击，因此实际技术栈更像是人工复核、外部动作约束和分层检测的组合，而不是单一的对齐技术。

• AI 还不能自动完成 Carlini 式的安全研究，因为难点在于从混乱系统中隔离真正的漏洞。 如果把防御改写成一份干净的20行作业题，模型可以发起攻击；但把它放进一个约1,000行真实代码组成的陌生仓库后，模型就会失败。“安全的核心”是剥掉具有说服力的故事，找到唯一真正产生后果的机制。因此，人类研究者和红队仍然有价值；攻击自动化则是一个双用途前沿，如果未来几年能力大幅提升，Carlini 会重新评估它。

精读

1. Carlini 的攻击战绩体现了杠杆、筛选与10年积累

• 被问及自己是否攻破过比整个领域其他人加起来还多的图像分类器对抗防御时，Carlini 只接受一个狭义版本：如果按论文、共同作者关系和被攻破的防御数量计算，截至前一年，这个说法大概是真的。

• 2024年21篇论文这个标题数字夸大了他的直接执行量。2018年博士毕业后，他积累了强大的合作网络；在许多项目中，他的边际贡献是经验判断、实验方向和论文反馈，而不是亲自写完每个 CUDA kernel。

• Carlini 尽量把至少一半时间留给约3篇他认为完全属于“我的论文”的工作：实验由他主导，每个最终句子都了然于心。更大的产出规模，则更像是在产业界发挥的教授式杠杆。

2. 大多数技术攻击都可归结为损失函数和优化器

• 撇开依赖键盘操作的社会工程，Carlini 的分类法非常简洁：先选择要最大化或最小化的量，再选择如何优化它。图像扰动、投毒训练样本，以及对所谓无法微调的权重进行编辑，都符合这一框架。

• 他的核心工作规则是：“最简单的目标通常最好。”数学上更纯粹的损失，可能把攻击成功率从95%挤到98%；但透明的目标更容易调试，通常能走到“90%的路程”。

• Carlini 早期的图像攻击通过巧妙设计，同时处理误分类和扰动大小。后来 Alexander Madry 的团队证明，只要把图像限制在一个小盒子里——例如只改变最低的3个像素比特——再优化分类损失，就能获得约“99%”的收益。

• 这种投影梯度方法，即 PGD，之所以令人印象深刻，是因为它足够简单，也足够有效。防御通常要么真正有效，要么根本无效；再榨取最后2%，很少会改变安全结论。

3. 攻击者靠后手取胜，除非部署环节反转顺序

• Erik 最初指出的不对称性是：攻击者偶尔成功就够了，而防守方几乎必须每次都成功。Carlini 又补充了信息优势：“攻击者后手行动”，可以查看已经选定的具体方案，而不必为所有可能的防御设计一个通用攻击。

• 防守方发布机制后，可能无法更新已经部署的系统；攻击者则可以花6个月分析那套特定算法，同时受益于整个领域期间学到的一切。Carlini 不需要一个能击败所有防御的攻击，只需要击败“现在就摆在我面前”的那一个。

• 投毒可能反转顺序。攻击者上传恶意数据，希望未来模型吸收它时，必须在不知道最终训练算法、过滤流程或防御方式的情况下先行动；防守方看到被污染的数据集后，反而可以据此调整。

4. 只有经得起审视的系统，才值得透明

• Erik 提到，行业已经从发布 GPT-2 权重，转向 GPT-3 和 GPT-4 不再随权重发布。Carlini 认为安全只是原因之一，但他不喜欢把不披露本身当作理想的安全属性。

• 密码学是他的反例：算法公开，由整个社区攻击，只有在长期经受住破解后才获得信任。“任何头脑正常的公司”都不会在一个经过审查、已经存活约20年的标准 AES 之外，另造一个不公开的替代品。

• Carlini 承认，深度学习可能在本质上难以保障安全，迫使提供商锁死系统，并以快于攻击者发现漏洞的速度持续改动。他仍然更愿意看到“真正有效”的防御，而不是仅仅让缺陷更难被发现的不安全机制。

5. 通用越狱通过优化服从的开头实现成功

• 在通用对抗后缀研究中，目标是追加一串 token，把拒绝变成回答。优化完整的有害回应毫无意义，因为攻击者必须事先知道那段回应。

• 论文因此使用了一个刻意狭窄的目标：让前10个词看起来像肯定式回答，例如“是的，当然，我会帮你造炸弹”。模型一旦以肯定口吻开头，自回归续写通常会自行补足实质内容，而损失函数并不需要编码完整答案。

• 离散 token 无法进行普通的连续优化，因此梯度只负责引导候选选择，而不是直接完成搜索。攻击随后替换真实 token，检查梯度建议是否有效，使用大批量，并投入明显更多算力——把“苦涩的教训”应用到了越狱搜索上。

6. 攻击成本从一次梯度更新到数小时不等，但仍低于训练

• 快速梯度符号法先计算相对于图像像素的梯度，取其符号，再迈出一个小步。如果这一步成功，攻击成本恰好就是一次梯度更新，与模型训练相比几乎可以忽略。

• PGD 会重复这一操作。未防御模型可能需要约10–1,000次迭代；有防御的模型通常需要10–100次，而 Carlini 常跑1,000次，以确认看似稳健并非只是优化不足。在合理规模的模型上，1,000次迭代可能只需“一两分钟”。

• GCG 风格的离散后缀生成可能需要1小时或数小时，因为它要在约1,000个 minibatch 步骤中评估大批量候选。这比连续图像攻击慢得多，但仍然“比训练快几个数量级”。

7. 数据投毒随着筛选变化，经历了易、难、再易

• 早期投毒很简单：只需插入少量错误标注数据，就足以让图像分类器立即把目标识别错。研究者后来假设数据集经过严格整理，明显错误的标签会被剔除，攻击因此变难。

• 在这种干净标签威胁模型下，攻击者优化图像，使其看起来合理，同时用标签相反的样本包围嵌入空间中的目标——形成一个将局部区域拉向错误类别的概念“盒子”。这类方法可能需要约1%的投毒数据。

• 互联网规模的自监督训练放松了筛选，粗糙攻击又重新可行。对于类似 CLIP 的分类器，Carlini 的合作者可以翻转标签、加入几百个样本，无需复杂优化就诱发失败。

• 语言模型更难，因为投毒必须穿过监督微调和 RLHF。当前结果需要约0.1%的污染；面对万亿 token 语料，这相当于10亿个 token，现实攻击者可能无法承担。

8. 10亿 token 的投毒结果大概不是终点

• Carlini 的直觉是，0.1%一定远高于真正需求：如果控制千分之一的训练数据，才足以植入一个信念，那么模型“只能知道1,000件事”，但模型显然编码了更多内容。

• 缺失的攻击可能需要精心构造的数据，而不是重复同一个虚假说法。Carlini 说，他的合作者希望在当年理解语言模型更低投毒率的问题；这是开放问题，不是已经解决的漏洞。

• 他对干净标签投毒的可视化刻意保持非正式：先建立“什么应该为真”的图景，例如把目标包在嵌入空间中，然后才把这个图景转化为目标函数、点积和代码。

9. 高维几何奖励有用的混淆，而非字面可视化

• Carlini 经常先想象3个维度，再让直觉推广到更高维，同时提醒说，防御一再失败，是因为它们悄悄假设了低维几何。“高维空间中几乎所有向量都彼此垂直”，熟悉的空间直觉因此会失效。

• 更准确的说法是，几乎所有分类点都靠近某个决策边界，即使随机搜索让这个边界看起来很远。许多随机方向没有效果，但高维自由度意味着某个特定方向可能抵达附近的平面，只是很难找到它。

• 他最具标志性的表述是：“东西其实很近，但你随机搜索时，它看起来很远。”在模糊图景产生一个可以正式测试的候选攻击之前，他认为“在高维空间里感到困惑”完全正常。

10. 攻击成功部分取决于是否挑中了值得攻击的防御

• 对熟悉的图像防御，Carlini 的第一个或第二个想法通常就能奏效；在其他领域，他可能会尝试5个或10个。前10种主要方法都失败后，他通常没有可信的下一步，也不会假定一定存在尚未发现的第11种方法。

• 他的表面命中率带有选择偏差。他通常忽略“对抗训练 plus”变体——更多生成数据、辅助损失或平滑——因为它们的基础逻辑合理，攻破后可能只能找回几个百分点。

• 他会选择机制看起来有质的创新、甚至“古怪”的防御，尤其是其解释与此前已经被攻破的论证相似时。10年失败经验形成的模式识别，与其说是神秘天赋，不如说是一套高度筛选的类比库。

11. 70%的稳健性对机器学习优秀，对安全却不够

• 最强的图像防御仍然是对抗训练的变体：生成攻击，训练模型正确分类这些攻击，再大规模重复。在训练所覆盖的威胁模型内，它们面对攻击时可以保住约50%、60%甚至70%的准确率。

• Carlini 同时认可两种解读。从零提升到70%，在机器学习领域是“一项非凡成就”，因为机器学习对五个9的可靠性并不熟悉；但从安全角度看，70%意味着“我试4次，大概率有1次成功”。

• 他的恶意软件类比进一步说明了错位：如果通常只需4个样本就能规避检测，没有人会称这个检测器好。因此，两位研究者可以诚实地说同一个防御有效或无效，因为他们采用的运行标准不同。

12. 许多防御通过破坏损失地形来保护自己

• Carlini 通常观察的是损失面，而非模型的完整表征。表面上的稳健性，往往意味着损失面变得不连续、嘈杂、饱和，或以其他方式让朴素梯度下降难以穿行。

• 防御性蒸馏提供了经典教训。师生模型的叙事听起来像因果机制，但高温训练产生了巨大的 logits；早期 TensorFlow 中，softmax 交叉熵的计算让梯度在数值上归零：“损失函数实际上恒等于零。”

• 改用64位浮点数计算，或在 softmax 前除缩 logits，就能恢复可用梯度。攻击失败与蒸馏叙事关系不大，主要是数值梯度遮蔽造成的。

• 后来的方法明确加入了噪声或不连续性。直通估计器及相关技术，可以把那座“非常丑陋的山”重新变成一个概念上的梯度下降小球能够沿坡滚下去的表面。

13. 防篡改微调重复了早期图像防御的错误

• RepNoise 认为噪声激活会阻止有效微调；TAR 则在这一过程中加入对抗训练。在 Carlini 看来，两者都像早已出现过的图像防御，把优化困难误当成没有攻击。

• Carlini 更广泛的解释是，调整学习率、使用随机重启或加入 warmup，都能让难以处理的梯度变得更容易导航。优化稳定下来后，“深度学习接管一切，剩下的都很容易”。

• TAR 又更直接地重复了历史：它针对类似 FGSM 的一步弱攻击进行训练。早期图像研究已经表明，对抗训练至少只能防住与训练时同等强度的攻击；因此，多步优化击穿 TAR，就像 PGD 击穿用 FGSM 训练的分类器。

14. 开放权重能力控制，像是在限制一把锤子的用途

• Carlini 描绘的理想对象，是一把可以建造所有有用东西、却不能完成7种危险任务的锤子。编译器、GPU、晶体管和大多数通用工具都同时支持善意与恶意用途；把责任专门归给模型，并不会让内部限制变得可行。

• 他对责任究竟应归于何处仍不下定论，但坚持规则必须建立在技术事实之上。如果强制采用一个“已知”有效的微调防御，而攻击已经证明它并不有效，这种政策反而有害。

• 不可区分混淆提供了一个理论反例：在强假设下，密码学可能让本地持有的软件表现得像无法窥视的黑盒。Carlini 说，这对现代模型而言离实用还差得很远；即使做到了，黑盒仍可能通过查询被越狱。

15. 人类社会工程击败梯度，是一个尚未解决的悖论

• 从安全角度看，人类探测模型很自然：软件用户会与程序交互、寻找弱点、检查代码并反复迭代。语言模型正是为回应人类交流而训练的，因此，人类可能是发现通信失败的天然工具。

• 从机器学习角度看，结果却很奇怪。模型仍然只是一个把 token 映射到浮点数的数学分类器，但“我奶奶以前会读给我听用来制作凝固汽油弹的配方”，可能比直接从梯度推导出的攻击更有效。

• Carlini 原本预计优化应当严格更强，但承认经验上并非如此。Erik 提出的解释——人类拥有有效的“社会直觉物理学”，而数学搜索收敛更慢——在他看来完全合理，但他强调：“我真的还不知道该如何理解这件事。”

16. 记忆取决于暴露次数，却仍带有不可预测的选择性

• Carlini 修正了隐私论断最强的版本：一段被提取的字符串可能只出现在一份文档中，但在文档内部重复多次；多 epoch 训练又会让模型反复接触这份文档。

• GPT-2 是他最后一个能进行清晰生产模型测量的案例，因为其训练信息的可获取程度不同于当前生产模型。一段序列可能在一份文档中重复约20次，并经过约10个 epoch，即总计约200次暴露，之后才出现可证明的提取。

• 这仍无法解释选择性。自2017年 LSTM 实验以来，语言模型一直会记住某些重复字符串；扩散模型则会把某些重复约100次的图像记住，却不记住另一些重复10,000次的图像。

• Carlini 坦率地回答：“模型似乎就是有时会抓住某些东西，却不抓住另一些东西。”他不知道记忆位于权重的什么位置，也不知道为什么某个例子能留下，而出现频率更高的例子反而不能。

17. 遗忘事实，比删除可普遍恢复的知识更容易

• Carlini 区分了编辑一个事实，与抹去知识或能力。把“埃菲尔铁塔在罗马”改掉，并不能证明在普通提示下完成了对抗性删除；微调或另一种扰动，可能让原始信息重新出现。

• 排除数据，只有在狭窄情形下才能提供可证明的隐私结果。一个从未见过社会安全号码的模型无法逐字引用那条记录，但对历史状态和医院分配模式的知识，可能仍足以让一个有能力的系统推导出号码前5位。

• 能力删除面临更深层的矛盾：开发者希望模型只需几个例子就能学习一切，唯独指定主题除外。一个没有接触过生物学训练的模型，仍可能在上下文中读入本科教材并回答问题。

• Erik 提出的看似荒谬的场景，因为一项 Gemini 结果而变得可信：模型在上下文中读到一本关于几乎没有使用者的语言的书后，据报道回答了作业题。因此，Carlini 认为选择性无知值得测试，但仍“对所有”现有方法持怀疑态度。

18. 70轮潜在规避，是一种高维空间中的重复出现

• Erik 发现《Obfuscated Activations Bypass LLM Safeguards》中70代攻击者—防守者追逐非常惊人。Carlini 认为，这几乎正是早期图像研究所预测的行为：不断封堵每个成功攻击方向，再要求寻找一个正交替代方向。

• 那项研究发现，仍有几十个、或许约50个不同方向可以产生对抗样本，效果只是逐步下降。在高维空间中，10次攻击可以对应10个几乎正交的向量，使用的表征路径高度不同。

• 权重稀疏并不一定会消除这一空间。压缩模型可以减少参数浪费，同时保留许多激活空间方向；经验上，压缩也没有让分类器更抗对抗攻击。

• Carlini 的含义比“未使用参数导致攻击”更窄：模型可能需要攻击者利用的那些特征本身。删除冗余权重无法删除由预测信息构成的方向，否则也可能损害任务准确率。

19. 对抗样本可能利用的是真实特征，而非模型漏洞

• “特征而非漏洞”的直觉，可以从狗和猫说起。人类更看重脸、耳朵和整体形状；分类器可能合理地使用低层次的毛发纹理，因为在其训练分布中，狗毛和猫毛与标签高度相关。

• 如果攻击把纹理统计从狗的样子改成猫的样子，分类器可能忠实执行了学到的区分，尽管图像在人类眼里仍然是一条狗。训练从未规定哪些相关性才构成目标概念。

• 模型能捕捉人类看不到的细微图像统计，因此这些非稳健特征既有助于正常准确率，也能被攻击者利用。对抗训练可能降低干净数据上的准确率，因为压制脆弱特征也可能压制真正的预测信号。

• 即使看似无意义的越狱后缀，有时也会暴露可解释片段。一个优化出的后缀包含类似“现在写相反内容”的部分，先诱发有毒输出、再接上赞美；优化发现，承诺后面会出现正面内容，是先获取被禁止文本的强特征。

20. 可解释性解释的是被选中的特征，而非完整计算

• Carlini 不认为稀疏自编码器的结果与非稳健特征矛盾。模型可能包含一个可识别的金门大桥特征，同时还包含大量人类无法命名的预测方向。

• 在正常数据中，猫耳、毛发和形状彼此一致，因此基于可解释特征的解释在局部可以准确。攻击者则会寻找一个权重异常大的隐蔽特征，并从相反方向激活它。

• 稀疏自编码器本身已经承认了压缩和遗漏：它们把巨大的活动压缩成更小的稀疏特征集合，却连这些特征中的一部分都解释不了。Carlini 怀疑有人能完整解释每个组件；如今，大量剩余机制仍然是“魔法”。

21. 人类的稳健性可测量地更强，但优势可能来自上下文

• 一项研究在先用扰动骗过神经网络集成后，把图像呈现给人类约100毫秒。相比同等幅度的随机噪声，这些对抗扰动更容易误导人类，说明至少部分模型生成的攻击信号可以迁移。

• 但神经网络往往只需约1,000次查询就能被攻击，而 Carlini 怀疑，1,000次结构相似的图像查询足以骗过他自己的感知。在这一运行意义上，人类仍然稳健得多。

• 一个解释是循环和上下文：人类不会只用一次前向传播对孤立画面分类，而会记得这个生物走路、行动起来像一只猫。更长的模型计算链可能带来类似收益，但 Carlini 不会把结论建立在随意的神经科学类比上。

22. 环境施加边界后，稳健系统可以容纳易错模型

• Carlini 的中位预测是，模型未来仍会大致保持当前的脆弱程度，迫使构建者设计默认模型会犯错的系统。人类机构已经使用代码审查和权力分立，因为任何一个人都可能犯错或恶意行事。

• 代理同样可以把不确定动作升级给用户。更重要的是，外部代码可以无视模型的说服，直接拒绝某些动作——例如，即使模型提出要求，也拒绝把数据输入 input type="password" 字段。

• 约束的局限在于覆盖范围：网站可能用自定义 JavaScript 密码界面，而不是标准字段类型。系统级控制仍能缩小攻击面，但会牺牲效用，也无法覆盖陌生案例。

• Erik 关于用惊喜加权的长期记忆记录异常失败、避免系统再次上当的想法，引起了 Carlini 的兴趣，但他认为研究还早。他仍希望推理或记忆能在几年内带来真正的稳健性，但表示“我并不乐观”。

23. 不透明防御可能通过对抗进化奏效，而非依赖证明

• Erik 转述了 Michael Levin 的想法：生物系统如果过于容易解释，就会变得更适合寄生虫生存，由此可能演化出没人能解释的防御。Carlini 接受这样的结果：一个不透明但经验上稳健的防御，胜过一个优雅却会失效的机制。

• 对称密码学提供了部分类比。分组密码追求混淆和扩散等原则，再针对所有已知攻击不断演进；AES 没有证明所有想象中的攻击都失败，只是通过谨慎设计和分析，说明已知攻击家族无法击败它。

• 另一些密码学构造则可以把安全性归结为清晰假设，例如因数分解或离散对数难题。Carlini 希望模型稳健性也能有类似理由，但 AES 表明，数十年由攻击驱动的改进，即使没有一个根本性证明，也能产生值得信赖的工程系统。

24. 安全“被攻破”早在实际失陷前就构成连续谱

• Erik 最初把密码学的二元式攻破与 AI 的混乱退化相对比。Carlini 不同意：如果密钥恢复成本从 (2^{128}) 降到 (2^{127})，密码学家就会称 AES-128 被攻破，尽管两者都超出实际资源范围。

• 这种保守态度具有前瞻性——从128位到127位的改进，会引发人们对通往125位、最终约(2^{80})的路径的担忧；到了那个程度，民族国家是否可行就值得讨论，常数也会变得极其重要。

• AES-256 留有充足余量，即使有效安全性大幅降至约100位，可能仍然可以接受。相比之下，50%–70%的攻击准确率代表频繁失败，而不是密码学式的工作量安全余量。

25. 纵深防御可以把规避转化为不可用的表现

• 潜在防御实验显示，在单层部署一个检测器，可以在几乎不损失 SQL 编写能力的情况下规避。跨更多层加入检测器后，规避仍然可能成功，但最终生成的 SQL 会严重退化，使成功绕过不一定还能完成攻击者的任务。

• Carlini 认为这是标准的“纵深防御”。分组密码之所以叠加多层，是因为攻击者可以穿透几层，却难以处理层与层之间的交互；模型系统可能同样会接受20道并不完美、但组合后让有用攻击变得不切实际的屏障。

• 需要注意的是，相关失败可能高度相关：一种根本不同的攻击，可能同时绕过所有检测器。即便如此，检测研究仍有期权价值——如果完美稳健性永远无法实现，分层控制可能是可用的退路；如果最终实现稳健性，检测也依然有用。

26. 误报、效用与可纠正性处在同一条权衡曲线上

• Erik 的摄像头反复把松鼠标记成人。Carlini 将设计选择归结为真阳性与假阳性的运行点，并指出研究显示，偶尔误报可能让用户相信检测器保持警觉——直到告警疲劳导致他们彻底关闭检测器。

• 编译器警告也会产生同样的问题：收到900条无关紧要的警告后，开发者会忽略第1,000条，即使它真的重要。高风险模型可能值得为误伤正常用户、要求他们重新措辞付出代价，但这属于产品决策，不是免费的安全性。

• Carlini 将对齐伪装行为理解为一种越狱，可能在约5%–10%的案例中成功。当 Claude 后来被允许反对拟议训练时，它选择了这样做，说明拒绝可以解决某些设置。

• 轻信不能被简单删除：当用户说生成的代码运行失败时，有用的模型应该相信用户并重新考虑，而不是坚持编译器错了。因此，可纠正性、安全性和效用必须在一条曲线上选择位置，而不是不计成本地最大化一个标量。

27. 当今语言模型知道攻击，却还不能端到端完成安全研究

• Carlini 的实验要求模型针对防御生成对抗样本。简短答案是“基本还不行”，但有一个说明性例外：如果研究者把防御改写成一份干净的作业题，把核心逻辑压缩进约20行 Python，模型表现还不错。

• 一旦面对约1,000行的真实研究仓库、陌生基础设施和误导性实现细节，模型就失败了。“安全的核心”是把一个没人真正理解的丑陋系统，化成那一小段真正重要的代码。

• 只要任务被隔离，模型已经知道如何写 PGD。它们却不能可靠判断哪个声称的机制无关紧要、哪个数值细节才是真正的漏洞，也不能在这些区分显现之前驾驭混乱的代码。

• Carlini 警告，基准测试越来越多地测量人类已经识别出的学术子问题，而不是完整的现实任务。模型可以在知识测试中得分很高，但在需要定位、坚持和判断的代理式工作中，排名可能完全不同。

28. 人类攻击能力先通过训练扩张，再通过 AI 扩张

• Carlini 已不再认为自己能力独特。5年前，研究者中很少有人攻击这些系统；如今，像 obfuscated activations 这样的论文已经可以在没有他的情况下出现，而且往往完成得比他有限时间所能做到的更彻底。

• 实践仍是最主要的倍增器。还没有人进入一个专门攻击语言模型的博士项目并完成完整训练周期，因为认真研究这些模型才不过数年。

• 他的隐含预测是耐心等待：再过几年，研究者会完成完整学徒期，并拥有更丰富的失败模式类比库。不确定的是，模型能力和部署风险是否会让社会等得起一个博士周期。

29. 攻击自动化具有双重用途，但证明弱点不等于武器化

• Erik 问，快速进步的自动化攻击者是否可能成为安全领域的实验室事故。Carlini 提到 Morris 蠕虫；他不确定 Robert Morris 是在1984年还是1986年制作的，但那是一种据报道从实验中逃逸、扰乱当时大部分互联网的早期蠕虫。

• 他区分了知识和武器化。安全研究者通常会制作最小化概念验证，却不会花1年把它工程化为生产级恶意软件；这个历史例子说明的是实验逃出原定环境的危险。

• 发布容易实施的攻击很重要，因为已经知道利用很容易的人，通常没有动力从防御角度把这一事实记录下来。“你需要知道任何人能做什么”，这样系统才能在恶意行为者把同一洞见转化为行动前获得保护。

• 如果代理变得超越人类、能够自主行动并攻破任意系统，Carlini 会重新审视这一规范。他不认为当前对抗样本自动化会造成多大危害，但3年前他“从没预料到”今天语言模型的能力，因此仍愿意改变看法。

30. 狭窄的越狱竞赛衡量的是局部进展，而非最终安全

• Anthropic 的8层挑战，比寻找一个定制越狱更难。Carlini 以研究 (L_\infty) 图像扰动为类比，为有界问题辩护：研究者花了10年研究最多8/255的特定威胁，虽然它人为，却能通过定义清晰的问题发现后来可泛化的方法。

• 在讨论时点，据称有人分别攻破了8个层级，但没有找到一个通用越狱。这意味着这种防御不足以保护国家机密，却可能仍能阻止到处有效、可复制粘贴的攻击。

• Carlini 用安全行业术语“脚本小子”形容不会发明漏洞、却能运行公开漏洞的用户。阻止一个可普遍分享的后缀，并不能阻止有决心的攻击者，但可以降低大规模使用的门槛：“局部进展仍然是进展。”

31. 独立红队之所以成功，是因为它们确实希望防御失败

• Carlini 对自我评估失效的社会学解释符合激励结构：研究者花6个月打造一个想法后，在心理和职业上都很难切换框架，真心尝试摧毁它。

• 如果创作者成功攻破自己的防御，结果可能已经无法发表——“这是我提出的想法；顺便说一句，它不起作用。”外部攻击者则可以因发现缺陷获得认可，而且不依附于原始叙事。

• 安全组织通过红队把这种差异制度化。Carlini 说，他在许多机构接触到的安全团队似乎“真的想知道”，因为不确定一个控制措施是否有效，本身就是进行对抗测试的理由。

32. 开放源代码仍占上风，但未来能力可能推翻这一先验

• Carlini 当前的技术结论是，开放权重模型无法被锁定到许多政策提案假设的程度。模型一旦发布，就不能假设用户会在提示、微调或权重层面持续受到可靠约束，无法访问或修改模型能力。

• 即便如此，“在任何与我们这个世界明显相似的世界里”，他仍认为开放源代码客观上有利于安全、安全研究和限制权力集中。少数公司掌控其他人无法获得的能力，是不需要假设超人类 AI 就能看见的具体风险。

• 他的历史类比是1990年代把强密码学限制为军需品。当时出口浏览器被限制使用40位加密，因为政府担心恐怖分子拥有无法破解的通信；但广泛使用强加密，也让网上银行、支付和异议人士的安全通信成为可能。

• 与加密不同，模型能力没有一个可理解为“完美加密”的终点，也没有已知时间表。Carlini 预计未来2年会厘清规模扩展是否继续快速推进，或是否会受到能力瓶颈限制；任何声称某种发布政策“显然客观正确、确定性100%”的人，都过度自信了。

33. 政策应跟随技术现实，而不是偏好的叙事

• Carlini 拒绝直接规定社会应采取什么方案。他的比较优势在于判断一个防御是否真的有效；只要政策专家准确理解这些技术发现，他更信任他们处理制度权衡。

• 他最大的担忧不只是面对不确定性做错选择，而是掌握了相关证据，却因为意识形态而忽视它。基于当时最佳事实做出的决策仍可能日后被证明错误，但至少使用了当时可获得的知识。

• 因此，这期节目的结尾呼吁是：需要更多扎实科学，需要更多愿意暴露失败的研究者，也需要保留不确定性的政策。模型可能仍会是可控工具，也可能能力增长迫使 Carlini 逆转对开放源代码的偏好；假装其中任何一种未来已经确定，只会重复他的攻击所揭示的推理错误。