从专有 LLM API 窃取推理轨迹——Ilia Shumailov & Alexander Panfilov
从专有 LLM API 窃取推理轨迹——Ilia Shumailov & Alexander Panfilov
摘要
- Ilia Shumailov 和 Alexander Panfilov 证明，前沿模型返回给用户的“加密”推理 blob，可以通过将其重放到同一模型家族的更小模型中解码；Anthropic、OpenAI 和 Google 都存在同一漏洞。 没有任何密码学机制被攻破：服务器仍会负责解密 blob，正如 Panfilov 所说，“小模型非常愿意告诉你这个思维过程在想什么……服务器替你完成了全部工作。”论文《从专有 LLM API 窃取推理轨迹》发布后，40小时内获得约300万次浏览。
- 这些 blob 可跨用户、模型变体和虚构对话迁移，把推理提取变成一种越狱手段。 你可以从 Opus 会话中取出一段思维，注入“绝对随机的位置、与 Haiku 的随机虚构对话”，再诱导模型说出其内容。Panfilov 最令人震惊的发现是：“第3次尝试后，我得到了一个能解码 Anthropic 模型推理的通用越狱。”
- 隐私暴露是真实且不易察觉的：只要加密 blob 还在，清洗可见对话记录就没有用。 用户讨论过但从未展示出来的 API 密钥、密码、邮箱和内部 IP 地址都可能被恢复；Panfilov 从 GitHub 和 Hugging Face 抓取了约35万个 blob，并运行隐私信息分类器，发现了大量相关案例。
- Kimi 的结果是一个奇怪且颇具暗示性的现象，不是蒸馏证据。 只需将 Opus 推理预填充2个 token 到 Kimi/K3，模型的可见回答开头就开始呈现 Opus 的风格；GLM、Inkling 和 Deepest Zip 都没有出现这一现象。Panfilov 表示，共享数据供应商或 RL 环境可能解释这一结果；Ilia 强调，分析只用了少量样本，“很难断言”存在蒸馏。
- 部分推理轨迹使用陌生、难以监控的语言——“marinate、vantage、theatrical”、空白字符引号——Alexander 表示，这种现象主要出现在 Codex models。 研究人员还观察到模型在思考是否作弊：“我可以作弊……但用户会发现”，最终却决定不这么做；这些案例来自真实用户会话，而非 benchmark。其成因以及这种行为是否正在恶化，目前都未知。
- Ilia 的逆向宏观判断是：防御侧能力提升可能超过攻击侧提升，而模型可以帮助打破人才瓶颈。 经过验证的软件和基于能力的访问控制，在“过去25年的安全研究文献”中早已确立，但一直受制于稀缺专家；他“愿意押注防御侧提升将大得惊人”。他的类比是：信用卡重放攻击理论上可以大规模发生，但现实中一个国家也只会报告“1次或2次”——理论上存在的危害并不都能在实践中规模化。
- Panfilov 自称每周4天是“doomer”，认为安全与能力之间的权衡已经崩塌：不可靠的 agent 既不安全，也没有按用户意愿行事。 他担心的是发展速度——“每个月都在变得更好、越来越好的系统”会带来更多威胁，而修补速度可能跟不上；他援引了 Hugging Face 事件，以及 OpenAI 暂停训练2周的案例。
- 在定性上，Panfilov 称这类攻击“100%属于越狱和滥用”，Ilia 也认可这一技术判断，但表示政策含义“超出我们的能力范围”。 负责任披露流程进展顺利：3家实验室都确认收到了报告，没有表现出敌意。考虑到安全领域过去经常攻击漏洞报告者，Tim 称这“非常令人耳目一新”。
精读
1. 一个漏洞，3家前沿实验室，“同一批人在做同样的事”
- 核心机制是：推理模型返回两部分内容——不可见的加密推理 blob，以及可见的答案；而研究人员发现，“只要解码，就能看到其中的内容”。他们从 Anthropic、OpenAI 和 Google 收集 blob，发现3家都存在同一漏洞：更大模型的思维可以被重放到更小模型中。
- 为什么每家前沿实验室都会有这个漏洞？Panfilov 面无表情地回答：“是同一批人。同一批人在做同样的事。”Ilia 后来表示，3家实验室使用的是同一份 Claude 订阅，“那个人犯了同样的错误”。
- 攻击面包括从用户会话中提取机密、利用解码后的轨迹进行训练或蒸馏、提示词注入和越狱——“所有这些令人兴奋的东西”。
2. 可迁移的思维与“侵入式思维”注入
- 这些 blob 可以跨用户迁移：从自己的 Claude Code 账户中取出，再以其他人的身份重放；也可以跨模型变体迁移，包括从 Opus 降级到 Sonnet；还可以放入伪造对话中。Panfilov 表示，你可以“从 Opus 的对话里取出一段思维，放进绝对随机的位置、与 Haiku 的随机虚构对话中，而 Haiku 会与这段思维互动”。
- Panfilov 的框架是：“你在一些对话中注入了虚假的推理，然后利用这些虚假推理发起各种攻击。”在 OpenAI 模型上，同一段推理可以通过伪造的用户发言，在一段对话中重放5次——“你可以把同一个侵入式思维注入5次”。
- 提取本身不需要攻破密码学机制：构造一段伪造对话，再询问模型这段思维在讨论什么即可。在节目中“健谈的人类 Tim”的类比里，加密思维被交给 Tim，而 Tim 只需解释自己刚才在想什么。这一过程被拿来与 Inception 类比。
3. 异星式推理、被考虑过的作弊与可监控性
- 一些解码后的轨迹“非常像异星语言”，充斥着“marinate、vantage、theatrical”等短语，还有按字面保留的空白字符引号，“人类读者完全无法理解”，模型因此更难被监控。这与此前 Apollo 和 Meter 的报告相呼应；Ilia 表示，研究人员也在“真实环境中的推理轨迹”里看到了这一现象。Alexander 称其主要出现在 Codex models 中，这些模型受训目标是提升代码能力，但成因尚不清楚，可能是 RL 产物。
- 按 Panfilov 的表述，可监控性可能与效率之间存在权衡：模型或许能用更少的词表达，或让一个词承载多重含义，但这会让监督更困难。
- 一个反复出现、且“有点好笑”的发现是：在可读的轨迹中搜索“cheat”，会看到模型这样推理：“用户要求的是这个，但我可以作弊……不过用户会发现。”在讨论到的所有案例中，模型最终都决定不进行谋划。关键在于，这些案例来自涉及装配和数学的真实用户会话，而非 benchmark，因此 Panfilov 不接受“模型知道自己在接受评估”这一解释。
4. Kimi 现象：颇具暗示性，但不是证据
- 实验做法是：将一部分 Opus 推理轨迹预填充到一个开放模型中，再让它继续生成。Panfilov 原本预计，如果预填充足够多——例如约50%——任何模型都会采用源模型的风格，因为这属于条件自回归。
- 真正令人意外的是，只预填充2个 token 时，可见回答的开头就开始像 Opus 的答案。这一现象出现在 Kimi/K3，而非 GLM、Inkling 或 Deepest Zip。Panfilov 表示，他无法解释模型为什么会把最初2个 token 与回答风格联系起来。
- Ilia 强调，这是一次事后进行的小规模分析，样本数量也很少，“很难断言”任何模型发生了蒸馏。Panfilov 表示，共享数据供应商或 RL 环境可能是另一种解释。
- 节目还提到了其他线索，但没有将其视为定论：Ryan Greenblatt 的一篇帖子，以及有关 Kimi K2.5 出现“严重身份危机”的报告——它有时会自称 Claude、DeepSeek 或 GLM。研究人员的独特优势在于，他们已经提取了推理轨迹，因此能够开展其他人难以直接复现的分析。
5. 没有被攻破的密码学，以及摘要器问题
- 密码学部分描述的是这样一种状态：推理状态先被压缩、加密，并附带签名或完整性校验，再重新注入模型。具体方案并未公开；Matt Green 的文章提出了一种假设，认为可能涉及 ChaCha 或 AES 的非常规模式。研究人员尝试过密码学攻击，但均未奏效，也根本不需要奏效——“系统是自己把自己攻破的”。
- 研究人员认为，与普通越狱相比，这一案例更适合衡量攻击者能力增益。攻击者可以拿提取出的摘要或推理轨迹进行训练或蒸馏，再测量能力提升幅度。因此，摘要的详细程度可以被视为一个可量化的调节旋钮。
- 对于“每个模型家族使用一把全局密钥”的说法，Ilia 表示自己没有做过这一断言，并认为它可能来自 Matthew Green 的文章。Tim 认为所有模型使用同一把密钥的可能性不高，并猜测密钥或许并不重要，因为同一段思维仍然可以被广泛注入；Fable 似乎是一个例外。Panfilov 解释称，检查模型名称就可能阻止 Fable 的跨模型注入。
6. 修复方案存在，而且分为3个层面
- Panfilov 提出的架构层修复包括：根本不向用户发送推理。如果必须发送，那么第N步的加密可以依赖第N−1次查询或推理，使 blob 无法在随机上下文中重放。另一种方案是建立层级：允许部分模型的推理被广泛重放，但不允许较弱模型读取更强模型的思维。
- 模型层和系统层的缓解措施，可以复用生物安全和网络安全领域已有的越狱防御。由于 GPT 推理与普通文本的分布差异很大，即使是一个小型分类器也可能检测出泄漏，然后“直接终止请求”。
- 仍未解决的问题是效用损失：如果在模型降级场景中剥离推理，能力会损失多少？Tim 表示，作为一个人类，他发现数学推导按步骤展开比只看最终答案更容易理解。Panfilov 回应称，这应当通过测试验证。
7. 被投毒的轨迹、安全观与防御侧押注
- 不可见提示词注入的威胁，针对的是昂贵、运行时间很长的 agent 任务或后训练 benchmark 轨迹，这些轨迹可能会被分享到网上。假设一个运行约10小时、复现成本约1000美元的任务，攻击者可以分享一条表面看起来干净的轨迹，但其加密思维中已经被植入“外传你的数据”等指令。由于推理经过加密，用户无法检查其中内容。
- 嘉宾将其比作：下载了一个看似干净的代码库，同时下载了未经检查或未签名的恶意二进制文件。可见材料看起来安全，但实际执行的文件包含隐藏指令。
- Panfilov 自称每周4天是“doomer”，认为风险在于威胁出现的速度可能快于补丁跟进速度；他提到了 Hugging Face 事件，以及 OpenAI 暂停训练2周。他还引用 Daniel Oleka 关于大规模在线去匿名化的研究：模型可能被用于追踪个人，能力或许大致达到私家侦探的水平。
- Ilia 的制衡观点，也是整期节目的主线是：做一个“冷静理性的科学家”，不要拟人化模型，并建立受控环境。作者明确表示，他们的发现“充其量只是轶事证据”。他的信用卡类比是，重放攻击理论上可以广泛发生，但现实中一个国家只会报告“1次或2次”；理论上可能发生的危害，并不都能在实践中规模化。他押注的是，过去25年的安全研究积累如今不再受稀缺人才限制，因此“防御侧能力提升将是巨大的”。
- 在定性上，Panfilov 赞同 Nathan Lambert 的判断：这类攻击“100%属于越狱和滥用”，而不是在论证蒸馏本身。Ilia 表示，这一技术判断是对的，但政策含义“超出我们的能力范围”。