主题 先锋 趋势 方法 作者
返回

神经元基底:Goodfire 的 Curt Tigges 谈智能体驱动的可解释性、单义性与逆向工程

·The Cognitive Revolution

正在生成长图…

本篇主题 模型可解释性与内部表征机理
本篇先锋 Curt Tigges

摘要

  • Goodfire 的 Curt Tigges 认为,现代 LLM 的神经元比业内此前设想的更易解释。 更强的智能体和 SwiGLU 的门控架构揭示了早期方法未能识别的功能;即使一个神经元有多重含义,往往也只是表达“一组紧凑的数值”。这为直接研究模型自身组件提供了依据,但要理解整个模型,仍有难题待解。
  • 大幅降低激活密度后,模型仍保有相当能力,恢复推理所需的再训练也出奇地少。 每个专家只保留 512 个神经元中的 64 个,相当于移除约 88% 的激活;用 1 亿个训练 token 再训练,大体上就能恢复基准表现,部分结果还提升了 5–15 分。Tigges 怀疑问题出在校准上:“置信度出了问题。”
  • 这些解释结果不只是给激活样例贴上看似合理的标签。 另一个模型会根据篇幅达数段的描述预测激活;将这些预测值插回模型后,按加权 KL 散度衡量,可修复 74% 的损伤。另一项测试则要求模型“超越这个”:只根据描述,生成激活强度超过 100 亿个 token 中所有样例的文本。
  • 知识似乎比“纠缠网络”的说法所暗示的更局部化、结构化。 研究人员检查的专家通常涉及 1 到 3 个主题,连接则编码概念间的关系。“神经元不是事实”:由几十个神经元构成的社群,就能表示艺术家及其与印象派运动的关系。
  • 监测是眼下最明确的应用,但要可靠预测陌生情境下的行为,仍是未解问题。 奖励作弊神经元可能识别特定子类型,人格回路则可作为调试目标。但 Tigges 承认,研究人员仍需找到更高层次的解释规律:“我们还没弄明白。”
  • 长上下文和双负激活,是这项结果的重要边界。 测试最长达到 32,000 个 token,因此 Nathan Labenz 担心的弱激活在百万 token 工作流中不断累积影响,仍未得到回答。有些双负激活即使来自无关序列,也能修复推理;“我们还不确定它们具体在做什么。”
  • 可解释性的经济账更支持有选择地投入,而不是让每个神经元都配上最强智能体。 成本最高的一次解释运行花了 45 美元,只分析 1 个神经元;Tigges 预计大多数神经元所需成本低得多,并建议考虑本地运行 GLM-5.3。稀疏激活和知识局部化或能在不付出高额架构“税”的情况下减少监测成本,但总解释预算和推理成本节省都尚未得到验证。

精读

1. 现代门控架构让单个神经元更易解释

  • Tigges 的核心判断并不是说神经网络已经被彻底破解,而是说单个 MLP 神经元虽然复杂,“总体上比此前想象的更容易解释”。早期网络更难读懂;如今更强的智能体能从激活样例中识别模式。在研究涉及的网络中,SwiGLU 似乎也比 ReLU 或 GELU 更容易解释。

  • 研究主要考察 Qwen3.6-35B-A3B:参数量 350 亿,激活参数约 30 亿,共 40 层。每层包含 256 个专家,每个专家有 512 个神经元;每次前向传播会选取 8 个专家。由此,模型约有 500 万个 MLP 神经元。正激活和负激活可能各自承载不同含义,因此可区分的“极性”约有 1000 万种。

  • 每个 SwiGLU 神经元分别接收 up 投影和 gate 投影,gate 经 SiLU 处理后,两路输出相乘。两组投影可以识别不同条件:一路识别烹饪语境,另一路识别大蒜;两者同时满足时,就会产生强激活。SiLU 允许 gate 出现一些负值,ReLU 则会将其压掉。Tigges 回顾这套架构时说:“它们就是表现更好。”

  • 门控也有助于把同一神经元的不同含义分开。口腔健康信号和海洋动物信号可以传给不同的下游读取电路,因为上下文会预先激活不同回路。因此,这种架构支持的是有条件的路由,而不是不加区分地混合信号。模型的注意力层中,四分之一使用常规注意力,其余四分之三使用 Gated DeltaNet。

2. 最强激活保留了大部分受测能力

  • 这里的稀疏化,是压低每个 token 对应的激活,而不是永久删除同一批神经元。有些实验用每个神经元的历史均值替换较弱激活;由于激活有正有负,均值通常接近 0。另一些实验只保留每个专家 512 个神经元中激活最强的 64 个,其余置零,相当于压低约 88% 的激活。若进一步减至保留 32 个神经元,性能退化会明显加剧。

  • 百分位过滤和 Top-K 过滤回答的是不同问题。百分位以各神经元自身的历史激活范围为准;研究人员用 100 亿个 token 收集分析样例。Top-K 则让每个专家针对当前输入保留最强信号。对一个神经元来说,有连贯含义的信号可能低于 P95;对另一个,可能要到 P99 才出现。这些阈值也取决于数据集,而数据集远小于模型推测的训练分布。

  • 移除激活中间的 50%,几乎不影响报告结果,包括推理表现。移除 80–90% 后,损失就更明显,不过部分 ARC-AGI 结果有所提升。Tigges 怀疑,干扰信号减少后,模型会更有把握、反应更快;当过度思考反而拉低成绩时,这会带来帮助。但最初的实验也显示,困难推理可能退化为反复检查、陷入停滞;稀疏化本身并不能保留所有行为。

3. 智能体实验揭示静态标签看不出的功能

  • “神经科学家”智能体从数千个激活样例入手,依据输入连接、文本相似度或其他神经元的活动对样例分组。它提出假设,再编辑或生成句子、开展控制比较,并观察激活如何变化。另一个独立评估器提供反馈,推动智能体反复修订。目标是写出能预测未来激活的描述,而不是只在熟悉样例旁边读起来似乎合理的标签。

  • 有个神经元在 50-token 窗口里看起来毫无规律:烹饪说明、法律文件和无关文本之间看不出共同主题。智能体深入分析后,找到的是一种结构性规律:如果“列表中的第二项”曾以另一种形式出现在约 1000 个 token 之前——比如先在散文或逗号分隔内容中出现,随后又以编号列表呈现——这个神经元就会激活。

  • Tigges 对比了这种发现与“医疗讨论时激活”之类泛泛标签,后者几乎没有解释力。报告中的比较显示,能力更强、投入更多的智能体能给出更好的预测。Labenz 提醒,实验流程也可能提升 SAE 的解释效果。工具使用、反事实测试和更长上下文都是方法上的进步,不应与直接研究神经元的另一项主张混为一谈。

4. 替换激活为描述提供因果检验

  • 智能体最终会用一段话描述触发某个神经元的 token、概念和上下文。另一个不同于生成描述的模型,会逐 token 预测一段文本中的激活,取值范围为 0 到 9。研究人员先消融该神经元,再把预测激活插入原模型,测量这能修复多少由消融造成的扰动。

  • 报告中的 74% 修复率,是按下一 token 预测分布之间的 KL 散度衡量的。它反映的是移除神经元后受损的输出分布,在各个 token 位置上恢复了多少。结果还按原始损伤加权:神经元影响较大的情况权重更高,几乎没有改变输出的情况权重较低。这并不是说模型整体有 74% 已被解释。

  • 另一项评估只提供描述,然后要求模型生成能激活该神经元的文本,激活强度要超过 100 亿 token 语料中的所有样例:“超越这个”。更简单的测试只问某个序列中是否有任何位置应该激活,准确率通常能达到约 90%。Tigges 区分了这种较容易的相关性判断,与逐 token 准确预测激活强度的难度。

5. 单义性取决于概念边界如何划定

  • 一个与昆虫相关的神经元,可能只对昆虫偏好的食物、栖息地和产卵地点作出反应,却不会对所有昆虫话题或所有昆虫偏好都激活。“那么,这是 3 个概念,还是 1 个概念?”Tigges 问道。检查数千份描述后,他认为,与其纠结单义还是多义,不如问这个神经元实际涵盖的功能范围能否被解释清楚。

  • 他最有说服力的例子,是一个会对衣物、运动器材、餐具和桌布作出反应的神经元。这些类别看起来毫不相关,直到发现它们共同指向“车库甩卖中能找到的东西”。表面上的多义性,可能只是观察者没看出模型的归类方式。但 Tigges 并不认为每一组看似杂乱的含义背后都藏着一个漂亮概念;确实彼此独立的含义,也可以直接分别列出。

  • 比起命名之争,更重要的是机制证据。不同含义会激活不同子集的输入神经元,研究人员因此能从连接中识别不同子回路。看似统一的概念经仔细检查后可能分裂;明显无关的功能也可能始终各自独立。实际问题在于解释是否完整,而不是强行把每个神经元归进某个语义类别。

6. 神经元执行操作,连接编码关系

  • 从名词转向动词,会改变研究人员要寻找的东西。神经元不只是识别某个实体,它的信号会让模型在下游执行某种操作。Labenz 将此称为“流程控制”,Tigges 表示认同。与推理相关的神经元可以促使模型建立信心、等待、检查、继续当前思路、改变方向,或标记错误的数字和单位。

  • Labenz 提出一个事实记忆难题:只有 500 万个神经元的模型,怎么能掌握远多于 500 万条事实?Tigges 的回答是:“神经元不是事实”(A neuron is not a fact),因为关系存在于神经元之间的连接和路径中。10 个互相连接的神经元可以表达远超 10 条事实。他并未声称每条事实都已被定位,也没说事实只存在于 MLP 中。

  • 一个被观察到的社群只有几十个神经元,却能把具体艺术家与印象派、后印象派和新印象派连接起来。艺术家的表征会与艺术运动对应的 token 相连,从而形成紧凑的分类机制。这比给孤立神经元贴标签更进一步:相关信息存在于组件如何连接,而不需要每位艺术家与艺术运动之间的每条事实都对应一个独立神经元。

  • 被检查的专家看起来也比其不透明的名声更专注,通常涉及“1 到 3 个”主题,而非数百个。例子包括数学符号、代数、几何、宪法与判例文本、经过时间和时间单位,以及医学子领域。Labenz 认为,这种专业化符合路由器的任务——从 256 个专家中选 8 个;Tigges 也认同,外界需要更新对专家级理解的认识。

7. 电路目录仍无法预测陌生情境下的行为

  • Labenz 追问核心异议:即使积累了数十亿条电路描述,它们仍可能只是目录,无法解释模型在新情境下会怎么做。Tigges 承认,更高层次的基本规律尚未发现。他以物理、化学和生物学作类比:底层理解支撑更高层次的科学,但若把一切都描述成基本组件,细节会多到难以实际使用。

  • Tigges 提议把广泛发现电路与有针对性的研究结合起来。研究人员可以通过数百万次查询和归因图,寻找反复出现的神经元社群;也可以围绕奖励作弊、密谋或规划设计数据集,定位与行为相关的电路。随后还必须检验这些社群如何影响行为。即便理解每个神经元,也仍不足以实现雄心勃勃的模型逆向工程。

  • 研究需要从两个方向推进:从神经元和子电路向上,也从 steering vector 和训练干预向下。人格是一个调试案例:某个 steering vector 通常有效,但罕见输入可能激活干扰它的回路——比如每 10,000 次中出现 1 次。神经元分析或许能找到故障原因,但 Tigges 并不保证一定能做到。

8. 直接分析神经元简化 MLP 研究,但尚未解决整个模型

  • 讨论中最直接的应用是监测。一位受此前文章启发的研究者发现了一个会被奖励作弊文本激活的神经元,“至少对这一子类型”可能有用。Labenz 明确提醒,不能发现第一个有用的神经元,就假定已覆盖所有奖励作弊行为。人格 steering 也是另一条实用途径,但这两个例子都不能证明行为已得到全面控制。

  • Labenz 认为,直接分析神经元能在调试 MLP 行为时省去一层重建。Tigges 有条件地认同:transcoder 往往会还原出神经元,或还原出一组共同激活神经元的稀疏组合;用 transcoder 替换 MLP,造成的保真度损失比保留 Top-K 神经元更大。此类学习得到的表征仍可能揭示有用组合;他的主张针对的是哪种基底最直接地表征底层计算。

  • 注意力和残差流仍有大量工作未完成。Tigges 强调,残差流存在 superposition 和复杂几何,目前还没有基于神经元的解释,SAE 仍可能有帮助。但他也不认为 SAE 就是最终答案。在他看来,更好地理解残差流,是开展雄心勃勃的逆向工程最重要的要求之一。

9. 少量再训练可恢复推理,但长上下文证据有限

  • 被问到 token 数为何如此少时,Tigges 澄清,实际用了 1 亿个 token——在这个语境下算少——整个过程在多张 GPU 上运行了约 1 天。模型表现大体恢复到原水平后,他们就停了,没有继续拉长训练。他说,值得测试超过 100 个强化学习步骤是否能进一步提升模型。

  • Tigges 的解释是,稀疏化扰乱的主要是校准,而不是抹去了推理机制。再训练前,允许模型尝试 pass@4 或 pass@8,表现就已经可以达到原模型水平。稀疏模型保留了有用知识,却难以稳定地调用这些知识。反复检查和迷失方向支持这一解释,但置信度受扰的具体机制仍不清楚。

  • 报告结果覆盖数学、编程、通识、MedQA、GPQA Diamond 和 SuperGPQA。部分基准提升了 5–15 分;MedQA 恢复到与原模型相差 1 分以内。Tigges 在自己的交互中也觉得模型同样实用,但承认要评估实际表现是否等价,还需要持续使用。进一步的编程评测仍在进行。

  • 长上下文测试最长达到 32,000 个 token,也包括编程任务。推理和编程所需的活跃神经元数量,大约比讲故事高一个数量级。Labenz 担心,弱激活可能在百万 token 窗口和反复压缩中保留对话的连贯感。Tigges 认为百万 token 下的行为还需要进一步研究;他预计 32,000 token 的结果大概能延伸到更长上下文,但这只是预期,并非已验证结果。

10. 双负激活仍是机制谜题

  • 在 SwiGLU 的双负情形中,负 gate 输出与负 up 投影相乘,会产生正激活。这类情况更难解释。移除它们有时会损害推理或回忆,但反转 token 顺序,或换成来自完全不同序列的激活,又能恢复推理。Tigges 的结论仍留有余地:“我们还不确定它们具体在做什么。”

  • Labenz 追问,是否值得为了可解释性接受架构层面的性能损失。Tigges 不认为简化架构是必要的,因为 SwiGLU 的上下文切换本身可能提升可解释性。Gemma 4 模型似乎使用 ReGLU,因此不会出现这条特定的双负激活路径,但他还没有详细分析这些模型的神经元。他检查 Kimi K3 时几乎没发现这类激活;原因是架构差异还是学到的行为,目前仍不确定。

11. 可解释性的规模化路径,需要选择性算力与针对性设计

  • Labenz 从整体安全成本重新审视架构效率。他引用 Jensen Huang 的说法:投入资源中只有 10–20% 用于创造产品,80–90% 用于让产品安全可靠;由此追问,如果监测成本降低,训练或推理速度放慢是否值得。他还提出,能跳过零值乘法的硬件或许能节省资源;但这场讨论并未证明已实现任何提速。

  • Tigges 的另一种看法是,现有模型可能已经足够可解释,因此不必付出高额架构税。这种可能性“相当大,但并无保证”。在训练中或训练后鼓励激活稀疏化,或许能减少需要监测的信号数量,也让电路更清晰。稀疏化 Qwen 的实验为这一方向提供了依据,但并未确定最佳训练方案。

  • 局部化是另一种可能:让特定知识集中在模型的特定部分,在适当时候再移除这些部分。讨论涉及梯度路由,以及把可能有害的生物或武器相关知识集中到可分离的区域。对神经元和专家的理解,让这种定向组织方式变得可想象;但这仍是一种设计机会,并非已验证的全面移除方法。

  • 成本差异很大。Tigges 成本最高的一次“神经科学家”运行花了 45 美元,只分析了 1 个神经元;大多数运行便宜得多,而且他们当时并未优先优化成本。他建议使用 GLM-5.3 这类本地模型,先做一次低成本初筛,只有遇到难解释的神经元时再投入更强的智能体。解释整个模型不必意味着给每个神经元都配上最复杂的智能体,但他没有给出总体预算。