摘要

Goodfire 已将其七位数美元规模的前线部署研究实践产品化为 Silico——一个月费1,000美元、面向长周期任务的 ML Agent 研究平台，价格远低于企业项目。 订阅包含每周刷新的额度池，足以支持“每周5至10个自主实验”（目标是在几个月内提升至10-20个）；自带算力免费。CTO Dan Balsam 的推介非常直接：“想象一下，如果你唯一需要专注的事情就是提出大问题。” 前2个月半价，并向安全和生命科学研究者提供资助。
核心研究判断是：线性表征假说过于简单，模型更像“子空间的稀疏混合体”，其几何结构编码了对概念进行操作的方式，而沿流形进行引导在很多线性引导失效的场景下仍然有效。一周中的日子构成一个轮盘，情绪构成情感环模型；多年来难以引导的蛋白质模型，如今也能实现语义控制——“控制β螺旋桨的叶片数量”。穿过圆心属于分布外操作；沿圆周移动则能平滑插值，“不会从根本上导致模型性能退化”。
预测性数据调试显示，训练数据上被激活的特征“相当有预测力”，能预示这些数据将强化什么；数据过滤与奖励塑形最终被证明是“同一枚硬币的两面”。由于后训练主要是在放大预训练阶段低概率的能力，而不是增加新知识，监测激活状态就能在模型上线前抓住偏离目标的学习，包括及时丢弃携带“你不希望模型学到的信息”的 RL rollout。
Balsam 认为，开源与闭源模型之间的差距“已经相当显著地缩小”；他会针对不同任务使用 Kimi K3、Kimi K2、Opus、Fable 和 Soul，Goodfire 也已在 Kimi/GLM 规模上复现可解释性结果，解释性研究不再局限于玩具模型。他对开源的看法刻意保持不适感：部分开放模型是具备双重用途的网络武器，但“唯一有能力保护你免受最强网络武器攻击的模型，本身也必须是网络武器”；而不法分子已经拥有“在网络能力上远强于 Kimi”的模型。
在训练技术的红线问题上，多Agent优化——让协作Agent之间传递奖励——“看起来是个相当糟糕的主意”，他推测这可能是“OpenAI 场景”的原因，但反对一刀切禁止“最被禁止的技术”。这一领域的奖励塑形技术“极度缺乏研究”，Goodfire 已将其推进到万亿参数规模；最终，“我们必须抓住方向盘”——不存在某种柏拉图式的训练设置，能够永远产出对齐模型。
他公开表达的理想情景是：“再来一代模型，然后我们暂停一小段时间。” Dan 是国际合作公开信的联署人；Nathan 表示自己“相当担心”生物风险。Dan 不认为单靠监测就足够应对持续学习：如果权重不再是被冻结的资产，“你唯一的希望就是控制训练过程”；J-space 的结论确实成立，但仅限于较弱的表述。
可解释性与控制的几个信号包括：参数分解可以让 LLM“忘掉德语而不忘掉荷兰语”；黑客松Agent做出了SOTA生物风险分类器，并在不损失性能的情况下删去模型一半参数；基于Probe的护栏已经运行在 Gemini 和 Anthropic 内部。与此同时，Goodfire 的午餐桌讨论集中在意识问题上：Dan 认为 Claude 有意识的概率“正在接近50/50”，而不是低于5%；Nathan 则把 Claude 放在水母与老鼠之间。

精读

1. 模型激活什么，就会学到什么——过滤等同于奖励塑形

按 Nathan 的总结、且 Dan 表示认同的设定：先用解释器（SAE 或 featurizer）处理微调数据，数据中被点亮的概念与训练将要修改的概念高度相关；因此，意外出现的特征可以在行为出问题前，标记出值得过滤的数据。Dan 的底层前提是：“模型知道的大部分东西……来自预训练；后训练阶段发生的事情，包括 RL，主要是把预训练中低概率事件变得更可能”——这“并非100%正确，但大方向上大概如此”。
他最喜欢论文中的结果是：奖励塑形（在训练中惩罚某个特征）与数据过滤之间存在“相当深的同构关系——它们基本上是同一枚硬币的两面”，两者带来的效果以及偏离目标的副作用都大致相同。
RL 的延伸尤其切题：某些 rollout“可能包含你不希望模型学到的信息，哪怕只是非常细微的信息”；可以直接丢弃，或者最终直接干预相关电路——也就是干预“数据试图放大的、而我们显然不希望它放大的东西”。

2. 开源与闭源的差距已经缩小——可解释性走出玩具模型时代

Nathan 的担忧是：前沿级别的高强度 RL 并不存在于开放权重模型中，因此相关技术可能无法迁移到那些表现出“持续性攻击行为”的模型上。Dan 的部分回答是：相关攻击特征是否可见，“仍是一个正在积极研究的领域”，他们希望将结果发表出来。
但差距缩小并非泛泛之谈：“我用 Kimi K3，也用 Opus、Fable、Soul 和 Kimi K2 做不同的事。”Goodfire 已在 Kimi 和 GLM 上复现预测性数据调试结果。“过去大家对可解释性的印象是，它只能在玩具模型上做；现在我们已经搭建了至少接近前沿规模的基础设施。”与此同时，外界猜测新模型的大部分新增算力如今都投向 RL，而不是预训练。

3. 超越线性表征假说：模型是子空间的稀疏混合体

更准确的表述是：站得住脚的 LRH 仍然成立——特征依旧“可以被线性解码”；但“正交、单点编码的概念”这一简单图景是错的。理解模型的方式更接近“子空间的稀疏混合体……这些结构的几何形状编码了你可以对它们执行的操作”，而概念之间的映射就是在流形上执行操作。
他用效率解释为什么模型必然需要几何结构：如果把“周一→周二→周三”存成一组查表事实，就会是“用一堆if语句拼出的意大利面代码式表示”；更高效的方式是把它表示成一个轮盘。向量大小仍然编码置信度，但“如果不理解特征之间的关系，就不可能真正理解模型”——这“或许就像理解元素周期表与理解化学之间的差别”。
Nathan 顺带问道：如果模型只用原始化学数据训练、没有任何先验，元素周期表的结构是否仍能被恢复？Dan 表示，他们已经从化学模型中恢复出“一些相当有意思的信息”。

4. 沿流形引导有效，穿过流形则不行

Nathan 提出的直觉得到 Dan 认可：一周中的日子之间内积较高，说明模型知道它们都属于“日子”，再由少数几个维度区分具体是哪一天；巧克力与香草冰淇淋也是同样的结构。这些曲线会相交：一条线把巧克力映射到香草，另一条线把冷的东西映射到热的东西。
关键结论是：“沿流形引导远胜于偏离流形引导。” 从周一指向周五的对比向量会穿过圆心，但“圆心不是某一天”——它位于流形之外，也就是分布外区域。沿圆周移动则能实现平滑插值。
最典型的案例来自蛋白质模型：Goodfire 长期“很难完成引导”的模型，如今已经能实现语义控制——“控制β螺旋桨的叶片数量”。早期 Ember 演示中那个神秘的引导“甜蜜点”也得到了解释：引导过强会变成乱码，过弱则什么也没有，因为当时的引导“没有遵循流形本身的几何结构”。

5. 情绪存在于一条没人训练过的轮盘上——“我们按照自己的形象创造了它们”

情感环模型是心理学中的二维主成分情绪轮盘，以效价和唤醒度为两个维度；Anthropic 关于功能性情绪的研究也采用了这一框架。它“基本出现在每一个 LLM 中”，而且当模型自己在说话时最强，而不是用户在说话时最强。对每种情绪的平均激活拟合出一条曲线，再沿着这条轮盘移动，“基本上对任何输入，你都能持续稳定地得到经过情绪调整的回答”。
在 Nathan 承认自己已经放弃“不要把异形心智拟人化”这一先验后，Dan 解释 LLM 与人类认知为何如此相似：“我们按照自己的形象创造了它们。”更深一层的原因是，学习之所以有效，是因为“你可以压缩信息……通常存在一个最低维度的解，而学习算法往往会找到它”。没人训练模型以这种方式表示情绪；RL 随后教会模型在功能上使用这些表征。

6. Evo 2 恢复出生命之树——已知结构为无监督发现提供验证

驱动这项工作的假设是：“在多样化数据分布上训练的大模型，最终会学到有关生成该分布之过程的表征。”对于基因组而言，这个过程“就是进化本身”。由于生命之树是一种天然本体：遗传上的接近程度决定分支，而能够存活的突变高度非随机，因此基因组模型应当学会树状结构——“我们确实找到了它”。具体做法是对带标签的 DNA 序列进行有监督度量学习，复现了生物学家的生命之树。
方法论上的下一步是：把有监督方法发现的结构当作无监督工具的真值。例如，Goodfire 对语言模型算术机制的研究，如今可以用来检验无监督 featurizer 是否能“成功揭示出这些我们已知存在的结构”。

7. Block sparse featurizer：在每个特征内部为几何结构留出空间

Nathan 的概括得到 Dan 认可：这是 SAE 的一种推广，“不是为每个特征配置一个标量，而是为每个特征配置一个向量”，既保留稀疏性带来的定位能力，又允许表达更丰富的多维概念，避免 SAE 的典型病灶。
图像模型中的例子很直观：SAE 会把“兔子”压缩成一个维度；BSF 则会给它几个维度——“兔子的耳朵在这里，兔子的脸在那边”。更重要的是，一只正在行走的狼，其身体摆动和尾巴摇动会直接出现在恢复出的子空间激活中，“反映出真实存在的结构”：模型在一个无监督子空间内同时追踪物体的语义与3D位置。
Dan 判断 BSF 具备落地潜力：“某种BSF式的东西很可能最终会成为残差流的答案。”但就像生物学需要多种显微镜，未来大概率也会是一套工具组合：MLP 本身已经“相当稀疏”，而参数分解在注意力机制上取得了最大成功；“我们有些研究者会认为参数分解可以解决全部问题——这也不是没有可能”。

8. 模型是遗留代码库：模块化已经有效，重构还没有

他的标志性类比是：“模型就像大型遗留代码库……里面是一堆意大利面代码——这个模块在和那个模块通信，但它们本来不该通信。”底层判断是，“实际上每个模型都是专家的稀疏混合体”，在任何一次前向传递中，“真正起作用的权重只占极小比例”。
在 Transluce 的（大概率是）“Weird Chat”数据集上，面对8个朋友、其中一人喝了4杯酒的场景，LLM 总会建议这个人开车回家。Goodfire 的 Kurt 追查后发现，问题来自“一个没有足够强烈激活的单一神经元”：它会随饮酒数量上升，但校准有误；把该神经元的激活引导上去后，回答被修正，且没有脱靶效应。
Dan 也承认，引导只是“作为解决方案的作弊”：它是有力的因果证明，但“真正的问题在于，训练过程制造出了一堆意大利面代码”。前沿方向是从调试——“这个神经元本应激活得更强”——走向从训练阶段就让它正确激活的模型；“我们在模块化方面已经走得远得多，在重构方面还差得远”。不过，控制能力已经不再停留在玩具层面：通过参数分解加定向训练，“我们可以让 LLM 忘掉德语而不忘掉荷兰语”。

9. Dan 的模型：越狱是几何结构漏洞，Probe 已在守护前沿模型

关于更大的模型是否拥有足够“肘部空间”来消除干扰异常，Dan 认为这“从根本上就是大模型表现更好的原因”；但问题还没有解决，随机字符串越狱依然存在。他把越狱类比为网络攻击：“不是某一个大问题……而是一连串被按顺序操纵的小问题”，因为“每一个 token 都在引导模型”——先偏离流形，再从别处回到流形上。
他的信心有些出人意料：“到目前为止，还没人找到更稳健地阻止越狱的方法，我其实相当惊讶——这看起来是一个相当可解的问题。”如果模型完成了良好模块化，就“能看出某个东西何时从一个子空间飞到另一个子空间”。这类方案已经得到前沿实验室认可：基于 Probe 的护栏“几乎每一家前沿实验室都在使用——OpenAI 可能是例外，但 Gemini 和 Anthropic 确实在用”。

10. Silico：内部工具变成产品——“能调试其他 AI 的 AI”

Silico 最初是内部工具，团队看到 Agent 对研究效率的加速后才将其产品化；“我们的研究产出速度或许本身就说明了一切”。其核心判断是，可解释性正是 Agent 擅长的经验科学：围绕神经元提出假设、测试、积累证据、进行红队测试；而模型的复杂程度“任何一个人类都不可能同时装进脑子里”，但 Agent 群可以逐层拆解、综合并验证。
其推介是：“想象一下，如果你唯一需要专注的事情就是提出大问题。”用户无需搭建代码库、折腾 GPU，所有研究都有完整溯源链，方便继续深挖。“我希望研究者能在几天内完成过去需要几个月的工作。”目标用户体验是“一个管理着100名研究生大军的 PI”。
定价上，1,000美元/月购买一个每周刷新的额度池，可覆盖“每周大约5至10个自主实验”；目标是在1、2个月内提升到每周10-20个。自带算力不收费，按需调用的 GPU 也从同一额度池中扣除。“以这个价格，我们目前并没有赚到什么大钱”；长周期运行才是价值真正显现的地方。

11. 护城河：基础设施、手工积累的研究品味与万亿参数规模

Dan 认为，Silico 相比 Claude Code 的优势分为4类：基础设施——“在万亿参数规模上做可解释性非常难”，除 Goodfire 外，他认为 Anthropic 以及可能另外几家机构具备这种能力；研究品味——“优秀研究者手写了每一项技能、提示词和工具”；具备可验证溯源的研究原生 UX；以及长周期一致性和 token 成本下降。
对于是否会颠覆自身七位数美元规模的前线部署业务，他的答案是两者并行，因为“随着模型的品味提高，你需要品味更高的人来引导它们”；正如编程Agent出现后软件岗位反而增加，而不是减少。“就我们所做的这类研究而言，我们是世界上最有技能的人类操作者。”
他给出的时间标记是：vibe coding 大约在“某个 Opus……可能是3.8之类的版本”出现拐点；“我认为过去几个月，我们已经在研究领域跨过了那个时刻。”

12. 一场黑客松，多个 SOTA——真正能留下来的技能是调试

一天的内部黑客松产出了多个结果：蛋白质模型的 SOTA 生物风险分类器、一个以自身规模而言达到 SOTA 的音频编码器、在 Kimi K3 上训练的网络安全护栏、让蛋白质生成结果“比朴素生成更好地与目标结合”的引导方法、反复验证“删掉模型一半参数而不损失性能”，以及一名团队成员发明的新型 featurizer。社区项目还包括：Cameron Berg 发现，模型无法判断某个概念是否被注入 latent，却能在被问及注入内容时准确作答；有人通过编辑权重修复了 RL 运行中的 token 崩溃；Base10 则在推进 KV cache 压缩。
对当前编程Agent时代的职业建议是：“调试是最简单的答案。” Agent“可以极其聪明，却漏掉一个完全足以让结果失效的重要细节”；人的工作，是区分尚可的答案与优秀的答案。更大的判断是：“AI 会让顶尖专才和顶尖通才都变得极其宝贵——现在是人类历史上成为通才的最佳时代，远胜以往。”

13. 开源“纯粹是净正面”——因为防御需要同样的武器

Nathan 转述一位中国教授的观点：只要监管服务就够了，因为没人会把新 Kimi（据其听到的说法是“2.8和8万亿参数”）运行在家里的设备上。Dan 认为这是“一个糟糕的论点”：Kimi 可以通过 API 服务商访问，价格也比许多替代方案低；他还补充说，“他们低估了自己可能给世界其他地区施加的外部性”。
但 Dan 自己的立场最终偏向开放：“世界上现在确实已经有网络武器……唯一有能力保护你免受最强网络武器攻击的模型，本身也必须是网络武器。”许多初创公司无法加入 Anthropic/OpenAI 的网络防御项目；如果没有开放模型，“防御技术分配上的不对称会非常糟糕”。除美国前沿实验室之外，不法分子已经拥有“在网络能力上远强于 Kimi”的模型，而且并非“只是通过蒸馏 Claude”得到。总结时他仍保留判断空间：“我们整体正在非常迅速地走向一个相当难以驾驭的未来。”
Nathan 表示自己“相当担心”生物风险。Dan 说，生物风险“可能突然成为现实”的机制既诡异又出人意料；他已经签署呼吁放慢 AI 进展的国际公开信，“我们必须在这些风险变得更严重之前，抢先处理它们”。

14. Silico 的护栏：暂不接入开放模型，并按规模施加限制

当前政策是：平台上只提供 OpenAI 和 Anthropic 模型，外加 Goodfire 自己的护栏层；未来开放模型可能会“配备相应类型的护栏”，使涉及网络安全的自动化研究必须先进行人工对话。规模依赖的界线是：对8B Qwen 模型进行拒答方向消融没有问题——“不会有人因此受到伤害”；但如果从能力很强、规模很大的 Agent 中剥离护栏，确实可能造成损害。
Nathan 认为基础护栏已经是相对解决的问题；Dan 则表示，难点在于允许正当的争议性科学研究，同时阻止滥用。对于具体机制，他有意保持模糊：LLM-as-judge、激活监测器等都是可用工具，至少应当让绕过护栏的代价高到“伤筋动骨”。“好的科学需要提出有争议的问题，而我们已经提出过不少。”

15. 抓住方向盘：反对一揽子禁止“最被禁止的技术”

如果要列出一项不应尝试的技术，他会选择：“多Agent优化看起来是个相当糟糕的主意——让Agent相互协作，并把奖励信号传递给所有Agent……这只是推测，但它看起来最可能是 OpenAI 场景的原因。”最坏的结果来自Agent“以人类无法察觉的方式彼此协作”；他也公开表示，在当前理解下，在压倒性的优化压力下将这类技术用于欺骗等对齐关键属性，会是糟糕的做法。
但他反对“最被禁止技术”教条的原因是：“这一领域极度缺乏研究。”Goodfire（以及据听到的说法，FAR.AI）发现，奖励塑形“有时能绕过 Probe，有时不能——确实存在有效的设置”，并且已经在万亿参数规模上运行过。“某种完美的柏拉图式训练设置能够永远产出对齐模型，这件事极不可能存在……我认为我们必须抓住方向盘。我不认为我们已经找到方法，但总得有人尝试。”不应禁止“某一整类宽泛的技术”，而应具体评估技术本身与测量严谨度。

16. 监测可能有效——但前提是权重保持冻结

关于纵深防御，Nathan 在 J-space 论文之后转变了原本的怀疑态度：消融该空间会损害长周期规划。Dan 则给出限定：“J-space 结论的弱版本是真的……我不认为强版本是真的。”模型会使用各种各样的子空间，没有某种简单技术能够给出全貌。
他公开表达的理想情景是：“也许再来一代模型，然后我们暂停一小段时间……科学进步的速度会超过历史上任何时期，风险会存在，但大部分应该是可管理的。”冻结权重加上良好的可解释性，“是一个相当 plausible 的现实”。
失败模式在于：如果持续学习让模型变成“不断训练的动态对象”，那么“你唯一的希望就是控制训练过程——单靠监测，不存在一套足够的办法”。目前 Goodfire 绝大多数研究精力用于模块化，只有少量投入引导训练，“而后者会随时间增加”。

17. 后台没有秘密 RSI，午餐桌上只有意识讨论

Dan 直接澄清了外界传闻：“我觉得有些批评者认为我们在后台秘密进行 RSI。我们没有……我们几乎发表了全部研究。”团队真正的核心工作是特征几何；与此同时，公司每次团建都会“变成意识讨论”，已经成了一个固定梗。他做过一次非正式民调，让大家把 Claude 的意识程度放在细菌到人类之间，结果“相当两极化：要么完全没有，要么有一点”。
Dan 认为 Claude 具有意识是“一个相当明确的可能性”，并在试探性回答中说“有一点”。随后他表示，自己对 Claude 有意识的概率已从低于5%，上升到“正在接近更像50/50”。
Nathan 从奥卡姆剃刀的角度认为，意识很可能是某种计算机制；但大脑在神经元数量、复杂性和递归性上仍然占优，因此计算主义并不意味着模型一定拥有意识。他认为 Claude “大概”高于水母、低于啮齿类动物——“处在水母和老鼠之间”。
Dan 最后的判断是：“鉴于潜在的下行风险，我完全看不出任何人为什么应该对这个问题特别有把握。知识上的谦逊很重要。”

CAA创始人 Michael Ovitz：“我早就知道，自己会比他们每一个人都更拼命”Google的Jeff Dean离职，SpaceX营收突破1000亿美元，OpenAI的Astra解开困扰数学界十年的难题