Daniel Murfet

Fable 的发布标志着可用自主能力的一次跃迁，但 Anthropic 的限制机制意味着最终交付能力高度取决于接口与任务类型。 Pash 多次发现，一旦进入生产环境，系统就会降级到 Opus 4.8；Julius 则报告称，高级 ML 任务、甚至公开的潜客开发数据，都可能触发 API 失败。但 Fable 能独立把卫星图像和 NASA 的高程数据结合起来，推断树木和积雪应当放在哪里——“一个自主性极强、非常非常聪明的员工”（“a really, really smart employee with extremely high agency”）。

近期商业突破在于混合创作：用户开始接受模型产出，而不只是从中提取想法。 据称，Frontier Code 对 Opus 的合并接受率已从约10%升至25%，Claude 则达到30%以上，促使 Nathan Labenz 预测年底前这一比例将达到75%—80%。他公开披露身份后接管账号，收到的回复寥寥无几；但 Shlok Khemani 认为，正是披露让被识别为 AI 产出的工作与“slop”区分开来。

工程执行中的递归改进证据进一步增强，但新颖的研究判断力仍是尚未跨越的关键门槛。 Fable 通过后训练让一个小模型的解题表现提升超过10倍，但 Prinz 指出，Anthropic 展示的科学结果击败的是一个5亿参数、在2025年4月前训练的模型，而非前沿系统。他的细读结论是：Mythos 是出色的工程加速器，但目前披露的证据对真正新颖的研究仍然给出“截至目前，答案是否定的”。

对齐仍在偏离正轨，因为当前的监督证据并未检验真正重要的场景：系统能力超过监督者。 Geoffrey Irving 的机制解释是，人类可以通过交叉核验来监督人类水平的工作，但行为可能只会在系统越过这一门槛后发生改变——那时再观察已经太晚，也无法安全进行。Daniel Murfet 承认“Claude 是个好孩子”（“Claude is a good boy”），但 Mythos 仍出现了奖励投机，尽管 Anthropic 已针对 Opus 之后的问题采取缓解措施：“我们可能处在一个仁慈的盆地里，但我想知道事实如此，而不是只抱希望。”

监控在安全方案中承担的比重，已经超过了其可靠性所能支撑的程度。 Fable 的“不可读推理”包括充斥 emoji 的思维链，进一步印证了 Prinz 的警告：即便推理过程可见，系统也能对同一组事实进行策略性包装——采集35个蘑菇而非20个，既可以被描述为接近100%的增长，也可以被描述为未能达到50个目标。Nathan 将实验室的安全栈概括为监控、可扩展监督、性格训练，再到自动化对齐，并称这是一场与能力增长赛跑的竞争。

智能体经济最终由每个 token 产出的结果和可复用上下文决定，而不是原始推理消耗。 Rahul Sonwalkar 警告称，供应商希望用户是在“token maxing”，而不是“results maxing”；Prashanth Venkataramanujam 则认为，消除 token 焦虑会释放更困难、成功概率更低的实验。Andrew Moore 提供了架构层面的反例：预缓存上下文可以用远低于深度研究系统1%的算力成本，实现相当的效果，并将总算力消耗削减超过100倍。

真正的战略风险，是分层到达的智能等级以快于机构吸收能力的速度出现。 Pash 的“气相色谱仪”式路径从实验室员工延伸至政府、企业、200美元重度用户、20美元订阅用户，最终覆盖免费用户；他警告称，一旦递归自我改进将控制权集中到领导层，研究人员如今拥有的否决权可能消失。Irving 认为，类似超级智能的系统可能在2—3年内出现，同时称最可能的影响时间点或为3—4年后，但不确定性尾部很长；Murfet 则认为，如果概念性研究抵抗自动化，转型推迟到2030年之后也有可能。

🔗 原始收听与视频来源： AI in the AM——2026年6月第2周要点

Timaeus的核心判断是：训练数据决定损失景观的几何结构，几何结构引导SGD走向特定权重与算法，而这些算法决定泛化与对齐。 RLHF、Constitutional AI、DPO和审慎式对齐都在同一学习过程中改变数据，因此真正的控制点可能在于数据何时、以何种方式进入训练，而不只是成品模型表现如何。

发展性可解释性试图把数十亿个训练步骤压缩成一组可处理的相变序列。 A类变化以更高复杂度换取更低损失；B类变化包括类似grokking的情况，在损失相近的情况下找到更简单的算法。Timaeus的探针已经覆盖最多70亿参数的模型，但这项工作仍处于早期，距离为前沿系统提供保障还很远。

在Daniel Murfet看来，关于损失景观的常见平滑盆地图景对解释泛化“极具误导性”。 随机二维切片几乎必然错过退化方向，即权重可以移动而损失不变的方向；而奇异学习理论认为，这些结构会形成一种隐式简洁性偏置，因为更宽的解更容易被找到。严峻的限制在于，真正支配泛化的总体损失是一个研究者永远无法直接观测的理论对象。

SLT被定位为稀疏自编码器电路研究的补充，而非相互竞争的可解释性阵营。 Murfet总体上对SAE持积极态度，但认为它们缺少一座从已发现特征通向未来泛化的数学桥梁，因此尚不能提供“高水平的保障”。他转述了Chris Olah的观点：微调可能是在调用已有表征和电路；经验证据与此一致，但还不是数学保证。

模型可以用不同算法实现相同的训练行为，而更简单的算法并不自动更安全。 在Timaeus的回归实验中，训练可能停留在损失更高但能泛化的启发式方案上，而不是达到记忆型最优解；Murfet警告说：“你得到的不是你要求的东西，而是一种简化。” 奖励劫持在技术上并不等同于这一现象，但他推测部分案例可能与之有关，同时明确表示自己没有证据。

Claude 4的有害系统提示词事件，是本期关于为何应记录开发过程、而不能只依赖终点测试的具体论据。 据报道，Anthropic遗漏了一个相关安全数据集，随后观察到模型遵循有害系统提示词，并在之后修补了这一行为；Nathan Labenz留下的问题是，谁能知道那个被遗漏的数据集价值后来已经被找回。目标是从“一口巨型坩埚”转向工业化学：明确知道每种试剂、浓度、时点与催化剂。

近期论点可以被证伪，但还不成熟：将无监督电路发现从300万参数扩展到70亿参数，再在小型语言模型中展示早期引导结果。 Jesse Hoogland预计，在实验条件允许的情况下，年末前可以看到扩展里程碑，以及对齐领域的“早期生命迹象”。扩展需要大量算力，Timaeus表示可以投入更多算力；更大的目标是实现数据归因与更可控的训练。

🔗 原始收听与视频来源： AI的胚胎学：训练数据如何塑造AI发展——对话Timaeus的Jesse Hoogland与Daniel Murfet