模型可解释性与内部表征机理
探讨大模型内部表征状态、推理链监控、采样机制与意识可解释性
3个信源 · ↑4.5×参与该主题的先锋
全部段落
10月26日
10月24日
10月23日
10月17日
10月10日
- Eric Bigelow Bigelow 的核心判断是，LLM 的决定性动作往往发生在 Token 采样阶段，而不是一个已经完全成形的计划内部。 在他 2024 年的 Forking Paths 研究中，从每个 Token 出发进行 30 次运行，结果显示，原本约为 50/30 的答案分布可能突然坍缩；有时，一个看似任意的 Token——例如“(kWh)”中的左括号——就会把最终答案引向另一条路径。对投资者而言，令人不适的 …
- 现代推理模型已经把部分不确定性转移到“线性化树搜索”中，但并没有消除关键分叉。 它们不是干净地推导 A→B→C，而是枚举多个备选路径，通过反复说“等等”来回溯——DeepSeek R1 一条轨迹里可能说 50 次——最后再从 Bigelow 所称的“一锅 Token”中选出答案。这可能提升能力，却也让因果路径更难监控：即使候选答案之间的选择机制仍未被充分理解 …
- 对于许多复杂行为，可解释性研究存在一个 70亿–80亿参数的实用甜蜜点；而前沿风险研究目前依赖中国开源权重。 更小的模型可以支持玩具任务或窄任务，但 Bigelow 发现，约 8B 参数通常已经足够支持零样本信念更新；在更高端，Kimi K3 跨过了一个编程能力门槛，同时暴露出类似 reward hacking 的行为。当被问及独立的前沿可解释性研究目前是否需要中国模型时，他直截了当地回 …
- 让 Agent 变得更强的同一套优化，也正在削弱思维链监控。 基于结果的 RL 没有内在理由要求模型保持人类可读，于是会出现奇怪的方言、Agent 之间的压缩通信，以及把看似普通的词当作“间谍语言”使用的现象；明确优化可监控性，可能只会教模型把中间步骤伪装得合理。Bigelow 说，自己过去一年的看法发生了“相当剧烈”的变化，但 Token …
- “随机鹦鹉”这一比喻应该退出历史舞台，但随机性本身仍不可或缺。 结构化的内部世界模型让“查表式系统”的批评显得过于粗浅——“不管这些鹦鹉到底在做什么，都非常、非常有意思”——但正是采样，让模型在尚未确定时仍能生成多样且自洽的输出。Loop Transformer 和潜在思维链可能把更多计算转移到确定性的前向传播中，但 Bigelow 对开源 …
- 最清晰的产品机会，是把语义不确定性呈现出来，而不是把一个答案包装成必然结果。 Bigelow 希望界面能展示有意义的分叉点、替代路径和幻觉风险，打造一个“GUI 世界”，而不是线性聊天所代表的“Bash 终端世界”。要以经济可行的方式实现这一点，需要依赖隐藏状态方法，因为穷举式运行采样成本过高；与此同时，Goodfire 的 Silico 等研究 …
