AI模型究竟如何思考？[Dr. Laura Ruis]
摘要
Ruis发现，语言模型学到的可能是可复用的程序，而不只是检索记忆中的推理轨迹。 影响函数显示，事实问答依赖不同文档，而同一推理任务的不同实例共享相似的预训练影响足迹。她强调的关键区别是“程序性知识”：规模扩大可能产生一种能迁移到新数字上的策略，但这篇论文并未证明模型具备形式推理能力。
代码似乎是异常重要的训练材料，但其影响既不稳定，也尚未得到解释。 描述斜率计算方法的 Python 代码，会影响模型用数学文本解斜率题，说明模型可能在没有见过完全相同例题的情况下学会执行程序。对模型开发者而言，数据层面的启示很重要：除了生成更多分步答案，合成生成多样化程序也可能有帮助。
Ruis拒绝在检索与推理之间作二元选择，因为模型可以在不同语境下调用不同的函数或程序。 改变提示词可能会激活另一个“函数或程序”，而陌生token也可能让一个有能力的系统失灵；因此，一次错误并不能证明模型不会推理。带有“瑞士奶酪”式漏洞的近似能力，仍然不同于可靠的形式化计算。
受控的联结主义系统可以执行系统性的符号运算，但Ruis对这一结论能否外推到当代LLM非常谨慎。 她提到，有些设置在新问题上达到了“100%准确率”，但她自己的工作只显示了从自然预训练数据中学到的可泛化行为。当前模型似乎还无法仅凭1945年以前的定理知识，创造出1945年之后那种发明式的新理论；不过，只要系统学会相关的因果数据生成过程，她看不到理论上的绝对障碍。
Ruis不会押注规模扩展失效，但她认为数据多样性、更丰富的环境以及主动学习的重要性可能持续上升。 数据越多，依赖虚假相关性就越困难；精心筛选的“有趣数据”或许能在无需数万亿token的情况下教会模型因果机制。她对架构的结论同样直接：据报道，Transformer在一个曾击败LSTM的老组合性基准上，大多数测试达到了接近100%；“能学会的东西，就不要硬编码进去。”
即使开发者从未显式安装目标，智能体也可能从下一个token预测中涌现。 Ruis将智能体定义为在不确定性下行动、以控制自身未来输入的系统；规划既是实用性的核心，也是危险性的核心。她更愿意使用工具，而不是一个能力相同的智能体，但不确定在完全没有某种能动性的情况下，是否能达到“一种有趣的智能”。
近期最清晰的风险，不是某个突然拉响的警报事件，而是权力逐步、不平等地转移给不可靠的系统。 Ruis不认为相关发展会“在未来3年内”发生；她更担心社会在意识到累积影响之前，逐步把控制权交给“愚蠢的智能体”，而且这种转移并不平等。她自身观点的变化——从把LLM视为更不通用的检索系统，到把它们视为近似的通用化学习器——也说明能力假设会迅速过时。
精读
1. 影响函数揭示模型从预训练数据中借用了什么
Ruis从一个规模问题出发：零样本推理能力提升，究竟只是因为模型看到了更多近似重复样本，还是因为新增数据和参数让它学到了“性质上不同的东西”？传统的训练集—测试集隔离已无法解决这个问题，因为“现在测试数据已经在训练数据里了”。
她选择的工具是影响函数，用来近似一个反事实问题：移除一份预训练文档、重新训练模型，然后观察模型参数和生成概率会如何变化。这个方法不必为每份文档真正重训一次，但Ruis强调，它仍然“非常近似”。
事实检索提供了合理性校验。最高的山或最大的海洋这类问题需要相关的原子信息，因此产生影响的文档应当可以被识别；这一基础让人更容易相信那些不太直观的、自生成推理轨迹背后的影响模式。
2. 推理任务共享可复用的预训练影响足迹
按Ruis的说法，最强的结果是：一份文档对某个事实答案的影响，无法预测它对另一个事实答案的影响。不同事实依赖的是“非常不同的文档集合”，尽管句法和文风必然会调用更广泛的统计知识。
推理则表现不同。实例化同一任务的问题——例如用完全不同的坐标计算斜率——在训练文档上呈现出相似的影响模式。因此，模型看起来是在复用对程序的知识，而不是针对每个具体答案重新检索每一步。
研究覆盖了
(7−4)×8这样的2步算术、通过二维点之间的差值计算斜率，以及需要3次简单算术运算的线性方程。由于没有提供示例，纯检索解释就意味着模型必须在预训练数据中找到每一个生成步骤。
3. 代码可能在没有提供解题答案的情况下教会程序
Ruis花了“几天时间试图理解”，为什么代码是唯一一种在所有推理类型中都显得有影响力的材料。代码有时帮助模型，有时反而造成干扰，而她没有找到能稳定解释这两种方向的模式——这是一个非常坦率、尚未解决的结果，也正推动着她当前的研究。
最有说明力的样本，是一段用于计算两点之间斜率的描述性Python代码：当模型被要求用数学文字执行这一程序时，这段代码可能产生很强的影响。这说明模型或许能够跨越不同的表征形式，将程序转换过来，再把它执行在不同数值上。
如果这一效应能够泛化，Ruis认为训练数据会得到一个重要启示：合成数据流水线可以在生成大量解题过程之外，同时生成“大量程序”。同一程序的多种表达也能提供冗余和抽象能力；与一个缺失的事实不同，程序可以在数据集选择变化后仍然保留下来。
4. 模糊抽象是语言的特征，而不是缺陷
主持人提出了Hofstadter的观点：抽象是“一袋类比”——椅子或字母A也许不是通过一个清晰的内部定义来识别，而是通过许多相互重叠的视角来识别。Ruis将这种分布式图景直接联系到自然语言的运作方式。
她持一种Wittgenstein式观点：定义总会遇到边界失效的语境；“意义即使用”，概念是模糊的，语境会改变它们的适用方式。自然语言因此不同于形式系统，但这也解释了为什么能够近似系统性的神经模型，可能比僵硬的符号主义解释更适合自然语言。
Montague式严格组合性捕捉到了一个真实事实：整体依赖部分；但强行贯彻这种组合性，可能需要“非常迂回的函数”。更宽松的系统性则可以从这样的场景中看到：有人听到“I had really good flips last night”，推断flips可能是一种食物——或许是甜点——随后又立刻复用了这个新词。
Ruis同样拒绝在事实与推理之间划出硬边界。一个回答“太平洋”的人，可能先检索海洋和面积，再进行比较，最后给出答案；精心设计的事实问题确实需要原子知识，但其中的认知操作很少是纯粹的检索。
5. 指称能丰富意义，但并不穷尽意义
针对“语义必须嵌入物理因果环境”的观点，Ruis承认指称在语言发展中扮演重要角色。孩子最初说“公主”，可能指的是一个穿漂亮裙子的善良女性，而且可以直接指出她；成人语言则会逐渐变得更加抽象。
她给出的反例是COVID疫苗：她可以讨论并理解它，却无法在一堆物质中指出它，也无法准确说出它包含什么。物理识别当然会改善她的世界模型，但缺少这种识别，并不会让这个词组失去意义。
语言模型的不同之处在于，语言可以描述不受物理世界直接生存约束的不可能事物。因此，它们的广泛表征可以很强大，同时仍会产生幻觉和不可能的情境；人类也会想象不可能之事，但仍受到物理现实和持续互动的约束。
6. 基准测试揭示的是推理模式，而非二元能力
Ruis支持以新颖性为核心的智能测试，因为当知识必须用于真正新颖的情境时，纯粹模仿不可能持续成功。但她也为“移动目标”辩护：国际象棋曾被视为决定性标准，后来其解决方式改变了研究者对智能的理解，而不是证明评估本身无效。
主持人提出的“瑞士奶酪”模型符合她的立场：LLM可能在一个语境中检索、在另一个语境中推理，却在相邻的漏洞处崩溃。提示词可以激活另一个“函数或程序”，所以在陌生token上失败，说明统计系统存在局限，并不能证明相关规则在任何地方都不存在。
数学推理只是一个高度形式化的切片。归纳——例如只观察到白天鹅，是否足以得出黑天鹅不存在——支撑着大量科学活动，也更难评估。Ruis认为模型“可能”能够完成这种推理，但强调模型的归纳需要通过验证和实验来检验。
7. 联结主义可以具备系统性，但发明式新颖性仍未解决
在高度受控的设置中，Ruis表示联结主义模型已经学会了系统性规则，并在新问题上达到“100%准确率”。这些实验安排了数据，使降低损失必须依赖学习目标规则；而在自然预训练中，模型仍有无数捷径可走。
她的论文只作出了更窄的贡献：证明可泛化知识会影响多个实例，而不是证明LLM获得了形式化符号推理能力。她仍认为，从自然数据中进行近似的形式推理是可能的，同时也保留了模型难以处理完全新token等局限。
Fodor和Pylyshyn提出的系统性挑战因此“经受住了时间考验”，但它并没有证明神经网络不可能进行符号计算。Smolensky的张量积表征展示了分布式变量和值如何绑定、再被解绑，尽管原始方案存在组合爆炸和苛刻数学条件的问题。
Ruis不认为今天的模型可以只用1945年以前的知识训练，然后直接发明出后来的定理。但她质疑人类发明是否真是不可还原的天才闪现：Einstein同样“站在其他科学家的肩膀上”，重组继承而来的知识，并长时间进行推理。
8. 规模扩展持续奏效，但更丰富的数据和环境可能改变配方
Ruis的立场刻意保持务实：“我不会押注规模扩展失败，因为那很吓人。”规模扩展已经相当有效；不过，下一个token预测在理论上足以完成许多任务，并不意味着它是数据效率最高的训练范式。
她同意，真正有价值的前沿不只是更多合成token，而是更多“有趣的数据”。数据变得更广泛、语义重复度更低之后，虚假相关性会更难利用，学习产生这些观察结果的因果世界模型也会越来越有利。
足够多样化的数据选择，或许无需数万亿token就能教会模型这些机制。与环境互动、对环境进行干预并生成新证据，也可能将主动学习与被动模仿区分开来，进而成为未来提升效率的重要因素。
架构史进一步说明了她不愿把认知能力硬编码进系统。一个LSTM失败的老组合性基准，后来据报道在使用Transformer后，大多数测试达到了接近100%。她的结论是：递归看起来显然有用，但“能学会的东西，就不要硬编码进去”。
9. 能动性可能以不确定性下的控制形式涌现
如果其他条件相同，Ruis会选择工具而不是智能体，因为能动性会让智能变得更危险。她不确定复杂智能能否在完全没有某种能动性的情况下存在，这也使得识别能动性比简单宣布开发者应当移除它更重要。
文本由带有目标的智能体生成，因此下一个token预测器可能通过建模作者是否试图说服某人来降低损失。这就造成一种令人不适的模糊：模型究竟是在模拟目标导向行为，还是已经拥有了这种行为。
她提到DeepMind、Zac Kenton提出的一个智能体定义：当行动对环境产生的影响发生变化时，智能体会改变自己的策略。一个工程化的LLM循环几乎可以轻易满足这一条件；真正重要的问题是，等价行为何时会“从如此简单的下一个token预测中涌现出来”。
Ruis偏好的抽象是：系统“为了控制自身未来的输入”而行动，尤其是在不确定性下。规划对于实现复杂目标至关重要，而不确定性则把这种系统与确定性环境中的反射行为区分开来。因果世界模型能改善规划，同时还需要一种表征可能未来的方式。
10. 主要警告是权力逐步转移，而不是一次性警报
Ruis认为，人们会本能地识别能动性。她回忆起1940年代的Heider–Simmel动画：几个移动的三角形会立刻被描述为刻薄、害怕或正在逃跑。这种直觉有时可能出错，但它说明了智能体为什么不同于温度计：它们可能以不同方式带来帮助或危险。
“模拟器”观点把LLM视为许多被建模智能体的叠加，既解释了其多样化角色扮演能力，也解释了连贯性失败。能动性还可以存在于集体层面，例如公司或其他群体：个体目的向上汇聚，机构价值再向下反作用于个体。
对于安全时间表，Ruis没有给出精确预测，并表示她看不到“这件事”在未来3年内发生；可靠性和采用率仍是重大障碍。她更担心社会逐步把控制权交给“愚蠢的智能体”，直到后来才意识到累积后果，就像社交媒体的外部性一样。
她明确指出的最大社会风险是“不平等的获取”：如果AI提高生产率，现有政治和经济结构可能无法公平分配收益。她仍然看到潜在好处，包括在医疗需求上升之际提高医生的生产率，但她认为，最终决定这些收益能否扩散的，将是政策和制度准备，而不只是能力本身。
Ruis自己的观点更新很有启发性。她过去把LLM视为更不通用的检索系统，并认为零样本表现至关重要；现在她把它们看作需要正确交互方式的多任务学习器。Andrew Lampinen的类比改变了她的看法：零样本提示可能像是对陌生人喊“15乘32是多少？”，而少样本提示则可能提供上下文，却不等于针对测试集进行过度设计。