Transformer 的共同发明者，如今转向 Continuous Thought Machines [Llion Jones / Luke Darlow]

摘要

• Llion Jones 认为，Transformer 已陷入“过度饱和”的局部最优，并大幅减少了自己在这一方向上的研究。 他的警告来自 RNN 时代：研究者多年把每字符 1.26 比特提升到 1.24 比特，持续获得可发表的增益，却在深层 decoder-only Transformer 将结果直接推进到约 1.1 比特后突然失去意义。“某个时刻会出现突破，”他认为，届时今天无休止的架构微调可能同样变得多余。

• 下一代架构必须“明显且压倒性地更好”，因为 Transformer 的基础设施已经制造出巨大的切换成本。 研究者已经掌握如何训练、微调、检查和部署 Transformer，而把现有模型扩大 10 倍，可能就足以压过一次幅度有限的架构改进。对投资者而言，这意味着仅有基准测试优势还称不上颠覆；挑战者必须抵消整个既有软件、人才技能与算力实践体系。

• Sakana AI 的 Continuous Thought Machine 将序列化内部计算、神经元级模型与基于同步的表征结合起来。 CTM 历时约 8个月开发，并获得 NeurIPS 2025 spotlight；它把“思考”视为随时间展开的过程，而不是单一的激活状态。Hewitt 的迷宫案例清楚展示了差异：一次性预测 100步或 200步路径会失败，而学会按顺序描出路径后，问题变得可解。

• CTM 的自适应算力是从训练目标中自然涌现的，而非依靠手工平衡的计算惩罚项强行加入。 在 50步的 ImageNet 设置中，训练同时使用损失最低点和置信度最高点；简单图像在 1到2步内完成，复杂图像则自然消耗更多时间。模型还呈现出“近乎完美的校准”，Hewitt 称其为“烟枪证据”，但不是架构更优的决定性证明。

• CTM 最有说服力的证据来自行为：约束会促使它发现不同的算法。 训练迷宫时，它有时沿一条路径前进，识别出错误后回退，再尝试另一条；在思考预算收紧时，它会跳跃前进、反向描出局部路径，再跨越到更远处寻找解。研究结论目前不是 CTM 已能替代 Transformer，而是内部序列搜索产生了比固定深度、一次性计算更丰富的行为。

• Jones 认为，研究自由既是 Sakana 的运行模式，也是稀缺的战略资产。 产品需求、发表压力与投资者预期会逐步压缩自主性，让“可能太怪”的想法输给安全的 positional-embedding 论文。他押注的是开放式探索，包括进化搜索：其他方向已投入数亿美元，而最大规模的进化搜索可能还只有数万量级；同时他也承认，商业成功最终可能带来同样的“技术俘获”。

• SudokuBench 表明，推理领域的 headline 进展仍会在真正新颖、需要组合推理的任务上失灵。 最强模型在手工设计的变体数独上得分约 15%，GPT-5 虽有提升，却仍无法解决人类能够处理的题目；模型不会找到每道题独有的破局点，而是退回“我试试 5、我试试 6、我试试 7”。Cracking the Cryptic 提供了数千小时的思考轨迹作为训练数据，但 Jones 表示，当前 RL 仍无法稳定采样出所需的稀有推理路径。

精读

1. Transformer 的成功占据了研究议程

• 对一位共同发明者而言，Jones 的个人判断异常直接：今年早些时候，他决定“大幅减少”自己的 Transformer 研究。这个方向是过度饱和，而非已经穷尽；他希望利用自己罕见的自由，把更多精力投入尚未吞噬全行业注意力的架构探索。

• 主持人借 Kenneth Stanley 的《Why Greatness Cannot Be Planned》来解释 Sakana：让研究者沿着自己的“兴趣梯度”前进，才能产生发现；委员会和固定目标则会收敛成“灰色黏液”。Jones 说，公司内部会讨论这一理念；作为联合创始人，他的核心工作之一就是在公司壮大后保护这种自主性。

• Jones 对组织的诊断是因果链条式的：人才和资本越多，竞争越激烈；投资者最终要求回报；公司需要产品；发表或商业化的压力上升；自主性下降。他仍会对新员工说：“我希望你做自己认为有趣且重要的事。”而且他说这是真心话。

• 他举的被忽视的规模案例是进化搜索。这个领域已经投入“数亿美元”，而最大的进化搜索可能还只有数万量级；他预计，真正有人把规模推上去后，会出现有意思的结果。在一个押注单一技术的环境里，向内部推销这一方向得到的是“零兴趣”，这也促成了他创办自己的公司。

2. RNN 时代说明优化工作可能迅速过时

• Transformer 出现之前，循环网络也曾给人一种架构已经定型的感觉。字符级语言模型论文不断重排 LSTM 或 GRU 门控、调整初始化、加入层级计算；从每字符 1.26 比特到 1.25、再到 1.24，比特数下降幅度很小，却都是真实、可发表、令人兴奋的进步。

• 随后，Jones 的团队将非常深的 decoder-only Transformer 应用于语言建模，立即把结果推到约每字符 1.1 比特。同事们走到他们工位前，怀疑是不是计算错了——也许结果单位是 nats——但“这确实是正确的数字”。优秀的 RNN 研究方向突然显得多余。

• 他刻意做了一个令人不适的类比：今天对 normalization 位置、训练配方及其他 Transformer 变体的研究，可能只是对一种等待非连续替代的架构进行又一轮复杂优化。“我个人不认为我们已经走到终点，”他说；持续扩展规模，在他看来并不能证明 Transformer 就是最终架构。

• 主持人担心，基础模型正在让架构能力消亡：数据科学家和 ML 工程师逐渐变成以 prompt 为中心的 AI 工程师。Jones 则反驳说：“我们有很多极具天赋、极富创造力的研究者，但他们没有在使用这些才能。”激励机制让发表一篇安全的 positional-embedding 论文，比尝试一个可能失败、也可能难以发表的怪想法更理性。

3. 渐进式优势无法抵消 Transformer 的既有体系

• Jones 说，研究领域已经存在性能超过 Transformer 的架构，但领先幅度不够。现有架构背后积累了知识、微调方法、推理系统、内部机制理解和成熟训练软件；因此，“更好还不够，必须明显且压倒性地更好”。

• Transformer 凭借更快的训练速度和大幅更高的准确率，曾对 RNN 跨过这道门槛。深度学习同样通过变得无法忽视，打消了人们对符号 AI 的怀疑。如今新设计面临一种引力：巧妙的准确率提升，可能被一家成熟实验室把 Transformer “做大 10倍”后轻易抹平。

• Jones 最难忽视的症状是“锯齿状智能”：模型刚解决一道博士级问题，下一句话却说出显而易见的错误。当前网络可能是通用逼近器，只要投入足够的数据、算力和耐心，就能被迫完成几乎任何事情，“但我不一定认为它们想这么做”。

• 他用来说明问题的典型案例，是一篇矩阵指数论文中的螺旋分类器。ReLU 和 tanh 网络可以用碎片化的边界在技术上分离所有点；另一种方法则直接把螺旋表示成螺旋，并外推其延续形态。Scarfe 将这一点延伸到视频生成模型：把手部从错误的手指数量修到 5根，可能只是增加了蛮力，而不是获得了理解手的表征。

4. CTM 通过时间而非静态隐藏状态表达思考

• Hewitt 说，Continuous Thought Machine 历时约 8个月完成——按当前 AI 论文标准算很久——建立在 3个想法之上：内部序列化思考维度、神经元级模型，以及作为核心表征的同步。他强调，这并非远离局部最优的激进设计，而是一个受自然启发、经过谨慎开发、最终获得 NeurIPS 2025 spotlight 的简单偏离。

• 迷宫之所以成为“hello world”，是因为传统深度学习可以并行输出完整的解题掩码，而更接近人类的表述需要一个序列：向上、向右、向上、向左。一旦模型必须从起点到终点逐步输出路线，一个看似简单的视觉任务就会明显变难。

• CTM 的每个神经元本身都是一个小模型。它不是把一次 pre-activation 直接映射到一个输出，而是读取该神经元一段有限的激活历史，再生成下一次 post-activation，让动态过程在单个单元层面逐步累积。

• 随后，模型通过测量神经元对在各自激活历史上的同步程度来形成表征，用点积代替只读取某一时刻的循环状态。每一对神经元都可以采用不同时间尺度的指数衰减，从即时共同激活到长期协同，从而扩展出阶数为 (d^2) 的关系空间。Hewitt 的前提是：“思考这个概念，本身就是随时间存在的东西。”

5. 自适应计算从训练目标中自然产生

• 在迷宫设置中，CTM 持续看到完整图像，并通过 attention 获取信息，同时获得例如约 100步的内部思考步数。由于 CTM 和其他受测模型都无法一次性预测 100步或 200步路线，团队构建了一个始终略超当前能力的自动课程：概念上多 1步，实践中多 5步。

• 在 ImageNet 中，模型运行 50步，训练会从 0到49 中找出 2个索引：损失最低的位置和置信度最高的位置，并在这两个点计算交叉熵平均值。由此产生的行为十分清晰：简单样本在 1到2步内结束，困难样本则自然使用更多可用的思考时间。

• Hewitt 将这一结果与 Alex Graves 的《Adaptive Computation Time》工作作对比，后者需要大规模超参数搜索和计算损失惩罚。Tommy Leung 解释说，这是因为神经网络具有“贪婪性”，使用所有可用算力通常都会降低损失。而在 CTM 中，没有任何显式目标要求模型采用自适应时间；“自适应计算时间似乎就是自然涌现出来了”。

• 同步机制似乎还有助于梯度在长时间循环运行中传播，因为它会触及跨越许多时间步的神经元；Hewitt 说，模型在广泛的超参数设置下“基本就这样跑通了”。训练完成后，模型也几乎达到了完美校准——其置信度与经验正确率相匹配——但他将其视为有启发性的信号，而非定论。

6. 内部序列搜索打开了不同的扩展维度

• Hewitt 认为，思维链推理本质上也是一种增加算力的新维度。CTM 尝试将这一序列过程内化，而不是把每个中间步骤都用语言表达出来；它通过多个时间层级之间的同步，在高维潜空间中进行搜索。

• 对 ARC 类任务而言，他认为潜在优势在于：模型可以向前投射 1步、100步或 200步，同时把稀疏问题拆解为一个过程。他没有声称该架构已经解决 ARC；更谨慎的说法是，这种表征可能提供固定深度 Transformer 缺少的灵活性，值得直接实验。

• 当被问及神经图灵机时，Hewitt 明确拒绝最强的表述：“我不会进一步声称 Continuous Thought Machine 已被明确证明是”图灵完备的。两者的相似之处在于，潜在推理都随时间展开，但不要求具备外部神经记忆所涉及的、困难的离散读写操作。

• 这一架构还改变了难度的表达方式。ViT 或 CNN 必须把显而易见的猫和一个罕见、代表性不足的类别，都嵌入同一套固定堆栈；CTM 则可以在不同时间停止，自然地将样本从简单分层到困难。这种架构层面的课程学习类似人类学习过程，却不需要手动划分数据集。

7. 迷宫行为显示，算力约束可以创造新算法

• 在训练中期，团队观察到 CTM 开始沿迷宫的一条路径前进，似乎意识到“糟了，该死，我错了”，随后回退并选择另一条路。后来它变得更高效，使用多个 attention head 以更分布式的方式优化解法。camera-ready 补充材料记录了约 14个这样的意外观察。

• 收紧思考预算后，模型出现了最奇怪的行为。它不再连续追踪一条长迷宫，而是大致向前跳跃，再反向填补一段路径，然后再次跃进，如此重复。“结果发现，这样做有更快的算法，”Hewitt 说；但除了承认约束会改变学习到的算法，他仍不确定这一行为意味着什么。

• 语言也可能是一座含义模糊的迷宫：许多不同轨迹都能抵达可行输出，系统必须识别错误路线，并进行修正或回退。Hewitt 正在积极探索语言建模，但仍保留条件判断；把含义不明确的迷宫解法加入训练，本身仍是一个他尚未完成的实验。

8. 记忆与 AI 科学家可能把孤立搜索变成集体搜索

• Hewitt 描述了一个潜在的记忆实验：把智能体限制在迷宫中约 5×5 的局部视野内，迫使它保存并调取足够的历史信息，以便回到某个位置时记住“我上次做错了”。多个智能体可以共享这份近似“文化记忆”的存储，在各自只能看到局部信息的情况下协同解决全局任务。

• Jones 预计，模型会逐渐成为更强大的研究伙伴。Sakana 的 AI Scientist 已经展示了从一个种子想法到代码、实验、结果和论文的端到端流程，并产出了一篇“100% AI 生成的论文”，被一个 workshop 接收。他将其视为可行性的证明，而不是自己偏好的工作安排。

• 他近期设想的模式仍是交互式的：输入一个想法，讨论替代方案，检查生成的代码，并在结果出现时讨论结果。他把这种关系比作实习生：没有足够丰富的研究愿景可以一次性完整传递，然后放任 4个月不管；持续引导才能传达隐性意图和路径依赖形成的理解。

• Jones 承认，这种协作最终可能带来伤害。人类与引擎结合曾经胜过单独的国际象棋引擎，但如今“加入人类反而会让机器人变差”。如果 AI Scientist 强大到他的介入开始拖累系统，那么人类是否应该退出，就不再只是技术流程选择，而会成为更广泛的问题。

9. SudokuBench 暴露了流畅推理与新颖突破之间的差距

• SudokuBench 由手工设计的变体数独组成：标准的行、列、宫约束，再加上独特的自然语言规则。有一道题的规则描述中写着某个数字是错误的；另一道题叠加了一个迷宫，老鼠前往奶酪的路线必须服从数字约束。因此，解题不仅需要理解题面，有时还需要对题目规格进行元推理。

• 当前最强模型得分约 15%，而且主要集中在最小、最简单的题目上。Jones 说，GPT-5 带来了跃升，但仍无法解决人类能够解决的题目。每道题都有独特的“破局点”，而模型通常会退回无聊的枚举：“我试试 5、我试试 6、我试试 7。”

• 训练资产来自《Cracking the Cryptic》：专业解题者会通过视频口述推理过程，有些视频时长达到 4小时。经许可，Sakana 提取了数千小时的详细思考轨迹，并将其用于模仿学习——这近似实现了 Andrej Karpathy 希望能够伴随人类成品文本一同存在的隐藏推理。

• 专业人类拥有大量“推理积木”，能够识别规则暗示的模式，进行测试，发现信息不足后再回退。当前模型在该基准上没有展现出可比的元推理能力，现有 RL 也会失败，因为所需的突破过于罕见，无法稳定采样。Jones 认为，SudokuBench 的实质性进步，将意味着 AI 推理整体的实质性进步。