摘要

Marblestone 的核心押注是：缺失的要素可能是损失函数——进化编码的也许不是权重中的大量预训练知识，而是一套发育课程。 “我认为，进化实际上可能把大量复杂性写进了损失函数：不同区域有不同的损失函数，在发育的不同阶段依次开启。基本上就是大量 Python 代码。” 这有助于解释“3 GB 基因组”之谜：Dwarkesh 用 Python 举例把紧凑性说得很直观——奖励函数只需一行 Python，因此1000个奖励函数的成本几乎为零；样本效率由此部分变成了成本函数问题。
他的时间表才是可投资的数字：“我的时间表可能更接近10年左右”。 至于那场具有变革性的单一事件，“可能仍在5年以上，差不多是这个量级”。关键并不是断言 LLM 做不到——“我并没有非常强的论断说 LLM 做不到”——而是当前范式“和这些大脑机制存在奇怪的差异，我在等那个开始更像大脑的东西”。他承认，如果 AI 2027 成真，自己的研究就无关紧要了。
他提出的最低成本非对称押注是：以“数十亿美元低位规模的资金”推进全面神经科学研究，对冲数万亿美元的 GPU 资本开支。 E11 Bio 正试图把 Wellcome Trust 估算的单个小鼠连接组成本，从数十亿美元压到“数千万美元低位”，沿着其博士导师 George Church 亲眼见证的基因组学成本曲线前进——10年下降100万倍。Dwarkesh 给实验室的提议是：“拿你们预计2030年预算的1/100给我。”
对当前 RL 的核心批评是：没有价值函数。 他引用 Ilya 的话说：“你用的基本上是最愚蠢的 RL 形式……甚至比10年前做的还落后。” Atari 时代的 Q-learning 已经使用时序差分学习，而神经科学证据显示，多巴胺携带与价值函数一致的奖励预测误差信号。“LLM 里完全没有价值函数，这件事很疯狂。我可以这么说，是因为 Ilya 已经说过了。”
短期内、且已经被市场定价的方向是：形式化数学是一个很有希望的 RLVR 问题。 “我认为，把数学证明用 RLVR 彻底榨干，这个问题会成功”，目前至少已有一家估值10亿美元的公司 Harmonic，AlphaProof 也押注同一条路径。尚未解决的是猜想：好解释是否存在对应的损失函数，比如给定这个定理后，其余数学体系的 Kolmogorov 复杂度？更大的商业奖品是形式化验证软件，瓶颈不是证明能力，而是规格说明问题。
Dwarkesh 的判断、Marblestone 部分接受了：被嘲笑的那一派可能是对的。 “那些人——大家在 Twitter 上取笑的 Yann LeCun、Beff Jezos 之类——也许他们才是对的。”对此他的回应是：“这确实是一种解读。”同时他提醒，在2021年左右之前，“所有神经科学家和所有 AI 从业者基本都这么认为”。在这一视角下，测试时计算就是摊销推理丢掉的采样。
对齐的关键很大程度上落在奖励机制上：沿用 Steve Byrnes 的框架，能力所需的最低可行 Steering Subsystem，远小于伦理所需的最低可行版本。 “打造极其强大的、基于模型的 RL 优化系统大概是可能的……它们不具备人类大脑奖励函数中的大部分东西，因此可能会想要最大化回形针。这是个问题。”

精读

1. 被忽视的变量是成本函数，而进化可能编码了许多成本函数

Marblestone 把大脑问题拆成机器学习的几个基本要素——架构、超参数、学习算法、初始化、成本函数——并把旗子插在最后一项上：“在这个框架里，我个人的直觉是，这个领域忽视了这些非常具体的损失函数所扮演的角色。” 相比之下，机器学习“倾向于喜欢数学上简单的损失函数。预测下一个 token、交叉熵，这些简单的计算机科学家式损失函数”。
这句标志性表述值得保留原文：“进化构建了许多不同区域对应的损失函数，在发育的不同阶段开启。基本上就是大量 Python 代码（A lot of Python code）”，为大脑不同部分需要学习的内容生成一套特定课程。
他明确承认，这只是一个身处巨大未知中的直觉。对于皮层是否存在一种通用学习算法，他说：“这是一个巨大的问题，我们不知道。” 他反复回到的元问题则是：“我们必须赋能神经科学，让神经科学在技术上变得更强大……真正破解这样的问题。”

2. 皮层可能进行全向推理，而 LLM 只计算一个条件概率

他给出的下一 token 预测替代方案是：皮层任何区域都可以“学会从它看到的所有变量中的任意一部分，预测另一部分。全向推理（Omnidirectional inference）”。而 LLM“只是看着上下文窗口里的所有内容，然后计算一个非常特定的条件概率”。
他举的例子是：“如果一个大型语言模型只做前向预测，却说‘the quick brown fox blank blank the lazy dog’，然后填中间的空白，而不是预测下一个 token，这会很奇怪。它可以在上下文窗口和所有这些机制的涌现层面学会做这类事，但从原生机制上，它就是在预测下一个 token。”
他自己也指出了这套说法的谱系：“顺便说一句，我讲的很多东西都和 Yann LeCun 会讲的极其相似。” 随后他解释能量模型的机制：固定任意一组变量，对另一组变量进行采样，再换一组完全不同的变量重复操作。其在测试时的意义是：一个训练来填某个空白的网络，并不知道如何填一个从未训练过的空白，因为那种预测从未被“摊销进网络”。
Dwarkesh 的朴素反驳是：为什么不直接去掉因果掩码，让每个 token 对每个 token 训练，或者增加跨模态标签？Adam 回应：“我的意思是，这可能就是正确方向。我还不确定。” 他自己的倾向是，大脑运行着“通过几层进行预测的蹩脚版反向传播”，但方式“极其灵活”。

3. Byrnes 的学习/引导拆分，可能回答 Ilya 关于欲望来源的问题

问题来自 Dwarkesh 转述 Ilya 的一句话：“我不知道有什么好的理论，能解释进化如何编码高层次的欲望或意图。” Marblestone 认为，Steve Byrnes——曾是物理学家、现为 Astera 的 AI 安全研究者，负责综合相关文献——“基本上回答了 Ilya 的问题”。
他用自己举例：如果自己错误描述能量模型，引来 LeCun 反驳，“这会在我体内激活与生俱来的尴尬和羞耻，我会想躲起来”；但“进化从未见过 Yann LeCun，也不知道能量模型，更不知道什么是重要科学家或播客”。因此，大脑必须把学到的世界模型特征，接入它不可能预见的先天奖励回路。Dwarkesh 打趣：“法国 AI 研究者要来找你了，Adam。”
机制是：Steering Subsystem，即下丘脑、脑干、杏仁核，拥有自己的原始感知设备——上丘，这是一个具备先天面孔和威胁检测能力的皮下视觉系统；皮层则为其中每个变量训练预测器。“我是不是马上要闪躲？我是在和朋友说话吗？现在该笑吗？这个朋友的地位高吗？……我是不是马上要尝到盐味？” 与社会地位相关的神经元，简单说就是“那些预测这些先天启发式信号的神经元”。
Dwarkesh 追问它如何泛化：先天系统能给蜘蛛图片打标签，但没有任何监督信号会告诉它“有人把蜘蛛放在你背上”。答案是，预测器的输入是世界模型的抽象特征，因此“蜘蛛”这个词也能触发它。现场演示中，Adam 说：“现在我正基于对话里的这些抽象概念，激活你的 Steering Subsystem。” Dwarkesh 回应：“你再继续，我就要加触发警告了。”

4. 细胞类型图谱显示，皮层之下存在定制化机器

经验依据来自 Fei Chen、Evan Macosko 等人在 BRAIN Initiative 下完成的单细胞图谱：测序 RNA，按脑区统计细胞类型。结果是，“Steering Subsystem 里的奇怪、多样、定制化细胞类型，基本上比 Learning Subsystem 多得多”。皮层拥有“足以在其中构建一个学习算法并指定一些超参数”的细胞；Steering Subsystem 则有“无数、数千种真正奇怪的细胞”。
每个奖励函数为什么可能需要自己的细胞类型？因为基因连接需要分子地址。“这些细胞表达不同的受体和蛋白质，告诉它们：好，当这个东西接触到那个东西时，我们就形成一个突触。” 对比之下，“制造一个8层 transformer 所需的 Python 代码，和制造一个3层 transformer 的代码并没有那么不同。你只是在复制。” 奖励侧则是“一堆定制化、物种特异、情境特异的东西。皮层不知道蜘蛛是什么，它只知道层。”
Dwarkesh 给出了基因组之谜的落点：基因组总共只有3 GB，其中只有一小部分编码大脑；过去的解释是，进化找到了超参数。但如果进化找到的是有助于学习的损失函数，“那就能解释为什么只用这么少的信息，也能构建出一种智能。因为奖励函数用 Python 写出来，真的就是一行。”
Dwarkesh 进一步指出，这种紧凑性还会叠加，因为奖励函数可以免费继承世界模型的泛化能力：“它不需要预见奖励函数未来的一切。它只需要预见哪些变量相关，以及寻找这些变量的启发式方法是什么。”

5. 类人猿大脑之所以能低成本扩张，是因为社会学习提高了皮层的回报

Dwarkesh 提出的因果链是：社会学习提高样本效率——“你不必亲自去杀野猪……只要说，‘长老告诉我，长矛应该这样做’”——进而提高了扩大皮层的激励。Adam 表示同意，并指出这在成本上可行：“只需要相对较少的基因，因为本质上是在复制小鼠已经拥有的东西，只是做得更多。”
被问及皮层究竟发生了改变，还是只是规模扩大并重新布线，他的倾向是后者——“我认为，就皮层而言，小鼠和人类有很多相似之处”。但他也承认 Suzana Herculano-Houzel 的发现：灵长类大脑的神经元数量，与体重的关系比啮齿类更好。“也许吧，也许。我对这方面没有那么深入……所以我不是说 Learning Subsystem 的架构在人类身上完全没有特殊之处。”
关于语言，他把判断严格限定为可能性：也许存在“宏观布线，即需要把听觉区域接入记忆区域……以及其中一些社会本能”，指向 Broca 区、Wernicke 区，以及它们与前额叶、海马的连接。“所以，可能只需要少数几种基因，就能让人类真正做好语言。这可能是一个很大的因素。”
他对 Beren Millidge 一篇帖子的重新解读，是这一段最尖锐的分歧。Millidge 注意到，从灵长类到人类，视觉和听觉皮层的扩张幅度明显超过嗅觉皮层，并将其归因于嗅觉数据的 scaling law 属性更差。Adam 的替代解释是：社会奖励函数需要这些通道——“为了理解那些引导学习的线索，你需要比嗅觉更多地激活视觉和听觉。” 甚至人眼的瞳孔与眼白设计，也是为了让我们“基于共同的眼神接触建立关系”。

6. 测试时计算就是摊销推理丢掉的采样，而神经元是免费的采样器

Dwarkesh 解释了摊销推理：真正的推理需要根据观测给候选原因打分，计算不可行，因此要用 Monte Carlo——“最早的 Boltzmann machines 之类就是这样”；而前馈网络则从观测直接跳到最佳原因。Adam 补充道：“一种思路是，测试时计算、推理时计算，实际上是在重新进行这种采样。你读它的思维链，就确实是在读这个过程。”
Dwarkesh 进一步推导出一个有意思的开放问题：通过推理时计算激发的能力会被蒸馏回权重，因此“可以复制的数字心智，拥有不同的权衡”——“既然你可以直接复制摊销结果，就应该更积极地把更多东西摊销进去。” 那么，“哪些东西适合被摊销进这些心智，而进化认为不值得摊销进生物心智？”
概率派的反驳是：“不，这本质上是概率性的，以这种方式摊销没有意义。” 他们的证据是，大脑中的采样神经元具有随机性。但 Adam 不愿意让对方轻松过关：“感知能在几毫秒之类的时间里完成，这也很奇怪。看起来它并没有进行那么多采样。”
放到进化框架里，这就是整套理论的 punchline：Learning Subsystem 几乎没有获得预训练。 “它有一定的架构，但随后在生命周期内学习。进化实际上没有把那么多东西摊销进这个网络，而是把它摊销进一组先天行为，以及一组用于启动学习的成本函数。”

7. 当前 LLM 的 RL 比 Atari 时代更粗糙，而大脑运行着无模型与基于模型的多层系统

关于价值函数，他借 Ilya 之口把批评说得更直白：“从概念上讲，这是非常愚蠢的 RL 形式，甚至比10年前做的还落后。就连 Atari 游戏也在用 Q-learning。” 他先承认工程上的难度：“这些人极其聪明，他们在优化如何让它跑在 GPU 上。” 随后落到一句：“我对 AI 的了解只有他的大约1/100，但这件事居然能奏效，确实有点疯狂。”
按他的描述，大脑的分工是：纹状体和基底神经节在“某个有限且相对较小的动作空间”上执行类似 model-free RL 的过程——既包括运动指令，也包括“告诉丘脑，让皮层的这一部分与另一部分对话”这样的认知动作。在此之上，是 Peter Dayan 的研究路线，以及多巴胺奖励预测误差信号的证据；后者“与学习这些价值函数相一致”，也是 DeepMind 当初研究时序差分学习的原因之一。
全向推理带来的优雅结果是：只要固定奖励，就能免费得到规划。 “有一种把 RL 看成推理的观点。你可以说：‘在我获得高奖励的条件下，采样一份我必须采取的计划。’” Dwarkesh 想到的是价值头；Adam 提供了“价值输入”——奖励只是又一个需要预测的感官变量。
Dwarkesh 的旁支话题是 Joe Henrich 的文化进化：一种豆子会毒死人，除非你严格执行10步处理流程，这“非常像在文明层面运行 model-free RL”。Adam 修正道：“不，不能完全这么说。某种意义上，进化是最简单的算法……外循环可以极其缺乏前瞻性。” 两人最终给出一套层级：“进化：model-free。基底神经节：model-free。皮层：model-based。文化：可能是 model-free。”

8. 描述大脑时要像描述一次训练运行，而不是画一张电路图——并预期它会很丑

Dwarkesh 提出的挑战是本集最强的一击：我们可以完整读取神经网络的权重，却仍解释不了 LLM 为什么有智能，那么连接组又能带来什么？ Adam 反驳了前提：我们确实拥有对 LLM 的描述——“我有架构，有学习规则，有超参数，有初始化，有训练数据。” Dwarkesh 回应：“这些东西是因为我们构建了它们才知道的，不是因为看到了权重、解读了权重才知道的。”
他借用 Konrad Kording 和 Tim Lillicrap 的《What does it mean to understand a neural network?》来搭建框架：如果让网络学习圆周率的数字或股票价格，解释性永远无法完全覆盖内部机制——“但我们仍然可以说，它之所以变成那样，是因为它有一个架构，我们给了它这些训练数据，它有这个损失函数。所以我想用同样的方式描述大脑。我不需要理解它如何计算出‘金门大桥’。”
他不愿轻易驳回的异议来自 György Buzsáki 的《The Brain from the Inside Out》：我们的心理学和 AI 词汇“都是编出来的东西”，而且“我们必须从大脑出发，创造新的词汇”。Adam 希望两条路线都押注——对蠕虫或斑马鱼进行完全自下而上的模拟，同时用 AI 词汇反向工程大脑；但他更看好后者：“我猜，反向工程那条路线实际上会有点奏效。”
对大脑如何表征世界模型，他给出的直觉是诚实的低点：“那里会是一团巨大的混乱，我们应该去看架构、损失函数和学习规则。我不指望里面会很漂亮。” 它可能不是符号式的，尽管“其他人有非常不同的看法”。至于意识体验，他直接认输：“这件事我基本上毫无头绪……我不认为任何人有答案。它甚至可能涉及新物理。”

9. 连接组学是一个人类基因组计划式、数十亿美元低位规模的押注

成本曲线就是整套论点。Wellcome Trust 估算，第一个小鼠大脑连接组需要“数十亿美元”；E11 Bio 及周边领域正试图把“单个小鼠连接组的成本降到数千万美元低位”。人脑大约大1000倍，简单按规模放大仍意味着数十亿美元，但他不想测量每一个人类神经元：“一个完整的小鼠大脑、一个人类 Steering Subsystem，以及几种拥有不同社会本能的哺乳动物的完整大脑。”
他博士导师 George Church 提供了先例：第一个基因组耗资约30亿美元，“大致相当于每个碱基对1美元”；随后 National Human Genome Research Institute“把资助流程设计对了”，企业开始竞争，范式从宏观化学转向成像单个 DNA 集群，“成本在10年里下降了大约100万倍”。E11 的对应动作，是把电子显微镜转向光学成像，从而得到一份“分子注释连接组”——不仅记录谁和谁连接，还记录突触上有哪些分子，以及它属于哪种细胞类型。
资金来源尚未解决，他对此直言不讳：目前主要靠慈善资金；NSF 有一个“Tech Labs”项目征集，多少受到 FRO 启发；同时“外界有一些传闻，说可能会成立与连接组学相关的公司”。他在“七八年前”接触过 AI 实验室，当时兴趣不大，“也许现在会有所不同”。他的说法是：在“数万亿美元 GPU 等支出的宏观背景下，这项投资其实很划算”。
按 Byrnes 的框架，支出连接组学的对齐理由是：“要让一个聪明系统具备最低限度能力，Steering Subsystem 所需的最低可行要素，远少于让它具备人类式社会本能和伦理所需的最低可行要素。” 一个合格的回形针最大化器仍需要好奇心和对他人的某种兴趣，“但我认为那已经非常少了。对人类来说如此，对一个已经预训练成 LLM 的系统来说，可能更是如此。”

10. Lean 和 RLVR 可能吞掉机械化数学，而 Gap Map 显示填补空白可能需要数十亿美元

Lean 最具投资价值的地方，是把正确性变成奖励：“如果 Lean 说它正确，那它就是正确的。” 这让形式化证明成为“完美的 RLVR 任务”。他对机械化部分的判断非常乐观：“我认为，把数学证明用 RLVR 彻底榨干，这个问题会成功。” 至少已有一家估值10亿美元的公司 Harmonic 建立在这一判断上，AlphaProof 也押注同一条路径。剩下的是猜想，以及“数学中哪些概念组织是有趣的”。
他指向 Bengio 的一篇论文，提出开放研究问题：是否存在一个衡量好猜想的损失函数？一个伟大的定理“压缩了大量信息，并对许多其他定理产生大量含义”。Dwarkesh 称之为“这个陈述的 Kolmogorov 复杂度”；Adam 则把问题延伸为：“加入这个定理后，剩余证明网络的复杂度会如何变化？”
他正在围绕形式化验证软件孵化一个 FRO，商业外溢方向是可证明安全的软件——例如拥有可证明安全内存边界的系统，DARPA 曾展示过这种可证明安全的四旋翼机。瓶颈不是证明能力，而是规格说明问题：“电网工程师刚刚把这个东西造出来，但他们未必知道如何从中提取形式化规格。” Dwarkesh 进一步推演了科幻版本，引用 Terence Tao 的推文：“这些模型就像自动化的聪明，而不是自动化的智能。” 如果能用证明筛选聪明，把一切都变成可证明的，让数十亿个 AI 相互构建并检查“你是不是在试图对我施加社会影响”，就接近 davidad/ARIA 的安全 AI 设计。Adam 回应：“这是个有意思的愿景。我不知道未来10年里，现实是否会沿着这个愿景展开。”
Gap Map 是 Convergent Research 为其 FRO 整理的缺口清单，也是他最后抛出的意外和一笔规模账。它包含“数百项基础能力”。即使每一项都达到 Series A 阶段，“填补这些空白也不是需要1万亿美元的事”。意外项目是数学：“我以为数学家只需要白板，但他们实际上需要 Lean。” 一些缺口甚至出现在资金充足的天文学项目中，因为项目规模超过临界点后，就会继承“与联邦机构打交道的、更官僚化的流程”。
他给 AI 实验室的唯一建议，来自 Gwern 的一篇帖子：给大脑活动增加辅助损失。除了预测“猫”或“狗”这个标签，还要预测“我看到一只猫时的神经活动模式”，用正则化迫使表征与大脑的几何结构保持一致，可能由此获得对对抗样本的鲁棒性。障碍纯粹在工具层面：“如果每部 iPhone 同时也是脑扫描仪，就不会有这个问题，我们会直接用脑信号训练 AI。只是技术发展的顺序是，我们先有了 GPU，后有便携式脑扫描仪。”

2026年该做什么交易？[RL/推理现状] IMO/IOI 金牌、OpenAI o3/GPT-5 与 Cursor Composer——Ashvin Nair，Cursor