语言模型的信息论：Jack Morris

摘要

• Morris 的核心论点是，AI 的范式跃迁与其说来自新方法，不如说来自新数据源。 AlexNet 将深度网络与 ImageNet 配对；transformer 将模型与互联网规模预训练配对；指令微调加入人类偏好数据对；推理则加入来自数学、代码、计算器和单元测试的可验证反馈。对投资者而言，真正持久的护城河可能属于掌握下一条尚未被开发数据流的人：「AI 没有新想法，只有新数据集」。

• Embedding 和已发布的 checkpoint 可能暴露远超其所有者预期的专有数据。 Morris 的系统从一个长句的 embedding 中准确恢复了约90%的原文；后续项目则利用基础权重与微调权重之间的差异，筛选出与隐藏微调集相似的网页数据。主持人强调了向量数据库和客户数据面临的提取风险；Morris 认为，模型权重是训练数据的高度压缩版本。

• 独立训练的模型如果共享同一种几何结构，能力就可能实现可替换，并降低集成成本。 Morris 的团队使用一种无需配对、类似 CycleGAN 的方法，对齐了架构、目标函数和数据都不同的 GTR 与 GTE embedding；这些表示「就这样完美地卡到了同一个位置」。商业价值在于，视觉、音频和语音适配器可以模块化叠加到 backbone 上，而不必重训整个系统，但现有证据仍停留在研究阶段。

• 尽管训练采用32-bit 精度，当前 transformer 似乎每个参数只利用了约3.6–3.9 bit 的记忆容量。 更好的架构、优化方法或测量方式可能抬高这一上限；如果能调用更多数值容量，就会形成巨大的算力杠杆。Morris 提醒，这还不是普适常数；主持人的关键反驳则是，最大化记忆能力可能只会得到「最好的实际压缩器」，而不是更强的智能。

• AI 人才市场对稀缺的研究判断力和基础设施能力给出的定价，远远领先于产品收入。 主持人提到，一名近期毕业于 Stanford、做过强化学习的研究者，所在的3人公司在没有产品的情况下估值达到$500M；Morris 认为，这笔估值买的可能是想法。Morris 表示，成为 GPU 专家后，研究者可以充当自己的研究工程师；主持人则认为，深入掌握新 GPU 架构的人极其容易被市场抢走。Morris 还将 Mojo、vLLM 和 SGLang 视为有前景的方向。

• 市场期待的微型「认知核心」仍未被证明存在，这意味着大型基础模型和前沿算力的需求仍将延续。 Morris 怀疑推理目前还无法与事实知识干净分离：模型至少要先知道该使用哪些搜索词，工具才帮得上忙。另一种设想是用小型、快速的模型配合检索、记忆和在线学习；但产业当前仍在建设「德州腹地里的5000亿美元数据中心」。

• 对研究者和创始人而言，最好的时间窗口出现在新范式刚刚出现之后。 Morris 的直接建议是，等范式转移发生后，「立刻尽可能快地开始重新实现它」；o1 于2024年9月出现后，围绕数据、评估和训练方案的一整套工作随即打开。他自己的 embedding 项目说明了坚持的回报：一个指标曾停在约30，后来爬到35，经过数月失败尝试后跃升至约97。

精读

1. ChatGPT 将前沿科学推离学术界

• Morris 于2017–2018年进入机器学习领域，当时 BERT 一类模型和学术研究仍被视为创新的重心。2020年和2021年参加 Google AI residency、并于2021年开始攻读博士时，GPT-3 已达到175B参数，但 InstructGPT 尚未出现；他当时预计，教授和研究生仍会是基础性想法的主要来源。

• ChatGPT 于2022年11月发布，成为分水岭。当 Morris 的祖母开始询问 ChatGPT 时，他意识到 AI 已经变成消费品类；与此同时，许多新的前沿问题已经无法靠学术资源回答。「整个 meta 都变了」：力量转向公司，原本开放的工作变得封闭，问题本身也发生了变化。

• 他给年轻学生的反直觉建议是：等待下一次范式转移，然后立即重新实现它。o1 于2024年9月出现后，一个不到1年的新领域由此诞生：先做复现，再追问什么数据、评估和训练方案才是正确的。在新领域里，「没有人拥有明显优势」。

• 人才市场的一个轶事捕捉到了这种扭曲：主持人提到，一名近期毕业于 Stanford、做过强化学习的研究者，其创办的3人公司在没有产品的情况下估值达到$500M。主持人称其「荒谬至极」，而 Morris 认为，这笔估值买的可能是想法，而不是公司当前的产出。

2. 算力差距让学术研究暂时停留在无效规模以下

• Morris 将125M参数的 BERT 模型与7B–8B系统进行对比。一个训练得再好的100M参数模型，可能面对几乎所有美国总统问题都回答 George Washington；到了8B参数，模型突然知道各国总统和首都。规模上的涌现改变了哪些研究问题值得研究。

• 学术实验室在决定购买多少块 GPU、以及买当前代还是上一代 GPU 时已经落后。Morris 严厉回顾称，大约两年时间里，学术界一直研究小模型，而产业界已推进到7B–8B规模，「这些研究基本都不重要」。如今资源获取已经稳定到足以让大学研究者微调并运行7B模型。

• 正式训练并没有弥合技能差距。Morris 说，大多数研究生只用1块 GPU，部分人会用多块 GPU，几乎没有人能在没有公司背景的情况下进行多节点训练：「他们什么都不教。」分布式 FSDP、DeepSpeed 和集群运维通常靠线上资料或同行传授。

• Morris 推荐 GPU MODE Discord、fast.ai 团队，以及主动联系 Microsoft 的 DeepSpeed 团队。主持人修正了此前对 CUDA 的轻描淡写：硬件只是模型知识的一部分，未必是最佳起点，但掌握现代 GPU 架构，就能进入一个规模极小、极其抢手的人才群体。Morris 认为当前的最佳切入点可能是 Mojo，并重点提到 vLLM 和 SGLang 等系统。

3. 深度学习需要一套衡量可用信息、而非仅存在信息的理论

• Morris 的起始例子是：普通英语与同样内容经过加密、变成不可读文本。Shannon 信息论认为两者包含的 bit 数相同，但前者可以立即理解，后者在计算上无法访问。2020年一篇关于计算约束下可用信息的论文提出的 V-information，试图衡量观察者实际上能够提取什么。

• 这一视角解释了预训练为何能帮助模型处理未见过的下游数据。随机权重与预训练权重可能包含同样数量的存储 bit，但预训练已经完成了一部分计算，使相关信息更容易被提取。Morris 将权重描述为训练数据与训练算法的非线性压缩，activation 则加入模型当前正在执行的计算。

• 他借用信息论诞生前的电话业作类比：当时工程师不断积累经验法则，直到 bit 成为信号、纠错和系统设计的共同单位。深度学习仍缺少对应的基础原语。「我不认为我们已经知道，就深度学习模型而言，一个 bit 究竟是什么」，他说，同时邀请其他人来定义它。

• 主持人做了一个粗略估算：GPT-3 拥有175B参数，以16-bit存储计约350GB，而 Wikipedia 约150GB，相当于2.3个 Wikipedia。两人随即指出，这个比较受到文本高压缩性的影响；tokenization 和 Kolmogorov complexity 都很重要。但 Morris 认为，这类算术有助于为原本抽象的问题建立尺度感。

4. 文本 embedding 是压缩记录，不是保护隐私的替代品

• 出发点同样是一个简单计算：OpenAI embedding 有1,536个维度，Morris 按半精度估算，每个向量约20KB，足以存储许多段文本。与此同时，获得巨额融资的向量数据库公司正在交换客户向量，而非原始文档，于是出现了一个实际问题：「他们到底在发送什么数据？」

• Morris 在经历大量探索、并放弃多个研究想法后，提出从 embedding 反向工程文本。最终形成的2023年论文《Text Embeddings Reveal (Almost) As Much As Text》，在重点设置下准确恢复了一个长句约90%的原文。他认为，部分向量数据库供应商随后修改了隐私政策，这让他颇有成就感。

• 研究过程与结果同样重要。数月的架构、解码和推理时适配实验，让一个指标长期停在约30；Morris 将其推到35后，以为项目已经结束。导师提醒他，提出一个新问题，却只展示指标从30升到35，既令人困惑，也未必有意义。之后团队找到了一种能将指标推到约97的方法：「谁能想到，embedding 里竟然能提取出这么多信息？」

• 后续研究将 inversion 变成了一项可解释性检查。一个去偏方法从「This woman is a doctor. She works at Weill Cornell」的 embedding 中移除了与性别相关的特征；恢复出的文本变成了「This person is a doctor. They work at Weill Cornell」。输出提供了人类可读的证据，证明潜在的性别信号确实发生了改变。

5. 独立训练的 embedding 模型收敛到共享几何结构

• 第一个 inversion 攻击假设攻击者知道 encoder，并可以反复查询。批评者指出，私有或经过微调的 embedding 模型会打破这一假设。尽管如此，Morris 的团队仍怀疑，独立训练的 encoder 会学习到相似结构，因为最近邻往往能够匹配，相关的微调模型有时也能交换表示。

• Platonic Representation Hypothesis 进一步强化了这一直觉：「所有模型都在世界的数据上训练，而世界只有一个。」随着模型使用的数据和质量提升，即使架构、基础模型和原始坐标不同，它们也可能向同一套底层概念收敛。

• 方法论灵感来自 CycleGAN。它可以在没有同一场景配对样本的情况下，把 Monet 的画作转换成照片，或把马转换成斑马，同时以某种方式保留动物、腿、草地和相机位置。Morris 的团队将这种无配对分布匹配思路重新用于 embedding 空间。

• 应用于基于 T5 的检索模型 GTR 和基于 BERT 的 GTE 时，该方法在训练数据、架构、目标函数和 embedding 都不同的情况下完成了表示对齐。主持人认为结果没有 Morris 认为的那么深刻，因为它符合自己的直觉。Morris 承认事后看来确实如此，但强调，拥有直觉与证明一个此前不可见的映射确实有效，是两回事。

6. 共享几何结构指向模块化模型，但压缩设定了硬约束

• 实际价值在于能够「把模型粘在一起」。Morris 将这一结果与一类系统联系起来：语言模型 backbone 常驻，而视觉、音频、语音或文本转语音参数只在需要时分别加载。如果 latent space 能够可靠对齐，能力就可以「互换、堆叠」，也更不容易发生灾难性遗忘。

• 他们围绕开源的讨论保留了一个重要区分。如果在 Hugging Face 发布权重就足够，那么 Gemma 可以算开源；若采用更严格的定义，则它只是开放权重，因为训练数据和完整代码都没有发布。两人都同意，真正能构建强大且高效模型的团队并不多。

• 上下文长度限制了 inversion。假设把整本书压缩进一个500维向量，那么只差一个词的两个版本可能发生碰撞；一旦有损压缩将不同输入映射到同一个编码，精确恢复就不可能。Morris 尚无定论，不知道多少文本能够被容纳；浮点精度又让理论答案更加复杂。

• 主持人最初是通过 contextual document embeddings 发现 Morris 的，并认为两阶段 CDE 技术可能是一种「免费午餐」。Morris 将这项工作与 inversion 和几何结构研究归入同一个问题：activation 中究竟表示了哪些信息和计算，而这些内容又如何区别于权重中存储的东西？

7. Transformer 的记忆能力在可测容量上触顶

• Morris 的容量实验用独立随机字符串训练语言模型，同时改变数据集大小。总记忆量先上升，随后达到几乎水平的平台；即使样本达到约100万条，平台仍然存在，说明模型容量相对稳定。他推测，transformer 可能只将参数或计算中的一小部分分配给每个互不相关的数据点。

• 内部实现仍是未知数。模型可能为每个样本建立独立的计算列，也可能学习通用的加载与存储操作，将许多随机字符串组合起来。Morris 希望研究这一机制，因为总体容量曲线已经很清晰，但「我完全不知道这些机制实际上是如何在模型内部实现的」。

• 对采用32-bit精度训练的 transformer，测得的容量约为每个参数3.6–3.9 bit。主持人的反应「直接存32 bit，不就行了」抓住了其中看似巨大的浪费。实际价值可能在于，预测某个数据集需要的确切模型规模和架构，或者最终解释为什么只训练不到1%参数的 LoRA 与全量微调会产生不同结果。

• Morris 不认为3.6是硬常数。Llama 风格或「GPT++」架构、更好的优化方法，或更合适的非线性函数，都可能将其推高；更好的测量方法也可能显示，可达到的容量其实接近5 bit。主持人的保留意见是决定性的：记忆不等于泛化，优化这个指标可能得到的是「Gzip」，而不是智能。Morris 同意，更好的方向或许是提出另一个问题。

8. 没有大量世界知识，微型推理核心可能无法存在

• 主持人引入了 Andrej Karpathy 所期待的「认知核心」：一种足够聪明、能够使用工具并将事实外置的最小模型，理想情况下可以在设备端快速运行。Gemma 3n 被描述为4B模型，并据称在某些未指明的竞技场中击败 Llama 4 和 GPT-4.1，被视为候选者。

• Morris 怀疑现有方法能否将推理与知识干净分离。主持人引用与 Noam Brown 的一次对话：推理被描述为涌现能力；如果将 o1 的 harness 套在 GPT-2 上，什么也不会发生，因为 GPT-2 缺少必要的基础能力，必须先具备 GPT-3 和 GPT-4 级别的知识，推理才可能运转。即使使用 Google，也必须先知道要输入哪些搜索词。

• 模型可以在不确定时学会搜索，从而减少将事实存储在权重中的必要，但 Morris 认为，这很可能需要在线学习、记忆，或两者兼具。愿景很有吸引力；已经部署的替代路径仍是不断扩大预训练，以及建设「德州腹地里的5000亿美元数据中心」。

• 人类是效率并不完美的存在证明：主持人估算，如果把人类大脑视为参数，大约有100万亿个神经元，但功耗约20瓦，而且连接可以通过自我修剪不断减少。Morris 留下的问题是：一个100M参数模型，是否能依靠特殊数据、架构或训练达到今天 o3 Pro 的水平，还是当前 scaling curve 已经暗示了某种平台。

9. 权重差异可以揭示隐藏训练集的形状

• 开放模型权重是另一种高密度信息存储。下载下来的模型是其训练语料的高度压缩变换，但 Morris 说，如果供应商进行私有训练，他会感到非常意外，并怀疑他们依赖的是目前还没有工具能够「解密」权重这一事实。他的长期目标，是将权重翻译回文本数据集。

• 他的 proof of concept 将问题简化为需要两个 checkpoint。在 DeepSeek 案例中，如果下载约400B参数的模型权重，会同时得到基础版本和微调版本；两者在参数空间中的差异，可以指示模型是基于什么数据进行微调的。考虑到围绕 DeepSeek 数据的公司和地缘政治争议，Morris 称这个 delta 是一座「没有解读器的宝藏信息库」。

• 这套方法不试图重新生成完全相同的样本，而是根据每个候选网页文档的梯度方向，是否与观察到的微调 delta 在权重空间中同向，为文档打分。选出得分最高的数据后，可以得到一个能够训练出相当强模型的语料库，但其表现仍无法匹敌原始模型。

• 设想中的用例是：当竞争对手发布基础 checkpoint 和微调 checkpoint 时，可以在极大规模的网页语料库中搜索最能复现其 delta 的样本。DeepSeek、Mistral 和 Llama 的发布让这一设置具备现实可能，但 Morris 强调，当前方法仍是早期近似，距离完成提取还很远。

10. 每次重大 AI 范式都将一种方法与新数据集配对

• Morris 借用 Thomas Kuhn 的《The Structure of Scientific Revolutions》，将进展划分为罕见的范式跃迁、随后的快速增量工作，以及最终的放缓。研究者喜欢在固定数据上击败前代模型的「漂亮新方法」，但他的历史判断是，真正改变系统能力的突破，始终伴随着新的数据范式。

• 第一次跃迁，是将深度神经网络与 ImageNet 的数百万张图像配对。第二次跃迁，是将 transformer、BERT 和第一个 GPT 与互联网规模预训练配对。Morris 赞赏 transformer 的惊人持久性，但认为真正关键的是抓取、tokenize 并从互联网规模文本中学习。

• 第三次跃迁是指令微调，其关键资产是正面和负面的人类偏好数据，而不一定是最初采用的强化学习技术，因为监督学习和 DPO 也能使用类似信号。第四次跃迁是推理，依靠来自数学、计算器、编程环境和单元测试的机器可验证反馈。

• 他提出了一个有意挑衅性的反事实：如果当时拥有正确的数据集，2015年前后的复杂方法，甚至 RNN，或许也能推进到类似 InstructGPT 的水平。他承认 RNN 的 scaling curve 更差，也不会声称 RNN 能复现推理模型。这个论点抬高了数据的重要性，但并未证明架构无关紧要。

11. 下一次范式无法预测，但其规模可以识别

• 主持人的反驳是，优化器和架构改进会直接转化为更低的有效数据和算力成本。前沿系统可能包含数百个叠加起来的小改进；如果 Muon 被采用，可能成为「原子级杀手」，而任何更好的优化器都能真正免费节省训练时间和成本。Morris 同意，这类改进的价值极其巨大。

• 数据论点提供的是一层筛选标准：推理之后出现的下一种范式，其规模应当与 ImageNet、互联网文本、人类偏好或符号验证相当，而不应只是又一次小型 benchmark 改进。Morris 暂时提出的候选包括视频、具身 AI，或「某种我们尚未使用的新数据源」。

• 他拒绝凭空制造预测：「预测未来太他妈难了。」推理模型从2024年9月的 o1 开始，可能还有数年高产期，因此第五次范式只有在事后才会显得显而易见。这种不确定性被保留下来，而没有被包装成一份自信的产品路线图。

• Morris 当前的研究重点仍是模型权重和 activation 中包含的信息，包括容量、表示对齐、inversion 以及底层机制。他形容自己的论文位于「所有可能问题中一个非常小的流形」上，并邀请在相邻领域工作的合作者加入。