探索统一文本到文本 Transformer 的迁移学习边界

摘要

• T5 的实践意义，在于把众多 NLP 任务统一到一个“文本输入、文本输出”的接口之下。 翻译、摘要、分类、推理、回归和问答可以共享同一套损失函数与解码流程，从而简化下游迁移学习。但讨论中的保留意见至关重要：这条指令可能只是模型学到的任务标识符——“三明治很好吃”或许和“翻译成法语”一样有效——而不代表模型真正理解了请求。

• 最不起眼的消融实验给出了最强结果：增加计算量和参数量，胜过巧妙的架构微调。 训练步数增加到4倍后，GLUE 基线从83.28升至85.33；通过扩大前馈层将模型规模翻倍、训练时间延长1倍，又增加了约3个点。只有“与规模结合”后才出现SOTA，这使计算资源、硬件和数据成为关键投入。

• 数据经济仍是非线性的：质量和领域匹配有帮助，但多样性可以避免有害重复。 Google 将6.1 TB的 Common Crawl 压缩成745 GB的 C4 语料；在被引用的比较中，一个约35 GB的高质量 WebText 子集得分显著高于过滤后的 C4。领域内预训练提升了相关任务表现，但语料过窄、样本重复过多时，反而会造成伤害。

• T5 的架构结论偏向原始 Transformer 编码器-解码器，而不是另造一种拓扑。 在计算成本相近的情况下，它的参数量约为仅编码器 BERT 或仅解码器 GPT 式模型的2倍；共享编码器与解码器参数后，参数量可减半，性能却没有明显损失。尚未解决的问题是：有用的“子程序”是否真的被共享，还是注意力头在悄悄按任务分区。

• 大多数去噪目标的表现相近，因此优化目标转向更便宜的输出。 只重建被掩码的片段即可取得相近表现，同时缩短目标序列、降低训练成本；即便奇怪的目标“for inviting / last”，也能补回“Thank you … me to your party … week”中的两个空缺。不过 Connor 的反应值得重视：从约83升至84.4，显然不能直接视为无关紧要。

• 模型压缩带来部署机会，也留下一个尚未解决的训练悖论。 DistilBERT 被描述为体积缩小40%、速度提升60%，同时保留教师模型约97%的性能；但同一个小网络直接训练时却无法达到这一水平。过参数化似乎让优化先行成功，之后才能压缩知识，“这是整件事中更诡异的方面之一”。

• 基准赛道的领先，无法干净地区分算法优势与资源优势。 即使是严谨研究，语料、超参数、训练时间和硬件也各不相同；受限竞赛回答的是部署效率问题，而不设上限的竞赛则暴露出“只有在规模上来后才会出现的效应”。小组给实践者的规则是，把不同论文中反复出现的技术“结晶出来”，不要轻信任何单一排行榜结论。

• C4 更偏好多样化的规模，而不是反复挖掘的纯度。 Google 的6.1 TB Common Crawl 数据清洗后变成745 GB，而在被引用的比较中，一个约35 GB的高质量 WebText 子集得分显著高于过滤后的 C4。私信或许能提供更好的文本数据，但大型 Transformer 可能会记住训练数据，并在其间做插值。

• 领域暴露和原始规模主导迁移学习配方。 Wikipedia 预训练帮助了 SQuAD 式问答，却可能损害 CoLA 式可接受性判断，因为百科文本中几乎没有不可接受的句子。无监督预训练最终仍胜出，但小组认为，其大部分优势来自更多数据和更长训练时间。

• 开放预训练模型让复杂语言能力民主化，但可靠性仍是另一个产品问题。 可下载的 T5 类系统让用户无需购买云端认知服务即可使用翻译和问答能力，但模型储存的事实仍可能来自记忆与插值，而非有依据的理解。对于生产级聊天机器人，小组更偏好边界明确的动作、意图识别和一致性测试，而不是令人印象深刻却难以测试的无限制文本生成。

精读

1. 预训练让语言模型成为隐式知识库

• Tim 的历史框架始于脆弱、手工编写的知识图谱：过去要回答“我们在哪一年赢得了第二次世界大战？”，需要先建立明确的本体。预训练 Transformer 则会“积累关于世界的知识”，让模型在 Wikipedia 等来源上训练后，无需工程师手动编码每一条关系，也能回答事实性问题。

• 这条路径始于 Word2Vec 的2013年 skip-gram 模型：全连接网络、负采样，以及一个对比式问题——这个词是否属于那个词的上下文？它生成了有用的嵌入空间几何结构，但词仍是原子单位，无法表达语言中长距离、多尺度的依赖关系。

• ELMo 的双向 LSTM 开始捕捉序列上下文；Jeremy Howard 和 Sebastian Ruder 的 ULMFiT 则明确提出迁移学习：先预训练一个下一个词预测模型，移除其最后几层，再接入情感分析或其他下游任务的分类器。预训练网络自带已经学到的概念，等于扩大了可用训练集。

• Vaswani 在2017年的《Attention Is All You Need》中引入了一种不同的架构；2018年11月，BERT 随之出现，具备双向上下文、掩码语言模型、下一句预测，以及一个接近3.4亿参数的大型版本。GPT-2 约有15亿参数，使用40 GB的精选语料；约1年后，Microsoft 的后续模型被引用为约170-180亿参数，讨论中后来将其称为 Turing-NLG。

2. T5 让所有语言任务都变成文本续写

• 这篇论文的核心工作是比较，而不只是提出架构。在 BERT 变体“海啸般涌现”——RoBERTa、ALBERT、DistilBERT、SpanBERT 等——之后，论文在同一套迁移学习流程中，分别隔离了目标函数、架构、数据集规模与构成、训练时长、多任务训练计划和模型规模等变量。

• T5 将任务本身表达为文本：“translate from English to French:”置于源句之前；摘要、自然语言推理、分类、回归和问答也使用同一套损失函数与解码流程。这一框架无需针对不同任务类型更换架构，也能匹配任务专用架构；最终，在与规模结合后取得了SOTA结果。

• Connor 从开发者角度的解读是，标准化的输入输出契约让迁移学习更容易。小组对“现在一切都是文本了”的兴奋，伴随着 Yi 对“魔法究竟在哪里”的不确定：目标函数、语料、架构，还是规模？统一训练的多任务版本表现出人意料地好，但最佳结果仍来自分别进行的下游微调。

3. 原始编码器-解码器在架构竞赛中胜出

• 小组拆解了 Transformer 的3种形态。BERT 的编码器将输入序列映射为等长输出，适合分类或片段预测；GPT 式仅解码器模型使用因果掩码，以自回归方式生成；编码器-解码器则先表示源序列，再生成可能长度不同的输出，这正是翻译所需要的形式。

• T5 发现，原始编码器-解码器最适合其文本到文本的设定。虽然参数量是仅编码器或仅解码器替代方案的2倍，但计算成本相近；在编码器与解码器之间共享参数后，总参数量减半，性能却没有明显下降。

• Yi 推测，层可能实现某些共同的、类似程序的子程序——例如特征聚合或排序——并可以被反复调用。更广泛的直觉是，一个更大的共享模块，可能比两个更小、彼此隔离的权重集合更有用。

• Tim 觉得反复应用同一变换很奇怪，并追问模型为什么不能直接跳过这一步。尚未解决的实证问题是：表示是否真的被共享，还是模型把不同任务分配给不同的注意力头。

4. 注意力移除了递归，但仍需要一把位置标尺

• 递归网络必须让早期出现的主语穿过其间的每个词，才能解析之后“his friend”这类短语的指代关系。Transformer 则可以在一次注意力步骤中直接连接任意两个词，把信息路由到正确的序列位置，并在没有漫长递归路径的情况下建模长距离、多尺度关系。

• 这种灵活性并非没有代价。Transformer 的输入长度有上限，而且“极其吃内存”；没有位置信息时，注意力知道内容，却不知道内容来自哪里。CNN 虽然易于并行化，但需要多层局部运算来传递远距离信息，因此长距离依赖可能逐步损失。

• Tim 将正弦位置编码称为“给模型一把标尺”。快速波编码局部邻域，慢速波编码更宽的距离和尺度。3D 面部扫描仪的类比让这一点更直观：以逐渐精细的尺度投射黑白图案，让每个像素获得独特的多尺度位置编码。

• Tim 的质疑集中在对称性：绝对位置是否可能意外地把某种语言模式绑定到输入开头？小组成员认为，重复波形仍能编码相对模式，例如相距2个位置的词，或更大尺度上的从句。对方还提到，T5 似乎用一种可学习的标量式位置方案取代了固定的正弦波。

5. 蒸馏暴露出优化悖论

• DistilBERT 给出了部署端数据：学生模型体积缩小40%、推理速度提升60%，同时保留教师模型约97%的性能。训练大模型再进行压缩，早已是行业惯例，因为部署完整 Transformer 的成本很高。

• 诡异之处在于，在相同数据上直接训练更小的架构，无法复现蒸馏模型的性能。过参数化似乎让优化过程“乐于接受训练数据”；大模型学会有用行为后，这些行为又以某种方式被转移到一个原本无法独立发现它们的容量中。

• 彩票假设的类比进一步凸显了这一疑问。一个庞大网络包含组合数量极多的潜在子网络，因此其中某个子网络一开始就带有有用归纳偏置是合理的；随后随机梯度下降就像“从一块黏土上不断削去多余部分”。方法确实有效，但小组称其为“一种糟糕透顶的做法”。

• Connor 持不同意见，认为蒸馏的收益可能更多来自标签平滑，而不是字面意义上的特征迁移：教师模型的软概率传递了类别关系和嵌入距离。小组提出了基于对比距离的蒸馏、跨架构迁移等开放问题。在 T5 自己的规模消融中，新增参数进入了前馈模块，而不是注意力头。

6. 便宜的去噪目标比奇特的破坏方式更重要

• T5 发现，大多数重建受损文本的目标函数表现相近。因此，它的实际建议是从计算角度出发：选择目标序列更短的方案，只重建缺失内容，而不是根据原始输入重新生成所有未被掩码的词。

• 一个引人注目的例子是：输入相当于“Thank you [gap] me to your party [gap] week”，目标只包含“for inviting”和“last”。尽管这句话有许多语法上合理的补全方式，模型仍能把多个输出片段对应到恰当的空缺位置。

• 比较覆盖掩码词、连续片段、随机词替换和打乱文本；打乱文本的表现很差。讨论的重点是片段掩码相对于 BERT 式词级掩码的关键区别。Connor 认为，在 GLUE 式任务中从约83升到84.4，即使小于规模扩张带来的收益，也依然有意义。

• ELECTRA 引发了真正的分歧。它的小型生成器填入被破坏的词，再由更大的判别器判断替换内容是真还是假；小组成员担心，这种二元目标所携带的信息少于语言生成。另一种观点是，标准目标错误地坚持语料中的唯一词，而实际可能有20种替代表达都合理；判别任务则可以容纳多种可能的补全。

7. 基准胜利无法干净地区分算法与资源

• 小组成员的直白立场是：“我基本不相信任何论文里的任何数字。”一种新目标函数往往伴随着更多计算、更换语料，或某个未被明说的训练技巧。即使做了大规模消融，也很难让架构、优化器、超参数、数据和计算真正可比。

• 仔细标准化后的复现同样可能失败。小组回忆了《All GANs Are Created Equal》的一次比较：其网格实验忽略了原作者的警告，即该方法在一个优化器上有效，在另一个上却无效。统一评估有时恰恰因为算法需要不同运行条件，反而变得不公平。

• Tim 保留了 François Chollet 的反对意见：Kaggle 式优化可能产生针对基准量身定制的解，而不是解决真实问题。棋类系统的任务表现也不同于人类智能：人类的成就包含动态学习这项技能，而不只是执行一种固定能力。

• 但如果必须二选一，小组成员仍偏好开放竞赛：“不管你必须做什么，都去做”，至少能揭示可达到的最高分。DAWNBench 这类受计算上限约束的竞赛，则回答另一个同样有用的部署问题。一位同事的反驳是，10亿参数模型和50 TB数据集可能揭示“只有在规模上来后才会出现的效应”。

8. C4 更偏好多样化规模，而非反复挖掘的纯度

• Google 从 Common Crawl 构建了 Colossal Clean Crawled Corpus：约6.1 TB数据经过启发式清洗后变成约745 GB。小组特别提到删除 JavaScript、保留以句号结尾的句子，以及对内容去重；被丢弃的数据量说明原始互联网文本有多嘈杂。

• 领域过滤数据提升了部分下游任务表现，但缩窄领域也会缩小语料规模。当预训练把一个小型无标签数据集重复过多次后，性能开始下降。这一结果推动 C4 采用广泛多样性，以服务通用语言理解，而不是对一个所谓更纯净的细分来源无休止地重复训练。

• 一个约35 GB的高质量 WebText 子集，在被引用的比较中仍取得了显著高于过滤后 C4 的得分。它被描述为经过过滤的高质量新闻材料，看起来由 Reddit 链接、且至少获得3次赞的文章组成。这再次激活了质量与规模之间的张力，也引出了隐私担忧：私信或许能提供异常自然的对话文本，而大型 Transformer 可能是在记忆数据，而非抽象出数据背后的规律。

9. 领域暴露与原始规模主导迁移学习配方

• 领域内暴露解释了通用预训练无法带来的部分收益。Wikipedia 预训练帮助了 SQuAD 式问答，却可能损害 CoLA 式可接受性判断，因为百科文本中几乎没有不可接受的句子。正如 Tim 所说，词义也会随领域变化：“default”在金融语境中尤其带有负面含义。

• 无监督预训练最终仍胜出，但小组认为，其很大一部分优势来自更多数据和更长训练时间。监督式多任务预训练被描述为只比无监督结果落后约3个 GLUE 点；在分别微调每项任务之前，先对多个有标签任务进行联合训练，也能显著提升表现。

• 最清晰的规模数据来自主消融实验：GLUE 基线83.28，在训练步数增加到4倍后升至85.33。通过前馈层将参数量翻倍、训练步数增加到2倍，带来了约3个点的提升，超过了大多数去噪目标变体的影响。

• 多任务规模扩张也制造了新的失衡。统一采样任务会让部分任务训练不足、另一些训练过度，因此 T5 引入温度参数，根据任务贡献调整权重；无监督目标也可能压过监督任务。Connor 将这一问题与灾难性遗忘、持续学习、神经调制和稀疏条件路由联系起来，但这些机制仍停留在推测层面。

10. 没有落地依据的记忆仍是智能鸿沟的核心

• 小组成员怀疑，大型 Transformer“只是记住了整个训练语料”，再对熟悉模式的混合结果做插值。因此，闭卷式事实回答可能更像一个存储知识库，而不是有依据的理解。GPT-2 在语言模型预训练后能够回答问题之所以令人印象深刻，正是因为答案很可能曾经出现在训练数据的某处。

• 在这一框架下，落地依据意味着通过具身经验理解“拐角处有一辆车”意味着什么：车是物体，会占据道路，而房屋可能位于道路之间并遮住车辆。文字冒险游戏提供行动和后果，但扩展这类环境往往需要程序化生成器；其重复性语法会让模型利用模板，而不是学习世界。

• Connor 反驳说，足够多的多模态经验——通过语言进行 Street View 导航、PointNav、RoboTHOR、“Read to Fight Monsters”、音频或游戏反馈——或许能让网络建立与人类相同的连接。人类同样只能通过输入信号接触世界；如果机器拥有足够多的模态，也许可以形成相当的连接，并且比人类更完整地记住这些连接。

• Tim 回到了深度网络“不会外推，只会插值”的结果：一个在−5到5之间被训练来复现 f(x)=x 的网络，在多种激活函数下都无法处理范围之外的输入。小组成员追问，究竟是哪种先验允许一条直线永远延伸，而不是回归均值；生成模型和解耦编辑提供了更丰富、但仍未解决的泛化思路。

11. 开放模型让 NLP 民主化，但生产环境仍需要约束

• Tim 的实践结论是，可下载的预训练模型已经让过去局限于 Microsoft 或 Google 云服务的能力实现了民主化。开发者可以收集一批深度学习论文，先进行自监督预训练，再完成标注，随后微调出复杂的翻译或问答系统，无需自行收集互联网规模的监督数据。

• 语言能力可能比视觉能力更快实现民主化，因为高质量文本语料只需占用几十 GB；相比之下，被引用的 FaceNet 系统使用了约2600万张人脸，这是一个极具价值、却无法从 Google 直接下载的数据集。小组成员提出的另一种解释是表征压缩：词语能够高效编码声音与意义，而一种同样紧凑且可重建的自然图像表征仍未被发现。

• 小组拒绝把自由生成等同于有用的聊天机器人。大多数生产级机器人都是由静态规则加意图识别构成的接口；对于“你感觉怎么样？”，GPT 的无限制回答几乎没有运营价值，也难以测试。自然语言的多样性还会使系统难以快速适应用户描述同一问题的不同方式。

• 逻辑一致性测试或许能帮助治理这类系统：如果图像问答说有3只靴子，那么“有靴子吗？”就应得到肯定回答。但小组成员提醒，人类自己也会在换一种说法的性格问题上前后矛盾，讽刺和夸张也会破坏表面上的等价关系。因此，工程目标不是实现完美逻辑一致性，而是在部署前获得一个可衡量的理由，判断模型何时不可靠。