教会 AI 看见：与 Veratai 的 Will Hardman 深度解析视觉语言模型技术

摘要

• 即便多模态对于 AGI 是否必要尚无定论，视觉语言模型也正在成为实用的平台层。 Hardman 提到医疗辅助、保险理赔核验、内容审核、文档索引和商品目录等场景；而机器人最终还需要把视觉与音频、触觉和雷达结合起来。研究上的押注是，整合不同模态可能让系统对世界的理解实现“另一种变革式跃迁”，但强大的纯文本推理能力意味着这一结论尚未得到证明。

• 最终胜出的架构出人意料地模块化：编码图像，把它接入语言模型，再让语言模型负责推理。 Flamingo 加入了可训练的交叉注意力和一个包含64个 token 的 Perceiver Resampler；LLaVA 则证明，更简单的投影层也能把连续视觉嵌入直接注入解码器流。Labenz 将其概括为跨模态“拼装”（Frankensteining）：通过学习到的桥接层连接冻结系统，同时不破坏语言模型。

• 训练数据，尤其是数据的顺序与质量，看起来越来越比任何单一连接器设计更具决定性。 Flamingo 证明了交错网页文档的重要性；LLaVA 使用 GPT-4 和 COCO 元数据合成了约150,000条指令样本；Qwen-VL 则从宽泛、低质量的对齐数据，转向更高分辨率的多任务预训练，再进行监督微调。反复出现的配方是：“质量上行、规模下行，同时逐步解冻更多参数。”

• 中国开源模型在视觉语言基准上已经能与西方闭源系统正面竞争。 上海的 InternVL 2.5、Alibaba 的 Qwen2-VL 和 ByteDance 的 LLaVA-OneVision，在文中引用的基准上与多款闭源系统并列甚至领先。InternVL 通过渐进式扩展，用约1200亿 token 达到了与文中 Qwen2-VL 对比结果相近的 loss，后者使用了约1.4万亿 token。

• 仅解码器融合通常最有利于推理和 OCR，交叉注意力则保留效率并能保护语言能力，而 NVIDIA 的混合架构暗示最终形态可能兼用两者。 NVLM 将全局缩略图送入自注意力，同时把高分辨率切片留给交叉注意力，在 MMMU 验证集上比两种纯架构都高约1个百分点。Hardman 的判断仍然谨慎：结果很有意思，但现在断言混合架构普遍更优还为时过早。

• 推理基准的进步掩盖了基础感知能力上的巨大缺口。 MMMU 从 GPT-4V 在2023年11月约55%的成绩，升至据报道 o1 接近78%的水平；但 BLINK 显示，GPT-4 Turbo 在视觉 IQ 题上的得分只有32.7%，而人类约为80%，计数和经过光照校正的表面颜色判断也依然薄弱。“推理可以弥补部分感知缺陷”，但实际应用仍需要针对具体任务评测，并配合结构化提示词。

• Transfusion 为从图像理解走向真正的多模态生成与编辑提供了一条有前景的路径。 Meta 的研究在同一个 Transformer 中结合连续图像表示、扩散损失和文本下一个 token 预测；据报告，在计算量约为早期量化 token 方法三分之一的情况下达到了相当的图像质量，文本 loss 所需 FLOPs 也只有一半。它能够精准执行移除物体、改变颜色、保留场景等编辑，说明统一多模态系统可能优于那些只把提示词交给独立扩散模型的流水线。

• 不存在通用最优模型，选择应当服从工作负载和具体基准。 截至节目在2024年12月20日的节点，据报道 o1 在 MMMU 上约为78%，Qwen2-VL 在 DocVQA 上达到96.5%，InternVL 2.5 在引用的 BLINK 结果中以63.8%略微领先，Gemini 2.0 Flash 在小模型组的 MMMU 得分约为70.7%，而4B参数的 Phi-3.5 Vision 在 BLINK 上达到58.3%。持久有效的结论是，模型选择高度取决于任务、数据和评测方式。

精读

1. 在证明多模态对 AGI 必不可少之前，它已经有实际价值

• Hardman 的实用主义论据始于那些天然需要整合多种证据的工作负载：医疗影像加患者病史、社交媒体图像加文字、商品照片加目录描述，以及将车辆损伤照片与保险报告进行核对。这些并不只是图像描述任务；模型必须判断视觉证据是否支持某项上下文判断。

• 更长期的工程论据是可组合性。学会整合图像与语言，是构建能够进一步结合音频、触觉和雷达的系统的第一步——机器人要做饭、操控物体并应对不断变化的物理环境，就需要这些模态。

• Hardman 保留了哲学层面的不确定性：前沿语言模型已经展现出抽象能力、世界模型和复杂推理能力，目前没有明显证据表明它们触及了能力上限。因此，多模态可能并非 AGI 的必要条件，但也可能让系统理解和推理世界的能力实现“另一种变革式跃迁”。

• Labenz 预计，这个问题最终会变成反事实问题：多模态系统是如此明显的“阻力最小路径”，研究者可能永远无法知道，纯语言 AGI 是否原本也能成功。他预计多模态会“迟早”成为常态。

2. Vision Transformer 把图像变成 Transformer 可以处理的序列

• 2020年的论文《An Image Is Worth 16x16 Words》用一套简单方法取代了当时主流的卷积滤波器堆栈：将图像切成互不重叠的 patch，把每个 patch 展平，映射成连续嵌入，再将得到的序列送入采用全注意力的 Transformer 编码器。

• 与因果语言注意力不同，每个图像 patch 都可以关注其他所有 patch，因为图像代表的是一个同时呈现的场景。原始模型在序列前添加分类 token，并训练它识别图像类别，Hardman 将这种设置比作 BERT 式分类。

• 一张224x224的图像切成16x16的 patch 后，会产生196个视觉 token。后续 VLM 通常保留整段隐藏状态，而不是只保留分类向量；这样得到的表示更丰富，但也带来了可观的 token 和注意力成本。

• 模型命名包含有用的设计信息：ViT-H/16 表示“huge”级别的 Vision Transformer，约有6亿参数，patch 大小为16x16；ViT-G 则表示比 huge 更大的“giant”模型。分辨率和 patch 大小共同决定了有多少视觉细节能够保留下来。

3. 视觉“token”是连续表示，而不是固定词表

• Labenz 强调了它与文本 token 化的差别。文本 tokenizer 从固定词表中选择 token——可能约有100,000个——每个编码都能映射回一段文本；视觉 patch 则会经过一个学习到的矩阵，最终成为连续空间中的向量。

• Transformer 注意力并不要求输入必须离散化。模型可以直接处理连续向量，尽管研究者通常宽泛地称其为视觉 token。在前述分类设置中，并不需要图像 codebook。

• 这一差别让模型的潜在输入空间远大于普通文本嵌入所能触及的集合。后来的连接器架构正是利用了这种自由度：图像投影可以把向量放入语言模型嵌入空间中的某些区域，而这些位置不可能由任何词表 token 直接占据。

• 早期系统仍然施加了严苛的预处理。图像会被缩放，有时还会被拉伸成固定的224x224正方形，但模型依然取得了出人意料的能力。Labenz 指出，现代 API 已经替开发者隐藏了这项负担，而当前领先模型能够保留更多高分辨率和宽高比信息。

4. CLIP 让语言对齐的视觉编码器成为可复用基础设施

• OpenAI 在2021年推出的 CLIP，将视觉编码器与文本编码器配对，并使用从网络抓取的图像—标题对进行联合训练。对于每个批次中的 N 个正确配对，对比学习目标会奖励这 N 个匹配，同时惩罚 N²−N 个错误配对。

• 这一机制把图像与其标题在嵌入空间中拉近，同时推远无关组合。训练完成后，CLIP 支持开放式图像检索和分类；但它更重要的遗产，是提供了一个已经部分与语言对齐的 Vision Transformer。

• 研究者可以拆出经过 CLIP 训练的 Vision Transformer，再把它接入生成式语言模型，从已经编码了大量语言相关概念的视觉表示出发。

• 这把问题从识别 ImageNet 的固定类别，转变为匹配任意自然语言描述。对应用开发者而言，基本流程甚至简单得有些滑稽：编码查询图像和候选图像，计算余弦相似度，再排序。

5. CLIP 的嘈杂网络监督揭示了数据质量为何成为核心问题

• Labenz 回忆，他曾使用 CLIP 为小企业视频挑选图片。CLIP 能检索语义相关的图像，但如果一张图中出现了“pizza”这个词，文字本身可能压过对披萨的视觉理解，暴露出噪声标题、笑话、诗歌和弱相关描述留下的伪影。

• 美学是更大的盲区。CLIP 能识别内容，却几乎没有信号判断一张照片是漂亮、丑陋、专业还是尴尬；而当一家企业的 Facebook 照片从精致营销素材到低质量用户上传内容混杂在一起时，这一差别在商业上非常关键。

• Hardman 认为，后来业界“越来越痴迷于过滤高质量数据”，正是对这一问题的直接回应。网络规模带来了真实信号，但图像与文本之间的对应关系过于嘈杂，会限制模型表现，尤其是当模型需要对视觉内容进行推理，而不只是检索时。

• 这一教训贯穿之后的每一种训练配方：数据必须保留像素内容与语言表述之间可靠的对应关系。合成标题、去重、安全过滤和任务特定增强，都是试图大规模制造这种对应关系。

6. Flamingo 通过交叉注意力确立了现代 VLM 范式

• DeepMind 的 Flamingo 被称为 VLM 的“GPT-3 时刻”，它将视觉编码器与 Chinchilla 语言模型骨干结合起来。它没有重新训练整个语言模型，而是在大约每4个既有 Transformer block 之间插入新的交叉注意力层。

• 在交叉注意力中，源自语言的 query 会从编码后的图像中检索 key 和 value。语言模型继续负责下一个 token 的推理，新加入的层则学习视觉证据应在何处改变输出；大部分预训练骨干可以保持冻结。

• 交错提示词中的特殊图像标记并不是需要预测的普通 token。它们告诉语言模型何时检索视觉上下文，从而让模型能够在图像之后生成下一个文本 token。

• Flamingo 在视觉问答、OCR 和图像描述上都取得了有竞争力的表现，包括少样本能力，而且不需要独立的任务特定模型。它的效率和任务覆盖面使其成为奠基性工作，尽管 DeepMind 并未广泛开放该模型。

7. Perceiver Resampler 让任意图像输入在计算上变得可控

• 当提示词中包含数量或尺寸不同的图像时，交叉注意力会产生维度问题。Flamingo 的 Perceiver Resampler 用64个学习到的 latent query 解决了这一问题：无论输入多少视觉 token，这些 query 都能对其进行注意，并始终输出64个视觉向量。

• 标准注意力会形成一个序列长度平方规模的矩阵，因为每个 query 都要与每个 key 交互。用64个学习到的 query 替代长度随输入变化的 query 后，昂贵的维度就从序列长度平方变成序列长度乘以64；Hardman 举例称，输出可以是64个、每个约768维的向量。

• Labenz 认为，这证明了“所有这些潜在空间有多么可塑”。任意视觉序列都可以被重塑成固定大小的接口，再交给一个从未用图像训练过、也不知道这些向量来源的冻结语言模型。

• Hardman 仍然对其有效性感到惊讶：这一操作感觉像是“把图像倒进搅拌机”，但训练却能保留有用特征。压缩也可能损害精细空间结构，这后来被认为是 OCR 变弱的原因之一。

8. 交错文档提供了标题配对无法提供的上下文

• Flamingo 的另一项重要贡献，是证明孤立的图像—alt-text 对并不够用。网页文档保留了文档对象模型中段落与图像的大致顺序，让模型可以从视觉和语言交替出现的丰富序列中学习。

• 在下一个 token 训练过程中，图像标记会触发对相应视觉表示的检索，文本则在其周围继续展开。这比“一张图加一条短标题”更接近真实的多模态文档。

• Hardman 表示，交错数据非常重要，尤其是对少样本学习。Hugging Face 后来的消融实验发现，在其他训练条件相近的情况下，移除交错图文文档会带来显著的性能下降。

• 这一发现也解释了为什么包含 HTML、PDF 和学术文档的新兴语料库很重要。它们保留的是跨模态关系，而不只是浅层的单一标注关系。

9. LLaVA 证明直接注入视觉 token 可以媲美定制融合堆栈

• LLaVA 选择了自回归、仅解码器架构，而不是 Flamingo 的反复交叉注意力。一个学习到的投影层将 Vision Transformer 的连续输出映射到语言模型的嵌入空间，然后把这些视觉向量直接加到文本序列之前。

• 从此以后，骨干模型会把图像和文本表示当成一条因果流来处理。Labenz 的说法很形象：系统把图像转换进了“文本嵌入空间”，尽管这些向量可以占据任何真实文本 token 都无法到达的位置。

• 这种架构比交叉注意力更简单，但计算代价更高：每个视觉 token 都必须在解码器注意力中展开。投影层的可训练参数也更少，因此当它耗尽对齐能力后，继续提升表现可能需要解冻骨干。

• 解冻会带来灾难性遗忘风险。Hardman 引用 Hugging Face 的比较称，在7B参数级别的模型中，交叉注意力可能引入约25%的可训练参数，而更简单的投影路线约为10%。

10. LLaVA 真正的突破是合成视觉指令微调

• LLaVA 从 Microsoft COCO 出发，使用约200,000张包含描述和边界框的图像。团队把这些结构化文本信息——而不是图像本身——交给 GPT-4，让它假装自己能够看见场景并编造一段对话。

• 边界框让 GPT-4 能够提出“汽车左边是什么？”这样的空间问题。标题支持事实性问题，而综合场景描述则可以生成更高阶的提示，例如装载行李的人可能会遇到什么困难。

• 由于问题和答案都由 GPT-4 生成，这套流程无需人工编写每一轮对话就能产生监督数据。最终数据覆盖多轮对话、区域级 grounding 和视觉推理，而不只是通用图像描述。

• 训练先使用约600,000对图文进行初始对齐，再使用约150,000条更丰富的合成指令样本。最终模型在复杂推理任务上超过同时代模型，并略微改善了对话任务，证明任务多样性是重要的能力驱动因素。

11. 合成数据改变了多模态应用的标注经济学

• Labenz 将 LLaVA 的配方与自己从视频中提取屏幕文字和时长的工作联系起来。他没有搭建标注团队，而是手动解决约10个样本，微调一个模型，让它尝试接下来的100个样本，修正失败结果，然后循环迭代。

• 这个任务对人类来说很别扭，外包又需要大量基础设施，但这种方法可以在几天内为一个新领域能力完成冷启动。这段经历让他相信，前沿模型能够帮助开发者绕开许多陌生任务天然存在的数据瓶颈。

• Hardman 给出了平行的多模态例子：生成带有已知 ground truth 的 OCR 干扰图像，或者根据已知文本生成 LaTeX 文档，从而构造成对的视觉和语言样本。关键约束不只是数据量，而是跨模态对应关系是否可信。

• 最高质量的指令数据依然昂贵，而且往往是专有的。如果没有 GPT-4 这样的前沿模型来生成数据，要同时达到所需的规模和质量会很困难。

12. MMMU 在专家领域拆分了感知、知识与推理

• Massive Multi-discipline Multimodal Understanding，即 MMMU，包含约11,000道题，覆盖约30个领域，包括医学、历史、电子、市场研究和音乐。来自不同学科的学生从教材、讲座和在线材料中选题，题目需要领域专业知识。

• 有些问题会要求判断哪份乐谱构造了错误的和声音程，或者要求进行数学推理。每题有4个选项，随机作答得分率为25%；要答对，模型既要看懂图表，又要掌握学科知识，还要完成推理。

• MMMU 在2023年11月发布时，GPT-4V 得分约55%；引用的最强开源模型 LLaVA 变体约为34%。截至节目在2024年12月20日的节点，据报道 o1 约为78%，比 Hardman 对比中的下一名模型高约8个百分点。

• 一个有启发性的基线是：给纯文本 GPT-4 提供 OCR 输出，或给它提供 LLaVA 生成的标题，而不是原始图像；它仍然达到约34%。这说明推理贡献很大，而剩余差距取决于模型能否准确提取和使用视觉信息。

13. Qwen-VL 将多模态预训练变成分阶段课程

• Alibaba 的 Qwen-VL 系列采用 Qwen 语言骨干、Vision Transformer，以及一个包含学习到的 query 的连接器；连接器会先压缩视觉 token，再把它们放入自回归解码器。它更持久的贡献，是三阶段训练课程。

• 第一阶段使用图像标题和交错语料，同时冻结语言模型。图像被缩放到224x224，只有视觉编码器和连接器学习初始对齐，从而避免已经具备能力的文本模型受到噪声视觉监督的干扰。

• 第二阶段将分辨率提升至448x448，相当于4个 tile；同时解冻整个模型，并引入多任务材料，包括合成 OCR、边界框 grounding、视觉问答和文档问答，以及用于保持语言能力的纯文本样本。

• 随后进行规模更小的监督微调，使用最精心构造的提示词和图像增强。Labenz 对这一模式的总结是：先让各组件“站在同一页上”，再让它们端到端共同适应，同时继续混入普通文本，避免通用模型对视觉过拟合。

14. 开源多模态数据从标题扩展到了万亿级文档

• LAION 提供了约58亿对经过质量过滤的图像—标题数据。近期的交错语料库改变了开源研究者可获得的规模。由包括 Salesforce 在内的多方团队参与的 MINT-1T，包含约1万亿 token，覆盖 HTML、PDF 和研究论文。

• 上海 OpenGVLab 发布了 OmniCorpus，约包含22亿份文档、80亿张图像和1.6万亿文本 token。这些语料库捕捉了图像与段落之间的关系，更接近生产系统需要理解的真实文档。

• Hardman 将 InternVL 2.5 引用的1200亿 token 训练，与 Qwen2-VL 约1.5万亿 token 的训练进行对比，并指出 OpenGVLab 发布的数据规模远大于其报告的训练规模。他的结论——“扩展真是种毒品”（scaling is a hell of a drug）——既是技术预测，也是竞争警告。

• 这一规模有助于解释开源模型为何快速进步。更好的公开配方和语料库会迅速扩散，团队也会吸收质量过滤、切片和指令多样性方面的经验。

15. InternVL 扩大了视觉编码器，而不是把它当作配件

• OpenGVLab 的第一代 InternVL 质疑了这样一种惯例：把相对较小、独立训练的 CLIP 编码器接到更大的解码器上。它重新构建了一个约60亿参数的 Vision Transformer，远高于 Hardman 引用的约6亿参数 ViT-H 和约18亿参数的最大标准 Vision Transformer。

• 团队让这个编码器与一个冻结的7B参数 Llama 模型进行对比训练。文本和图像被嵌入，匹配对被拉近，不匹配对被推远；语言侧则类似于视觉编码器最终要服务的生成式解码器。

• 训练完成后，原始 Llama 模型可以被丢弃，视觉编码器再接入另一个语言模型。这表明，大型且经过充分语言对齐的视觉编码器可以连接到不同的骨干。

• 更广泛的含义是，VLM 性能并不完全取决于扩大语言模型。不过，后续受控实验发现，在总参数预算固定的情况下，扩大语言骨干通常比把同样的参数投入视觉端带来更大收益。

16. 动态高分辨率同时保留局部细节和全局上下文

• InternVL 1.5 引入了“动态高分辨率”：选择一个接近图像原生宽高比的切片布局，把图像切成448x448区域，分别编码每个区域，再附加一张完整图像的缩略图。

• 局部 tile 保留文字和细小物体；缩略图则恢复独立裁剪可能破坏的全局构图。

• 由于切片会产生大量 token，InternVL 使用 pixel shuffle，将空间宽度和高度上的信息重塑到深度维度。Hardman 将其描述为把更多信息存进深度，同时减少空间 token 数量。

• 约束已经从强制把每张图压缩进一个很小的正方形，转变为决定要投入多少计算来保留细节。这对 OCR 和文档理解等高分辨率任务尤其重要。

17. 渐进式扩展大幅削减了 InternVL 的数据和计算需求

• InternVL 2.5 先让视觉编码器与较小的语言模型对齐，训练到过程进入平台期后，再换入逐步增大的骨干继续训练。最终模型系列从约7B参数扩展到78B参数旗舰版。

• Hardman 的直觉是优化，而不是魔法。较小模型的自由参数更少，能够更快找到有用的优化盆地；视觉编码器学会基本对应关系后，更大的模型可以从良好区域出发，把容量用于更复杂的理解。

• OpenGVLab 报告称，它用约1200亿训练 token 达到了与文中 Qwen2-VL 对比结果相近的 loss，后者约使用1.4万亿 token。节省还会进一步累积，因为最大骨干被引入之前，多个训练阶段都使用了更小的模型。

• InternVL 2.5 的78B模型随后在 MMMU 上排名仅次于 o1，并领先 GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro。

18. Llama 3.2 Vision 证明交叉注意力仍具竞争力

• Meta 的 Llama 3.2 Vision 偏离了仅解码器架构的趋势。它使用 ViT-H/14，对 Vision Transformer 做了技术报告未完全披露的修改，并在语言模型中加入新的交叉注意力层；在多模态预训练和监督微调期间，Llama 的其余部分保持冻结。

• 因此，Meta 可以训练大量新的多模态能力，而无需扰动语言模型原有的自注意力，也不会牺牲其纯文本表现。

• 数据流水线包括 OCR 生成、表格、LaTeX 文档、标题、安全过滤、去重和质量过滤。Meta 还采用了 DPO，这是该综述中少数明确展示在视觉指令微调后进行偏好优化的例子之一。

• 90B版本在引用的开源模型中排名 MMMU 第二，仅次于 InternVL 2.5。这说明交叉注意力并没有过时；当保护成熟语言骨干比最大化精细 OCR 更重要时，它可能是更优选择。

19. 受控比较揭示了交叉注意力真正的权衡

• Hugging Face 的 Idefics 研究固定了解码器和 Vision Transformer，只改变连接策略。当骨干冻结时，交叉注意力表现更好，因为它贡献了远多于简单解码器侧投影的可训练参数。

• 当研究者更新语言骨干后，自回归架构可以取得明显更好的表现。全注意力更新不稳定，但低秩适配器让训练变得可行，也让语言模型能够适应视觉输入。

• 扩大任一组件都有帮助，但在参数预算固定时，扩大语言模型带来的价值更高。Perceiver 式 resampler 可以通过减少 token 数量加速两种架构的训练，但不一定提高最终质量。

• 一个反复出现的弱点是细节：压缩式 resampling 可能打乱视觉 token，损害 OCR。仅解码器融合则把图像和语言 token 放在同一流中，一些作者推测这有助于更好的多模态推理。

20. NVIDIA 的 NVLM 混合架构同时捕捉了两种架构的优势

• NVIDIA 将 Qwen 的语言模型与 InternVL Vision Transformer 结合，并分别训练了仅解码器版本、交叉注意力版本和混合版本。这一设置让架构比较更具信息量。

• 仅解码器 NVLM 在多模态理解、图像推理和 OCR 上表现最好；但交叉注意力版本训练效率更高，因为它不需要把整段图像 token 序列在解码器中展开。

• 混合版本将缩略图直接放入解码器流，同时通过交叉注意力暴露高分辨率 tile。语言模型可以围绕图像进行全局推理，再通过交叉注意力检索高分辨率细节。

• 它在部分 OCR 任务上仍落后于仅解码器版本，但在 MMMU 验证集上比两种纯架构都高约1个百分点。Hardman 称结果有前景但并不具有决定性：混合架构是否普遍更优仍不明确。

21. 视觉训练不仅能保持语言推理，还可能改善它

• NVIDIA 在多模态训练后测试了纯文本 MMLU、数学、HumanEval 等基准。与原始语言骨干相比，LLaVA 和 InternVL 模型出现了一些退化，而冻结骨干的 Llama 3 Vision 避免了这种损失。

• NVLM 更进一步：在多模态数据之外加入高质量纯文本监督混合数据后，它在文本基准上超过了原始骨干。提升在数学上最明显，因为视觉语料中包含大量图表和几何问题。

• 作者认为，解决以图像形式呈现的数学题，增强了通用数学推理能力，随后又迁移回文本。这被 Hardman 视为多模态数据能够改善视觉模态以外能力的证据。

• 这并不能证明有 grounded 的多模态能力是 AGI 的必要条件，但确实说明，增加一种模态可以改善其他模态之外的能力。

22. 早期融合与晚期融合是连续谱，而非已定型的分类

• 文中涉及的大多数系统都采用晚期融合：视觉和语言分别编码，再通过投影、自注意力或交叉注意力连接起来。即便是 CLIP，也先使用独立编码器，再对齐最终表示空间。

• 非常早期的融合则会从一开始就使用同一套表示处理流程和 token 空间。Hardman 提醒，这些术语并没有统一且明确的边界；Apple 的方法在更早阶段对齐模态，但仍保留独立的 Vision Transformer。

• NVLM 已经展示了多个融合点：一种视觉表示在解码器中与文本结合，另一种则通过交叉注意力检索。Hardman 预计，未来架构会把早期和晚期机制结合起来，而不是押注单一的融合时点。

• Labenz 认为，对于生物序列、天气或其他专业模态，模块化融合尤其可信。各自具备能力的模型可以先通过学习到的桥接层沟通，而不必一开始就承担把所有模态放进一个模型训练的成本。

23. VQA、DocVQA 和 The Cauldron 将基准与真实工作负载对应起来

• 原始 VQA 数据集包含约50,000张源自 COCO 的图像，以及通过 Mechanical Turk 生成的约100万道开放式问题。问题要求视觉识别、语言和常识共同参与，例如判断香蕉“胡子”是由什么制成，而不只是识别黄色像素。

• DocVQA 包含约50,000道问题，覆盖从行业文档中提取的约12,000张图像，包括扫描件、发票、表格、图表、商业信息图和手写笔记。答案通常是精确的文本片段，因此与文档提取产品直接相关。

• Hugging Face 将约50个视觉微调数据集打包为“The Cauldron”。Hardman 建议先找出最接近生产任务的子集，再研究其中的图像增强和提示词结构，之后再创建定制数据集或确定推理时提示词。

• 实际经验是，基准必须针对具体任务。MMMU 询问模型能否结合专家知识进行推理；VQA 探测常见物体和关系；DocVQA 衡量文档提取能力。VLM 的综合声誉不能替代与实际任务匹配的评测。

24. BLINK 揭示了推理型基准掩盖的感知缺口

• BLINK 包含略少于4,000道选择题，覆盖14项人类可以“眨眼间”解决的感知任务。人类表现通常在95%左右；由于选项数量不同，整体随机水平略高于三分之一。

• 该基准作者认为，许多 MMMU 问题都可以化约为密集图像描述加语言推理。BLINK 则试图隔离那些直接从图像中提取视觉能力的任务：如果用一段完美的文字描述替换图像，答案就会被直接泄露。

• 艺术风格匹配是解决得最好的类别之一：GPT-4o 约为83%，人类约为95%。视觉相似度表现也相对不错，GPT-4 Turbo 约为80%，人类约为97%。

• 因此，该基准揭示了“在丰富描述上推理”与“直接从图像中提取感知结构”之间的差异。

25. 视觉 IQ 测试暴露了模型缺失的感知先验

• BLINK 的 IQ 类别展示一组形状序列，并询问哪个选项能够完成变换。人类得分约为五分之四，随机选择为25%，引用的 GPT-4 Turbo 结果只有32.7%，仅略高于随机水平。

• Hardman 将这项任务与 ARC 相比：人类可以迅速利用感知先验缩小可能的规则范围，而模型可能需要对候选变换进行昂贵搜索。人类自然提取的某些感知特征，与模型的表示存在差异。

• Labenz 发现，早期 VLM 甚至不擅长描述 ARC 图像：它们可能数错方块，或在尝试变换之前就说错网格尺寸。

• Hardman 预计，额外的推理时计算可以通过暴力搜索提高 IQ 任务得分，但这错过了 BLINK 的核心。一个在感知不完整的情况下艰难搜索的模型，与一个能让正确结构立即变得显著的人类视觉系统，在功能上并不相同。

26. 计数和光照问题仍是看似简单却困难的视觉原语

• 相对反射率任务要求判断两个标记表面中哪个本质上更暗，即便它们处于阴影或不同光照下。人类可以推断，奶油色床头板即使在像素上看起来更亮，仍然比白墙更暗；引用的最佳 VLM 是一个 LLaVA 模型，得分略低于40%，而人类约为95%。

• 计数同样不稳定。引用结果中，GPT-4V 约为60%，GPT-4o 约为49%，不同模型之间出现了异常退步。

• DeepMind 的一项分析发现，常见图像标题语料中数值陈述很少，而且可能不足以让数字与视觉特征可靠绑定。因此，Hardman 怀疑，使用带有明确实例数量的程序化生成样本，可能会改善计数能力。

• 通过提示词进行分解已经有所帮助：要求模型检查各个区域，列举看到的内容，再把物体数量加总。这支持 Hardman 的判断，即“推理可以弥补部分感知缺陷”，但底层感知弱点依然存在。

27. 生成式目标可能增强视觉编码器

• Apple 团队研究了 CLIP 式对比训练是否限制了视觉表示。他们联合训练了一个全新的 Vision Transformer 和解码器，将视觉 token 放在文本之前，并随机遮盖部分图像序列。

• 解码器使用均方误差损失重建缺失的连续视觉 token，再用普通交叉熵生成标题 token。训练采用 prefix attention，模型从头开始在成对数据上训练。

• 预训练后，团队丢弃解码器，通过一个简单的多层感知机将 Vision Transformer 接入 Llama 3，再使用 LLaVA 监督混合数据进行微调。与规模相近、经过对比训练的编码器相比，生成式预训练模型在所有报告的 VLM 基准上都有提升，尤其是图像描述和视觉问答。

• 结果表明，对比学习目标可能限制了 Vision Transformer，而生成式目标可能带来更强的视觉编码器。

28. Transfusion 在一个 Transformer 内统一文本预测与图像扩散

• Meta 的 Transfusion 在同一个 Transformer 上对文本和图像进行等量预训练，同时保留适配不同模态的目标函数。文本保持离散形式，使用下一个 token 的交叉熵；图像保持连续形式，使用扩散损失，而不是被强行压进共享 codebook。

• 图像输入先经过变分自编码器和 MLP 或 U-Net 下采样路径，再进入 Transformer。生成的图像表示则经过对应的 U-Net 上采样路径和 VAE 解码器，因此整个架构类似于“被从中间切开、再插入 Transformer 的 latent diffusion model”。

• 注意力掩码也因模态不同而异。文本使用因果注意力；同一图像内的 patch 使用双向注意力，但只能关注该图像块之外更早的文本或图像。模型必须据此把输出路由到适当的目标函数和解码路径。

• 早期模型如 Chameleon 会把一张512x512图像量化成1,024个离散 token，来自一个包含8,192项的 codebook，约相当于16x16个 patch。Transfusion 则取消了图像 token 的量化，改用连续表示。

29. Transfusion 的效率与编辑质量指向真正的多模态

• 与早期量化 token 方法相比，据报道 Transfusion 用约三分之一的 FLOPs 达到了相当的图像质量，文本训练 loss 也只需约一半 FLOPs。它的7B参数模型在引用的图像生成评测上超过 DALL-E 2 和 Stable Diffusion XL，在纯文本任务上则达到约 LLaMA 1 的水平。

• 最有说服力的输出是局部编辑：移除一个物体、替换某个对象、改变颜色，或者把卡车上的涂鸦改成书法，同时不破坏场景。Labenz 认为，这种控制力正是那些扰动输入图像、再生成一个大致相关构图的流水线所缺少的。

• 这对商业图像很重要，因为企业需要真实的视觉呈现。纯生成可以创造吸引人的场景，却可能与顾客实际到访的场所相去甚远；精准编辑则能在保留真实照片身份的同时改善它。

• GPT-4o 最初发布时也似乎承诺了原生图像输出，但在录制时 OpenAI 尚未发布这一能力，据报道原因包括安全和基础设施问题。Gemini 和 GPT-4o 早期使用的系统，则是先生成文本提示词，再交给 Imagen 或 DALL-E。

30. 不同模型和规模之间的基准领先高度分散

• 在 MMMU 上，Hardman 汇总的2024年12月结果将 o1 放在约78%。Claude 3.5 Sonnet New 和 InternVL 2.5 约为70%，Gemini 1.5 Pro 低几个百分点，Grok 2 Beta 约为66%；更新或缺失的结果可能改变排名。

• 在 DocVQA 上，大多数引用的前沿模型得分超过90%，已有结果中 Qwen2-VL 以96.5%领先，高于 Grok 2、Gemini 1.5 和 GPT-4o。

• 在 BLINK 上，引用得分为 InternVL 2.5 63.8%、GPT-4o 63.2%、Gemini 约61%、Claude 3.5 Sonnet New 约56.5%。绝对分数相对较低，进一步说明强大的专家推理能力与强大的基础感知能力是两种不同能力。

• 开源模型的结果也让简单的地理叙事变得站不住脚。InternVL 来自上海 OpenGVLab，Qwen2-VL 来自 Alibaba，LLaVA-OneVision 来自 ByteDance；引用的中国开源模型已经能与闭源系统高度竞争。

31. 小模型已经在特定基准上具备生产优势

• Gemini 2.0 Flash 在 MMMU 的小模型组中以约70.7%领先；Grok 2 Mini 约为63.2%。因此，在追求经济型图像推理的场景里，Flash 在该节点显得尤其强。

• InternVL 2.5 的8B版本在 DocVQA 上达到95.1%，与其更大版本的引用结果相同；在 BLINK 上达到54.8%，领先 GPT-4o Mini 的51.9%。扩大骨干对不同视觉任务的价值并不相同。

• 小模型组中出人意料的是 Microsoft 的4B参数 Phi-3.5 Vision：尽管 MMMU 表现较弱，却在 BLINK 上达到58.3%。它使用约0.5万亿预训练 token，随后使用规模异常庞大的330亿 token 监督数据集，其中相当一部分来自 Microsoft 内部数据，最后再进行 DPO。

• Hardman 无法把这一结果归因于单一因素，但这一组合表明，后训练规模和感知任务覆盖面，与原始参数量同样可能重要。

32. 下一轮提升将来自更好的融合、后训练和任务特定证据

• Hardman 预计，更大的开源 VLM 会继续受益于渐进式骨干扩展和万亿 token 级交错语料库。他也预计，会有更多关于生成式训练或重新设计视觉编码器的实验，因为标准对比式 Vision Transformer 已不像过去那样不可替代。

• 微调数据会继续加入程序化或人工图像增强，覆盖计数、OCR 和空间 grounding 等长期被忽视的任务。DPO 在所调查文献中出现得仍然很少，这意味着对齐和偏好后训练仍处于相对早期。

• 对构建者而言，任务特定评测仍是主导现实。合理的流程是：选择最接近业务任务的基准，低成本完成原型，检查失败案例，研究 The Cauldron 中的相近数据，之后再投入定制提示词、合成监督或微调。

• Hardman 将有效的 AI 咨询描述为带着“一颗准备好的头脑”到场：维护一个可搜索的论文和技术档案，让客户的陌生问题能够迅速与既有模式匹配。优秀概念验证看似推进很快，背后依靠的是积累的技术深度，而不是一套通用模型配方。