SAM 3：AI之眼——Nikhila 与 Pengchuan（Meta Superintelligence），特邀 Joseph Nelson（Roboflow）

摘要

• SAM 3 将分割变成了通过自然语言检测、遮罩和追踪图像与视频中概念的接口。 “黄色校车”等原子化提示词可以找到匹配实例；点击或视觉示例可修正漏检，视频模式则在持续追踪之外增加新对象检测。关键在于，SAM 3、SAM 3D Objects 和 SAM 3D Body 是3个独立模型，并非同一系统向3D延伸。

• SAM 3最具分量的优势主张，来自其背后的数据引擎，而不只是发布出来的权重。 新的 SA-Co 基准将评估范围从 LVIS 约1.2K个概念扩展到超过200,000个；自动提案和验证则把每个数据点的标注时间从超过2分钟压缩至约25秒。Nikhila Ravi 的框架是，竞争优势越来越集中在“生成这些数据的数据引擎”（“the data engine to generate that data”）。

• 团队有意将识别与定位拆开，并明确训练模型识别图像中不存在的概念。 训练数据集中超过70%的标注是描述图像中不存在概念的负向短语；模型先由 presence token 判断概念是否存在，再开始定位。Ravi 的实践观察是，“一个负例就能产生很大作用”（“a single negative example goes a long way”），通常3到5个负例就能更新预测，但仍受视角和领域差异影响。

• 部署证据表明，SAM 正在成为计算机视觉基础设施。 Roboflow 报告称，由 SAM 驱动的 Smart Polygon 标注已达1.06亿次，估计节省了100-130年标注时间；SAM 3上线前5天就完成了800万次推理。Ravi 更看重的标准也因此非常务实：“最好的评估，就是看它在真实世界里是否有效。”

• SAM 3的战略角色，可能既是多模态模型的专业工具，也是让视觉定位成为原生能力的训练信号。 Agent 实验显示，在短小的原子化提示词上，SAM 3的表现接近完整 Agent；复杂请求则由语言模型推理带来明显优势，两类模型也能相互纠错。Pengchuan Zhang 的比喻很简单：“现在我们有了一个非常好的大脑……也有了一只非常好的眼睛。”

• 视频仍是最大的技术缺口，也因此是最明确的后续工作方向。 追踪算力随检测到的对象数量增长，穷举式视频标注仍然昂贵；整段 masklet 评分虽然能提升准确率，却要牺牲流式延迟。讨论中的路线图包括更小的边缘模型、更高效的视频推理、端到端视频训练，以及 AI 视频标注器。

• 尚未解决的商业问题，是如何明确意图，而不是如何识别像素。 置信度滑块无法判断反射中的汽车是否应被计入；即便是“手”，不同客户的本体定义也可能分别指仅手掌，或手掌加手臂。Ravi 对最后一公里工具、微调和反馈闭环的概括是，系统需要识别“人的意图，而不一定是人的知识”（“human intention, not necessarily human knowledge”）。

精读

1. SAM 3让概念成为视觉理解的接口

• Ravi 先纠正了发布会上最常见的误解：SAM 3负责图像和视频理解，而 SAM 3D Objects 与 SAM 3D Body 是“两个完全独立的模型”。这次发布包含3个模型，而不是一个延伸到另一维度的 SAM 系统。

• SAM 3可以根据简短的概念提示词进行检测、分割和追踪。“浇水壶”会返回对应遮罩；“穿白衣的球员”则会找到匹配球员、追踪他们，并检测后续帧中进入画面的新实例。这相较 SAM 1 和 SAM 2有所扩展，后两者通常要求用户点击每个目标实例。

• 提示词仍然可以编辑，并非一次性定稿。“花”漏掉某个实例时，用户可以用正向框将其变成目标概念的视觉示例；随后，同一组遮罩还可用于生成轨迹、克隆、聚光、背景处理、标注或下游分析。

• 主持人提到，在单张 H200 上检测100个对象约需30毫秒。他还根据论文读出另一组数据：两张 H200 约10个对象、4张约28个、8张约64个；Pengchuan 没有确认这些数字，但解释说，公开视频演示已经使用并行多 GPU grounding。

2. 原子化概念需要新基准，而不是再一次版本升级

• Ravi 表示，文本提示在 SAM 1时期只是概念验证，但后来成为“呼声最高的功能”。对于 SAM 3，团队选择先掌握“黄色校车”“紫色雨伞”这类原子化视觉短语，而不是把不受约束的自然语言作为核心任务。

• 现有评估对于这一目标过于狭窄：LVIS 只有约1.2K个独特概念，而新的 Segment Anything with Concepts，即 SA-Co 基准，包含超过200,000个概念。其前提是，自然语言的词汇量远超1,000个概念。

• Zhang 希望 SA-Co 能推动当前模型之后的进展：更强的系统可能很快出现，但拥有可量化人类表现的基准，才能引导模型逐步接近、并最终超越人类水平的概念分割和视频 grounding。

3. 真实世界使用正成为决定性评估层

• Ravi 的测试标准非常直接：“最好的评估，就是看它在真实世界里是否有效。”Meta 通常无法看到每一项下游部署，因此 Roboflow 的生产层既是分发渠道，也是反馈机制，能告诉团队一个看似通用的模型究竟在哪些场景有效。

• Roboflow 报告称，由 SAM 1、SAM 2 或 SAM 3驱动的 Smart Polygon 示例已达1.06亿个。Nelson 估计，按不同计算方式，自动化大约节省了100-130个人年的标注工作；仅 SAM 3就在前5天完成了约800万次推理。

• 最有代表性的案例来自科学成像：主持人看到 CZI Imaging Institute 的研究人员对 SAM 进行微调，从一团看似“灰色糊状物”的图像中分离出不同结构。Nelson 还补充了中性粒细胞分析、航空影像、水下塑料清除、水下物种监测、制造业和物流等案例。

• Nelson 还观察到，Roboflow 社区的相关工作每天被略多于2篇研究论文引用。由于单篇论文可能代表6、12或24个月的工作，他的观点是，标注提速会复利式地推动科研产出，而不只是降低多边形标注的成本。

4. 负例教会 SAM 3什么时候不该看到某个概念

• Ravi 希望只用10个数据点微调，就能解锁更多团队自身无法完成的能力。她最喜欢的案例是 Waymo 车辆：通用的“vehicle”可以零样本识别，但“Waymo”未必可以；一段10秒的旧金山视频就可能提供足够示例，让 SAM 3开始学习这一差异。

• 团队没有声称存在普适的正负例比例。Ravi 的实践发现是，在正例旁加入3到5个负例，就能大幅更新模型先验；但视角变化、未见过的子类型、俯拍影像和其他分布变化，仍需用客户的真实数据测试。

• 在预训练规模上，负例占据主导。Zhang 表示，他指出的表格，即 Table 24 中，超过70%的标注是与配对图像不相符的短语。这些数据训练模型“不要检测图像中不存在的东西”，而不是默认每个短语都存在。

• 架构层面的机制是 presence token，它将识别与定位分开：先判断请求的概念是否在图像中整体存在，再对其进行定位。这降低了检测器的任务复杂度，也让存在性判断变得显式。

5. 检测与追踪分离，解决身份冲突

• Ravi 称 SAM 3是“一种全新的方法”，而不是简单的版本升级。如今同一套架构覆盖交互式分割、文本提示、开放词汇检测和追踪，而此前这些任务通常由不同的专业模型承担。

• 检测器必须与身份无关：每只狗都应匹配共同概念“dog”。追踪器则需要相反的表示方式，在时间维度上保留每只狗作为独立对象；试图进一步统一两者暴露出任务冲突，因此最终设计选择将二者解耦。

• 共享的 Perception Encoder 是一个文本与图像对齐的视觉主干网络。架构图还结合了基于 DETR 的检测器、SAM 2追踪组件、Llama 和数据引擎。在视频中，算力随检测到的对象数量增长，而不只是随请求的类别数量增长，因为每个实例都需要维护自己的轨迹。

6. 多模态 Agent 让 SAM 3的眼睛与语言模型推理协同

• 原子化提示词有意限定了范围，但用户会提出关系型问题：找出更大的角色，解释图片中区分男性和女性的特征，或对需要高级语言理解和推理的描述进行 grounding。因此，SAM 3 Agent 让多模态语言模型负责推理，同时调用 SAM 3完成精确视觉定位。

• Zhang 强调的是协同，而不是简单的脑眼分工：“SAM 3并不完美”，语言模型能够识别并纠正部分 grounding 错误。反过来，SAM 3提供的空间证据，也是语言模型仅凭已学知识和推理能力无法稳定恢复的。

• 在一次 ablation 中，Zhang 回忆验证集得分大约为30；当时 SAM 3单独运行、没有 VLM，也达到了这一水平。在短小、类似训练数据的短语上，SAM 3单独运行仍接近完整 Agent；但在复杂提示词上，差距迅速扩大。主持人读到的 Agent 表格中，Gemini 2.5表现最强。

• Nelson 的现场仪表盘对比使用了 SAM 3、Gemini 3 Pro API 和 Florence 2。SAM 3速度快，能够分割指示灯、数字和指针；Gemini 能生成框，但漏掉数字并增加了错误区域；Florence 2则把仪表盘的大部分内容归到了一起。Zhang 对此感到意外，因为数据采集时并未优先覆盖以 OCR 为主的图像。

7. 穷举式标注变成自动化问题

• 图像管线从带有标题的来源图像开始，系统先解析标题以提取名词短语。SAM 3提出遮罩；一个阶段验证每个遮罩的质量，另一个阶段检查已接受的遮罩是否覆盖了全部实例，人工只需补画遗漏部分。

• 模型生成的提案将每个数据点的标注时间从超过2分钟降至约45秒。经过微调的 AI 验证器随后接管了两项验证任务，不再需要人工参与，将流程进一步压缩至约25秒，同时保留对遗漏对象的人工修正。

• Zhang 表示，关键突破在于遮罩质量和穷举性判断都可以自动化。一个微调后的 Llama 3.2验证器在这两项任务上达到了他所称的“超人类表现”；生成的元数据还会标出哪些数据点对模型而言较难。

• 完全自主的数据引擎仍是一个“梦想”，并非已经完成的承诺：“没有免费的午餐”，人类仍必须在系统失败时注入信息。Zhang 预计，超越人类表现后，视觉领域会进入类似 RLHF 的阶段，因为模仿人类绘制的答案受限于标注员质量，而判断“哪个更好”比从零构造答案更容易。

8. 视频自动化仍落后于图像管线

• SAM 1的 SA-1B 数据集可以完全自动标注，但 Ravi 表示，团队从未在 SAM 2视频或 SAM 3视频上实现同等程度的自动化。视频遮罩耗时太长，即便只是收集足够样本来训练一个能力合格的验证器，也仍然困难。

• Zhang 认为，缺失的基础设施——强大的视频多模态模型——直到项目后期才真正具备实用性。在图像式 bootstrapping 能够顺利迁移之前，还需要更好的视频语言验证器、更高效的标注策略，以及 SAM 侧的感知能力提升。

• 整段 masklet 检测评分会在一个时间窗口内平滑信息。等到部分可见的人物完全进入画面后再作判断，可以让模型修正早期的不确定结论，类似人类的判断方式；但沿整条轨迹收集证据会牺牲流式延迟。因此，后续工作包括端到端视频训练、更小的边缘模型、AI 视频标注器和更高效的推理。

9. 简单 grounding 应成为 AI“大脑”的原生能力

• Zhang 用一只6根手指的手来说明问题：前沿模型可能凭先验知识回答5根，而 SAM 3可以明确定位并数出6根。这种 grounding 能修复一些看似推理错误、实则源于感知薄弱的问题。

• 他理想中的未来是混合架构，但更偏向原生集成。数少于约20个对象应成为快速的“System 1”能力；拥挤图像中数以千计的对象，则可以适时调用专业模型、绘图辅助工具或更长时间运行的工具工作流。

• 机器人领域让这种整合变得至关重要：实验室机器人判断试管中的液体是否达到正确液位，需要感知和推理协同完成。主持人还提出了业界对显式世界模型的另一种押注，并追问它何时可能与 SAM 式感知交汇；这个问题仍未有答案。

10. 最后一公里由人的意图，而非模型置信度定义

• 主持人向 Roboflow 的车辆演示提出挑战：置信度滑块无法表达建筑物反射中的汽车是否应被计入。有时反射恰恰是目标，通常却是噪声；最初的“vehicle”提示词无法揭示用户到底想要哪种解释。

• Zhang 描述了一种迭代式模型与界面工作流，在多轮交互中逐步明确概念。Nelson 则提出，可以让 Gemini 3判断反射是否存在、降低阈值，并自动重复这一流程。

• Ravi 随后指出，人类仍然需要参与其中，因为用户可能事先想不到这些失败案例；对于最后一公里应用而言，识别“人的意图——而不一定是人的知识”至关重要。

• 即便是基础本体定义也会不同。Zhang 见过一个数据集把“hand”定义为只有手掌，另一个则包含部分手臂；两种定义都说得通，因此基准迁移效果差，可能反映的是用户特定概念，而非模型视力不足。即便拥有“全知”基础模型，少样本微调和上下文工具仍不可或缺。

• Nelson 将 SAM 3定位在完整生命周期中：文本提示自动标注、领域微调，以及服务端或最终的边缘推理。Ravi 补充说，SAM 3本身也吸收了社区数据集、基准和 SAM 2推理优化。Pengchuan 给出的优先事项包括更小、更高效的模型、更好的视频表现、端到端视频训练和 AI 视频标注器；Nelson 还谈到用户可能提出的文档与 OCR、空间关系、动作识别、机器人和视觉-语言-动作任务需求。