摘要

计算机视觉正接近自己的“ChatGPT 时刻”，但仍比语言模型落后约3年，因为物理世界的长尾远比人类创作的文本更肥厚。 Vision Transformer 于2020年问世，比最初的 Transformer 晚3年；模型正稳步从人、汽车和食物等熟悉对象拓展到更罕见的场景。Joseph Nelson 预计，随着视觉理解成为产品的基础能力要求，行业会迎来一场“寒武纪大爆发”。
前沿多模态模型恰恰在工业视觉要求精确的地方不够可靠：grounding（指令定位）、空间关系、测量、速度和可复现性。 在 Roboflow 的 RF100-VL 基准上，测试表现最好的模型 Gemini 2 在真实用户领域的总体得分仅12.5%；在 RF20 中加入1至5个示例，最佳模型的提升最多约10%。Gemini 3 能为 Nelson 的数据打标签，但有时每张图需要40秒；即便提示词完全相同，输出也可能无法复现。
生产端的机会，在于把前沿模型的广泛能力蒸馏成自有的任务专用模型，以符合边缘部署的经济性。 针对 Wimbledon 即时回放，SAM 3 可以给历史视频中的球员、网球、球场和球网打标签，但在 Nelson 所说的低于10纳秒传输约束下，部署这一通用模型并不经济。更小的 RF-DETR 可以在一块 A100 上运行多路视频流，因为它不需要识别扑克牌筹码、鹿或任何与网球无关的东西。
准确率要求本质上是业务要求，因此数据和算力需求可能相差几个数量级。 一个准确率80%的博物馆客流计数器，在替代方案是完全没有可见性时就可能有价值；静脉输液袋中的微粒检测则要求极高召回率，因为关乎生命。受控制造任务可能只需要数百张图，而 Nelson 说，即使是 PB 级数据也不足以覆盖自动驾驶中停车标志的长尾。
Roboflow 的技术切入点是共享权重的神经架构搜索，它把有限算力预算转化为速度—准确率前沿上的一组各自“独一无二”的模型。 一次训练会在 patch 大小、decoder 数量、query 数量、分辨率和注意力配置等维度上采样数千个子网络，而不是分别训练每种配置。基于 Meta 的 DINOv2 骨干网络构建、采用 Apache 2.0 许可证的 RF-DETR 覆盖 nano 到 2XL；Nelson 表示，2XL 比微调后的 SAM 3 更准确，速度快40倍。
开源视觉 AI 在战略上暴露出对 Meta 的依赖，而中国实验室长期占据这一领域的大量领先位置。 Nelson 点名 Alibaba 的 Qwen3-VL、GLM 的90亿参数工作以及 DeepSeek 的 OCR 研究；在美国，Meta 从 Detectron2 延伸至 DINO 和 SAM 3 的技术谱系仍是基础。Roboflow 各轮融资合计约6300万美元，规模不小，但远低于基础模型预算；如果 Meta 改变路线，Nelson 认为 NVIDIA 不断扩大的开源投入最可能成为对冲力量。
编码代理可能通过把困难的模型构建流程转化为意图驱动的基础设施调用，扩大 Roboflow 的市场。 Skills、CLI 以及潜在的 MCP，可以让 Claude Code、Codex 和其他代理整理数据、训练模型并选择 Pareto 点；一款尚未发布的官方代理，目标是充当专家式的“向导和夏尔巴向导”。更难的任务可能是厘清“数穿过这条线的汽车”究竟指正确的汽车类别、哪条线和哪个路口，而不是在意图明确后调用一次模型。
下一批 S 曲线来自世界模型、视觉—语言—行动模型、推理时视觉代理和可穿戴设备，但监管可能决定它们的价值能否广泛复利。 Nelson 表示，去年智能眼镜售出800万副，而 AirPods 售出6000万副，说明硬件采用已经启动，尽管设备端 AI“还没到位”。他反对按模型规模监管或强制采用窄模型，主张在结果层面追究责任；Labenz 则将风险概括为“拿到了所有武器，却没有能源”。

精读

1. 视觉在架构滞后3年后接近产品突破

Nelson 将语言领先视觉的起点追溯到2017年的《Attention Is All You Need》，随后5年里出现了规模定律、GPT-2、GPT-3、GPT-4，以及2022年的 ChatGPT。Vision Transformer 于2020年问世，在广泛有用的视觉产品出现前也留下了类似的时间差。
他的生物学类比解释了为什么一个巨型推理模型未必会主导每种视觉工作负载：人类把大型推理引擎与视杆细胞、视锥细胞和视觉皮层结合起来，后者针对“蜥蜴脑”式的快速反应感知进行了优化。机器系统也可能把通用推理与专用、低延迟的视觉组件组合起来。
语言与视觉正在“撞在一起”，因为双方都能提供对方缺失的上下文；但语言是人类构造、为人类理解而优化的体系，物理世界并非如此——“世界远不止语言”：日常不同场景的数量，多于一个人可能读到的独特词语数量。
Roboflow 的需求样本覆盖每30天下载开源内容约100万名开发者，Fortune 100 约一半企业在平台上构建产品。生产应用横跨 Wimbledon 即时回放、Rivian 质量保证，以及一位加拿大 YouTuber 的喷火除草机器人——这已经是 Nelson 所预计“寒武纪大爆发”的早期证据。

2. 视觉分布中心已解决，肥尾仍未解决

Labenz 提出一个苛刻的“解决”标准：如果接受前沿云模型的成本、延迟和大量工程投入，今天是否几乎任何视觉问题都能完成？Nelson 的答案是否定的，因为一个真正解决的问题，应该只需开口提问：“它几乎让我感到惊艳。我很高兴它已经理解了。”
接近分布中心的任务越来越算得上已解决。人数统计已经成熟；OCR 也正在接近这样一个节点：实时模型可以回答“这张小票上的 salsa 花了多少钱？”或识别 Street View 图像左侧房屋的门牌号。
Nelson 从表征的第一性原理解释这一点：Unicode 存储文本的紧凑程度远高于单张 RGB 图像，后者包含3个通道、取值范围为0到255，并按像素展开。信息异质性更高，意味着不同视角、物体、关系和环境构成的异常长尾更“肥”。
模型正沿着这条钟形曲线向外推进，但边缘部署可能比云端刚展示出的能力落后约18个月。因此，一个任务在技术上可能可行；如果无法在 iPhone 或 Jetson Orin 级设备上以所需延迟运行，商业上仍未解决。

3. 定位与精度仍是最能暴露前沿模型弱点的环节

Roboflow 维护 VisionCheckup.com，专门展示多模态模型在空间推理、精确测量和指令定位（grounding）上的失败。性能持续改善，但指令定位仍频繁失效：模型要按指令定位、检测或分割对应的准确像素，而不只是貌似合理地描述场景。
Labenz 回忆 ARC-AGI 谜题：模型连最初的彩色网格状态都无法稳定描述，后续推理失败也就不足为奇。Nelson 认为填字游戏同样如此：模型可以根据已知字母解出文本线索，却可能难以判断答案应填在视觉网格的哪里。
测量和空间关系尤其脆弱，因为它们要求精确，而不是给出一个大体有用的回答。Nelson 认为，实验室可能会优先让模型推断用户意图并调用专用工具，而不是直接解决像素级分割；但这条推理链中的分割组件仍基本未解。
增加推理轮次和专家工具调用可能改善结果，却会引入另外两个问题。Nelson 让 Gemini 3 打标签时，每张图大约耗时40秒；而 SAM 3、Gemini 和 Claude Opus 的失败案例有时无法重现，因为生成式模型不会以完全相同的方式生成结果。

4. 真实世界基准显示，少样本提示有帮助却没有弥合差距

RF100-VL 从 Roboflow 共享的数十万公开项目中抽取100个数据集，覆盖工业、医疗、动植物、文档和其他任务。测试要求模型根据类似给人工标注员的指令完成分割。
发布时，Gemini 2 在受测多模态模型和专用模型中领先，但覆盖所有领域的表现仅为12.5%。Nelson 强调，这些并非随意挑选的学术样例：“这些就是人们实际使用模型的地方。”
在一场 CVPR 竞赛中，出于算力考虑，Roboflow 将测试集缩减为 RF20，并提供1、2、3、4或5个图像示例。单个模型的最大提升约10%；Nelson 表示，所有领域的平均提升还需要核实。
当零样本基线从约12%起步时，这一提升有意义，但“不是万灵药”。Nelson 仍看好将图文对和视觉示例用作提示词；它们可以让模型扎根于具体领域，却不能替代对真实生产场景进行更好表征的需要。

5. 部署起点是需求，而不是通用模型排行榜

Nelson 围绕“要完成的工作”来选择模型。准确率和速度构成熟悉的 Pareto 曲线，但所有权、隐私、安全、知识产权积累、本地运行，以及持续传输视频的成本，又增加了无法压缩为单一基准分数的维度。
实时巡检或直播通常要求把算力放到摄像头附近。模型一旦必须在边缘运行，操作者通常就需要掌握权重和部署控制权；这也是 Roboflow 大力投入开放模型、并将开源视为自下而上发现用例的关键原因。
他建议按务实顺序推进：先测试前沿模型能否让问题变得可行，“把模型用到失败”，再决定哪些能力需要自有，哪些要蒸馏或微调，以及哪些地方应由前处理和后处理环节补足。上限模型用于验证可能性，生产要求决定最终架构。

6. Wimbledon 展示通用智能如何变成高效专用模型

Nelson 所说的即时回放服务商直接把算力带到 Wimbledon 和 US Open 的球场，因为转播是直播，按他的说法，“把结果传过线路的时间低于10纳秒”。即便硬件能运行 SAM 3，它的算力负荷对这项工作也不经济。
历史赛事视频可以交给 SAM 3，通过提示词标注人员、网球、球场和球网。这样便能为固定视觉词汇建立整理好的数据集；扑克牌筹码和鹿也可以作为 SAM 3 的提示对象，但 Nelson 说，它们出现在 Wimbledon 的概率，以及对回放模型的相关性，都极低。
这些数据随后用于训练 RF-DETR，这是一款面向实时检测和分割的小模型。Nelson 表示，它高效到足以在一块 A100 上处理多路视频流，把前沿模型的能力转化为更低延迟、更低成本，以及操作者自有的模型。
他不认为在编排流程中使用传统代码有什么问题。与其让 Gemini 直接返回球员人数，不如让检测器返回2个行人实例，再用“一点点逻辑”计数；相比让一个生成式模型吞下所有操作，这通常更快，也更可复现。

7. 数据需求随场景变化和错误成本而扩张

博物馆可能接受准确率80%的人数计数器，因为替代方案是完全没有可见性；即便只是区分约12名访客和100名访客，也可能改善排班。“先上线”取决于增量业务价值，而不是对完美感知能力的抽象要求。
输液袋制造商面对的是相反的损失函数。逸出的微粒可能威胁患者生命和公司声誉，因此视觉系统需要极高召回率，起初应作为人工检查、实验室检查或抽样方法的补充，而不是轻率地取代它们。
Nelson 借 Andrej Karpathy 的停车标志案例说明驾驶为何消耗海量数据：标志可能被灌木遮挡、装在校车上、挂在抬起的闸门上，或者还要结合转弯指令才能确定含义。“PB 级数据对一辆汽车都不够”，而受控的电池生产扫描可能只需数百张图就能产生价值。
模型大小遵循同一逻辑。RF-DETR 覆盖 nano、small、medium、large、XL 到 2XL；Nelson 表示，微调后的2XL 准确率高于微调后的 SAM 3，同时快40倍，而 pico 或 nano 版本在4 GB Jetson Nano 上可以超过180帧/秒。

8. 中国引领开源视觉，美国生态高度依赖 Meta

Nelson 认为，美国在视觉 AI 上“几乎从未像在语言领域那样持续领先”。中国以制造业为重的经济结构，更有动力优先发展机器视觉；Alibaba 的 Qwen 团队推出的 Qwen3-VL，在他看来甚至足以与闭源视觉语言模型竞争。
他还强调 GLM 的90亿参数混合专家研究，尤其是 OCR，以及 DeepSeek 用页面截图压缩更多训练文本的实验。理解能力的损失明显小于获得的 token 压缩量，使视觉变成一种服务于语言模型扩展的数据处理技术。
美国的技术阵容包括 Meta 的 SAM 3、Microsoft 的 Phi 系列、Allen Institute 的多模态研究，以及不断加码的 NVIDIA 投资，包括 Cosmos Reason。Nelson 尤其认可 Meta 从 Detectron2、Faster R-CNN 延伸到 DETR、DINO 和 Segment Anything 的技术谱系；这条线因其语言模型受到的批评而被掩盖。
这种脆弱性会累积：开源研究依靠组合想法、进行消融实验和测试共享组件来推进。Nelson 说，如果 Meta 或 NVIDIA 改变开源立场，“整个开源领域”都会受创。他提到 Qwen 核心研究者近期出现变动，Labenz 则提出 Meta 可能改变战略；NVIDIA 的代码仓库数量和多模态方向让 Nelson 仍保持乐观。

9. RF-DETR 证明，专注型实验室无需超大规模云厂商资本也能竞争

Roboflow 选择了一个狭窄但尚未充分满足的任务：面向自有边缘部署的实时目标检测和实例分割。Nelson 称，RF-DETR 是首个实时实例分割 Transformer，并在这一特定速度—准确率类别中，让 Roboflow 重新夺回最先进水平。
该模型以 Meta 预训练的 DINOv2 骨干网络为起点，再搜索能把 Transformer 的准确率优势转化为实时速度的配置。它使用 Objects365 预训练，之后迁移到 COCO 和客户微调任务，并同时接入检测头和分割头。
Roboflow 在 Series B 之后开始这些实验，各轮融资合计约6300万美元。Nelson 称这笔钱“不是没有”，但覆盖的是整家公司，与前沿模型构建者可动用的数十亿美金级资金“相形见绌”——因此必须聚焦狭窄任务并提高算力效率。
检测版本于4月发布，分割版本于秋季发布。RF-DETR 采用 Apache 2.0 许可证，支持商业开发，而部分同类方案要求商业许可；Nelson 表示，中国的 LW-DETR 团队已经回应，但尚未超越这项工作，形成一场“很酷的全球军备竞赛”。

10. 共享权重搜索把一次训练变成数千个模型

传统架构搜索会在一个经过设计的网格上反复训练模型，每次昂贵的尝试后再测量速度和准确率。Roboflow 的权重共享方法则在一次运行中并行训练数千种子网络配置，让搜索在其算力预算内变得可行。
在每个训练步骤，系统都会通过改变 patch 大小、decoder 数量、query 数量、输入分辨率、注意力窗口划分方式及其他参数，采样一个子网络。推理时，任何采样出的子网络都可以单独评估，从而得到一组模型，而非单一架构。
一次 NAS 运行的效率低于一次普通训练，但即便比较数千种配置，也不会低效数千倍。Nelson 称这是“一个极其重大的突破”：Roboflow 获得的是一套可复用、用于发布模型家族的框架，而不只是一个成功的 checkpoint。
可变形注意力需要进行推理引擎层面的适配，最终获得 TensorRT 支持；DINOv3 自然引出下一轮实验。Roboflow 还把托管 NAS 产品化，用客户数据集返回一条 Pareto 曲线，由用户选择速度—准确率点位；这种架构定制程度之高，让 Nelson 称其为字面意义上的“独一份”。

11. 代理把模型基础设施转化为有引导的结果交付

对人类用户而言，NAS 的“一键操作”隐藏了子网络编排：启动训练、收到曲线，然后点击所需运行点。Nelson 的产品原则是提供良好默认值，并逐步揭示复杂性，同时让底层论文、模型和基准保持足够开放，以便复现。
Roboflow 将同一理念用于推理。其开源仓库可以直接安装，而托管产品则封装了图像缩放在 CPU 上运行、为需要 GPU 的网络组件保留 GPU 资源等优化。
Claude Code、Codex 和其他代理可以通过 Roboflow 的 CLI 操作平台工作流，包括优化模型；Nelson 对“未来走 MCP 还是 CLI”持开放态度，认为成熟的 CLI 已经足以让代理代表用户执行操作，而面向具体工作流的 MCP 可能随后出现。
一款尚未发布的官方代理将位于基础设施之上，灵感来自那些在强大云原语之上叠加生成式界面的公司。面对“数穿过这条线的汽车”，它可以选择高效的预训练模型，再追问用户指的是哪条线或哪个路口；难点在于发现意图，而不是最后一次调用。

12. 审美判断难以适配驱动规模化的基准

Labenz 的 Waymark 问题把明显的两端与困难的中间地带分开：模型可以拒绝糟糕的小企业广告图片，但要按“什么会让企业感到自豪”给几张都说得通的方案排序，仍然缓慢、昂贵且不稳定。前沿模型有所帮助，但还没有哪个小型开源模型清楚解决了品味问题。
Nelson 的机制性解释很直接：当一项能力可以被基准衡量时，递归改进才会奏效，随后算力和“苦涩教训”才能发挥作用。审美仍然是“见仁见智”；人们偏好 Midjourney、ChatGPT 或 Gemini 那些可辨识的风格，却无法就一个客观目标达成一致。
规则比品味容易。系统可以测量文字是否占据展示广告过多版面，但“这则广告感觉好不好？”没有可比的真实标签。Nelson 提到 LAION aesthetics predictor 是相关的先行工作，但除 Labenz 现有的基础模型方法外，他没有看到出色的零样本审美模型。
他认为最佳路径是针对客户的偏好学习：品牌规范、过往广告和客户偏好可以训练出类似 RLHF 的“调性检查”（vibe check）或少样本评估器。但这种方法自带矛盾——迎合历史品牌品味，可能反而无法实现营销更高层次的目标：要足够不同，才能“从噪音中脱颖而出”。

13. 自监督、世界模型和 VLA 定义下一轮能力曲线

已经确立的曲线是“Transformer 化一切”：Vision Transformer 和 Diffusion Transformer 持续覆盖更多任务并刷新最先进结果，RF-DETR 则把这套配方延伸到实时场景。更新的曲线是自监督学习，DINO 系列骨干网络无需传统标注数据集，也能形成丰富的场景表征。
Nelson 回忆，DINOv3 使用了十亿级、也可能超过十亿张图像，但他明确表示需要核实这个数字。教师模型会在 patch 预测或填空等任务上验证学生模型，形成潜在理解，之后可支持分类、分割、检测或图像描述；把 patch 当作独立单元处理，也有助于解释空间推理为何持续薄弱。
世界模型可能把对物理场景的“读写权限”结合起来：理解环境、预测下一步，并最终支持行动。Nelson 认为，它们大概会带来更好的物理和空间推理，但真正不确定的是时间表；Cosmos Reason 甚至 Sora 2 可能代表早期基础，距离真正开放式的世界理解仍有一段距离。
视觉—语言—行动模型会加入明确指令和物理执行——“把我的电脑向左移动50厘米”——其模型规模和泛化能力可能各不相同，也会出现适合边缘部署的版本。与此同时，推理时扩展会催生视觉代理：它们搜索、调用专用模型、整理图像并对场景进行推理，就像编码代理如今对代码仓库进行推理一样。

14. 可穿戴设备先跨过硬件门槛，设备端 AI 尚未解决

Nelson 承认自己多次误判增强现实的时间点：Roboflow 在2017年、还没有成为公司时就开始开发 AR 应用，2019年又试了一次，但都错估了采用时机。缺失的并不只是感知质量，还包括一种无需手里拿着“玻璃砖”的形态。
收到 Oakley Meta 眼镜后，他发现它们对骑行和跑步有用：通过骨传导播放音乐、拍摄内容，并理解周围场景。他的同伴起初并不知道眼镜还能播放音乐和拍摄内容。AI“还没到位”，而眼镜似乎把大量工作卸载给了手机。
不过，去年销量仍达到800万副，而 AirPods 为6000万副——对于一个刚开始进入 S 曲线的品类，这是有意义的基础。Nelson 希望未来的显示设备能提供逐向导航，并引用那句熟悉的话：“这已经是它最糟的时候了。”
他预计硬件采用会先于软件生态，并希望 API 最终能像应用商店一样运作，或允许侧载。Snap 的 Spectacles 已经让开发者为想要理解的场景构建自定义镜头——有用户用它统计社区里的停车标志；Snap 也成为第一家在财报中提到 Roboflow 的上市公司。

15. Nelson 对美好生活的设想，从粮食生产延伸到睡前

他设想的乐观一天从早餐前开始：精准农业只给杂草喷药，减少农药使用；视觉系统沿供应链检查鸡蛋；洗衣机不再让人做“白色还是彩色”这类显而易见的选择；冰箱发现缺蛋后，再调用 Instacart MCP。
如果车辆彼此通信，而不是不可预测地作出反应，自动驾驶通勤会更快更安全；连接能力让人们在路上就能开始工作，并把时间还给家人。在办公室，改进后的视觉表征可能让远程协作者的临场感比今天的 Zoom 窗口高出“几个数量级”，但 Nelson 仍为线下的人际连接保留位置。
晚间，视觉系统提供实时橄榄球统计并运行 fantasy sports 代理；工厂检测、库存追踪、机器人和配送摄像头则让货物按正确规格生产、当天送达。甚至牙刷上的摄像头也可能在睡前扫描蛀牙。
Nelson 坚称，这不是理论：Roboflow 用户已经在推进这条链上的不同环节，从癌症研究、海洋清理，到减少农药使用和电动汽车质量控制。用他略带玩笑的概括，视觉最终会“驱动 Santa Claus”——协调生产、验证、运输和最后一公里送达。

16. 结果导向监管是本期最尖锐的分歧

常开摄像头重现了一场旧的社会协商：智能手机刚出现时，人们也因任何人都可能在毫无预警的情况下录下自己而感到不适。Nelson 预计，当生活质量收益超过新增的行为成本时，人们会接受它们；但哪些取舍在社会上可接受，最终要由“同侪组成的陪审团”，而不是技术构建者来决定。
他的乐观建立在两点上：人类“本质上是善良的，即使存在坏人”，以及可执行的隐私权。搜索、扣押、公共空间和私人空间的既有原则，应当适配新设备，而不是仅仅因为摄像头和模型更强大就被放弃。
Labenz 的反驳值得保留——“以窄化实现窄安全”：公共空间暴力检测器可以只触发警报，不识别所有人，也不回答关于他们的任意问题。成本可能自然偏向小模型，但他想知道，人们是否需要一项新权利：只能由足以完成既定目的的最窄模型处理。
Nelson 拒绝把模型规模作为监管边界，因为能力进步和蒸馏会制造意外的禁令。反例是 UNC Chapel Hill 一名博士后用视觉统计数百个中性粒细胞菌落：如果“AI 接触患者健康”都需要广泛审批，连这种良性研究也可能被叫停。他主张监管欺诈等有害结果，并要求从业者对正确行医负责，以免善意的工具层规则阻碍有用创新。

Anthropic 增长负责人：Anthropic 正在自动化自身增长 Hims & Hers 如何凭借23亿美元营收达到43亿美元市值 | Andrew Dudum