先锋 趋势 方法 投研 作者
模型吞噬脚手架:DeepMind 的 Logan Kilpatrick 与 Tulsee Doshi 谈 3.5 Flash、Omni 等
返回节目精读

模型吞噬脚手架:DeepMind 的 Logan Kilpatrick 与 Tulsee Doshi 谈 3.5 Flash、Omni 等

摘要

  • Google 以 Gemini 3.5 Flash 打头阵,是因为它同时强调经成本调整后的性能与前沿模型级质量。 Tulsee Doshi 表示,响应变慢会拖累 Search 和 Gemini 的实时实验,“即便模型在能力上强得多”,而 Flash 的速度约为其他大型模型的3倍,价格也显著更低。她提到 Artificial Analysis 上“我想是每秒280个 token”的成绩——快到 agent 可能在她来得及取消前就已经跑完。
  • 没有 Ultra 品牌,不代表 Google 停止扩展前沿能力。 Logan Kilpatrick 认为,模型命名归根结底是“营销”:Pro 已变得更大、更强,Deep Think 则增加了测试时扩展;在内部,Pro 影响 Flash,Flash 又通过蒸馏影响 Flash-Lite,同时配方也可以向上扩展。Google 的产品组合反映了其同时服务多个产品和数十亿用户的需求,因此 Flash 和 Flash-Lite 的经济性,与高端质量需求同样重要。
  • Google AI 技术栈的战略中心,正从独立模型转向“模型—编排框架—产品共生”。 Antigravity 正成为 Gemini Spark、AI Studio、Agents API 以及未来更多 Google 产品共享的 agent 基础设施——继 Gemini 本身之后,新的跨产品主线。Logan 对这一方向的概括是“代理、代理、还是代理”(agents, agents, agents),由框架负责工具调用循环和编排,而这些工作过去需要各产品团队自行搭建。
  • 共同训练的框架可能加深迁移成本,但 Google 明确表示会保留“框架多样性”。 Labenz 提出的、与投资者更相关的挑战是:经过优化的模型—框架组合,可能形成彼此割裂的孤岛,提高黏性、迁移成本和定价权。嘉宾希望两者兼得:无缝衔接的 Gemini 全栈体验可以产生更好的训练和评测数据,同时模型仍能泛化到企业自有的编排系统。
  • 可持续的运营优势,可能来自基础设施标准化,以及 Google 产品版图内部的反馈闭环。 Logan 表示,AI 技术栈如今每“12至18个月”就需要重写一次,因此共用基础设施不可或缺;Tulsee 则称,产品会暴露各种毛刺,这些问题会回流到模型评测和数据中。“模型吞噬脚手架”(the model eats the scaffolding)概括了这一循环:原本由外围代码实现的能力,会逐步迁移进模型或共享框架。
  • 递归式自我改进已是 Gemini 开发的一部分,但 Google 对近期前景的定义仍是由人主导的协作。 Gemini 可以提交代码修改、发起评测、提出研究改进建议,并支持并行消融实验;据称,一位安全与对齐负责人曾在热水浴缸里用手机跑这些实验,并在1小时内产出报告。Logan 表示,近期让一个自主“ML 实习生”发起成本极高的预训练任务并不现实:错误方向的机会成本,仍会让“人坐在驾驶位”。
  • Google 将 Gemini 描述为协作者,同时把看似的心理痛苦视为模型或产品缺陷,并质疑福利访谈是否能揭示模型的内在状态。 团队会在每个 checkpoint 上逐一评估迎合、角色扮演、循环和钻牛角尖等行为;Tulsee 称模型跑偏是“模型 bug”。她对模型福利访谈持怀疑态度,认为模型无法观察研究者询问的那些部署环境;缺少相关上下文时,它们大多只是在“高谈阔论”。
  • Google 押注的不是最大化原始上下文长度,而是搜索 grounding、上下文压缩和速度。 一次100万 token 的请求在某些情况下要花“几美元”,需求因此受到限制,而且巨量上下文中有相当一部分反而会造成干扰;更理想的方向,是在正确的时间选出正确的信息。Diffusion coding 仍是活跃研究方向,但 3.5 Flash 已经快到足以让 Google 开始测试:继续提速究竟何时会出现边际收益递减。

精读

1. Flash 通过优化每美元、每秒的智能产出赢得首发位

  • Labenz 从2023年“无护城河”(No Moats)的焦虑反转切入:此后3年,Google 的市值增加约3.5万亿美元。节目开场他还提到,Google 在2024年至2025年间将年收入增加了500亿美元,并仍控制着全球25%的算力;这些是他判断其护城河依然稳固的背景。

  • 面对 Google 约4000亿美元的年收入,Labenz 质疑公司为何选择先发布 Gemini 3.5 Flash,而不是 Ultra 级模型。

  • Tulsee 的回答从消费者行为出发:Flash 位于“既足够聪明、又足够快、成本效益也足够高的甜蜜点”。在 Search 和 Gemini 应用中,延迟上升会明显损害实时实验,“即便模型在质量上强得多”,因为“用户不愿意等”。

  • Google 给出的性能卖点很明确:Flash 的速度约为其他大型模型的3倍,价格显著更低,并针对编程和 agent 工作流设计。Tulsee 表示,3.5 Flash 在 Artificial Analysis 上的基准成绩为“我想是每秒280个 token”。

  • 因此,Google 的产品线覆盖 Pro、Flash 和 Flash-Lite,Deep Think 则提供运行时扩展这一维度。之所以加入 Flash-Lite,是因为服务 Google 规模的消费者群体催生了对更快、更便宜档位的需求;这一档位未必是最初 2.0 系列规划的一部分。

2. “Ultra”部分是品牌问题,而非扩展能力的上限

  • Labenz 的反驳值得保留:一些客户在购买单一最强模型时似乎对价格并不敏感,因此推出 Ultra 在商业上看起来顺理成章。他还追问,是否存在一个隐藏的超级大模型负责训练 Pro,再由 Pro 蒸馏出 Flash。

  • Logan 的回答是:“说到底,这些东西的命名就是营销。”Pro 模型一直在规模、能力和测试时算力上持续扩展;Google 反复讨论扩大后的版本是否应使用 Ultra 这个名称,但最终更倾向于保持系列之间的一致性。

  • Tulsee 确认,配方迁移是双向的,而不是简单的层级关系:“Pro 影响 Flash,Flash 影响 Flash-Lite”,但 Flash 的配方也可以向上扩展到 Pro。团队正同时推进预训练、后训练、推理技术、子代理系统,以及与 agent 框架更紧密的整合。

3. Antigravity 将代理变成 Google 下一层共享产品层

  • Logan 对 I/O 的概括是“代理、代理、还是代理”(agents, agents, agents),其基础是新的“模型—编排框架—产品共生”。模型会随着框架一起变化,而框架随后为 Gemini Spark、AI Studio 体验和 Agents API 等 agent 产品提供动力。

  • Gemini 是第一个贯穿 Google 庞大产品体系的共同主线。随着产品默认具备 agent 能力,Antigravity 计划成为下一条主线,提供可复用的编排能力,而不是让每个团队各自重建工具调用和 agent 循环。

  • Tulsee 表示,3.5 Flash 将覆盖 Gemini 应用、Search 中的 AI Mode、Antigravity、AI Studio 和 Spark。这种覆盖面本身也是约束:同一个模型必须同时服务消费者、开发者、Search 和 Cloud 用户,而他们的目标存在实质差异。

  • 模型和框架越来越协同设计,但实现仍保持可扩展,因为“大家做的并不是同一种产品”。不同团队可以定制共用基础设施,同时将反复出现的模型缺陷反馈给 DeepMind。

4. 全栈优化抬高锁定问题,Google 无法回避

  • Labenz 把框架比作包裹在通用知识工作者周围的“机甲服”。他提出的问题是:深度共同训练会不会终结今天模型与基础设施混搭的市场,转而形成彼此割裂的技术栈,带来更高的迁移成本、更强的黏性,以及前沿实验室的定价权。

  • Logan 更希望看到优化与选择权并存:Google 的“全栈 AI 故事”应让 Gemini 的表现异常出色,但模型也必须在其他框架上保持可用,因为开发者和企业客户需要灵活性。

  • Tulsee 将这一要求称为“框架多样性”。共同开发会形成飞轮:数据采集更干净、调试更快、评测更强、迭代更快;但 Gemini 仍必须支持客户各不相同的工具和编排架构。

  • Labenz 提议用 HarnessBench 衡量这种泛化能力。他的测试呼应了 Demis 关于游戏的框架:如果一个自称通用的模型只能在某一套优化脚手架内工作,那证明的不是稳健能力,而是“锯齿状智能”(jagged intelligence)。

5. 递归改进已成真,但昂贵下注仍由人来分配

  • Logan 表示,Gemini 已经“相当深度地”参与 Gemini 自身的改进:它能提升研究人员生产力、提交代码修改、运行评测、提出研究改进建议,并贡献最终改变模型的工作。

  • 最有冲击力的例子来自安全与对齐负责人 Anca。她曾从热水浴缸里发消息说:“我可以用手机跑完所有这些消融实验。”她描述了对 Gemini 做消融、测试问题、比较 SIs 与数据消融,并在不到1小时内产出一份报告。

  • Logan 的限定是经济层面的,而非哲学层面的。近期让模型自主进行预训练并不现实,因为大型任务会消耗海量资源和稀缺算力;让 AI 选择错误方向的机会成本,决定了“人仍坐在驾驶位”。

  • 不过,角色分工确实在变化。自动化让研究人员可以花更多时间解读结果和选择策略;Gemini Mic 则让用户可以围绕一个想法自由讲述,再由 Antigravity 将语音转化为行动和内容,例如幻灯片或经过推理的输出。

6. 标准化加速产品迭代,产品反过来训练下一代模型

  • Logan 对基础设施的教训说得很直接:“现在每12至18个月,你都得从头重写一遍。”服务技术栈已经从 token 输入、token 输出,发展到工具调用循环和 agent 编排;如果每次都让众多产品团队分别重写,成本将变得无法承受。

  • Tulsee 强调迭代速度:把有潜力的 checkpoint 交给内部开发者,快速制作 prompt 原型,运行实时实验,构建能产生有效信号的评测,并在真正运行的产品中发现实验室里看不到的缺陷。这些缺陷随后会成为下一轮模型的新数据和评测目标。

  • NotebookLM 是典型案例。最初 Audio Overview 中那段出人意料地连贯的对话,本质上是“基础 Gemini 加上一堆很强的 prompts”;团队知道如何对模型进行“prompt-whisper”,让它发挥最佳表现。

  • Labenz 将这一方向总结为“模型吞噬脚手架”(the model eats the scaffolding)。每当能力发生跃迁,原本由定制 prompt 或外围软件提供的功能,就可能被吸收到模型或共用框架中,让产品团队更专注于产品本身。

7. Omni 将原生多模态推进到视频,但 API 仍未定型

  • Tulsee 介绍 Gemini Omni Flash 时,将其描述为朝“全模态输入、全模态输出”(all modalities in and all modalities out)迈进,起点是视频生成和编辑。用户可以组合多个场景和源图像,将自己的 avatar 放进视频,并利用 Gemini 的世界知识和推理能力生成原生视频。

  • Labenz 称其为视频领域的“Nano Banana 时刻”,意思是语言、推理和像素理解仍然保持一体,不需要经过有损的文本中间层。Tulsee 也认可这一说法,并将其作为内部标语。

  • 分发计划比开发者接口更明确:Omni 初期会进入 Gemini 应用、Flow 和 YouTube,但“目前还没有 API”。现有 Gemini 视频输入会按照可配置的 FPS 参数对画面进行下采样;未来 API 的行为和采样决策尚未确定。

  • 音频也在同步推进。Gemini Live 速度更快、智能程度更高,也更擅长识别背景噪声;Logan 认为,音频将越来越成为人类与模型互动、模型反向回应人类的主要方式。Tulsee 将其称为前沿模态。

8. Gemini 的人格被作为产品行为评估,福利主张仍不确定

  • Labenz 将 Anthropic 对 Claude 的处理方式,与将 Claude 视作某种心智存在的倾向进行对比,同时提到 OpenAI 偏工具导向的 Model Spec。Tulsee 表示,Google DeepMind 内部存在多种观点,但在产品层面的共同定义是:Gemini 是工作和日常生活中的“协作者”与伙伴。

  • 当被问及“心理痛苦”时,Tulsee 将问题重新框定为一个长期相处的伙伴应如何沟通。每个 checkpoint 都会接受关于迎合、角色扮演、循环和钻牛角尖的安全评测,并通过版本发布之间的对比来识别行为恶化。

  • Tulsee 明确表示,Gemini 跑偏就是“模型 bug”;Logan 补充说,这种行为并非预期结果。用户反馈之所以重要,是因为团队希望识别并消除这些模式。

  • 对于模型福利访谈,Tulsee 的怀疑在于,模型通常并不了解自身训练或部署的任何上下文。询问它们对这些系统有何感受,会把它们推到分布之外,结果只是根据广泛的训练模式“高谈阔论”。

9. 搜索 grounding 与上下文压缩比原始窗口无限扩张更重要

  • Labenz 表示,据他判断,公开发布的 Gemini 模型仍然有2025年1月的知识截止时间,但在近期研究任务上表现良好。Tulsee 接受用“bug”来描述这一点;Logan 表示更新截止时间很重要,同时解释说,搜索 grounding 让模型能够区分参数化知识与可能仅在几分钟前出现的信息。

  • Logan 认为,Google Cloud 与 Exa 的合作并不意味着 Google 放弃 Search。Cloud 已经提供相互竞争的模型和服务,因为企业客户需要选择;与此同时,Gemini 与 Search 的直接协作仍然很深入。

  • Tulsee 对上下文窗口的判断是要“聪明地”使用上下文。个人档案和大型代码库可能包含海量信息,但其中很多内容会造成干扰;通过筛选和压缩,可以暴露真正有用的子集,同时让有效信息池超过当前活动窗口。

  • 经济性进一步强化了这一架构。Logan 表示,在某些情况下,一次100万 token 的请求可能花费“几美元”,相较其带来的服务算力负担,需求规模很小。他希望出现研究突破,但目前客户往往会出于成本和延迟考虑,主动选择更小的窗口。

10. Diffusion 仍在研究阶段,Flash 抓住当下的速度需求

  • Tulsee 表示,Diffusion coding“很棒”且“非常快”,研究人员仍在持续提升质量和速度,并测试它在哪些场景下已经足够实用、可以发布。Logan 则将此前的演示称为一次幕后展示,而不是已经确定的产品路线图。

  • Flash 提出了一个问题:进一步加速从什么时候开始不再带来有意义的用户价值,而只是边际收益递减。节目提到 3.5 Flash 的速度约为每秒280个 token;Logan 表示,3.5 Flash 的更快版本已经在 Antigravity 中运行。