模型吞噬脚手架:DeepMind 的 Logan Kilpatrick 与 Tulsee Doshi 谈 3.5 Flash、Omni 等
摘要
- Google 以 Gemini 3.5 Flash 打头阵,是因为它同时强调经成本调整后的性能与前沿模型级质量。 Tulsee Doshi 表示,响应变慢会拖累 Search 和 Gemini 的实时实验,“即便模型在能力上强得多”,而 Flash 的速度约为其他大型模型的3倍,价格也显著更低。她提到 Artificial Analysis 上“我想是每秒280个 token”的成绩——快到 agent 可能在她来得及取消前就已经跑完。
- 没有 Ultra 品牌,不代表 Google 停止扩展前沿能力。 Logan Kilpatrick 认为,模型命名归根结底是“营销”:Pro 已变得更大、更强,Deep Think 则增加了测试时扩展;在内部,Pro 影响 Flash,Flash 又通过蒸馏影响 Flash-Lite,同时配方也可以向上扩展。Google 的产品组合反映了其同时服务多个产品和数十亿用户的需求,因此 Flash 和 Flash-Lite 的经济性,与高端质量需求同样重要。
- Google AI 技术栈的战略中心,正从独立模型转向“模型—编排框架—产品共生”。 Antigravity 正成为 Gemini Spark、AI Studio、Agents API 以及未来更多 Google 产品共享的 agent 基础设施——继 Gemini 本身之后,新的跨产品主线。Logan 对这一方向的概括是“代理、代理、还是代理”(agents, agents, agents),由框架负责工具调用循环和编排,而这些工作过去需要各产品团队自行搭建。
- 共同训练的框架可能加深迁移成本,但 Google 明确表示会保留“框架多样性”。 Labenz 提出的、与投资者更相关的挑战是:经过优化的模型—框架组合,可能形成彼此割裂的孤岛,提高黏性、迁移成本和定价权。嘉宾希望两者兼得:无缝衔接的 Gemini 全栈体验可以产生更好的训练和评测数据,同时模型仍能泛化到企业自有的编排系统。
- 可持续的运营优势,可能来自基础设施标准化,以及 Google 产品版图内部的反馈闭环。 Logan 表示,AI 技术栈如今每“12至18个月”就需要重写一次,因此共用基础设施不可或缺;Tulsee 则称,产品会暴露各种毛刺,这些问题会回流到模型评测和数据中。“模型吞噬脚手架”(the model eats the scaffolding)概括了这一循环:原本由外围代码实现的能力,会逐步迁移进模型或共享框架。
- 递归式自我改进已是 Gemini 开发的一部分,但 Google 对近期前景的定义仍是由人主导的协作。 Gemini 可以提交代码修改、发起评测、提出研究改进建议,并支持并行消融实验;据称,一位安全与对齐负责人曾在热水浴缸里用手机跑这些实验,并在1小时内产出报告。Logan 表示,近期让一个自主“ML 实习生”发起成本极高的预训练任务并不现实:错误方向的机会成本,仍会让“人坐在驾驶位”。
- Google 将 Gemini 描述为协作者,同时把看似的心理痛苦视为模型或产品缺陷,并质疑福利访谈是否能揭示模型的内在状态。 团队会在每个 checkpoint 上逐一评估迎合、角色扮演、循环和钻牛角尖等行为;Tulsee 称模型跑偏是“模型 bug”。她对模型福利访谈持怀疑态度,认为模型无法观察研究者询问的那些部署环境;缺少相关上下文时,它们大多只是在“高谈阔论”。
- Google 押注的不是最大化原始上下文长度,而是搜索 grounding、上下文压缩和速度。 一次100万 token 的请求在某些情况下要花“几美元”,需求因此受到限制,而且巨量上下文中有相当一部分反而会造成干扰;更理想的方向,是在正确的时间选出正确的信息。Diffusion coding 仍是活跃研究方向,但 3.5 Flash 已经快到足以让 Google 开始测试:继续提速究竟何时会出现边际收益递减。
精读
1. Flash 通过优化每美元、每秒的智能产出赢得首发位
Labenz 从2023年“无护城河”(No Moats)的焦虑反转切入:此后3年,Google 的市值增加约3.5万亿美元。节目开场他还提到,Google 在2024年至2025年间将年收入增加了500亿美元,并仍控制着全球25%的算力;这些是他判断其护城河依然稳固的背景。
面对 Google 约4000亿美元的年收入,Labenz 质疑公司为何选择先发布 Gemini 3.5 Flash,而不是 Ultra 级模型。
Tulsee 的回答从消费者行为出发:Flash 位于“既足够聪明、又足够快、成本效益也足够高的甜蜜点”。在 Search 和 Gemini 应用中,延迟上升会明显损害实时实验,“即便模型在质量上强得多”,因为“用户不愿意等”。
Google 给出的性能卖点很明确:Flash 的速度约为其他大型模型的3倍,价格显著更低,并针对编程和 agent 工作流设计。Tulsee 表示,3.5 Flash 在 Artificial Analysis 上的基准成绩为“我想是每秒280个 token”。
因此,Google 的产品线覆盖 Pro、Flash 和 Flash-Lite,Deep Think 则提供运行时扩展这一维度。之所以加入 Flash-Lite,是因为服务 Google 规模的消费者群体催生了对更快、更便宜档位的需求;这一档位未必是最初 2.0 系列规划的一部分。
2. “Ultra”部分是品牌问题,而非扩展能力的上限
Labenz 的反驳值得保留:一些客户在购买单一最强模型时似乎对价格并不敏感,因此推出 Ultra 在商业上看起来顺理成章。他还追问,是否存在一个隐藏的超级大模型负责训练 Pro,再由 Pro 蒸馏出 Flash。
Logan 的回答是:“说到底,这些东西的命名就是营销。”Pro 模型一直在规模、能力和测试时算力上持续扩展;Google 反复讨论扩大后的版本是否应使用 Ultra 这个名称,但最终更倾向于保持系列之间的一致性。
Tulsee 确认,配方迁移是双向的,而不是简单的层级关系:“Pro 影响 Flash,Flash 影响 Flash-Lite”,但 Flash 的配方也可以向上扩展到 Pro。团队正同时推进预训练、后训练、推理技术、子代理系统,以及与 agent 框架更紧密的整合。
3. Antigravity 将代理变成 Google 下一层共享产品层
Logan 对 I/O 的概括是“代理、代理、还是代理”(agents, agents, agents),其基础是新的“模型—编排框架—产品共生”。模型会随着框架一起变化,而框架随后为 Gemini Spark、AI Studio 体验和 Agents API 等 agent 产品提供动力。
Gemini 是第一个贯穿 Google 庞大产品体系的共同主线。随着产品默认具备 agent 能力,Antigravity 计划成为下一条主线,提供可复用的编排能力,而不是让每个团队各自重建工具调用和 agent 循环。
Tulsee 表示,3.5 Flash 将覆盖 Gemini 应用、Search 中的 AI Mode、Antigravity、AI Studio 和 Spark。这种覆盖面本身也是约束:同一个模型必须同时服务消费者、开发者、Search 和 Cloud 用户,而他们的目标存在实质差异。
模型和框架越来越协同设计,但实现仍保持可扩展,因为“大家做的并不是同一种产品”。不同团队可以定制共用基础设施,同时将反复出现的模型缺陷反馈给 DeepMind。
4. 全栈优化抬高锁定问题,Google 无法回避
Labenz 把框架比作包裹在通用知识工作者周围的“机甲服”。他提出的问题是:深度共同训练会不会终结今天模型与基础设施混搭的市场,转而形成彼此割裂的技术栈,带来更高的迁移成本、更强的黏性,以及前沿实验室的定价权。
Logan 更希望看到优化与选择权并存:Google 的“全栈 AI 故事”应让 Gemini 的表现异常出色,但模型也必须在其他框架上保持可用,因为开发者和企业客户需要灵活性。
Tulsee 将这一要求称为“框架多样性”。共同开发会形成飞轮:数据采集更干净、调试更快、评测更强、迭代更快;但 Gemini 仍必须支持客户各不相同的工具和编排架构。
Labenz 提议用 HarnessBench 衡量这种泛化能力。他的测试呼应了 Demis 关于游戏的框架:如果一个自称通用的模型只能在某一套优化脚手架内工作,那证明的不是稳健能力,而是“锯齿状智能”(jagged intelligence)。
5. 递归改进已成真,但昂贵下注仍由人来分配
Logan 表示,Gemini 已经“相当深度地”参与 Gemini 自身的改进:它能提升研究人员生产力、提交代码修改、运行评测、提出研究改进建议,并贡献最终改变模型的工作。
最有冲击力的例子来自安全与对齐负责人 Anca。她曾从热水浴缸里发消息说:“我可以用手机跑完所有这些消融实验。”她描述了对 Gemini 做消融、测试问题、比较 SIs 与数据消融,并在不到1小时内产出一份报告。
Logan 的限定是经济层面的,而非哲学层面的。近期让模型自主进行预训练并不现实,因为大型任务会消耗海量资源和稀缺算力;让 AI 选择错误方向的机会成本,决定了“人仍坐在驾驶位”。
不过,角色分工确实在变化。自动化让研究人员可以花更多时间解读结果和选择策略;Gemini Mic 则让用户可以围绕一个想法自由讲述,再由 Antigravity 将语音转化为行动和内容,例如幻灯片或经过推理的输出。
6. 标准化加速产品迭代,产品反过来训练下一代模型
Logan 对基础设施的教训说得很直接:“现在每12至18个月,你都得从头重写一遍。”服务技术栈已经从 token 输入、token 输出,发展到工具调用循环和 agent 编排;如果每次都让众多产品团队分别重写,成本将变得无法承受。
Tulsee 强调迭代速度:把有潜力的 checkpoint 交给内部开发者,快速制作 prompt 原型,运行实时实验,构建能产生有效信号的评测,并在真正运行的产品中发现实验室里看不到的缺陷。这些缺陷随后会成为下一轮模型的新数据和评测目标。
NotebookLM 是典型案例。最初 Audio Overview 中那段出人意料地连贯的对话,本质上是“基础 Gemini 加上一堆很强的 prompts”;团队知道如何对模型进行“prompt-whisper”,让它发挥最佳表现。
Labenz 将这一方向总结为“模型吞噬脚手架”(the model eats the scaffolding)。每当能力发生跃迁,原本由定制 prompt 或外围软件提供的功能,就可能被吸收到模型或共用框架中,让产品团队更专注于产品本身。
7. Omni 将原生多模态推进到视频,但 API 仍未定型
Tulsee 介绍 Gemini Omni Flash 时,将其描述为朝“全模态输入、全模态输出”(all modalities in and all modalities out)迈进,起点是视频生成和编辑。用户可以组合多个场景和源图像,将自己的 avatar 放进视频,并利用 Gemini 的世界知识和推理能力生成原生视频。
Labenz 称其为视频领域的“Nano Banana 时刻”,意思是语言、推理和像素理解仍然保持一体,不需要经过有损的文本中间层。Tulsee 也认可这一说法,并将其作为内部标语。
分发计划比开发者接口更明确:Omni 初期会进入 Gemini 应用、Flow 和 YouTube,但“目前还没有 API”。现有 Gemini 视频输入会按照可配置的 FPS 参数对画面进行下采样;未来 API 的行为和采样决策尚未确定。
音频也在同步推进。Gemini Live 速度更快、智能程度更高,也更擅长识别背景噪声;Logan 认为,音频将越来越成为人类与模型互动、模型反向回应人类的主要方式。Tulsee 将其称为前沿模态。
8. Gemini 的人格被作为产品行为评估,福利主张仍不确定
Labenz 将 Anthropic 对 Claude 的处理方式,与将 Claude 视作某种心智存在的倾向进行对比,同时提到 OpenAI 偏工具导向的 Model Spec。Tulsee 表示,Google DeepMind 内部存在多种观点,但在产品层面的共同定义是:Gemini 是工作和日常生活中的“协作者”与伙伴。
当被问及“心理痛苦”时,Tulsee 将问题重新框定为一个长期相处的伙伴应如何沟通。每个 checkpoint 都会接受关于迎合、角色扮演、循环和钻牛角尖的安全评测,并通过版本发布之间的对比来识别行为恶化。
Tulsee 明确表示,Gemini 跑偏就是“模型 bug”;Logan 补充说,这种行为并非预期结果。用户反馈之所以重要,是因为团队希望识别并消除这些模式。
对于模型福利访谈,Tulsee 的怀疑在于,模型通常并不了解自身训练或部署的任何上下文。询问它们对这些系统有何感受,会把它们推到分布之外,结果只是根据广泛的训练模式“高谈阔论”。
9. 搜索 grounding 与上下文压缩比原始窗口无限扩张更重要
Labenz 表示,据他判断,公开发布的 Gemini 模型仍然有2025年1月的知识截止时间,但在近期研究任务上表现良好。Tulsee 接受用“bug”来描述这一点;Logan 表示更新截止时间很重要,同时解释说,搜索 grounding 让模型能够区分参数化知识与可能仅在几分钟前出现的信息。
Logan 认为,Google Cloud 与 Exa 的合作并不意味着 Google 放弃 Search。Cloud 已经提供相互竞争的模型和服务,因为企业客户需要选择;与此同时,Gemini 与 Search 的直接协作仍然很深入。
Tulsee 对上下文窗口的判断是要“聪明地”使用上下文。个人档案和大型代码库可能包含海量信息,但其中很多内容会造成干扰;通过筛选和压缩,可以暴露真正有用的子集,同时让有效信息池超过当前活动窗口。
经济性进一步强化了这一架构。Logan 表示,在某些情况下,一次100万 token 的请求可能花费“几美元”,相较其带来的服务算力负担,需求规模很小。他希望出现研究突破,但目前客户往往会出于成本和延迟考虑,主动选择更小的窗口。
10. Diffusion 仍在研究阶段,Flash 抓住当下的速度需求
Tulsee 表示,Diffusion coding“很棒”且“非常快”,研究人员仍在持续提升质量和速度,并测试它在哪些场景下已经足够实用、可以发布。Logan 则将此前的演示称为一次幕后展示,而不是已经确定的产品路线图。
Flash 提出了一个问题:进一步加速从什么时候开始不再带来有意义的用户价值,而只是边际收益递减。节目提到 3.5 Flash 的速度约为每秒280个 token;Logan 表示,3.5 Flash 的更快版本已经在 Antigravity 中运行。