摘要

按 Jeff Dean 的说法，Google 的模型战略优化的是整套技术栈，而不是某一个旗舰模型。 前沿模型展示新能力，并提供蒸馏小模型所需的教师 logits；Flash 再把这些增益转化为更低成本、更低延迟的产品部署，包括 Search。它“不是一件事”，而是“贯穿整套技术栈、上下各层的一大堆事情”。
Flash 追平上一代 Pro，并不会终结前沿模型生意，因为需求分布并非静止不变。 编程模型变强后，用户会从要求写一个循环，升级到要求交付一个软件包；分析任务也会从单点事实扩展到综合全球可再生能源部署情况。Dean 对商品化的回答是：能力提升会创造更难的新工作负载，而前沿模型则为可负担的模型层级提供教师。
真正有用的长上下文，最终需要营造出能够关注数万亿 token 的假象，而不只是拉长二次复杂度的注意力机制。 Gemini 正在推进100万或200万 token，而简单的“海中捞针”测试在约128k token附近已基本饱和；Dean设想的是分阶段检索：先从约3万份文档、3000万个关键信息 token中筛选，最终交给最强模型的可能只有117份文档。产品终点，是经授权访问“每一封邮件、每一张照片、我看过的每一段视频”。
硬件成本的决定性因素是数据搬运：一次乘法的成本可以低于1皮焦耳至约1皮焦耳，而在同一芯片上搬运数据的成本约为1000皮焦耳。 这一差距解释了批处理；再加上稀疏化和低精度，模型因此应驻留在 SRAM 中、横跨16或64块芯片，并配合投机解码。Google 的 TPU—模型协同设计采用异常漫长的规划周期，要提前2至6年预测工作负载，并瞄准远至 TPU N+2 的变化。
Dean 预计通用模型在大多数场景胜出，但认为检索和模块化专业能力是应对模型容量有限的必要方案。 在IMO级数学任务上，一个大致接近生产模型、但额外投入推理预算的统一模型，取代了独立的符号系统和几何系统；但小模型不应把“宝贵的参数空间”用来背诵冷门事实。医疗、机器人和低资源语言则可能采用增强训练、私有数据、检索，或在强大基座模型上挂载可安装模块。
编程智能体正在把工程杠杆从敲代码转向定义、监督和组织工作。 讨论认为，只要这些“50名实习生”足够优秀，让它们协作是可行的，Dean还提出可以把它们编成多个子团队。产出质量将越来越取决于是否对需求、边界情况和性能约束“足够认真”。主持人讨论了低20x至50x的延迟，而Dean认为，每秒1万个 token 依然有意义：其中9000个 token可以用于推理，最终只输出1000个 token的代码。
Gemini 的组织起源进一步印证了整栈思路：算力、人才和想法的分散本身就是瓶颈。 Dean 说，他曾写过一页备忘录，认为 Google 将语言、多模态、Brain 和早期 DeepMind 工作分散开来，“实在愚蠢”；解决方案是打造一个从一开始就原生多模态的项目。它的增益又与此前的倍增效应叠加：稀疏化带来约10倍的算力到质量提升，Transformer 带来10倍至100倍提升，而早期一个20亿参数系统在 ImageNet 22k 上实现了70%的相对错误率改善。

精读

1. 前沿能力与可负担推理相辅相成

Dean 描述的 Google 模型战略覆盖整套技术栈：高能力的大模型、把这些能力迁移到小模型的软件，以及能够高效服务两者的硬件。Google 既需要一个用于深度推理和复杂数学的前沿模型，也需要一个面向智能体式编程等更广泛工作负载、价格可负担且低延迟的模型。
前沿模型不是可有可无的额外开销：它会揭示“现在有哪些能力是以前版本还不具备的”（what capabilities now exist that didn’t exist），然后为蒸馏提供教师。Dean 说，两个层级都很有用；要得到高能力的小模型，“你需要前沿模型”。
Dean 把蒸馏追溯到一个包含3亿张图像、约2万个类别的数据集。约50名专家分别在哺乳动物、室内场景等簇上做增强，形成了一个能力很强但无法实际部署的集成模型，于是团队开始尝试“把它压缩成真正适合某种硬件形态、能够实际提供服务的东西”。
现代蒸馏用大模型输出的 logits 替代硬标签，并支持在大规模训练集上反复训练，让小模型逐步学会原本不会的行为。公开趋势很明确：在多代 Gemini 中，下一代 Flash 已经追平或大幅超过上一代 Pro。

2. 更低价格扩大工作负载，而非终结前沿竞赛

主持人把 Flash 的经济性与一个“约50万亿” token 的不断变化的估算联系起来，并提到它已经覆盖 Gmail、YouTube 等 Google 产品；Dean 补充说，Flash 也越来越多地用于 Search 的 AI Mode 和摘要。它的优势不只是便宜，还有延迟低。
延迟下降之所以重要，是因为用户需求正在从“给我写一个 for 循环”扩展到“给我写一个完整的软件包”。能力更强的智能体会在返回结果前生成更多 token，因此推理速度不再只是表层的用户体验指标，而是有效能力的一部分。
当被问及 Flash 最终是否会满足大多数用户需求时，Dean 给出的限定条件很关键：只有在“人们要求模型完成的事情的分布保持不变”时，这一判断才成立。他自己的编程需求就随着模型变强而变得更复杂；分析任务如今也可以覆盖全球可再生能源部署，而不只是查找孤立事实。
Dean 更偏好那些初始得分约为10%至30%的基准测试，因为这样还有空间继续爬升至80%或90%。接近95%后，回报会下降，原因可能是能力已经被解决，也可能是公共数据泄漏占据主导；因此 Google 依靠已知未出现在训练数据中的内部留出评测。

3. 长上下文必须演化为面向全世界的分层注意力

Gemini 1.5 的长上下文工作，目标是获得一种能力，而不是执着于某个架构技巧。单针测试在约128k token以内已经基本饱和，许多系统支持128k或256k，而 Google 正在推进100万或200万 token。
现在真正有用的测试，是综合1000页文档或数小时视频，而不是找出一个产品编号。Dean 希望引入多针和更贴近现实的综合评测，衡量模型能否把海量上下文转化为用户真正需要的答案。
二次复杂度的注意力机制无法简单地从100万 token扩展到10亿或1万亿。Dean 的目标是算法和系统层面的进步，让模型“营造出能够关注数万亿 token 的假象”，从而对互联网、YouTube 的像素和表示，或用户经授权的个人状态进行注意。
他设想的系统形态类似 Search：轻量级并行模型先找出约3万份包含3000万个关键信息 token的文档；更强的阶段把范围收窄至约117份文档；最强模型再完成最终分析。目标能力是：“我能不能在回答问题时关注整个互联网？”

4. 原生多模态远不止文本、图像和音频

Dean 希望 Gemini 能接触“数百种模态”，包括 Waymo LiDAR、机器人传感器、X光、MRI、其他医疗影像以及基因组数据。即使主预训练组合无法吸收所有可用数据，只要少量接触，也能让模型知道这种模态存在且承载着意义。
对于视觉是否是“王者模态”的问题，Dean 把答案扩展为视觉加运动。他提到，眼睛曾沿着23条路径独立演化，因为感知周围世界异常有用；他还强调，原生视频理解本身就是一种独立能力。
他给出的最典型视频案例，是一段跨越约20年的18个体育事件集锦。只看视频，Gemini 就生成了一张18行的表格，列出每个事件、日期和描述；Dean 将其概括为把“视频转成类似 SQL 的表格”。

5. Google Search 的演进提供系统蓝图

早在 LLM 出现之前，Search 就已经采用了巨型索引，先用轻量方法找出约3万份相关文档，再逐层加入更复杂的信号，最后展示约10条结果。LLM 驱动的检索会改变表示方式，但 Dean 预计这种漏斗形系统仍将保留。
2001年，一套部署使用约60个索引分片，每个分片配置20个副本，即1200台配备磁盘的机器。团队后来发现，完整索引可以放进他们合计拥有的内存中，于是无需反复访问磁盘；一个三四词的查询也可以扩展到约50个词，包括 restaurant、restaurants、cafe 和 bistro 等同义表达。
将索引放入内存后，Search 在 LLM 出现多年以前就已经改善了基于语义的检索。最终最剧烈的扩展维度是新鲜度：页面更新从每月一次推进到任意页面都能在1分钟内反映，重新抓取的排程则在页面变更概率与保持重要页面最新的价值之间寻找平衡。
Dean 的设计规则是，关键参数可以按5倍或10倍增长，“但可能不要超过这个范围”。100倍的变化通常意味着另一种架构更合理；在写代码前，通过延迟、带宽、寻址和内存的粗略计算，可以提前找到新的设计点。

6. AI 推理经济学由比特搬运主导

围绕“每个 AI 程序员都应该知道的数字”展开的讨论，核心是状态搬运：芯片上的 SRAM、加速器附带的 HBM、DRAM 以及网络。主持人的分析认为，一次乘法的成本约为或低于1皮焦耳，而从同一芯片的另一端搬运数据，成本可能接近1000皮焦耳。
这一差距解释了主持人分析中的批处理逻辑：一个模型参数既然已经付出约1000皮焦耳被搬到乘法器，“就必须把搬来的东西反复利用很多很多次”；批大小约为256可以摊薄搬运成本，而批大小为1虽然延迟极佳，效率却很差。
对足够小的模型来说，TPU 的模型并行可以把模型条带化分布在16或64块芯片上，让它驻留在 SRAM 中，而不必支付从 HBM 搬运数据的更高成本。规则的二维或三维 TPU 网格与高性能互连，随后可以同时改善吞吐和延迟。
投机解码创造了另一种小型有效批处理：先由草稿过程预测8个 token，接受其中约5个或6个，从而把权重搬运的摊销效率提高约5倍。Dean 会从实际能耗、延迟和吞吐的联合视角评估这类技术。

7. TPU 设计是在押注未来模型架构

TPU 架构师与模型研究人员会围绕“我们认为机器学习研究的未来落点”共同设计。芯片从立项到进入数据中心可能需要2年，之后还要保持3年、4年或5年的相关性，因此 Google 必须提前2至6年预测计算需求。
重大功能可能瞄准 TPU N+2，小幅变化有时则能赶上 N+1。如果某种方法有潜力提速10倍，即使相关投机电路只占很小面积，也值得考虑；但大型架构押注需要更强的机器学习实验作为决策依据。
协同设计也会反向进行：一旦硬件确定，模型架构会调整为适合在其上训练和服务。研究人员可能会采用下一代 TPU 支持的更低精度训练，即便当前这一代还不支持。
Dean“非常支持极低精度”，因为能耗取决于搬运的比特数；共享缩放向量可以应用于一组低比特权重。模拟基底仍然很有吸引力，但数模和模数转换可能消耗其理论功耗优势的很大一部分。

8. 可靠性与不可验证任务上的强化学习仍未解决

Dean 的研究议程包括让模型可靠地执行包含许多子任务的长时间工作，以及让一个模型调用其他模型作为工具的编排机制。目标是集体完成“远比单个模型能够处理的更重要的工作”。
更难的未解问题，是如何让强化学习在可验证的数学和编程之外继续带来增益。一条路径是让另一个模型，或让同一个模型以批评者身份运行，判断检索材料是否相关，或从大规模候选集中筛出最强的50个结果。
Dean 没有声称不可验证问题已经解决。他的乐观来自变化速度：约2年前，模型还难以处理 GSM8K 式的兔子算术；约1年半后，它们已经能够用自然语言处理复杂得多的数学问题。

9. 通用模型广泛胜出，模块应对容量稀缺

Dean 并不意外于 IMO 相关工作从 AlphaProof、AlphaGeometry 和面向 Lean 的工具链，转向一个类似生产模型、但额外投入推理预算的统一模型。人类可以操纵符号，却并没有明显存储一个离散的符号引擎，因此独立的符号系统与神经系统“在他看来从来就说不通”。
Dean 预计“通用模型”在“大多数情况下”会胜过专业模型，这呼应了此前把街牌、语音和视觉模型从彼此分离转向统一的过程。剩下的问题是，统一模型能否可靠地泛化到从未见过的任务。
主持人对容量的质疑仍适用于小模型：有限参数不可能记住一切。Dean 更愿意把“宝贵的参数空间”用于可复用的推理，而不是记忆可以通过检索获得的冷门事实；但模型仍需保留足够的世界知识，例如一座桥的大致长度，以便建立判断基准。
垂直模型仍然有价值，可以作为强大基座模型的增强版继续训练。一个重视机器人的模型可能在机器人任务上变强，却损失多语言翻译能力；医疗、机器人或200种语言等模块最终可能被“编织到一起”，部分知识由检索提供，其余则通过1000亿或1万亿个领域 token 的训练获得。

10. 不同数据约束需要不同适配机制

Alessio 提到的 Kalamang 案例展示了另一条路径：Kalamang 只有约120人使用，且没有书面文本，因此小到可以把几乎全部可用数据放进上下文。Somali 等语言拥有更多文本，在训练时纳入更多数据就能继续改善。
医疗领域尤其受限，因为大量有用数据属于私有数据，通用模型无法获得。Dean 认为，可以与大型医疗机构合作，由机构使用自己的数据训练定制模型；对于该机构的应用场景，这种模型可能胜过只使用公开材料训练的模型。
Dean 回忆过一个早期的图像—语言融合模型，它能够泛化到训练标签之外的图像类别。模型用望远镜和双筒望远镜图像训练，却没有显微镜这一类别；但在图像与语言表示融合后，它仍能正确标注一张全新的显微镜图像。

11. 硬件、架构与组织带来的规模化增益会彼此叠加

Dean 对规模化的信念，源自他1990年关于并行神经网络训练的本科毕业论文。他当时认为神经网络是正确的抽象，只是缺乏算力；到了2008年或2009年，更大的数据集与摩尔定律终于让真实的语音、视觉和语言问题变得可处理。
Dean 于2011年末加入 Google 后，重新启动模型并行与数据并行思路，用16,000个 CPU 核心、数周时间训练了一个20亿参数的视觉模型，规模约为此前神经网络的50倍。它在 ImageNet 22k 上实现了70%的相对错误率改善，也强化了那句口号：“更大的模型、更多的数据、更好的结果”。
稀疏模型又增加了一重倍增效应：模型可以拥有数万亿参数，但实际只激活其中1%、5%或10%，相较稠密模型，时间效率或算力到质量的效率提升约10倍。Transformer 相较 LSTM 带来约10倍至100倍提升；硬件、数据、架构、基础设施和强化学习的增益随后继续叠加。
Dean 部分接受 Google 将规模化力量分散开来的批评。他的一页备忘录认为，把算力、人员和想法拆分到语言、多模态、Brain、Chinchilla 和 Flamingo 等项目中“实在愚蠢”；备忘录提出打造一个从一开始就原生多模态的项目，最终成为 Gemini——意为“孪生汇聚”（twins coming together），同时也暗含 NASA 阿波罗计划前期的次级指涉。

12. 编程智能体将规格与延迟变成能力

Dean 说，编程工具如今已经能够接收有实质复杂度的委托任务，但交互方式会影响结果：开发者可以要求测试、共同推演性能、频繁迭代，也可以让智能体独立工作后再回来。不同问题并不存在统一的监督节奏。
主持人担心，50个并行智能体可能积累大量上下文，把人类协作者隔离开来。Dean 的反驳是：5个人分别管理50个虚拟智能体，彼此之间的沟通带宽可能高于5名管理者协调50人的人类团队；不过他也强调，最终的交互界面尚未确定。
规格说明一度只是教学内容，却经常被忽略；现在它们会变成可执行输入。开发者必须对边界情况、性能和歧义“足够认真”；覆盖 Paxos 式复制、重复请求处理等技术的可复用指南，可以让智能体获得相当于资深分布式系统工程师的经验直觉。
主持人预计系统延迟会下降20倍或50倍。若达到每秒1万个 token，模型就可以并行运行多轮推演、生成代码并验证代码——或许最终只返回1000个 token的代码，但背后有9000个 token的推理支撑；另一端则是 Deep Think 层级，对应成本与延迟的另一种权衡。

科技周期、流量与人工智能张小珺x郑庆生 AI、R2与日常驾驶的未来｜Rivian CEO RJ Scaringe