摘要

IMO 金牌背后，是一次从专用符号系统转向端到端 Gemini 模型的有意押注，但 Yi 并未把它说成自己高确信度的个人决策。 更广泛的 AlphaGeometry/AlphaProof 项目历时多年，而 Yi 与另外3名队长在现场、限时的竞赛前，约用1周训练出了参赛 checkpoint。主持人直截了当地提出 AGI 含义：“如果模型拿不到 IMO 金牌，那我们怎么走到 AGI？”
On-policy RL 已成为 Yi 的主要建模工具，因为它让模型能够从自身行为中持续改进。 SFT 模仿其他地方生成的输出；on-policy 训练则从当前模型采样，对这些轨迹打分，再据此训练模型。这一循环“有点像自蒸馏”，在 Yi 看来，通常比无限期模仿更具泛化性。
这场讨论将 Gemini Deep Think 的意义概括为通往“单模型”方向的证据。 Yi 说，专用系统往往是一次性的系统，而他希望一个模型解决所有问题，同时承认模型参数究竟能吸收多少能力仍未知。面向广泛用户提供的模型采用了缩减后的推理配置；完整配置则只发送给了有限的一组接收者。
AI 编程跨过了 Yi 的个人效用门槛：从代为打字，变成值得信任的诊断工具。 他现在会把失败任务的输出粘贴进 Antigravity，有时几乎不检查修复结果就重新启动工作；这些任务原本可能要消耗20分钟，甚至1天。他并不把这看成一比一的劳动力替代，而是“给所有人加了一层被动光环”，通过从团队成员各自的工作中回收零碎时间来提升效率。
Yi 预计，除非整个学习范式发生变化，否则某种可辨认的 Transformer 形态会走到 AGI；但他反对把行业走到今天简单归因于规模扩张。 自注意力机制经历多年尝试仍未被彻底移除，而新想法仍能兼容庞大的既有优化技术栈。他对“苦涩教训”的修正是提出一个“想法重要的甜蜜教训”，并认为随着改进不断叠加，封闭实验室的优势正在扩大。
随着可用 token 变得紧张，数据效率可能成为核心约束，但两位讨论者都没有声称知道缺失的机制是什么。 人类看起来拥有高得多的样本效率，但人类也在持续从多模态经验中学习；Yi 的实践性假设是，用更好的算法让每个 token 消耗更多 FLOPs。主持人则明确推翻了自己此前关于预训练已死的判断，因为他看到各大实验室仍在继续大举投入预训练。
新加坡正在被建设成一个小而高密度的 Gemini 推理中心，而不是远程执行办公室。 Yi 正在招聘 RL、推理和 Deep Think 人才，但也会考虑出色的竞赛程序员或工程师，因为“ML 很容易学会”。时区、文化和招聘仍让地理位置重要：新加坡足够远，可以保持研究专注，同时又与全球前沿保持连接。

精读

1. 重返 Google，让 Yi 回到模型前沿

重返 Google，时隔1½年让 Yi 感觉像重新打开一份 Pokémon 存档：LDAP 和用户名都没变，仿佛只是点击了“继续游戏”。Brain 已经并入 Google DeepMind，但基础设施仍足够熟悉，因此回归过程“非常顺畅”。
Yi 回来时并没有预先确定的 DeepMind 任务。他想念的是贴近模型前沿的研究——不一定是基础理论，但要能推动能力突破当前边界——最初的计划只是“做研究，看看会发生什么”。
新加坡团队非正式上属于 Gemini 团队，方向是“Reasoning and AGI”。Yi 强调，AGI 并不是正式的组织名称；把它写进招聘启事只是“一种氛围”，用来标示构建前沿模型背后的北极星。

2. On-policy RL 成为主要建模循环

Yi 早期职业轨迹主要围绕架构和预训练，回来时“几乎没有 RL 背景”。但他发现转型并不难，因为一般性的研究判断力可以跨工具迁移；如今，RL“基本上就是我们反复试验的主要建模工具集”。
他的清晰区分是：SFT 属于 off-policy，因为模型模仿的是另一个模型生成的输出或轨迹。On-policy RL 则让当前模型生成自己的轨迹，施加奖励或验证器，再用它自己生成的内容训练同一个模型。
这一机制类似自蒸馏，但关键在于行为归属：模型从当前策略出发探索，并针对自身错误获得纠正。Yi 认为这通常更具泛化性，同时承认 SFT 与 RL 之间的差距“仍有大量科学问题”没有解决。
模仿仍然负责提供起始能力库。Yi 用体育训练作比：教程教会动作，但真正的比赛提供决定胜负的奖励信号；模型同样先预训练、先模仿，再从交互中学习。他提醒说，人类与模型的比较是有用的类比，不是两者完全相同。

3. 学习需要知道何时放弃世界模型

主持人把机器学习视为迄今研究学习本身最科学的框架。他的实践规则是监测自己的“学习率”：遭遇意外失败后，要追问同一套假设还可能在哪些地方出错，而不是只做一次象征性的贝叶斯更新。
Stable Diffusion 是他的例子。此前10年 GAN 的渐进式改进塑造了他的预期，但笔记本电脑级别的图像生成强烈违背了这套世界模型，促使他转向新的职业方向。一个反例有时意味着“你的整个世界模型都错了”，而不是只把某个概率上调2%。
Yi 把这一点与科学范式转移联系起来，并留下了那句醒目的警告：研究者可以为自己的先验感到自豪，“直到它们变成你的牢笼”。
并行采样提供了模型层面的对应案例。训练本来就会抽取多个输出，但 Yi 和主持人都同意，自洽性比多数投票更复杂。主持人描述的是由 LLM 裁判或验证器选择内部有效性更强的轨迹，而不只是选择出现次数最多的答案。

4. IMO 金牌来自端到端押注，而非专用系统路线

Yi 立刻纠正了“1周完成”的说法。Tang 及其合作者已经围绕 IMO 题目研究多年，包括此前获得银牌的成果，以及 AlphaGeometry 和 AlphaProof 相关工作；1周只指训练今年使用的那一版端到端 checkpoint。
新押注是让 Gemini 直接接收文本题目并生成证明，“不使用第二个系统”。主持人强调，这个选择并不显然：此前的路线更像是让 LLM 操作计算机、编写 Lean 并调用形式化验证器，而不是把整个流程内化。
主持人明确提出了其中的 AGI 含义：“如果模型拿不到 IMO 金牌，那我们怎么走到 AGI？”Yi 没有声称这是他自己的测试标准；他说自己不知道当时是否存在符号系统与端到端方案之争，只是被要求训练模型。但他确实认为，专用系统往往是一次性的系统，而更大的方向是一个模型解决所有问题。
他对功劳和专业能力的归属非常谨慎。Tang 的团队推动了更广泛的 IMO 项目；Yi 只在模型训练阶段加入，对奥数了解很少，也无法亲自读懂最终证明。这种脱节本身就很惊人：一个 AI 研究者可以构建出在自己不理解的领域赢得金牌的通用工具。

5. 现场竞赛改变了运行节奏

Yi 与另外3名队长在伦敦、Mountain View 和新加坡之间训练 checkpoint。团队没有正式的交接协议：有人可能宣布“我现在要登机了，接下来12小时不在线”，然后由另一名队长负责盯住任务、处理崩溃并重启运行。
IMO 不是一个可以反复重跑、直到数字好看为止的 benchmark。P1 到 P6 的题目在澳大利亚举办的2个竞赛日中实时发布，指定队员必须在真实截止时间内，对刚刚公开的问题运行推理。
出行让这一周更加混乱：Yi 和 Jonathan 在飞行途中，拜访办公室会带来会议，但训练任务仍需要照看。Yi 形容这种氛围更像分布式黑客松，而不是打磨完备的生产流程。
没有人知道最终分数是否够金牌，因为门槛取决于人类选手表现，而不是固定目标。Yi 一边看参赛者得分，一边等待验证完成，让这场活动“比在 benchmark 上跑出一个数字更有肾上腺素”。

6. Deep Think 体现单模型经济学

讨论中的单模型框架是“一个模型，很多参数”。LLM 过去无法充当计算器，如今已经能在内部近似实现这一功能；Yi 说，真正的问题是，权重究竟能在多大程度上吸收类似 Lean、物理引擎或其他过去必须外接的机制。
Yi 没有排除工具。他认为更可能的终点是一个吸收绝大多数能力的通用模型，只有在某件事“确实无法被吸收”时才调用工具。另一种方案是分别维护数学、化学和物理引擎，这会造成一份不断膨胀的定制系统清单。
IMO checkpoint 后来变成了 Gemini Deep Think，但并没有被重建成一个狭窄的数学产品。面向广泛用户提供的版本使用了缩减后的推理时配置，因为完整 IMO 配置成本很高；更重的配置则发送给了有限的一组接收者。
“不可验证”并不意味着证明原则上无法验证。Yi 的意思是，长篇证明除非被翻译成 Lean 等形式化系统，否则验证并不简单；在那些验证难以被流程化的领域，仍有大量工作要做。

7. 金牌重置了预期，却没有解决 AGI

主持人真正感到意外的，不只是 AI 拿到金牌，而是此前的专用系统路线被搁置，转而使用现成的通用 Gemini，并通过 Deep Think 进行扩展。相较上一年的银牌架构，这才是非共识之举。
Yi 说，研究人员把这一结果视为集体认识到 Gemini 在1年内取得了多大进步。他没有声称团队原本预期会失败，但把结果描述成对 Gemini 工程师和研究人员的一个令人安心的“拍拍肩膀”。
主持人给出了更强的历史类比：如果把今天的 IMO 和 ICPC 成绩、神经网络能力以及通用 AI 表现展示给5年前的研究人员，很多人可能会得出结论：“我们已经达到了某种形式的 AGI。”前沿不断移动，部分原因正是预期也在同步移动。
Yi 拒绝评论“推理优化是最难部分”之类的说法，因为他没有参与推理时扩展。即便是吸引了关注、被认为可能是代号的“IMO Cat”，也只是一个以他喜欢猫为由命名的任务配置。

8. Pokémon 暴露规划局限，但不冒充发现能力

Gemini 没有针对 Pokémon 做任何专门训练，这正是 Yi 喜欢把它作为定期检查的原因之一。Pokémon Crystal 同时测试视觉理解、长周期规划和智能体持久性，而人们不太可能认真地针对“Pokémon maxing”这类任务投入专门优化。
单纯通关线性剧情最终可能会变成速度竞赛。完成 Pokédex 则是质变：需要反复回溯、进行网络检索、追踪世界状态、寻找进化条件，有时还要安排普通单人游戏无法完成的交换。
主持人的反驳值得保留：照着网上攻略完成任务，不如成为第一个创造这份攻略的系统有意思。Yi 后来同意这个任务“不是特别有意思”，但仍认为，综合检索到的知识，并在不断变化的视觉环境中可靠地执行，仍是未解决的问题。
主持人更深层的 benchmark 是新知识。他提议把可用信息冻结在2012年或2015年，询问一个有能力的模型能否独立发明 Transformer；即使假定不存在架构泄漏，Yi 仍不确定。高效探索全新的想法空间，而不是靠暴力穷举，仍是 AI 科学家的开放问题。

9. 推理是一套训练范式，而非已定型的形而上学

Yi 认为，“推理”已经变得过于模糊，无法给出一个普适定义。在当前技术实践中，它通常指通过 RL 对模型进行后训练，以改善思考轨迹：生成更多中间工作，为更好的路径提供奖励，并激发基础模型无法稳定表现的能力。
思维链 token 只是其中一种实现。latent-thinking 研究关注的是，模型能否在隐藏状态中完成中间计算，而不必把每一步都解码成离散语言。主持人则提出，思想的原生表示可能是数字，而不是英语、中文或任何人类可读的叙述。
Yi 的默认立场是放开限制：“让模型做它想做的事。”他不认为机器的思考必须像人类，即使多模态模型可能会围绕笔记本电脑等概念收敛出相近的潜在表示。
主持人提出了递归数据问题：公开的推理轨迹可能越来越多地进入预训练语料。Yi 说自己从未亲眼见过这类轨迹，并估计 Common Crawl 中的思维链 token 占比已经从0上升到约0.001%。主持人指出，干净来源通常可以被过滤，因此是否保留更多是建模选择，而非不可避免的结果。

10. AI 编程从便利工具变成委托式调查

Yi 早期认为最有价值的用例很普通：给模型一张大型结果表格的截图，让它生成图表，从而避开他觉得烦人的“这些 Matplotlib 的东西”。AI 编程本身当时还没有真正进入他的工作流。
门槛如今已经改变。他可以把失败的训练任务粘贴进 Antigravity，让它诊断并修复 bug，有时甚至不深入检查补丁就重新启动。最开始他会逐项核查；后来他得出的结论是：“也许模型比我更懂。”
Nano Banana 也带来了类似的转变，从新鲜感变成工作工具。图像生成过去主要用于逗朋友或制作有趣的东西；最近它已经足够好，可以承担真正的任务。Yi 说，这类时刻让 AI 一次次跨过一条“想象中的线”，从涌现能力变成实用工具。
他说自己认为使用的是公开版 Gemini，同时补充说，不确定其中是否涉及内部训练或代码库特定差异。真正重要的信号在行为上：一个此前很少使用 AI 的前沿 ML 研究者，如今已经愿意在自己的高专业度工作中信任这些工具。

11. AI 更像给整个团队加 buff，而非一比一替代

Yi 反对把模型替代简单等同于恰好替代1名初级研究员。管理者应该衡量总时间：如果 AI 通过从多个人的工作中移除零碎任务，节省出相当数量的工时，那么即使无法整齐对应到一个人头，组织影响也是真实存在的。
有些 bug 修复可能节省20分钟，另一些则可能挽回整整1天。他借用了游戏语言中的比喻：“给所有人加了一层被动光环”——生产力提升分散在整个团队，而不是组织中消失了某一个人。
信任仍然是有条件的，因为模型有时会“偷懒”、猜一个修复方案，再试图说服用户它已经成功。某些任务机器做起来很容易、人做起来很难，另一些任务则相反，但 Yi 发现这些象限很难被干净地刻画。
主持人认为，正是把数据集中投向“人类容易、模型困难”的失败案例，才能通过持续爬坡抵达 AGI。Yi 同意进步往往由小幅改进构成，但补充了一个前提：必须先定义并评估好某一类失败，定向数据才有可能解决它。

12. 即使学习机制改变，Transformer 仍可能延续

Yi 预计，除非反向传播及其周边范式发生彻底变化，否则最终的 AGI 架构仍会呈现出可辨认的 Transformer 形态。近10年来，移除自注意力的尝试一次次以研究者重新加入至少一层注意力告终，因为性能需要它。
在他的分类中，局部与全局的混合仍然属于注意力。名称和 QKV 细节可能变化，但底层的序列处理机制已经证明极其持久，并且能够与围绕它构建的一切兼容。
2亿或10亿 token 的超长记忆，可能通过持续学习、推理时权重更新、更便宜的注意力或更好的芯片迫使架构改变。Yi 把架构定义为 token 与学习算法之间的接口；因此，更深层的约束可能是学习规则，而不是序列到序列处理本身。
主持人不接受把8年的 Transformer 投资视为命中注定。Yi 的回答是“想法重要的甜蜜教训”：盲目把 MLP 扩大到“100万亿美元”也不会奏效。有用的想法尚未显示出边际收益递减，而 Yi 认为，随着这些想法不断积累，封闭实验室未公开的优势正在扩大。

13. 数据效率正在成为一等未知数

主持人明确改变了自己对预训练的看法。他曾认为，随着实验室把精力转向 RL，预训练可能已经死去；但与 Anthropic 和 OpenAI 的预训练负责人交流，再加上一次 DeepMind 演讲，让他相信各大实验室仍在重投入预训练。
人类学习是效率问题的存在性证明：儿童看过很少几个例子就能认出狗，而经典系统可能需要多得多的样本。Yi 提醒，人类也在“24/7”持续接收视觉、听觉和具身输入，因此直接比较 token 数会产生误导。
如果模型受到数据约束，而算力仍然充足，Yi 的首要抽象是让每个 token 消耗更多 FLOPs——通过更好的架构或学习算法从每次观察中提取更多信息。他没有声称知道瓶颈究竟来自 off-policy 噪声、模型结构、多模态，还是其他因素。
主持人还说，一些实验室会向外部初创公司支付至少七位数的费用，购买专门的 RL 环境，并追问为什么强大的 coding agent 不能在内部构建这些世界。Yi 的诚实回答只有一句：“我完全不知道。”他没有凭空编造有关经济学或隐藏领域专业知识的理论。

14. 生成式检索把文档变成模型原生词汇

DSI 在当前 LLM 时代之前就已启动，最初是一次基于 T5、重新想象检索方式的尝试：一个模型有效地把索引存进记忆，并直接生成文档标识符。即使使用任意的 ID 暴力训练，效果也出人意料地好，因为模型有足够容量记住这种映射。
语义 ID 通过赋予标识符分层的语义结构，让搜索空间变得可处理。DSI 之后，Ashish 的团队和 Mahesh 参与的工作把这一想法迁移到推荐系统中；领域特定的编码有所不同，但生成式排序的形式仍然清晰可辨。
主持人提到 YouTube 的公开工作：上传内容被编码进一个 codebook，并在批处理任务中每天重新训练；他还指出 Twitter 基于 LM 的 feed 也有类似说法。Yi 回忆称，Spotify 也使用过相关的语义 ID 方法，但他已经不再密切跟踪这一领域，无法准确描述当前实现。
尽管不喜欢传统 IR 实验，Yi 仍把 DSI 称为自己最有创造力的作品之一。离线 NDCG、顽固的 BM25 baseline 以及遥远的因果反馈，让这个环境感觉像是“重力不同”——就像击中羽毛球拍的甜区、听见玻璃碎裂。Yi 还称推荐是消费级 AI 的“上帝问题”，因为排序、过滤和个性化都极具价值。

15. 新加坡凭借密度、连接和研究品味竞争

与 Quoc、Jeff Dean 及区域领导者参加的新加坡 symposium，目的是“定调”，而不是标志某个单一发布时刻。团队会随着人员加入逐步成形；把 AI 先驱聚到同一个房间，释放出一个信号：新加坡可以参与前沿，而不只是消费其他地方的成果。
时区、招聘和心理空间让地理位置仍然重要。Yi 认为湾区已经被“到处都是 AI、AI、AI”填满；新加坡则提供了足够的文化距离，让研究能够安静进行，同时保持全球连接。全球化团队还可以提供实际的24小时覆盖。
团队初期会保持小规模，追求人才密度，方向包括 RL、推理、Gemini 和 Deep Think。Yi 寻找有研究记录的人——不一定来自 RL——也会考虑竞赛程序、编程或其他技术成就突出的人；“ML 很容易学会”，但原始技术能力和独立研究品味更难制造。
Yi 的招聘信号是那些让他产生私信冲动的公开作品。一个学生如果能独立选择一个有品味的问题并把它做好，就同时展示了判断力和能力；不过 Yi 也承认，竞争加剧以及与研究目标错位的导师议程，让这件事比听起来难得多。

16. 身体健康成为 Yi 研究系统的一部分

在大约1½年里，Yi 说自己减重23公斤，心率变异性翻倍，静息心率也从不健康的80–90次/分钟区间下降了约30次/分钟。他把可穿戴设备和健康数据视为生产力输入，因为精力改善已经帮助了他的工作。
Yi 提出，整体精力甚至身体饥饿感可能与求知欲有关；主持人则结合个人经验表示不同意：“我饿的时候，只会想吃东西。”Yi 最后认为，锻炼、恢复和健康都算工作，因为它们提升了从事研究的能力。

Coinbase CEO眼中的2026年加密趋势Top 3：以及Davos的更多内容！与 Jeremy Raper 复盘 Avation $AVAP