摘要

Gemini 3 Pro的意义不是某项 benchmark 领先，而是 Google 终于把长上下文、成本效率、多模态、生成体验与开发者入口合成了一个“across different dimensions 达到 SOTA”的产品时刻。嘉宾把翻盘归因于长期 co-design：TPU—模型 infra—应用垂直整合，Workspace 与多种硬件 surface 又持续回流数据；Google Labs 则用编辑、作家和擅长创作爆火帖子、作品的人打磨传播。更重要的信号是，团队称 pre-training 仍“no war in sight”，这不是一次性追平。
GPT-5.2的 benchmark 跃升只有放进成本曲线才有意义：GDPval 从 GPT-5.1 的 38.8% 升至 77.9%，ARC-AGI-2 从 17.6% 升至 52.9%，且同等任务的实际成本反而下降。 嘉宾认为这体现的是更高的“intelligence per token”，而不只是靠 test-time scaling 暴力搜索；但 GDPval 的问题分布与文档入口仍可能偏 toy，模型连 Garlic 有几个 r 都只能概率性答对，“AGI 还有 long way to go”。
基础模型会持续内化通用 Agent scaffolding，却很难吃掉企业私有工作流形成的 heavy tail。 模型厂商能用 mock 工具交互训练出“自己的 shortcut”，但企业独有、不可公开的数据仍留下长期 gap；Cursor 等 Agent 拥有场景和用户，反过来又能推动模型强化 coding、debugging 与 multi-step 能力。因此“模型和 Agent 是相互成就的”，值得押注的是模型吞并旧功能后仍扩大的净增量市场。
Precur押注的是可训练工具层：工具不再是静态 API，而要记住“自己曾经在哪里跌倒过”，把 failure trajectory 沉淀为企业资产并自我迭代。 其 code-driven tool 试图降低长任务中的 context pollution，在早期客户的 blind evaluation 中相对原工具取得约 12% 提升，同时降低 latency、扩大 coverage，且无需更换现有 Agent。终局定位不是 To C 或 To B，而是服务由人和 vibe coding 批量创造的“To Agent”市场。
强化学习创业正在从“继续榨数据”转向争夺 interaction、reward 与高保真环境，机会被拆成 RL environment、RL as a Service 和高价值垂直应用三层。 环境层是未来智能体的“练习基地和考试中心”，但复制 Jira 已不再构成门槛，网络安全攻防、机器人和自动驾驶仿真更依赖领域知识；服务层解决企业不会自研 RL，应用层则瞄准药物、交易与 science discovery。Moe Capital 已沿此逻辑投资 Preference Model，Periodic Labs 被作为第三类代表。
Agent选模型首先是云、折扣和生态问题，其次才是榜单：企业数据迁云常需一至两年，Azure、GCP的既有关系足以压过短期模型领先。 Claude 的优势也不只是写代码，而是 MCP、programmatic tool calling、Claude Code 与开发者范式形成的闭环；实时 Agent 则常宁愿选 Gemini Flash、OpenAI mini 等低延迟模型。Qwen 等中国开源模型提供尺寸选择和做 ablation 的空间，团队也会基于开源模型做 post-train；美国企业的政策限制和价值观顾虑仍给“美国版 DeepSeek”留下空间。
下一轮 Agent 能力竞争集中在原生 long-horizon、多模态和可 post-train 的开放模型，而不是只靠再叠一层脆弱脚手架。 开发者需要训练中就见过大量 Agent trace 的开源底座，也需要模型直接理解脏 PDF、图像和混合模态，并在十几步任务中持续规划、行动和修正。即使模型把部分 context engineering 内化，框架使用数据仍会反哺模型训练；嘉宾的判断是，可服务范围扩张会快于被基础模型吃掉的部分。

精读

1. Gemini 3把Google的士气、股价与开发者入口同时点燃

Henry和Naomi参加的庆祝活动设在旧金山一间画廊，来宾主要是近期硅谷热门 startup 的创始人和 Gemini 3 用户。发布后团队士气高涨，市场反应也强，现场庆祝的是 Gemini 3 的发布及其用户采用情况。
AI Studio被描述为正在经历“爆炸式增长”。Google内部刚成立约一周、负责 AI Studio 的新团队由Logan Kilpatrick负责；他此前在OpenAI做developer experience，后来频繁采访Demis Hassabis、Jeff Dean等核心成员，如今相当于Google DeepMind对外的发言人，也被推到开发者门户前线。
程曼祺追问同日发布的GPT-5.2是否在回应Gemini 3。嘉宾听到的解释是，新版本修复了GPT-5.1 pre-training阶段的一些问题；OpenAI内部的“Code Red”也被认为是一种应对策略。

2. GPT-5.2真正的进步藏在成本曲线而非单点分数里

GPT-5.2在GDPval上从GPT-5.1的38.8%升至77.9%，即在44类知识工作中达到或超过顶级人类专家的概率接近翻倍；ARC-AGI-2也从17.6%升至52.9%。表面看，这是极快的一次代际跃迁。
戴韩俊提醒，任何 benchmark 数字都隐含 token 与 cost 维度。只要让模型多想、搜索更久，AIME之类的成绩甚至能刷到100%；更关键的是同样成本下分数是否上升，或达到同一性能是否从几十美元降到更低。
GPT-5.2虽然名义定价较高，完成任务的overall cost却可能下降，这意味着它对token的利用更有效。相比之下，一些开源模型的thinking trace会不断“自说自话”、走弯路，暴露出intelligence per token仍有明显优化空间。
Databricks发布的OfficeQA提出了现实性反驳：GDPval的问题分布未必等于客户真正关心的问题，企业任务往往连“该从哪份文档开始找”都不知道。即使采用更难、更接近生产的设置，GPT-5.2仍有提升，但77.9%不能被直接读成现实工作自动化率。

3. GDPval重新量化了AGI愿景，Garlic却提醒能力仍不均匀

Naomi把GDPval连回OpenAI 2018年章程：AGI被定义为能高度自动化、并强于人类完成大部分有经济价值工作的AI。数据集覆盖对GDP贡献超过5%的重要行业，从制造、房地产等领域抽出44个职业、共1320项任务，开始直接测量这一定义。
数字再高也没有消除能力断层：GPT-5.2内部代号是Garlic，但它回答Garlic里有几个字母r时，仍可能说0、1或2个。“AGI其实还是有一个long way to go”，现实能力并不会随总分平滑增长。
Naomi还补充，今年 OpenAI 提出了 GDPval、PaperBench 和 SWE-Lancer；在提出这些 benchmark 时，他们报告的最佳模型都是 Anthropic 的模型。她因此尊敬 OpenAI 研究员能把 marketing 和 research 分开：自提标准初测并非自家模型最好，反而增强了可信度。

4. 基础模型会吞掉通用脚手架，但企业私有长尾仍是Agent空间

戴韩俊承认，模型厂商正在按行业覆盖率整理训练集，并用mock方式让基础模型经历各种工具交互。经验足够多后，模型会找到“自己的shortcut”，直接调用工具，不再需要外部代码搭建的大量Agent scaffolding。
硬币另一面是企业工作流呈现“长尾并且heavy tail”的分布：流程、权限和数据都高度私有，企业也不愿公开，基础模型因此很难训练得周全。模型覆盖面扩大不等于这个gap消失，只是边界不断移动。
Cursor说明模型与应用也会互相成就。Coding Agent掌握用户和任务场景后，模型厂商会专门强化coding、debugging和multi-step能力来服务它；ChatGPT或API一旦连接搜索、文件读取等工具，本身又已接近Agent，所以模型与Agent的边界会越来越模糊。

5. Gemini 3的传播优势来自产品编排，而不只是模型分数

发布前一两个月，硅谷已不断抬高预期，甚至有OpenAI和Anthropic从业者感到紧张。Gemini 3仍能在如此高的预期下满足期待，成为Google从“各维度有亮点”转向全面达到SOTA的时间节点。
此前Google分别展示过Gemini 1.5的one-million long context、Pareto frontier上的成本效率、reasoning with budgets、多模态理解与Nano Banana；Gemini 3的关键，是把这些component“按在一起”，而非只推出又一个局部冠军。
Gemini原生生成交互网页的审美和可用性，被认为比一些专门产品还好，天然适合病毒式传播。相比之下，GPT-5.2改进office和白领工作的价值虽大，却不如一个立刻可玩的交互应用吸睛，这不是纯性能层面的公平比较。
Bethany介绍，Google Labs会让editor、主编、作家参与NotebookLM的产品体验与demo，也会招聘擅长在网上创作爆火帖子、爆火作品的人。Nano Banana之名更是PM加班到凌晨两三点时，看见自己美甲上的两个香蕉后说：“Why not we just call it Nano Banana？”

6. Gemini 3暗示pre-training仍有跑道，TPU则把规模训练变成系统优势

Ilya Sutskever曾判断“pre-training as we know it will end”，但Gemini 3发布后，其论文共同作者、Google的Oriol Vinyals强调这次pre-training仍有突破，而且“no war in sight”——手头并非只剩一轮可用改进。
Henry因此把Gemini 3理解为有后续跑道的结果，而不是把最后一批数据红利一次耗尽。Google在pre-training上取得的进展，至少在团队内部没有被描述成时代终点。
当训练扩展到足够规模，瓶颈会从compute bound转成network bound。TPU从设计之初就是mesh结构，GPU则先是一张standalone卡、后来才演化网络互连；这让TPU在large-scale training上拥有架构层面的潜在优势。

7. Google的护城河是三层co-design形成的数据与算力闭环

戴韩俊认为Google虽决策慢，却擅长长期布局。第一层co-design从TPU kernel、底层library、JAX一路延伸到大模型infra，各团队能联合优化；OpenAI等公司设计自有芯片，也是在争取同样可控的硬件—模型stack。
第二层是模型与应用：Google Workspace长期积累Calendar、邮件、Docs等办公数据，Agentspace等企业产品产生的使用模式又能反馈到模型训练。它不只是拥有办公入口，而是掌握“训练—应用—再训练”的闭环。
第三层连接数据与hardware surface：汽车、Assistant、Home、Project Astra眼镜和Pixel手机能够采集不同形态的数据。戴韩俊的概括是，这套ecosystem过去可能没有迎来爆发点，“只是恰巧现在这个爆发点来临了而已”。

8. TPU正在变得透明可用，但CUDA仍握有部署与生态惯性

Google一直对外提供TPU，部分最新版本甚至先被外部客户预订，再将剩余资源用于内部训练。Precur因与Google的合作参与Tunix——第一个RL on TPU的框架，并获得strategic research TPU grant。
对开发者而言，PyTorch和JAX都能通过XLA运行在TPU上，vLLM、SGLang等inference框架也在降低迁移感知。JAX更像跨GPU、TPU的数值计算抽象，其上还有Flax、Orbax、RLax；更接近CUDA底层角色的是Pallas。
一位嘉宾的保留意见是，TPU仍面临大CSP部署不足、data center改造、JAX用户较少、前后端封装产能，以及与Broadcom、MediaTek关系平衡等问题。目前“还是CUDA比较王道”，尤其当客户追求易用性和快速GTM。
但若模型更新速度放缓，大团队愿意下探指令集，CUDA的易用性溢价就可能下降；大型客户也会把TPU当作对NVIDIA议价的bargaining chip。节目里“买博通和台积电”的玩笑明确伴随“不构成投资意见”，程曼祺还转述了一则关于NVIDIA用GPU折扣换取Google放慢TPU推广的市场传闻。

9. Brain与DeepMind合并后，Google用研究冗余换取了更强交付纪律

合并前Google Brain和DeepMind各有模型训练团队与infra，路线重复且不可避免有politics。Gemini这个名字被解释为两个组织合并后的“双子”；技术方向明确后，大厂的人才密度和分工优势才开始集中释放。
戴韩俊体验过两种文化：DeepMind更top-down，AlphaFold、星际争霸等项目需要组织纪律甚至daily stand-up；Brain的spectrum更宽，自下而上的自由度更高，也容纳了一些后来看来“没有太大用”的自嗨研究。
语言模型恰好要求两者共存：它需要明确outcome和短期delivery，却仍包含没人能保证work的研究未知。戴韩俊的原话是，“research是需要一个冗余，需要一点浪费”，但竞争加剧后论文发布政策收紧，许多过去能发的成果如今会延后或保留。
对研究员而言，满足感也从公开论文转移到内部分享、薪酬和产品影响。一项工作若进入Gemini，被全世界用户使用，其impact可能远大于只在小领域被同行关注，这成为“无名工程”的另一种回报。

10. 创业公司要么深入垂直行业，要么补齐尚未成熟的横向层

垂直机会需要“π型人才”：既懂生物、药物和临床实验设计，也懂computer science，并能调动药厂、产业界与斯坦福等学术lab。基础模型补充life science数据，垂直团队则负责最后一公里，两者并非零和。
横向市场来自企业的强烈焦虑。戴韩俊说，一线企业最怕从世界第一跌到第二，这种ambitious和正式的需求推动了三层机会：用RL优化Agent调度的orchestrator、以Composio为代表的数据connector，以及Precur所在的工具层。
戴韩俊解释离开大厂时说，创业不能先假设AGI已经实现；当下模型本质上仍是“有多少数据，有多少智能”。语音startup即使面对原生多模态模型，仍能靠更低latency和更高单项质量分化；持续学习、memory和自我演化也都远未解决。

11. Precur把工具从静态接口改造成会记住失败的状态系统

Bethany把工具定义为Agent与现实世界交互的核心方式。Precur的愿景不是再造一组静态API，而是在工具内嵌入智能，使其在调用失败后能学习、自我迭代，并在覆盖面或模型质量上“越用越好”。
单点工具只是stateful platform中的一个动作；终局是“工具制造工具”，并让同一把工具依据不同企业的失败轨迹演化成不同状态。那些failure trajectory不再是一次性日志，而会成为企业持续积累的核心资产。
团队把更大的用户群定义为Agent而非人：“以前有To C、To B，现在有To A，To Agent。”未来由vibe coding等方式造出的千千万万个Agent才是调用主力，因此产品的接口、可靠性和优化目标都优先agent-friendly。

12. Code-driven tool以更少context换取更长任务的可靠性

Precur选择code-driven tool，与2024年的CodeAct研究以及Anthropic后来提出的programmatic tool calling（PTC）同向：让Agent通过生成和执行代码采取行动，而不只依赖静态工具调用。
这条路线的价值不只是调用形式更灵活，也包括更稳定、更少占用context。长trajectory中，每一步输入输出都会累积；context pollution被团队视为long-horizon Agent失败的主要原因之一。
早期客户反馈集中在coverage、latency和正确率：工具能处理原系统难覆盖的大数据任务，部分场景明显降延迟，并在客户自行设计、Precur事先不知情的blind evaluation中，比既有工具高约12%。
由于产品位于工具层，客户无需替换现有Agent，可直接接入Microsoft Copilot等平台。Google、Microsoft及其他未具名Agent平台更多被视为合作生态，而不是必须正面取代的客户入口。

13. 自我演化远不止在线RL，也不是外挂一块memory

持续学习的理想参照是广告和推荐系统：用户每刷一个视频、每划走一次，都会反馈到在线系统并促使它更新。语言模型发布后尚不能稳定地做到这种“越用越好”。
Cursor声称在做online RL，把用户是否接受自动补全作为即时反馈塞回训练系统；戴韩俊认为方向成立，但外部并不清楚其实际完成程度。反馈是否可靠、本身是否被正确解释，都是部署中的难点。
RL并非稳定算法，在线场景又难确认reward，因此需要大量工程与算法工作。理论可行不等于当前可靠。
RAG及其变形、Agent memory和ChatGPT记忆属于较早阶段的lifelong learning尝试，但外挂记忆甚至不改变参数。它们短期有效，却未必是最终解法；“自我演化应该远远不止这些”。

14. Moe Capital把RL机会拆成环境、服务与特种应用三类

Naomi与Henry宣布和普林斯顿AI加速创新中心联合主任王梦迪教授成立Moe Capital，专注早期AI基础设施、应用和AI for science。“Moe”既指Mixture of Experts，也指由OpenAI、Anthropic、xAI、Google DeepMind年轻研究员参与决策和投后的expert社区。
Naomi用“榨汁”描述模型增长：传统数据的果汁已被榨得差不多，新的价值对象是RL所需的interaction与reward。谁能生产可反复训练、精确评分的交互环境，谁就可能掌握下一轮数据基础设施。
第一类RL environment像训练场和考试中心，Moe Capital已投资Preference Model；第二类RL as a Service把训练能力交给不会自研RL的企业，用私有数据培养销售、客服、合规等AI专员。
第三类是药物研发、金融交易、science discovery等“特种兵”应用，Periodic Labs被列为代表。Thinking Machines Lab的Tinker则更接近infra as a Service：它提供forward、backward、optimization等底层primitive，仍要求使用者自己懂RL。

15. RL环境的门槛已从复制软件上升到复刻领域规律

Henry回忆，早期团队曾在一个周末用Coding Agent复制复杂的Atlassian Jira，以训练AI理解工程团队的任务管理流程。那是RL环境的第一波，但随着参与者增加，做出一个商业软件复制品已不足以形成优势。
Preference Model等团队开始转向网络安全攻防环境。要让环境既真实、又能为研究者提供合适API和reward，团队必须同时具备网络安全知识与强化学习能力，domain fidelity才是新的护城河。
物理世界同样需要环境：自动驾驶和机器人已有大量仿真工作，有一家自动驾驶虚拟环境公司被Waymo收购，其内部团队被称为“Sim City”。模拟器能生成现实中稀少的边角案例，尤其是撞车等低频、高价值数据。
戴韩俊认为“世界模型”边界很模糊，simulation本身并不新。他过去做过零售生成模型，以SKU为token模拟用户并发购买及其与时间、context的关系；当时只叫generative model for retail，如今世界模型的渲染和表达能力更强，但核心仿真思想一脉相承。

16. 企业选模型时，云锁定和代金券通常先于性能发生作用

Precur离开Google后观察到的第一道hard constraint是云：GCP里不能直接使用OpenAI模型，Azure里也没有Gemini；企业数据又往往不能离开既有云，因此“屁股决定脑袋”比排行榜更早决定候选集。
大企业迁移多年数据通常要一至两年甚至更久，对CTO还是高风险操作。Azure在中大型企业中的信任和粘性，是OpenAI的重要分发优势；Anthropic同时进入三朵云，则获得了更中立的位置。
云厂商的credit、折扣，以及在云上购买第三方服务的安排也会改变真实成本。企业用代金券而非现金购买服务时，模型只要“不要太差”就可能成为默认选择；Precur会在不同云上尝试三家模型，而不是坚持单一底座。

17. Claude的Agent优势来自模型、工具范式与开发者生态协同

Claude长期受欢迎不只是因为coding benchmark高，而是编程能力能迁移为Agent“大脑”的行动能力。代码既是输出，也可以是调用工具、组织workflow和执行multi-step任务的媒介。
Bethany观察到Anthropic从10月开始明显加码Agent生态，博客直接面向Agent developer。PTC让模型用代码take action，MCP则带起工具连接的一波潮流；即使MCP有问题，它仍迫使其他模型厂商补充同类训练数据。
Claude Code也早已超出“给程序员写代码”，有人用它生成n8n工作流、网页和PPT。程曼祺追问Google与OpenAI追上coding后优势是否仍稳固，嘉宾的回答是：模型本身能力之外，真正差异还包括谁更懂Agent实际如何被写和使用。

18. 实时Agent更需要低延迟决策，而不是每一步都深度思考

长思考能展示数学和推理上限，却未必适合需要连续调用工具的Agent。有开发者会关闭模型thinking模式，再用prompt要求它保留一点推理，以手工平衡quality与latency。
因而Gemini Flash、OpenAI mini及更小模型即使绝对分数不是最高，也可能是给定响应时间内的最佳选择。关键指标是任务级成本和“intelligence per token”，而不是单次调用价格或最大thinking budget。
Precur会在各大云上尝试不同模型，除客户云约束外没有强粘性。实时Agent的选择因此不能只看一个统一底座的最高能力，也要看响应时间内的表现。

19. 中国开源模型提供了可训练选择，却仍受政策边界约束

团队认可Qwen系列：多种size让startup可以pick and choose、做ablation，reasoning能力在部分Agent场景也有天然优势。保留意见是某些benchmark收益未必transfer到真实任务，thinking trace有时会消耗不必要token。
美国开源供给暂时较弱，嘉宾提到Llama已不再像过去那样持续推进，并点名Reflection AI宣称要做“美国DeepSeek”。这类公司的机会部分来自现实限制：一些企业明确不允许使用中国模型，而非模型能力真的不足。
嘉宾不愿看到按意识形态隔离，但承认human alignment在不同价值体系下会成为采购条件。投资与产品判断因此必须把政策可用性视作模型性能之外的独立变量。
对Google自家的Gemma，戴韩俊评价“诚意不够”：较小capacity同时承担多模态，很难平衡，实际使用会偶发乱码等低级错误。Google做开放模型的意义更多在赢得开发者信任、避免被称为“CloseAI”，而非当前就以Gemma挑战闭源旗舰。

20. DeepSeek-V3.02用公开训练细节定义了更真诚的开放

戴韩俊回忆NeurIPS期间，有人观察飞机上约三分之一乘客都在读DeepSeek-V3.02正式版论文；没有Wi-Fi时，论文成了研究者值得消磨航程的内容。
论文公开了architecture改进、强化学习踩坑，以及如何让很多off-policy行为训练得更稳定。部分做frontier模型的lab可能早已知道，但愿意把细节公开出来、供所有人讨论，本身就值得尊敬。
这也形成了他对开放程度的区分：“有一些开源是比较假的开源，也有比较真诚的开源。”开放权重能改善口碑，公开可复用的方法和失败经验才更接近推动整个生态。

21. 好评估要测长程交互，还要保留不会被刷的“怪题”

戴韩俊直言，“benchmark刷得多高全凭良心”。存在越久的公开测试越可能信息泄漏或被hill climb；frontier lab目前仍有底线，因为分数若与实际behavior不符，很快会遭到用户反噬。
Precur更关注SWE-bench Pro、Mind2Web等multi-step、long-horizon任务。十几步行动会不断拉长context，模型必须理解此前trajectory、规划下一步并take action；needle in the haystack只处理单一、简单的任务，无法代表这种推理。
Sierra发布的τ²-bench进一步加入user simulator：用户会依据Agent的话改变回复，自然形成长多轮交互。Agent不再只回答静态问题，而要在不了解用户和环境全部状态时持续调整。
私藏怪题则像面试题：Sebastian Bubeck用代码画独角兽，戴韩俊用新dictionary构成“电路板”测试模型是否近似universal Turing machine；Generative Burrito Test要求生成吃了一半且馅料正确的卷饼。它们未必实用，却能减少针对性训练带来的假高分。

22. 多模态与原生long-horizon将扩张Agent市场，而非只压缩应用层

Precur最希望出现的是训练中包含大量Agent trace、且允许post-train的开放模型。团队必须通过post-training改变底座行为；如果模型原生理解Agent场景，开发者才能摆脱只靠prompt和脚手架修补的局限。
多模态是另一条确定路线。企业数据常是扫描PDF和脏文档，Databricks用parser提升OfficeQA也说明原生理解仍不足；把空白试卷输入、推理解题后再以填写完成的图片输出，则同时考验理解、reasoning和生成。
戴韩俊认为人本就是多模态生物，Gemini从Day One沿此路线推进；视频和混合模态会显著增加模型capacity与资源压力。Elon Musk曾在网上说要让Grok和《英雄联盟》职业队比赛，这也侧面暴露了视觉理解、行动和latency必须同时成立。
Long-horizon训练也正从单步RLHF、一次输出后给reward，转向agentic RL、预先planning与parallel thinking。Bethany的最终回应是：ADK等框架越多人使用，memory和工具调用数据越会回流训练模型；模型会内化一部分下游能力，但当前企业市场扩张的delta仍可能大于被吃掉的部分。

Vol.82 我和小庄聊了聊他们的“职业分享日”伟大的安全更新：AI ∧ 形式化方法——RAND的Kathleen Fisher与AWS的Byron Cook