No Priors 第113期|对话 OpenAI 的 Eric Mitchell 与 Brandon McKinzie
摘要
o3的实际价值,在于为知识工作提供更高层级的接口,而不只是给出更好的答案。 它能把“对这家公司做些尽调”转化为浏览、执行代码、预测、复核和综合,用户无需规定每一步——AI因此更接近完成一套工作流,而不只是提供文本。
强化学习结合工具,让额外的推理时算力产生更高产出。 没有外部动作,长时间推理可能退化为内部“自说自话”,直到模型“失去理智、彻底发疯”(“loses its mind and goes insane”);有了工具,o3可以裁剪图像、执行计算、验证输出并调整路径,在视觉推理上的测试时扩展收益尤其明显。
OpenAI希望打造更统一、能够识别不确定性的体验,而不是让用户在多个模型之间做选择。 理想状态是,模型知道答案时立即回答,需要一天的任务就花一天完成。开发者也应能围绕延迟和使用场景约束引导模型行为,但如何做出正确取舍本身可能就需要推理。
编码和研究是近期最清晰、也最具复利效应的切入口。 Brandon说自己现在“每天要用模型好几次”,包括让模型处理复杂的内部代码库,有时能省下许多小时;Eric则描述了这样一个潜在循环:AI加速硬件、训练、评测,以及创造下一代模型的研究。
计算机操控可能大幅扩展可服务的工作流范围,但可靠性决定自主能力如何部署。 把“王国的钥匙”交给模型会带来不对称的下行风险:省下1小时固然有用,但误发邮件、删除短信记录或清空硬盘都不可接受。因此,能力扩张将通过受限的操作权限和沙盒逐步推进。
具身和协作工作仍然更难,因为智能必须应对不确定环境和现实世界的时钟。 “重力不会等你”,人类不可预测且是昂贵的工具调用;模型的视觉系统还可能继承静态图像数据中的偏差,例如偏爱10:10,因为网上时钟图片中“超过90%之类的都是”这个时间。
模型质量呈现分布,而不是单点能力,这为评测、重复采样和高端推理服务创造了机会。 同一个提示词可能触发“魔法时刻”,也可能走出平庸轨迹,因此Eric建议反复运行;Sarah提出的“100次取最优”按钮,以及玩笑式的“Sarah档”,都指向用户为筛选结果付费的意愿,而未污染的评测集和前沿长周期训练数据也会成为越来越有价值的投入。
精读
1. 工具让更长的推理变得有用
McKinzie将o3描述为o系列模型:能够“在回答前认真思考”,同时有两项进步——答案更强,并且可以浏览和执行代码。单靠智能有上限:信息会过时,算术也未必高效;工具则让模型能够获取证据、计算结果、检查输出并调整路径。
它与传统预训练器的主要训练分野在于强化学习。模型不再只是基于大规模语料预测下一个token,而是围绕解决困难任务接受明确目标,并可以投入大量时间寻找答案。
没有工具,延长推理可能会无效失败:在一些视觉任务中,模型意识到自己看不清关键细节,随后“失去理智、彻底发疯”。给它工具后,它会开始裁剪或处理图像,以降低不确定性;观察到的测试时扩展斜率“明显不同”。
代码提供了最清晰的分工。与其在脑中消耗token去拟合估值系数,o3不如写一个简单程序、执行它、测试结果并得到确切答案——让模型把算力用于自己的比较优势,把确定性工作交给程序。
2. 最好的产品应替用户隐藏模型选择
Mitchell形容当前的ChatGPT体验有一个“又大又疯狂的模型切换器”:每项任务或许都有合适的模型,但用户无法识别它,选择本身就失去了意义。他认为统一体验的关键,是把路由决策收进模型内部,由任务上下文决定应采取的行为。
理想界面由校准后的不确定性驱动:“如果它已经知道答案,就应该直接告诉你”;而真正需要一天的问题,就应该花一天。目标是让响应时间显得出于必要,而不是任意设定——“需要多久就恰好多久”。
Sarah从API角度提出了一个现实约束:开发者有时需要廉价、可控的推理,不能让请求思考10分钟。Mitchell将其重新表述为可操控性:聪明的模型应理解上下文并做出正确选择,包括遵守这类限制;但判断怎样取舍,本身可能就需要推理。
Deep Research天然适合作为强化学习试验场,因为浏览适用于大量时效性信息查询,也能暴露模型是否能持续执行有意义的长周期行为。但它的目标仍必须编码产品取舍:用户能否接受30分钟的执行过程,以及他们想要1页、5页,还是“无数页”?
3. 编码率先形成复利,计算机控制仍需设限
编码和研究似乎正在跨过可用性门槛。McKinzie说,最近的模型确实能在复杂的内部代码库中调查问题,并交付能省下“许多小时”的工作;不同于早期总是略低于预期的系统,这些模型已经有用到让他“每天要用好几次”。
Mitchell描述了递归开发的命题:每个模型都能帮助下一代模型变得更好、更快、更便宜。McKinzie补充说,AI研究可以拆分为硬件、训练和评测等不同环节,每个环节都能变成经过优化的任务——整个技术栈仍“有足够多的空间挤出改进”。
McKinzie希望模型贯穿日常计算机工作:在用户允许退出的前提下旁观,理解当前上下文,并在他问“好吧,我接下来该拿这个怎么办?”时回应。他觉得模型使用工具的方式“诡异地像人”,这很可能与它们见过的数据有关。
Mitchell提醒,开放式计算机访问的代价具有不对称性,因此部署仍将采取迭代和沙盒化方式。模型也许能节省时间,但同样的自主权可能让它“给老板发一封离谱的邮件”、删除短信,或清空硬盘;明天可委托的安全操作范围应比昨天更大,但不意味着今天就无限开放。
4. 环境不确定性是最难的前沿
Mitchell强调了多个因素中的两个维度:任务需要模型解决多少外部不确定性,以及其中有多少环境可以被模拟,而不会受现实世界时间的限制。回忆美国第一任总统属于内部知识;编码需要执行和测试;物理工作则增加了实验,其结果和耗时无法简单记忆。
Guo提到GitHub Copilot从专用Codex向通用模型演进的过程。Mitchell认为,没有根本理由让机器人技术必须与模型分开。但具身智能增加了一个不可妥协的帧率要求:球现在就要飞过来时,两分钟后的答案毫无用处——“重力不会等你”。
Elad指出,青蛙和蚂蚁只用极少算力就能完成有反应性的物理行为,这引出了一个问题:具身智能到底需要多少智能?McKinzie以视觉为例回应,人类视觉是在与世界互动的过程中塑造的,而模型视觉则以完全不同的方式从静态图像数据中学习。
时钟的例子把这种分布偏差具体化:让模型读取模拟时钟,它会强烈偏向10:10,因为网上时钟图片中“超过90%之类的都是”这个呈现方式。闭合感知—行动回路,或许能让模型通过现实行动降低这类不确定性,而不是继续进行更多内部思考。
5. 协作、评测和方差成为瓶颈
Mitchell试探性地提出同时训练两个模型:o3已经近似一个配备浏览器的工作者,多智能体强化学习或许可以作为起点,先教会模型与其他智能体协作,再直接与人协作。Brandon说相关工作已经在进行。人类仍是“一次极其昂贵的工具调用”;Mitchell开玩笑说,与Brandon互动是研究中最难的部分,而“写代码——那是简单的部分”。
主持人问,实验室选择不同领域和环境后,强化学习驱动的进展是否会表现得更跳跃。McKinzie认为这是合理假设,但不赞成进展会止步于数学和代码,举出一个可能改变直觉的创意写作例子。Mitchell说,实验室也在追求能够“让所有领域都受益”的算法变化,而不只是针对某个强化学习数据集。
被问到理想数据时,Mitchell有意回避,回答“未污染的评测集”。他区分了评测数据和训练数据:评测必须严谨且未被污染,而随着通用能力模型耗尽可靠测试,评测的重要性还会继续上升。训练方面,McKinzie希望获得处于下一能力前沿的数据,而不是o3和o4-mini已经能处理的基础工具使用:包括一个百万行代码库、一个为期2周的功能任务、多次拉取请求,以及贯穿全程的密集监督。
最具可操作性的使用建议,是把完全相同的提示词发送“很多次”。o3的最佳轨迹可能极其出色,但另一次运行可能错过那个“魔法时刻”;因此Sarah希望有一个昂贵的“100次取最优”按钮,对输出进行排名,而综合过程可能会把结果拉回均值。
实际使用中,McKinzie把模型当作后台队列:即使成功概率看起来不高,也照样派发编程任务;接受偶尔出现的“失望的父亲式”结果,同时保留某次运行意外成功并节省大量时间的上行空间。方差不只是缺陷——只要重试足够便宜,就可以把它变成收益。