先锋 趋势 方法 投研 作者
从 Vibe Coding 到 Vibe Researching:OpenAI 的 Mark Chen 与 Jakub Pachocki
返回节目精读

从 Vibe Coding 到 Vibe Researching:OpenAI 的 Mark Chen 与 Jakub Pachocki

摘要

  • GPT-5 的战略目标,是让推理成为默认能力,而不是迫使用户在即时响应的 GPT 模型和更慢的 o 系列之间做选择。 OpenAI 正在研究每个提示词究竟应分配多少思考时间,目标是消除这种产品层面的摩擦,并让更具代理性的行为“默认”可用。对投资者而言,竞争正转向自适应思考预算、延迟、可靠性和可用的自主性。

  • OpenAI 认为许多熟悉的评测实际上已经接近饱和,正转向以真实发现和经济相关性为基础的基准。 强化学习可以造出狭窄领域的专家,因此从96%提升到98%,相比过去未必还能说明同等程度的泛化能力。AtCoder 和 IMO 仍是可信的标尺,因为许多顶尖研究者都从这些竞赛中成长起来,但下一个里程碑是“让真正具有经济意义的事情发生实质性进展”。

  • 核心研究路线图,是打造能够在机器学习及其他科学领域发现新想法的“自动化研究员”。 Jakub Pachocki 估计,接近掌握高中竞赛水平,大致对应“1至5小时的推理”;接下来的进展需要更长时间跨度的规划、持久记忆、从失败路径中恢复,以及在不断拉长的时间尺度上进行自主运行。

  • 强化学习之所以持续带来进步,是因为语言模型预训练提供了早期 RL 系统所缺少的丰富环境。 自然语言建模赋予模型对人类语言的细腻理解,此后研究者便能探索更多目标和领域。Mark Chen 预计奖励设计会变得更简单,而 Pachocki 认为学习方式应逐渐更接近人类,并警告企业“不要假设现在的状态会永远持续”。

  • GPT-5-Codex 表明,部署质量取决于是否正确分配智能和时间,而不只是把智能最大化。 上一代模型在最难的任务上投入时间不足,却在简单任务上耗时过多;新版本的目标是在简单工作上降低延迟,在复杂、混乱的编码环境中进行更深度的推理。Jakub Pachocki 说自己过去主要使用 Vim,如今一个30个文件的重构可以“基本完美地在15分钟内完成”,但这些工具仍处在“诡异谷”中,距离一名同事还有差距。

  • “Vibe researching”是人们期待的未来,但嘉宾认为品味、坚持和诚实的失败分析仍是不可替代的支柱。 研究意味着尝试“最可能失败”的事情,在不刻意“证明它有效”的前提下保持信念,并同时识别软件 Bug 和错误的概念框架。人类研究者仍需选择重要且困难的问题,并学会判断何时坚持、何时转向。

  • OpenAI 的组织方式结合了受保护的基础研究、审慎的优先级管理,以及仍然稀缺的算力。 实验室不会追逐每一次竞争对手发布,分别为算法进步和产品导向研究设定不同使命;当被问到如果多获得10%的资源会投向哪里时,Jakub 的回答被打断在“算力”。投资过于分散的风险,是最终“每件事都只能排第二”;长期约束也会从算力扩展到能源、机器人和物理世界。

精读

1. GPT-5 让推理成为默认能力,而非独立模式

  • Mark Chen 将 GPT-5 定义为一次“让推理进入主流”的尝试。过去,用户必须在即时响应的 GPT-2/3/4 系列与思考时间长得多的 o 系列模型之间做选择;GPT-5 则试图为每个提示词推断合适的推理预算。

  • 产品理念与原始能力同样重要:用户不应再为该选哪种模式而感到“困惑”。OpenAI 希望替用户拿走这个决定,同时让推理和代理式行为“默认”可用,尽管模型整体能力也优于 o3。

  • 两位嘉宾描述了不同的个人使用门槛。Chen 说,o3 已经让数学公式和推导对日常工作“相当可信”;Pachocki 则表示,GPT-5 又进一步进入了硬科学领域,物理学家和数学家反复发现,它能够产出此前模型无法完成的非平凡数学成果。

2. 静态基准正让位于发现这一真正评测

  • Pachocki 对传统评测的批评是:在一个几乎饱和的测试中从96%提升到98%,已经不再具有决定性。在 GPT-2 到 GPT-4 时代,一套预训练方法可以通过广泛泛化能力来判断;如今强化学习能够有意把模型训练成某一领域的专家,因此从专业领域高分推断广泛泛化能力,依据已经变弱。

  • 竞赛成绩仍然重要,因为它们不只是人为设计的测试。Pachocki 称 AtCoder 和 IMO 是“衡量未来研究成功与否的现实标志”,并指出许多杰出研究者都在这些竞赛中成长;OpenAI 在 AtCoder 竞赛中已经达到第2名。

  • 更有分量的证据来自一线科学家。Pachocki 描述了一个“灯泡亮起的时刻”:GPT-5 自动化完成了一项原本可能需要学生数月才能完成的工作,但他也强调,这些数学并非没有难度,却未必非常复杂。

  • 因此,OpenAI 认为自己正处于“评测赤字”之中。替代目标不再是另一套已经饱和的问题集,而是证明模型能够发现新事物,并让具有经济相关性的工作“真正取得进展”。

3. 自动化研究员首先是时间跨度与记忆问题

  • Pachocki 直截了当地说出了路线图:“我们研究的重大目标,就是打造一个自动化研究员。”让模型自动化 OpenAI 自身的机器学习研究是显而易见的测试,但团队也希望模型推动其他科学进步,而不是只通过自我指涉的循环来衡量自己。

  • Pachocki 估计,接近掌握高中竞赛水平,大致对应“1至5小时的推理”。下一次跃升需要在更长时间跨度上进行规划并保留记忆,因此可靠自主运行的持续时间会成为尤其重要的评测指标。

  • 主持人的质疑值得保留:每增加一次工具调用或规划跳转,都可能带来质量回归,或增加系统偏离轨道的机会。Pachocki 的回答是,这本质上是同一个问题:保持深度意味着保持一致性,而推理模型已经能够延长其偏离轨道前的持续时间。

  • Chen 用数学工作说明了所需的稳健性:尝试一种方法,吸收尖锐反馈,诊断错误,选择另一条路径,然后重复这一过程。推理不是简单地产生更多中间步骤,而是这个持续恢复的循环。

4. 长时间跨度的研究正在抹平可验证工作与开放式工作的界线

  • Pachocki 不认同在任务持续数月或数年后,形式化领域与开放式领域之间仍存在清晰边界。一个持续1小时的约束问题可能拥有有限的想法空间;但要证明一道千禧年大奖难题,则需要选择相关领域、从物理学中寻找灵感,并设计完整的研究计划。

  • 即便是降低建模损失这样看似明确的目标,在研究尺度上也会变得开放式:更难的问题是,团队是否“真的在提出正确的问题”。因此,时间跨度越长,问题定义、品味和探索就越会成为原本可验证工作的一部分。

  • Anjney Midha 提到,OpenAI 也在思考“开放式”的边界,并引用了 Sam 此前关于让模型进行更有创造力写作的推文。这里的主张不是每个领域如今都有客观奖励,而是研究最终必须同时覆盖强反馈和不那么明确的判断。

5. 语言预训练让 RL 变成不断复利的研究平台

  • Chen 将 RL 早期的瓶颈归因于环境:研究者拥有强大的学习方法,却难以让智能体扎根现实,甚至曾考虑构建模拟岛屿,让智能体在那里协作和竞争。大规模自然语言建模提供了一个对人类语言拥有“极其细腻理解”的环境。

  • 当强化学习运行在这个预训练基础上,研究者便能在一个稳健、信息丰富的环境中追求多种目标。Chen 称这或许是 OpenAI 数年来“最令人兴奋的时期”,因为许多新方向同时显现出潜力,但也承认团队仍在摸索它们如何结合。

  • 当被问到生物学家、物理学家或企业该如何设计奖励时,Chen 预计这一过程会迅速演化并变得更简单。Pachocki 表示,这个领域仍在摆脱两年前理解微调数据集的方式,转向更接近人类的学习;他的核心警告是:“不要假设现在的状态会永远持续。”

6. Codex 重新分配思考时间,让手动编码变得可有可无

  • Chen 将 Codex 团队的工作描述为:把原始的推理智能转化为现实世界中有用的编码能力。编码环境本身很混乱,而质量还包括风格、主动性以及模型是否“偷懒”等更柔性的行为,因此团队实际上既在定义行为规范,也在提升任务表现。

  • 核心修正之一,是为每项任务重新分配时间和延迟。上一代模型在最难的问题上耗时不足,却在简单问题上耗时过多;GPT-5-Codex 的目标是在问题简单时降低延迟,在更深度的工作确实能改善结果时提高延迟。

  • Pachocki 说自己过去主要使用 Vim,并描述了自己的转变:“一个30个文件的重构,你可以基本完美地在15分钟内完成——你多少得用起来。”但他仍将这种体验置于“诡异谷”中:非常有用,却“还不如一个同事”。

  • 竞赛编程的前沿尚未完全关闭:IMO 第6题和最难的编程题仍然“留有一点前进空间”。但 Anjney 与高中生的接触说明,文化转变已经到来——对他们而言,从头编写代码的机制显得奇怪,因为“Vibe Coding 就是默认的编码方式”。他期待的续集是:“希望未来会是 Vibe Researching。”

7. Vibe researching 仍取决于坚持、品味与失败

  • Pachocki 的定义从不确定性开始:研究是在创造或学习某个尚未被证明有效的东西,这意味着“你总是在尝试最可能失败的事情”。研究者需要清晰的假设、学习的准备,以及足够的诚实,不因想证明偏好的想法有效而扭曲证据。

  • 主持人追问,信念与求真是否天然存在张力。Pachocki 的回答是否定的:一个人可以坚定地相信并坚持下去,即便结果持续为负,只要他准确追踪进展,并从失败中更新认知,而不是把承诺与确认偏误混为一谈。

  • 他选择问题的启发式方法,是追逐那些既重要、又被普遍认为不可行的问题,然后追问究竟是什么阻挡了下一步。对结果的强烈在意,提供了支撑数年坚持所需的动力。

  • Chen 强调,经验会教会人判断合适的问题时间跨度,也会教会人管理反复失败带来的情绪。论文和同事有助于培养“有趣性”,但“捷径非常少”;有时正确的选择是坚持,有时则是换一个问题。

  • 一个反复出现的突破机制,是发现 Bug。这些 Bug 可能是悄悄让数月实验失效的真实软件缺陷,也可能是导致错误假设的思维框架“Bug”;最初的推理模型和规模更大的预训练模型都遇到过这类问题,最终需要重新思考原有假设与框架。

8. OpenAI 保护前沿研究,而算力仍然稀缺

  • Chen 表示,招聘主张是基础发现,而不是追问“公司 X”或“公司 Y”刚刚发布了什么:“我们真的不喜欢复制。”招聘更看重候选人是否在物理学、计算机科学、金融或其他领域解决过难题,同时具备扎实的技术基础、雄心,以及坚持处理困难工作的意愿。Chen 还提到 OpenAI 的 resident 项目,通过让其他领域的人亲手实现核心成果,把他们带入 AI。

  • 研究人才不必符合单一的工程师范式。有些研究者通过源源不断的想法产生“极高的 alpha”;另一些人则围绕一个想法严谨地绘制实验空间。组织的目标是把这两种风格结合起来,而不是要求每位贡献者以同一种方式体现影响力。

  • 两位负责人都认为,必须把“基础研究”保护起来,避免其被持续不断的产品需求和竞争性发布牵着走。产品导向的研究者应承担明确责任,而另一组人则需要空间去思考模型在1至2年后可能是什么样;自动化研究员这一目标提供了粗略的方向,但不会规定每个项目的具体内容。

  • Nano Banana 体现了投资组合中的张力:有吸引力的媒体工具可以释放日常创造力,OpenAI 并不阻止对这些产品感兴趣的研究者。解决方案是保持一致的优先级管理,同时单独保护算法进步,并根据每月需求在核心研究与产品研究之间动态调配算力。

  • 当被问到如果多获得10%的资源会投向哪里时,Pachocki 开始回答“算力”,随后话题转开。他还表示,并不认同 AI 很快会主要受数据约束的说法;任何怀疑资源稀缺的人,都应该“来替我干一周的工作”。如果缺乏优先级管理,危险就是变成“每件事都只能排第二”。

  • Pachocki 的长期判断并不止于算力,还包括能源和其他物理约束;机器人很可能在“不太远的未来”成为主要关注方向。至于智能本身,他不愿作出太多假设。

  • 实验室的速度部分来自避免陷入学习平台期:Chen 说,新结果出现得足够快,跟上进展本身就是一份全职工作;Pachocki 则描述了团队如何围绕新的约束和可能性不断重组。他们的合作关系,也源于一次早期并不受欢迎的推理工作——Pachocki 深入攻克技术问题,Chen 则把分散的贡献者组织成一支统一的团队。