88. 和吴翼技术解读OpenAI Operator：推理从抽象世界走向物理世界的开端
摘要
Operator 的关键跃迁不是“会点网页”，而是把 o1、o3 的单次深推理扩展成多模态、闭环的环境交互。 模型会观察、行动、接收新反馈再行动，甚至关掉弹窗、点击失败后退回、浏览器计算失败后改用计算器；吴翼称其为从纵向思考深度向横向通用能力扩展，“回溯发生在动作上，但不是它的思维链”。这让 AI 的价值边界从生成答案推进到执行任务，但可靠性也随之成为商业转化的硬门槛。
Operator 没有神秘的技术秘密，但其壁垒是三块能力同时做到极致。 一是高质量的原生多模态基座模型，二是数量不必巨大但行为足够好的演示数据与任务，三是能在几千卡乃至一万卡上高效驱动浏览器或操作系统交互的强化学习系统。OpenAI 早在 2016 年的第一个大型项目就是 Web Agent，却因只有强化学习、没有基座模型和标注数据、连算力都没有而失败并裁掉约二三十人；九年后的关键配方正是基座模型与强化学习的结合。
Operator 更像“多模态、闭环的 o1”，而不是给 o3 装上一双手。 它的思维链较短，主要通过动作试错，且很可能采用不同于 o1、o3 的基座模型，因此单独入口既反映模型差异，也像产品过渡态；当前 OSWorld 只有三十多分，吴翼却判断按 OpenAI 的节奏，“今年肯定给你干到七八十”。能力曲线可能仍很陡，但眼下发布代表技术突破，并不等于商业产品已经成熟。
Operator 的商业模型本质上是出售时间，而非出售聊天次数。 如果三个可靠 AI 能并行处理退货、采购、报税等任务，吴翼保守地估计人的有效时间或可“乘以二”；在企业端，它对应一个比新增员工更便宜的“AI 员工”。但 OpenAI 的产品收入首先提供的是现金和融资杠杆——“用户提供的不是数据，用户提供的是钱”——用户数据虽是护城河，却不会像推荐系统那样自动转成智能飞轮。
通用模型公司将占据共识主战场，创业公司的机会在其尚未覆盖的 1% 长尾。 全球软件和网站数量巨大，即便 Operator 覆盖 99%，剩余 1% 仍足以支撑客服、物流、报税、订单等垂直 To B Agent；吴翼称美国已有十多家此类公司，而中国这样的 Agent 公司相对少一些。GUI Agent 通用却低效，可能只是中间态：若两三年后大量请求由 Agent 发起，网站可能同时开“给人”和“给 Agent”的两扇门。
Operator 对应 OpenAI 分级中的 L3 Agents，距离 L4 Innovators 仍有结构性鸿沟。 L1 到 L3 都属于可验证的 instruction following：聊天、深思、再到与外部世界交互；L4 要在缺乏明确指令和标准 verifier 的情况下提出“原来没见过、而且更好”的东西，吴翼认为“三到四是特别大的改变”，可能不止两三年。低级的 L5 组织或许会因多个 Agent 被动协作而先出现，但自主组织仍依赖创造力。
2025 年更像 Agent 的能力拐点，而不是商业化终局。 多模态基模、强化学习和交互基础设施都到了新的阶段，行业会把开环文本推理改造成闭环多模态推理；但赛道已经高度共识化，巨头会“开着坦克”推进，资源较少的团队只能沿“乡间小道”寻找非共识机会。Operator 只是指针从抽象世界的“九十度”向物理世界偏到“八十度”的信号，真正的物理智能、个性化记忆和 Agent 间协作仍待探索。
精读
1. Operator 的震撼来自细节，而不是概念首发
吴翼的第一反应是“意料之中”，因为 OpenAI 必然会在 2025 年推出 GUI Agent；真正看到模型连续行动时，却仍然“挺震撼”，因为这些行为细节已经很拟人。
最能说明问题的不是模型完成了某个网页任务，而是它会主动关掉弹出广告；计算退款金额时，它在浏览器里尝试数次失败，又转向计算器按键，像人一样换工具解决问题。
吴翼看重的是这种行为可以经强化学习规模化、通用化：模型不是记住某个网站的固定步骤，而是表现出“人也会这么去做”的试错、退回与替代路径。
2. 闭环交互补上了通用智能的横轴
o1、o3 展示的是聚焦问题上的深度：用户给出指令，模型内部思考二十秒再返回答案，中途既没有环境反馈，也没有真正的多模态交互，整体仍是开环系统。
Operator 则把过程改成“观察—思考—动作—新观察”：模型点一下网页，读取外界变化，再决定下一步。它不只看自己的 token，还把不断变化的互联网或软件界面纳入 context。
吴翼用两根轴概括路线：纵轴是思考深度，横轴是多模态、环境交互和通用广度。Operator 没有刷新纯逻辑智力上限，却明显把 OpenAI 的能力向横轴拓开。
3. Operator 是向宽处走的 o1，而非 o3 的直接延伸
主持人追问它是否延续 o1、o3，吴翼的修正是“不完全是”：三者共享 post-training 和强化学习路线，但 o1、o3 把长思维链推到极致，Operator 更强调任务广度与连续行动。
观察公开思维链，Operator 的内部推理相对短，不像 o1、o3 那样很长、包含很多回溯；它点错、打不开或走不通时会后退，因此“回溯主要出现在动作上，但不是它的思维链”。
吴翼由此把它定位成“多模态闭环的 o1”或偏早期一点的 Agent o1，而非多模态 o3。若未来叠加更强思维链、视觉理解和泛化能力，模型仍有相当大的上升空间。
单独产品入口也可能说明它采用了不同于 o1、o3 的基座模型；两类能力最终可以融合，但现阶段拆开既降低产品认知成本，也符合一个“中间态过渡模型”的位置。
4. 多模态让泛化成为 Operator 的出厂要求
o1、o3 可以先在数学、科学理解、coding 和纯文本推理上做窄，再逐步解决泛化；Operator 从第一天就必须面对形形色色的网站、软件、广告、按钮与任务，窄模型根本无法工作。
吴翼最直白的解释是“它有了眼睛”：视觉输入天然带来更好的泛化能力，Operator 也因此必须处理比 o1、o3 更广泛的任务。
相应地，Operator 需要一个更复杂的 Reward Model，因为它要面对各种网页操作及其是否成功的结果，而不是相对集中的纯文本或 Coding 任务。
5. 三项工程共同构成真正壁垒
第一项是足够好的原生多模态基座模型。吴翼结合自身训练经验、DeepSeek 的报告和 OpenAI 的模型演进强调，后训练能激发多少能力，高度受制于基座模型已经拥有多少语言与视觉潜力。
第二项是高质量的人类演示和任务数据，例如关广告、失败后返回、改用另一工具。后训练不需要预训练那样巨量的数据，但数据和任务本身必须准备好，并准确展示此前基模不自然具备的行为模式。
第三项是可规模化的 Agent 强化学习系统。数学推理只需模型持续吐 token；网页任务却每生成一段 token 就要让电脑执行鼠标或键盘动作，再把屏幕反馈送回模型。
当训练扩展到几千卡或一万卡，如何让浏览器或操作系统环境高效等待、执行并返回反馈，会使训练系统复杂很多。如何支持高效训练，本身也是一个课题。
6. CUA 的新意在专门训练，而不在 Agent 这个词
OpenAI 将新模型称为 Computer-Using Agent（CUA）；吴翼指出，Anthropic 的 Claude 更早公开过类似能力，而“模型与环境闭环交互”本身更是强化学习时代已有的基本框架。
传统大模型接到指令后一次性输出，context 基本不随外部反馈变化；CUA 会输出 thinking 和 action，主动等待环境返回新状态，再据此继续推理，context 因而在执行过程中持续变化。
过去的 workflow Agent 通常靠 Agent Prompting 或其他工程实现，把一个并非为交互设计的通用模型包装成 Agent；CUA 则是经好的基座模型和强化学习训练、专门为交互与 Agent 定制的模型，质量差距会“非常大”。
因此国内复刻 Operator 并不存在神秘 secret：路线已经清楚，许多基建也处于“half there”。真正的不确定性是各环节能否同时做到极致，以及 OpenAI 尚未公开的“水下”模型领先多少。
7. OpenAI 用九年补齐了 2016 年失败的配方
OpenAI 成立后的第一个大型项目就是 Web Agent：让通用视觉智能体在网页上点击。2016 年强化学习正盛，团队试图直接用一个大的 LSTM（CommNet）与互联网环境交互。
那次尝试缺少基座模型、人工标注和算力，只靠强化学习无法从零学出通用网页能力；复杂环境工程投入巨大，项目失败后约有二三十人被裁。
吴翼把九年后的反转归结为配方补齐：“没有好的基座模型，光靠强化学习是不行的；光靠好的基座模型也不太行。”多模态基模与 o1、o3 验证过的强化学习结合，才使 2025 年成为 Agent 突破年。
8. L1 到 L3 扩大的是执行范围，L3 到 L4 改写的是任务定义
吴翼将 L1 Chatbot 描述为反应式系统：人说一句，机器答一句；L2 Reasoners 仍是人机两方，但模型会在内部规划和推理很多步后再回答。
L3 Agents 加入第三方——外部世界。模型既要思考，又要观察互联网或软件的变化，在没有人逐步指挥的情况下完成动作，但任务仍由人给定，也仍有 verifier 判断是否完成。
L4 Innovators 的难点是人只能给方向，无法给出完整指令；结果不仅要“对”，还要好、要超越原有知识体系。吴翼认为“三到四是一个特别大的改变”，未必两三年就能完成。
L5 Organizations 与 L4 的先后未必绝对：多个软件各带一个 Agent 时，低级组织可能被动形成；但要让 AI 自发提出组织方案并形成组织，仍然需要 L4 式创造力。
9. Agent 的经济价值来自减少人类介入
从 Chatbot 到 Agent，人类介入逐级减少，自动化范围持续扩大。报税、退货、采购等任务原本占用同一个人的注意力，可靠 Agent 则允许多个进程并行运行。
吴翼没有把效率夸成线性叠加：即使有三个可靠 AI，也未必让时间乘三，但“让我的时间乘以二”已经很有价值，因为它释放了原本无法并发的脑力与操作时间。
对企业而言，这一逻辑直接变成 AI 员工：只要 Agent 真能独立交付，它相对于新增秘书或员工的成本优势就应该容易收回。商业模式不是卖模型概念，而是让客户“花钱买时间”。
10. 自主性越高，产品层的刹车越重要
从公开 demo 看，Operator 在下单、付款等敏感动作前会暂停并要求人接管。吴翼倾向于认为，这不是模型训练时解决了全部安全问题，而是产品和安全团队在外层持续监控并按动作类别拦截。
理解侧可能来自 GPT-4o 的某个原生多模态版本，但吴翼明确说“不知道是哪个版本的四O”；动作侧则较简单，主要是点击和输入，可用结构化 thinking、action 与特殊 token 约束。
所谓长期规划并未改变强化学习原理：一些人类数据先示范拖动页面、关闭弹窗、失败后修正等行为，再由复杂环境中的强化学习激发自我探索与自我修正，细节全部做对后才会涌现。
对失控问题，吴翼的判断带有明确条件：若训练方式正确、训练中充分保证安全，目前还没有进入“完全不可控”的状态。他借导师 Stuart Russell 开玩笑——导师一直健在，说明邪恶 AI 还没穿越回来阻止他。
11. 固定任务暂时不需要多 Agent
吴翼不看好短期内用多个 Agent 共同完成一个网页任务：一个拥有原生多模态、长 context、记忆和强推理能力的大模型，已经可以独自处理固定目标，多 Agent 未必增加价值。
真正的多 Agent 会在外部服务也由 Agent 接管时被动出现，例如 Operator 访问的网站本身也有一个 Agent，协作来自系统边界而非人为编队。
未来一两年，他仍预期以单智能体操作人类 GUI 为主；两三年后，如果人的工作中有 80% 的 Query 由 Agent 发起，网站可能出售专门入口，让 Agent 直接调用，跳过低效的鼠标点击。
12. Operator 数据比聊天更有价值，但仍不是智能发动机
吴翼认同“Chatbot 不是提取智能最有效的形态”：日常闲聊默认不要求深思熟虑，大量用户反馈更多改善语气和舒适度，而非突破模型最难能力。
Operator 的 query distribution 不同。愿意委托 AI 点网页的任务通常更重，如复杂行程、报税或多次检索；指令、执行轨迹和最终成功与否，天然构成更适合强化学习的任务—结果数据。
围绕 Reinforcement Fine-Tuning API，外界调侃 OpenAI“又来收数据”，并非毫无依据：强化学习对数据量要求不大，一个真正困难且可判断结果的任务，就可能帮助模型补上一块能力。
但吴翼随即限定：用户数据价值更高，不等于产品自动产生下一代智能，“依然可能不如你自己去标”。他的因果方向是先有更好的智能，再涌现新产品，而不是靠产品使用量倒逼智能升级。
13. OpenAI 把智能、后训练与交付拆成三层
吴翼描述的组织形态是：人数相对少的核心研究部门推进预训练和 reinforcement training；更大的 post-training 团队基于产品需求和用户数据继续训练、调整；产品团队负责最终交付。
这种分工解释了为何研究员可以专注“最难的问题”，而 post-training 团队仍不可省略：数学或科学 pipeline 跑通，不代表模型已经适合普通用户，也不代表产品需求已经得到匹配。
OpenAI 持续发产品也不是单纯“秀肌肉”。它是一家处在激烈竞争中的赚钱公司；产品让用户交钱，再去提升智能，也可能以此为杠杆拿到更多的钱。主持人的总结很尖锐：“用户提供的不是数据，用户提供的是钱。”
AI 数据因此是护城河，却不是推荐系统式自动飞轮。淘宝或抖音可以随着点击自然优化，通用 AI 数据却充满噪声，必须经研究员找出关键缺口、清洗数据并处理，闭环至多是“半自动”。
14. 2025 年先刷能力分数，商业化仍需等待可靠性
吴翼把 2025 年称为“看到突破的年份”，而非商业变革完全落地的一年。o1 很强却仍有人抱怨产出不好，说明从能力第一次可见，到产品稳定、经济地运行，中间还有距离。
今年会看到的是纯文本推理走向多模态推理，开环回答走向闭环环境交互，并出现大量为 Agent 定制训练的模型；他判断公开榜单分数会被大幅推高。
Operator 当前 OSWorld 只有三十多分，这“不像 OpenAI 的风格”；吴翼的明确预测是“今年肯定给你干到七八十”，甚至不排除内部已经刷到更高，只是尚未公开。
资源上，他判断 GPT-4o 衍生的 Operator 模型本身应相对较小，训练不至于达到十万卡级别；但外界无法从最终一次训练反推此前做过多少轮研究和实验，总投入仍不可知。
15. 产品路线将从点屏幕扩展到接口和嵌入
GUI Agent 只是首种形态。吴翼猜测，如果它已集成进苹果系统，可能调用操作系统里的 API；也可能与企业合作获得代码或专门接口，不必永远模仿人类点击。
OpenAI 目前没有提供 Operator API，但吴翼按其惯例推测，部分早期合作方可能已经开始集成；后续既可能出现 Operator v2、v3，也可能更换基座后采用新的命名。
GUI 的优势是在“为人设计的世界”里最通用，缺点是效率低，因此它更像必经的中间态。若未来人们愿意把约 80% 的工作交给 Agent，软件界面和调用方式可能会反向适配。
16. 物理世界、垂直创业与非共识研究仍在起跑线上
吴翼把智能分为抽象文本推理与视觉信号推理，并进一步讨论物理世界推理。Operator 仍只操作网页，而网页本质上是“把文本图像化”，既没有寻找袜子、收拾行李那类空间推理，也没有提高 o3 的纯逻辑上限。
他的比喻是：OpenAI 原来沿九十度方向朝抽象智力前进，现在指针向物理世界偏到八十度，“那只手好像刚刚伸过去，还没有真正触碰到”。商业上它会优先赚数字世界的钱；物理智能也可能通过投资 Physical Intelligence 等公司布局，“做大脑就好了”。
基座模型并非 Agent 创业的入场券。即便通用模型覆盖 99%，余下 1% 的客服、物流、报税和订单流程仍是巨量市场；美国已有十多家垂直 Agent 公司，中国这类 Agent 公司相对少一些，但在大模型尚未覆盖的垂直领域仍有机会。
2025 年的多模态、reasoning、Agent 已高度共识，巨头会“开着坦克”占领主路，创业者可以开摩托车走乡间小道。吴翼也因此重新思考学术定位：ICML 前因 DeepSeek、Operator 发布后觉得部分结论已经被别人说了而放弃投稿，并举出个性化记忆、人类反馈和真正的 Agent 间交互等可能在两三年后变重要的开放问题。