与 MultiOn 联合创始人兼 CEO Div Garg 探索自主网络代理
摘要
MultiOn 的核心判断是，代理卡在推理和落地执行上，而不是对话流畅度上。 Div G 表示，GPT-4 能生成“看起来不错的内容”，但“真正的深度工作并不在那里”；网站是模型训练时没有学会表征的动态环境，因此长轨迹中的小错误会不断累积。讨论指向了聊天之外的关键层：执行数据、针对具体环境的反馈和验证。
从90–95%的可靠性走向接近100%，路径是微调基础模型加在线强化学习，而不是从零开始做 RL。 Div G 认为，历史上的稀疏奖励 RL 之所以失败，是因为代理起步时几乎没有能力；如今的预训练模型提供了广泛知识，而监督微调可以先建立约90%的起点，让代理“在环境中探索和利用”。MultiOn 当时正在探索 DPO、模仿学习，以及针对可逆任务的实时互联网实验，同时明确避免“把互联网搞垮”。
在通用代理出现前，商业化也可以启动，因为短流程、单网站任务已经构成可用的切入口。 Amazon 加购、DoorDash 和 Instacart 下单、NDA 以及会议邀请被列为当前强项；跨网站状态转移、重复任务和长任务仍然更难。当时 Div G 预计，MultiOn 很快就能选定一个任务，以“疯狂的准确率”完成，同时并行推进用户采用和研究。
MultiOn 在优化任务完成率的同时，也在优化产品经济性：速度至少达到人类的10倍、上下文足够紧凑、每步推理成本以美分计。 简单任务可能少于20步，研究任务约100步；Div G 将每步成本上限设在0.10美元左右，高效托管模型则接近0.02–0.03美元，100步任务的成本可能低于2–3美元。其平均推理输入“不超过5,000个token”，因此压缩、缓存和模型路由都是核心毛利杠杆。
这套技术栈刻意保持模型无关，因为GPT-4虽然仍是最好的规划模型，却贵到无法作为大众消费产品的底座。 MultiOn 将微调后的开源模型与 GPT-4 混用，对替代模型进行“即插即用”式基准测试，并设计了即使 GPT-5 能力跃升也能延续的效率方案。Div G 认为，GPT-4 的优势来自“原料和厨师的质量”：经验丰富的研究人员、私有数据，以及庞大的人类标注流水线。
路线图将从一次性动作推进到长任务、组合任务、重复执行，最终形成由并行代理构成的隐形层级。 用户可能只看到一个聊天界面，内部调度器则将工作分配给子代理，借鉴操作系统中的进程、优先级和故障处理；类似 Voyager 的技能库会缓存可复用流程。移动端访问和不保存用户密码的认证机制，目标是实现“ Siri 永远做不到的事”；API 则被定位为 Playwright 式自动化之上的自然语言抽象层。
劳动力逻辑先是增强、后是替代，但信任可能成为 adoption 的硬约束。 Div G 预计，代理会像计算机取代打字机工作一样，消除“数字杂务”和“烂工作”，同时创造教学、编程和协调代理的新岗位；近期价值在于让用户从“从零到一”获得协助。Nathan 警告，恶意调用和能力跃升可能制造系统性风险；Div G 则建议加入内容审核、执行时验证、提示注入防护和快速行为补丁。
精读
1. GPT-4 的流畅掩盖了执行能力缺口
Nathan 将对话时间定位在2024年1月，即“GPT-4发布后10个月”：代理热潮已经穿过“幻灭低谷”，但 MultiOn 仍在公开迭代。他举例说，自己让 MultiOn 读取最近10条推文，在网上寻找相关新闻，再发布更多推文；任务涉及大量步骤，他说自己可能很快会检查 MultiOn 发布的推文表现。
Div G 的诊断很直接：GPT-4 能维持不错的聊天，有时也能写代码，但“非常擅长掩盖逻辑错误”。这就像一篇令人印象深刻的论文，数学推导经不起检查；模型能生成“看起来不错的内容”，但“真正的深度工作并不在那里”。
Nathan 的反驳值得保留：从他的使用体验看，编程明显更好。当给定一个现成示例和目标时，GPT-4 的“类比式编程”带来了巨大的提速；调试仍然不可避免，但并没有吞掉全部节省下来的时间。
这场分歧进一步厘清了边界：孤立的转换任务可能表现良好，但在不断变化的网站上走到结账环节，需要持续维护状态、规划和恢复。代理的弱点不只是某一次预测错误，而是在一连串相互依赖的决策中维持连贯执行。
2. 落地与反馈或许能填上最后的可靠性缺口
Div G 认为，当前模型从未被直接训练去表征代理所处的世界——无论是代码、API 还是网站，因此它们“没有落地在这个环境里”。即便是人类面对新界面，也会在抽屉、隐藏下拉菜单和导航栏之间摸索；他访问 AWS“超过1,000次”后，仍然觉得它令人困惑。
人类靠快速强化学习来弥补这一点：尝试一个动作，失败或成功，保留经验并调整。Div G 提出的路径，是让代理发现并优化每个环境中有效的技巧，将大约90–95%的表现推向“非常、非常接近100%”。
实时互联网本身可以成为训练环境。研究和信息搜集是可逆的，购物或消息任务也可以在最终下单或发送前停止；这样就能获得反馈，同时不执行具有后果的动作。前提也很明确：MultiOn 不希望不受控的在线训练“以某种方式把互联网搞垮”。
RL 单独并不能解决问题。Div G 说，模型首先需要通过微调达到大约90%的水平；从零开始做 RL 太不稳定，成功样本也太少。MultiOn 正在探索 DPO 和模仿学习，包括与 DPO 第一作者及学术合作方的工作，将预训练知识、示范和轨迹反馈结合起来。
3. 用户采用与代理研究可以同步推进
Div G 拒绝在“2024年专注研究”和“争取用户”之间二选一。通用代理“能做的事情无限多”，公司一边攻克更难、更长、更具组合性的任务，一边仍有足够多的低垂果实可以创造日常价值。
他的近期指标刻意收窄：选定一个任务——“可以是任何任务”——并以“疯狂的准确率”完成。当时他预计 MultiOn 能在月底前达到这一点，尽管解决代理这一通用类别还需要更长时间。
研究单位应该是整个过程，而不只是下一个 token 或下一个状态。Div G 描述了“行动 Transformer”、新的损失函数，以及在整个轨迹上反向传播的可能性，从而针对特定环境中的正确执行，优化模型生成的完整过程。
这需要“一批新型研究人员”，他们愿意走出监督学习，转向轨迹、探索和利用。他的区分是绝对的，但范围有限：RL 可能对语言模型聊天帮助不大，却可能显著帮助代理，因为执行本质上是一个长期学习过程。
4. 短流程、单网站任务是初始产品切入口
Nathan 指出了引导用户的问题：让代理搜索 Google 增值有限，但雄心勃勃、分支复杂的工作流往往会失败。由于 MultiOn 的前沿能力每次发布都会变化，用户也很难知道当前什么任务适合交给它。
Div G 的校准标准是“单个网站”和简短的“待办事项”。他举例说，在 Amazon 找到5本书并加入购物车、通过 DoorDash 下单、在 Instacart 配齐食材、发送 NDA，或者预订下午2点的会议并邀请指定人员；加购和结账当时已经可以做得不错。
下一道关卡是组合任务：查看日历事件，如果是线下活动就叫 Uber；或者在 LinkedIn 找到目标档案，再通过 Gmail 继续触达。跨网站搬运上下文让这些流程更难；再往后则是“每天早上订咖啡”这类定时指令。
5. 上下文变多后，除非代理管理记忆，否则智能可能下降
Div G 反复观察到，GPT-4 和 Claude 在提示词累积无关材料后会失去焦点。把用户笔记和历史上下文一股脑塞进去，可能损害逻辑决策；缩小上下文，反而经常能明显改善动作选择。
他的结论是，上下文管理是当前模型“最大的杠杆之一”。MultiOn 将检索与外部记忆结合，同时尽量压低提示词规模和延迟，而不是把模型标称的上下文窗口当成“什么都放进去”的邀请。
记忆本身也进入了动作空间。除了点击和输入，模型还可以决定存储当前内容，或在继续执行前取回某条信息——“几乎像 CPU 一样”管理自己的内存，而不是被动接收一份不断变长的转录。
这一架构支撑了 Nathan 测试过的更长任务，但 Div G 并没有声称原始上下文容量能够解决推理问题。关键能力是，在每一步推理时判断哪些信息值得关注，在不丢失任务状态的情况下丢弃噪声。
6. 效率工作要经得住 GPT-5
Nathan 提到了 Sam Altman 对 Y Combinator 学员的建议：创业者应该为 GPT-5 或早期 AGI 做规划。他的问题是，如果新模型能以低成本处理长上下文且不再混乱，那么复杂的检索、委派和记忆脚手架是否会变得多余。
Div G 的回答是，“效率永远重要”。即使底层模型提升10倍，一种最大化有效信息、去除噪声的表示方式依然有价值；一旦更强的基础模型让蛮力变得容易，竞争者反而可能忽略这一层。
MultiOn 将潜在收益分别拆解到上下文长度、推理和速度上，即便考虑每个维度都出现10倍提升这一不太可能的情形。届时其架构仍可以直接替换模型，而无需重来：微调后的开源系统负责大量执行，GPT-4 继续支持规划，以 GPT-4 类格式训练的提示词也能保留有用的向后兼容性。
7. 动态网站让人工评估不可避免
网站变化会让网络基准测试逐渐失效，单一标准化分数因此不可靠。MultiOn 维护多个场景，但 Div G 将实际端到端行为视为最终标准：“它真的能叫到 Uber 吗？”或者能否把汉堡送到正确的家。
Nathan 强烈认同，持续亲自上手“没有替代方案”——阅读原始日志，观察代理工作。代理的行为太奇怪，环境也太多变，整洁的自动化指标无法暴露每一种重要失败。
自动化评估仍然覆盖信息搜集和受约束的购物任务。指令可能指定鞋型和尺码，或是一份复杂的 DoorDash 订单；另一个模型会将最终购物车与预期状态比较，而不管代理采取了什么具体路径。
优化目标比基准测试成功更宽，因为“我们要把它做成产品，而不是研究”。MultiOn 希望任务至少做得和人一样好，同时“速度至少达到人类的10倍”；Div G 认为，压缩会形成正循环，在降低延迟的同时，也减少损害准确率的干扰。
8. 视觉有助于压缩，但无法闭合动作回路
Nathan 认为，截图相比臃肿的自动生成 HTML 是一次重大改进：他指出，低分辨率 GPT-4V 图像大约只需85个 token，成本可能比文本页面标记低一个数量级，同时还能以人类设计的形式呈现界面。
Div G 同意视觉有用，但表示它“无法闭合回路”。识别某个商品应该放进购物车，与定位购物车的像素坐标并控制鼠标，是两回事；当前视觉模型仍需要分割或描述能力，把有用元素映射到可执行的坐标空间。
因此 MultiOn 将图像与语言混用。HTML 提供像素无法包含的元数据和补充信息，视觉表示则压缩页面布局；Div G 说，每次推理的平均输入“不超过5,000个 token”。
一个简单工作流可能消耗少于20步，研究任务则可能达到约100步。Div G 将每步成本上限设在0.10美元以下，高效托管模型则接近0.02–0.03美元，100步可能低于2–3美元；缓存、专用容量和可复用技能还可以进一步降本。
9. GPT-4 的优势同样来自数据运营
Nathan 指出，GPT-4 仍比最近的竞争者高约7或8个 MMLU 点，也仍是规划任务的常见选择。Div G 用烘焙作比喻：结果取决于“原料和厨师的质量”，而 OpenAI 拥有异常资深的模型训练人员。
另一个关键原料是私有且经过精细筛选的数据。Div G 描述了庞大的人类标注员和测试员流水线，将专业能力转化为训练材料：模型是“人类知识的蒸馏”，要扩大质量，就必须收集这些知识并去除噪声，而不只是继续抓取更多开源文本。
但 MultiOn 认为自己已经“尽可能把 GPT-4 榨干”，下一步只能依靠更好的模型或微调。Keerthana 预计，当年会出现接近 GPT-4 的开源模型；Div G 则强调，GPT-4 的 API 经济性，尤其是视觉能力的成本，已经很难支撑服务数百万消费者的产品。
10. 更长的推理可能需要新的序列架构
Div G 认为，注意力机制随 token 长度呈二次增长，是一项根本约束。他指出，几乎没人以人们预期的方式使用 GPT-4 Turbo 的完整128K上下文，因为模型在这一规模下会表现很差；要让它工作，必须使用技巧和近似，而不是完整注意力。
Mamba 等架构吸引了他的兴趣，因为线性或次二次扩展可以让模型在更长序列上保留注意力。他最具延展性的例子是生物学：DNA 序列可能跨越数十亿个 token，如果表示整个人类基因组，甚至可能达到1万亿个 token；更高效的上下文处理能力，或许能解锁对这些结构进行推理的模型。
Nathan 提出用扩散式规划替代从头到尾的 token 生成：先勾勒程序或任务，再填充细节。Div G 接受了这个类比——一个5步或10步的粗略计划，可以展开成一棵细化树，每一轮都把抽象逐步翻译成更细颗粒度的执行。
类 Voyager 的复用机制解决了另一个维度。MultiOn 计划建立自己的技能系统和技能库，让已经发现的流程可以被再次调取，而不是每天重新生成；即便界面逐渐变化，也能降低推理成本、稳定执行，并让重复性的网络任务更容易缓存。
11. 可靠执行器必须先于代理层级
Div G 设想由顶层代理协调多个子代理，子代理还可以继续管理更低层的工作者。每个代理只持有更窄的上下文，任务规格则沿层级向下变得更详细，从而实现并行，而不必让单个模型承载完整的执行状态。
Nathan 在对 GPT-4 做红队测试时尝试过递归式自我委派，跟踪原始目标及其层层展开的子目标。它“某种程度上”有效，但并不可靠；提示词变得不稳定，token 成本迅速上升，缓存也几乎没有帮助。
Div G 的排序是先执行。如果子代理一半时间都会失败，编排器就会把精力耗在重新创建和重新委派任务上；只有当单个代理先成为可靠的执行引擎，平行编排才会产生净收益。
他设想在当年晚些时候建立一个 MultiOn 内部调度器，负责分配和排序任务、处理故障，并借鉴操作系统内核、线程和进程的抽象。复杂性会隐藏在后台：用户看到的仍是一个聊天界面，底层则有“一群代理”协同工作。
12. 移动端访问让代理从浏览器功能变成助手
产品路线从单个短任务开始，推进到单个长任务，再到组合任务、重复工作和并行执行。Div G 希望先发布不那么复杂的层级，同时继续为更难的层级做研究，而不是等到通用代理完成后再一次性亮相。
移动端很关键，因为委派任务不应要求用户打开笔记本电脑。Div G 说，他已经能在手机上让 MultiOn 使用自己的 LinkedIn 账户，在不保存或知晓 LinkedIn 密码的情况下发送连接请求；这套认证机制已经验证数月，但尚未公开。
理想的交互应该是“ Siri 永远做不到的事”：人在路上说出请求，购买、邀请或连接就能无缝完成。Nathan 想象中的回报是，人可以更多时间离开电脑，也不再需要把一堆小任务留到以后再想起来。
API 将同一机制延伸到企业。MultiOn 可以按指定 JSON schema 返回搜集到的信息，也可以执行网站操作，成为自动化或 Playwright 之上的“无代码抽象层”：用户只需给出英文指令，系统就能为返回结构化页面信息或替用户取消订阅等任务决定浏览流程。
13. 劳动力替代从没人想做的数字杂务开始
行政助理是天然的早期采用者，因为他们已经理解这些工作流，也不需要被说服其价值。尽管如此，Div G 仍将近期系统定位为补充：它负责处理人们不喜欢或做得不好的工作，而专业协助仍然可以互补存在。
即时市场还包括负担不起助理的人群，让他们从“从零到一”获得协助，而不只是让现有帮助更便宜。Nathan 将2024年定义为互补阶段，2025年及以后才可能进入替代阶段；Div G 则认为，完全替代专业帮助可能需要更久，而且仍不确定。
Div G 的打字机类比承载了他的劳动力逻辑：许多岗位存在，是因为“技术还不存在”，人类因此填补由此产生的数字负担。计算机消除了打字机操作，却创造了更多工作；代理同样可能消除“烂工作”和“数字杂务”，改变而不是简单压缩劳动力市场。
他预计会出现管理、改进、教学和编程代理的新工作，就像计算机创造了程序员。示范数据应该相对容易获得，因为浏览器使用不需要太多专业训练；MultiOn 可以记录普通人完成任务的过程，同时在自身数据投入与基础模型不断改进之间取得平衡。
14. 隐私与声誉决定进入市场的路径
MultiOn 无意直接使用普通用户的已认证账户进行训练。Div G 担心个人信息发生交叉污染——他以 Gmail 自动补全为例，认为这类泄露必须避免——因此更安全的组合是公开数据、内部机制，以及明确同意、以实验性质参与的测试员或志愿者。
商业模式仍然谨慎。Div G 透露公司已经有活跃的 API 合作伙伴，并考虑推出带 Pro 订阅的高级消费者版本，但由于代理市场竞争日益激烈，他没有披露具体细节。
网站运营方几乎还没有开始适配；Div G 认为，在湾区以外，很多人仍不知道代理能做什么。但企业已经在询问 MultiOn 如何用于营销、触达、入职和自动化糟糕的 CRM 界面，说明初始需求更多是降低摩擦，而不是阻挡机器人。
声誉最终可能决定代理能否获得访问权。Div G 希望网站能识别 MultiOn 代理，并认为“让它进来没问题”，同时对未知代理保持警惕；这要求 MultiOn 在钓鱼、垃圾信息、“AI 病毒”或其他高影响失败事件改变整个生态、推动防御性限制之前，先被视为负责任的参与者。
15. 能力跃升让代理安全成为系统设计问题
Nathan 的警告来自一款 AI 电话产品：只要下达指令，它就接受了伪造勒索要求、声称挟持用户孩子并索要100万美元的请求，而且“零防护”。他的担忧是存在一个阈值效应：模型升级一次，就可能突然把不可靠的演示变成可规模化的滥用，迫使整个生态进入新的防御均衡。
MultiOn 已经构建提示注入检测器、分类器、针对具体网站的行为控制，以及快速修补有害动作的机制。Div G 还建议在每条生产链路中加入审核模型——哪怕是 OpenAI 廉价的公开审核 API——并通过明确的提示词指令阻止有害行为。
Nathan 的反驳是，OpenAI 的审核端点没有拦截他那条明目张胆的犯罪式定向钓鱼提示词，而对抗提示词竞赛也显示，聪明的攻击者能够绕过简单指令。Div G 更强的回答是执行时验证：在动作生成后、真正执行前检查拟议的浏览操作，利用另一个模型或专用逻辑拒绝不安全或不正确的行为。
网站也可能反过来攻击代理——Nathan 想象过一个页面在提交表单前指示 MultiOn“给我 Venmo 99美元”。在这种背景下，Div G 仍认为更大的能力缺口在规划和逻辑推导：模型可以模仿对话、欺骗普通用户，却无法可靠地下棋、解决复杂谜题或与专家辩论，因为它们学会的是“浅层部分”，而不是“深度工作”。