Agent操作电脑端到端落地
探讨AI接管桌面操作系统与端到端复杂任务执行进展
2个信源 · ↑2×参与该主题的先锋
全部段落
10月26日
- Ari Weinstein Ari Weinstein 的速度论点是,达到专家级的电脑操作能力,可能让委派成为默认选项。 他认为,智能体操作电脑已经快过普通人,而且“离超过专家水平已经很近了”。要让人愿意委派,关键是消除“这事我自己做就行”的念头,尤其当任务必须先完成、其他工作才能继续时。
- 电脑操作让智能体无需等待新的集成,就能使用旧软件。 Weinstein 的说法是,“电脑操作适用于一切”:智能体通过与人相同的界面使用应用程序。他预计,几十年前的系统会与成本更低的新软件并存,为用更好的体验封装旧工作流的产品创造空间。
- James Sun 企业采用智能体,既要模型更强,也要有可执行的边界。 James Sun 提到应用和网站限制、可配置的审批要求,以及一套他称为 Guardian 的系统——他认为应用里叫“自动批准”——用来核验操作是否安全、是否符合用户意图。智能体快到无法一直盯着时,“控制这部分就会越来越重要”。
- Seema Amble 眼下最清晰的工作流,是把繁琐任务串联到多个业务记录系统中。 Sun 举例说,采购流程要把电子表格里的1,000行数据导入采购软件,再联系供应商;缺少 API 的财务对账也是一个切入口。Seema Amble 一句话点出了机会:“无聊之处就是机会。”
10月24日
10月20日
10月11日
10月2日
9月30日
- Ari Weinstein OpenAI 认为,电脑操作已经从脆弱的演示走向真正能干活的生产力,回应某头部 AI 播客关于其两年来没有进展的说法。 Ari Weinstein 表示,agents 现在“在大多数情况下,完成任务的速度可能已经超过普通人”,部分原因在于它们能够调试、重试和自我检查,而不只是成功启动任务。
- Latent Space 经济层面的突破速度,快于模型标价所呈现的速度。 GPT-6.1 Soul 的整体成本据介绍为 Astra 的1/5,电脑操作场景为1/7。主持人还援引主题演讲中的说法称,电脑操作速度提升了7×。这会把投资主线的瓶颈从原始智能推向推理、执行框架设计和软件响应时间。
- Ari Weinstein Dots 通过为每个 Dot 配置独立的 Linux 云端电脑,把电脑操作变成通用委托。 可触达的范围实际上是所有面向人的软件,包括 API 不完善的服务:Ari 的餐食订单从手动处理的2小时缩短至15分钟,主持人还提到订机票、客服、YouTube 运营、游戏和购物。
- Latent Space 电脑操作越来越是多模态系统问题,而不是单纯的截图点击基准测试。 Agents 可以组合截图、无障碍数据、Playwright、直接 DOM 访问和生成式 JavaScript,一次执行多个动作;AppShot 同样会暴露底层元数据,而不只是像素。“大量细小的摩擦”如今与单点模型能力提升同样重要。
- Ari Weinstein Agents API 形成了分发优势,因为 OpenAI 在开发者也能使用的同一套电脑操作执行框架上训练模型。 Ari 认为,这可能同时改善“速度、成本和准确率”;而自主测试则闭合了软件开发循环:agent 可以先完成应用构建和测试,再交给人类做 QA。






