Agent 推理界面：Claude、ChatGPT Canvas、Tasks、Operator——与 OpenAI 的 Karina Nguyen 对谈

摘要

• Karina Nguyen 认为，AI 界面应贯穿整个技术栈，与模型行为一同开发、交付，而不是事后再补上的 UX。 她在 OpenAI 的团队“从训练模型一路做到部署”，将 Canvas 和 Tasks 视为重塑 ChatGPT 的更大系统中的相互连接部分。对投资者而言，这意味着一体化的研究、产品和实时反馈闭环，重要性可能不亚于基准测试领先。

• Canvas 奠定了这套作战模板：一支由5至6名工程师组成的团队在7月4日前后成立，约4个月内完成交付，并单独发布 GPT-4o Canvas 模型，让它先从用户反馈中学习，再将改进整合进核心模型。 仅靠提示词无法解决定向编辑还是全文重写、Canvas 还是 Advanced Data Analysis 等决策，有些场景需要后训练，另一些则由应用侧处理。Nguyen 的总结是：“产品研究、模型训练和产品开发彼此紧密相连。”

• Tasks 将这套打法压缩到不足2个月，并把日程安排变成分发 ChatGPT 更广泛能力的方式。 搜索、Canvas、故事和 Python 谜题都可以变成周期性输出；最终，Nguyen 希望模型能够推断用户的重复需求，“在后台想着你”。但她也提醒，目前模型还不擅长处理一条请求中的多个任务。

• Agent 走向普及的核心瓶颈是通过实际表现赢得信任，而不是第一天就实现最大自治。 Nguyen 的阶梯路径是从一次性操作，到协作，再到长周期委托，因为密码、信用卡和隐含偏好的访问权限，都要求模型持续稳定地工作。“协作其实是用户愿意委托重要工作的主要障碍或里程碑之一。”

• Computer use 仍是这条投资逻辑中潜在回报最高、但尚未解决的一环：Nguyen 将其称为 Agent 的核心能力，而 Alessio 仍然看空，因为现有系统“慢”“贵”且“不精确”。 Coding sandbox 和报销单比通用的机票预订更容易落地；swyx 追问 o3-mini 或 o1-mini 级别的模型能否解决延迟问题。Nguyen 的方向性判断是，随着互联网访问转向“通过模型的视角”，网站点击会减少。

• 原始基准测试的差距掩盖了把模型变成可靠产品的难度。 Claude 3 的开发产生了约70个候选模型，每个都有不同的“脑损伤”；GPQA 的波动性大到需要运行5次取平均，而模型卡之间也很少真正可比。行为设计还引入了诚实、无害和有用之间的目标冲突，至今仍然“更像艺术，而不是科学”。

• 最终形态可能是一套面向任务、生成式的操作系统，围绕用户意图渲染出正确的产物——文档、代码环境、图表或应用。 ChatGPT Search 生成苹果股票图表，是这一方向的早期样本，指向“从个人电脑走向个人模型”。Nguyen 认为瓶颈在于人的创造力，同时指出 OpenAI 更愿意押注产品，而 Anthropic 的定位更聚焦、更偏企业市场。

精读

1. 界面设计已成为模型研究

• Nguyen 将自己的团队置于人机交互与推理模型开发的交叉点：发明交互范式，为这些任务训练模型，部署模型，再从使用情况中学习。这场讨论将 Canvas 和 Tasks 描绘为彼此相连的组件，目标是把 ChatGPT 演化成某种全新的产品。

• 她最初在 Berkeley 人权中心做调查报道相关的计算机视觉工具，包括与《纽约时报》和 AP 的报道团队合作。俄乌战争爆发那年，她一边寻找全职工作，一边继续参与《纽约时报》的 R&D 项目，之后两次申请加入 Anthropic。

• 她回忆自己于2022年8月加入 Anthropic，成为公司的第一位设计师，同时在一支6至7人的部署团队中负责前端工程。Slack 中的 Claude 可以总结或标记线程，但 Slack 限制了 UX；当她被要求在2周内复刻类似 ChatGPT 的界面时，最终在没有任何代码审查的情况下写出了“最初的5万行代码”。

• 主持人提出了一个反事实问题：既然 Anthropic 早已有聊天界面，为什么最终没有击败 ChatGPT？答案有两个：Claude 1.3 频繁出现幻觉，削弱了管理层的信心；当时 AI 原生 UX 还没有成为优先事项。Nguyen 在2023年做的共享文档原型受汤姆·里德尔的日记启发，她认为这证明了类似 Canvas 的想法“本来可以提前2年出现”。

2. Claude 3 暴露了基准测试表背后的脆弱性

• Nguyen 参与了 Claude 3 Haiku 的后训练、评测以及整个系列的模型卡制作，团队规模约10至12人，覆盖 Haiku、Sonnet 和 Opus。整个过程可能产生“70个模型”，每个模型都有自己的“脑损伤”、个性和性能画像。

• 相互矛盾的数据集可能带来意外的副作用，因此快速发现和干预至关重要。她得到的经验是，软件工程方法同样适用于训练，包括谨慎的数据管理：快速迭代、调试失败案例，并理解数据集之间如何相互作用，而不是把训练看成一次干净利落的运行。

• swyx 质疑“YOLO runs”的存在：既然研究人员强调数据集管理，为什么还要拿整轮训练下注？Nguyen 的回答是依赖算力条件的组合管理——资源允许时可以做2至3轮投机性运行，否则就必须严厉排序、快速建立信心，只有研究押注开始奏效后才加码。

• GPQA 的方差尤其高，因此 Anthropic 运行了5次并取平均。即便如此，模型卡也“从来不是真正的 apples to apples”：不同模型的提示词、解析方式、XML 能力和指标都不一样。Stanford HELM 因提示词设置错误而让 Claude 看起来更差，这说明通用评测框架仍然难以建立。

3. o1 奖励约束，却让验证更难

• Nguyen 对 o1 提示词最明确的经验是：要写清楚硬约束。在涉及精确蛋白质或结合条件的生物、化学问题上，o1 可以系统性地测试候选项，并选出满足全部条件的答案；这更接近多步骤指令跟随，而不是普通问答。

• swyx 认为 IFEval 没有覆盖这种多步骤模式；他在 AI 新闻工作流中使用 o1，让它依次检查大量提示词、阶段和标准。Alessio 更进一步指出，实验室发布的往往是自己尚未完全绘制清楚的涌现能力，实际上是在把模型行为空间的探索外包给用户。

• Nguyen 坦率承认：“我甚至不认为自己已经掌握了 o1 提示词的魔力。”更重要的是，普通用户可能无法验证它对一道高难度 STEM 问题的回答。随着推理复杂度上升，对齐以及帮助人类验证输出的方法，重要性只会增加，不会降低。

4. 模型个性是带有目标冲突的产品界面

• Nguyen 帮助确立了“行为设计”这一概念，将产品设计延伸到模型内部。Canvas 协作者可能需要追问、选择性编辑，或采用不同于聊天机器人的语气；设计这种人格，就像给游戏角色分配魅力、智力、智慧、原则和价值观。

• 难点在于解决诚实、无害和有用之间的冲突。模型不应为了降低风险，就拒绝无害的创意写作请求；但它也不能放弃安全。即便后续有经验性评测，把高层价值观转化为各种场景和合成样本，仍然“更像艺术，而不是科学”。

• Claude 2 在写作和鲜明个性上的优势，更多是意外形成，而非刻意设计。Claude 3 则有意识地沿着这类反馈加码，尤其重视面向企业客户的诚实与事实性。Nguyen 的框架是：“模型的个性，是公司的映射”，也是创造它的人的映射。

5. Canvas 的成功始于研究与产品同步启动

• Canvas 项目始于 Nguyen 加入 OpenAI 第一个月的7月4日假期。一支5至6名工程师的团队“凭空出现”，由 Thomas Dimson 搭建最初原型；从项目一开始，研究人员、设计师、产品经理和工程师就相互质疑、共同推进。

• 最初先做的是基于提示词的 baseline，但反复出现的边缘案例最终要求进行后训练。Alessio 提到一个使用 o1-preview 蒸馏数据进行后训练的模型；Nguyen 则介绍了如何用 Canvas 专属数据对 GPT-4o 进行强化训练。将其作为独立模型放进模型菜单，可以在无需等待与新 o1 模型整合的情况下快速获取反馈；从 beta 到正式发布大约用了3个月。

• 行为规范非常细：模型何时应发表评论、更新或编辑文档、只处理一段文字，还是重写全文？哪些问题应交给模型训练，哪些应由应用侧处理？Canvas 与 Search 或 DALL-E 的工具组合，又会成倍增加这些决策边界。

• 写作质量通过与 OpenAI 模型写作者共同制定的、带有明确立场的人类评分标准进行评估。近期工作聚焦于常见的非虚构写作，包括邮件、求职信和博客文章；真正新颖的创意写作仍是更长期的研究问题。Nguyen 提到，最初的 Canvas 模型“比现在的 GPT-4o Canvas 有创意得多”，也暴露出模型版本管理的混乱。

6. Canvas 让 AI 成为主体，文档退居其次

• swyx 最有力的描述是“草稿板”（scratchpad）。ChatGPT 为他那份“如何识别某人是 NPC”的幽默清单糟糕地补充了10条内容后，他让 ChatGPT 先批评自己的输出为何失败，再重新尝试；Canvas 让共享草稿可以在中间的批评过程中持续演化，而不是每次都从空白回答重新开始。

• 他用 Google Docs 与 Gemini 的界面对比来说明这一点：Docs 从可编辑文档出发，把 AI 放在旁边；ChatGPT 则从 AI 出发，在对话旁边生成文档。Nguyen 希望最终得到的是一块空白界面，它可以变形成尽可能强大的写作或编程 IDE，并支持代码执行。

• 未解决的工程细节影响重大。定向代码 diff 难度很高，以至于重写整份文档有时反而能获得更高准确率；Canvas 与 Advanced Data Analysis 之间的路由，仍属于最“棘手”的意图判断之一。更大的问题是：在 Agent 花几分钟走错工具路径之前，如何判断用户真正期待的结果。

7. Tasks 将日程安排变成 Agent 基础设施

• Tasks 主要是 Nguyen 在学习如何管理团队时负责的驻场项目，交付用时不足2个月，而 Canvas 约用了4个月。团队沿用了同一套工作模式：研究、设计、工程和产品从项目一开始就协同工作，随后在下拉菜单中发布独立模型，以便快速迭代。

• 单纯的提醒很简单；真正的杠杆在于，把日程安排接入一个通用模型，让它可以搜索、使用 Canvas、写科幻故事或生成 Python 谜题。“当它与 Tasks 结合后，威力就非常大”——它不再是独立的日历功能，而是基础模块。

• Nguyen 的产品研究闭环从基于提示词的 baseline 开始，再围绕 baseline 明确失败的地方建立评测。训练必须通过这些评测，同时避免过拟合或损害更广泛的智能；团队会与 baseline 对比、消融数据集、集中找 bug，然后交付产品。

• 目前，如果一条查询包含3个任务，模型就会表现不佳。更长期来看，Nguyen 想象模型可以根据重复行为主动提出建议：“我注意到你每天都会做这件事。”同一套底层能力也可以支持 B2B 工作，从处理客户反馈到自动化数据分析，把模型变成“组织中高效的一员”。

8. Agent 必须先协作，用户才会委托

• Nguyen 的 Agent 阶梯从一次性操作开始，经过协作，最终走向在复杂环境中值得信赖的长周期委托。她不会一开始就把密码或信用卡交给模型；就像新同事或新经理一样，模型需要随着时间推移了解工作方式、沟通偏好和实际需求。

• 信任来自“持续稳定的投入”和反复协作。Canvas 的价值在于，共同完成工作能够暴露隐含偏好，而单纯的委托式界面无法捕捉这些偏好。她反对“自治优先”的叙事：协作不是一个装饰性的过渡阶段，而是让后续委托变得可信的机制。

• 这场讨论录制于 Operator 发布前，因此停留在品类层面。Nguyen 称 computer use 是“Agent 的核心能力之一”，可以用于购买商品、搜索航班或委托编程。但 Agent 必须识别自己何时缺少上下文，主动追问，并判断自己是否掌握了足够信息以最大化成功率。

• Alessio 的异议值得保留：computer-use Agent 仍然慢、贵、不精确，而且对像素变化敏感。他提出，月度报销单可能是更好的基准：让系统跨应用核对日历、收据、Uber 和参会人员。Nguyen 补充说，示范可以教会模型个人工作流，而 o3-mini 或 o1-mini 等更小模型可能降低延迟。

9. 终点是个性化、面向任务的操作系统

• Nguyen 预计，未来会出现一套“面向任务的操作系统”：人们点击网站的次数减少，而是通过模型的视角访问互联网。她谨慎预测，方向“可能是 Coding”，由 Agent 在自己的虚拟环境中测试委托功能，再返回结果。

• ChatGPT Search 对苹果股票的回答没有输出纯文本，而是生成图表，这是生成式 UI 的早期样本。未来的回答可能变成 React 应用、3D 可视化，或带有个性化布局和配色的界面。概念上的转变是“从个人电脑走向个人模型”。swyx 认为，要实现真正有用的执行，系统还需要更深度地接入日历和邮件。

• Nguyen 认为，OpenAI 可能更愿意承担产品风险，而 Anthropic 则更聚焦、更偏企业市场；但两家公司的底层研究文化，更多是相似而非不同。她对设计师和偏产品的研究人员的建议是，深入把玩模型：“我们受限于人的创造力”，需要重新思考软件和互联网。