111: Pokee.ai 朱哲清的 Agent 造法：强化学习作后端，语言模型作前端|Agent#3

摘要

• Poke AI 的核心押注，是把语言模型作为理解需求与交互的前端，把经 RL 训练的非语言模型放到后端负责规划、推理与工具调用。 Bill 认为，50 个工具若各需 1,000 tokens 描述，仅工具上下文就达 5 万 tokens；叠加 memory、网页结果和十几步执行，一项任务可能达到上百万 tokens，语言模型容易产生幻觉。长期来看，LM 可能更像 UI，而不是 Agent 的决策中枢。

• 产品切口不是生成更多内容，而是让 Agent 跨平台写入真实工作账户。 Poke AI 计划首轮提供约 1,000 个可调用子工具，涉及几十个平台；目前不使用 MCP，但计划支持 MCP 和 Agent-to-Agent，并提供基于 JSON 的简化接入方式。它优先使用官方接口和代码，尽量避免 browser。

• Bill 在节目开场概括的优秀通用 Agent 要素包括：比人快、尽量无需人工干预、既能读也能写、成本低。 Poke 的演示任务包含 approval 时约需 60 秒，不含 approval 时可能十几到二十秒；Bill 称单次成本约为同类产品的几十分之一。由于任务会写入账户，产品同时支持受控和自动两种模式。

• 商业落点是开发者和 prosumer，自下而上进入企业；护城河被定义为工作流绑定，而不是单点模型技术。 社媒、营销、法务、财务等用户的痛点已从内容生成转向跨平台分发和操作；企业内部几十步、上百步的流程才是更大的终局市场。Bill 认为，集成、历史文件、账户关系和使用习惯可以形成更深的用户绑定。

• 技术壁垒在于跨大量工具进行有效探索，而不是靠随机采样承受极强的负信号。 当一万个工具中只有一个正确答案时，传统带监督或 contrastive learning 的方法可能反复得到错误信号。Poke AI 希望利用更智能的 exploration，跳过已知无效的工具和路径，降低训练所需的数据量。

• 市场教育影响了 Poke AI 何时从垂直应用回到通用平台。 2024 年秋融资时，投资人认为 Bill “six months ahead of the curve”；DeepSeek 及其他公司的相关工作带来更多市场共识后，公司称收到上百位投资人、几十家大型潜在客户的联系。3 月发布 demo 后，一周内有 800 多个 waitlist sign-up；3 月上线后又有 800 多人 sign up，线上帖子到 waitlist 的转化率约为 8%—9%。

• 竞争窗口存在，但 Bill 不认为速度领先本身足以守住市场。 他预计未来一年横向 Agent 公司会有不少于 10 家，最终可能留下 3—4 家或 4—5 家，并通过垂直领域、能力侧重、集成和用户绑定形成差异。北美开放的 API、SDK 和第三方集成使其成为首个主战场，中国商业生态相对封闭，则可能需要先以平台能力与大厂合作。

• 这场创业的 founder-market fit 来自近十年 RL 落地，而旅行 demo 能否扩展到真实世界仍曾是一个“大问号”。 Bill 在 Meta 负责 Applied RL，估算相关算法每年带来近 5 亿美元收入贡献，同时并行完成 Stanford PhD；他的技术判断方法是先找一个计算量很小、具有普适性的 minimal viable example，验证该技术在第一性原理上是否有优势，再尝试扩展到大规模系统。

精读

1. Bill 把研究、生产落地和管理压在了同一条 RL 路线上

• 朱哲清 Bill 2014 年赴美，在 Duke 完成计算机科学本科后加入 Meta；前三年多从零搭建 B2B 推荐系统，覆盖商业增长和广告增长，正赶上深度学习推荐系统开始发展。

• 后三年多，他负责 Applied Reinforcement Learning 团队，将 RL 落到广告、推荐、Reels 短视频和数据基础设施。团队还开源了一套名为 Pro 的强化学习框架；按 Bill 粗略估算，RL 算法每年给 Meta 带来的收入贡献接近 5 亿美元，广告侧尤其突出。

• 与全职工作并行的，是 Stanford 强化学习 PhD。公司老板、博士导师与研究方向需要有较多 alignment，这种安排才得以成立；代价是六年多、每周大约 110 个小时的工作量，基本除了睡觉都在工作和 research。

2. 极端时间压力让他学会把任务分成 0 分、80 分和 100 分

• Bill 从双线经历提炼出的第一课是 priority：有些事情用 20% 精力做到 80 分即可，关键事项要用 100% 精力做到 100 分，另一些则应投入 0% 直接放弃。“如果每件事情都想做好，我可能根本读不下来这个 PhD。”

• 这也解释了他为何拒绝不断换方向。Meta 的 RL 团队曾从二十多人缩到只剩三人，director 一度准备关闭；Bill 主动接手后又恢复到十几人，而“以 RL 落地为核心”的路径持续了接近十年。

• 早期 language model、chatbot、3D vision model 和 safety model 都曾诱惑他转向，他只短暂尝试便停止。主持人追问是否错过语言模型机会时，他说不能倒推自己当时会做出 InstructGPT；当时最懂 RL，就应先在该领域真正落地并建立 reputation。

3. RL 的长期冷遇强化了他对“轴一点”的信念

• Bill 从 Rich Sutton 的经历得到的启发是：今天的图灵奖得主，早期也曾有将近四年研究无人问津，甚至没有教职愿意招他；Hinton 早期推动 deep neural network 时也被许多人认为没有未来。一个方向是否正确，不能只由当时的共识决定。

• 他的意思不是停止判断，而是不要持续用过多噪声 question 自己。如果自己的思维框架仍然成立，就应把方向走通，直到证明别人已经做出来、自己无法 take over，再决定 next step。“很多时候可能还是要轴一点。”

4. Sample efficiency 是 RL 从“社区自嗨”走向生产系统的前提

• 早期 Bill 跟 Ron Parr 研究 planning 和 Monte Carlo Tree Search；Deep RL 在 2016 年因 AlphaGo、AlphaGo Zero 和 AlphaZero 等成果逐渐形成气候。到 Stanford 跟 Ben Van Roy 读博后，他把重点转向 sample efficiency，即降低 RL 对交互数据的需求。

• 难点来自多步规划：数据需求与 action、state 的数量以及规划 steps 数量相关。Bill 举例，一万个工具若每个需要 100 个数据点，朴素做法便要 100 万个数据点。

• 第一层压缩来自泛化，例如把需要逐个学习的一万个工具减少到五千个甚至一千个代表性工具；第二层则希望从 linear scaling 推到 square-root scaling，使对一千或一万个 action 的理解不再与工具数量线性相关。

• 关键动作是 intelligent exploration：已知无效的工具不再调用，性质相近且已有路径被证明不可行的分支也可以跳过。只探索真正未知的部分，在相同效果下，所需数据可能降到原来的十分之一、甚至百分之一。

5. 从 Meta 内部增量看见比推荐系统更大的 RL 机会

• RL 已经给 Meta 的广告、推荐和短视频带来真实业务贡献，但 Bill 认为，它的 potential 不应停留在公司内部。如果 RL 能提供推理、规划和长期决策能力，它可能成为 Agent 乃至 superintelligence 的驱动力。

• 他的创业问题由此形成：能否以 RL 为核心，在不依赖语言模型做决策的情况下，造出具有强规划、推理和工具调用能力的 Agent？2024 年 9 月或 10 月，他向导师、朋友和投资人讨论时，Agent 与 RL 都还没有成为热门词，多数 VC 甚至无法理解两者的关系。

• 学界和业界听到这个想法后普遍认为 promising，也有人在融资情况尚未披露时主动要求加入。Bill 因此强调，这家公司不是 DeepSeek 火后才追 RL，而是在外部共识出现前就已经决定下注。

6. DeepSeek 让 RL 变热，o1 当时仍缺乏公开解释

• 主持人的追问是：为什么说 RL 由 DeepSeek、而非 o1 带火？Bill 的区分在于，o1 虽称由 RL 驱动，却未公开背后的训练逻辑；市场只能猜测它可能使用 inference-time reinforcement learning，以及 Chain of Thought 和 Monte Carlo Tree Search style 的方法。

• 这一判断被 Bill 明确限定为推测：“到目前为止没有任何定论”，OpenAI 也没有确认。他只是从推理速度等现象推断，o1 可能没有在训练端做太多优化，而把更多 effort 放在 inference 端。

• DeepSeek 的意义则更接近 AlphaGo 到 AlphaZero 之间的某种状态：不必人为标注 sequential action-taking 过程中的每个点，只需用一个接近 rule、接近 ground truth 的 reward 判断整体结果，便能在每轮动作结束后立即验证并继续训练，同时减少 RLHF 所需的大量人工 reward-model 标注。

• 但 DeepSeek-R1-Zero 也暴露了边界：rule-based reward 可以持续提高分数，输出却可能是人类读不懂的 gibberish；后续仍需加入人类 heuristics 和 RLHF。Bill 也特别说明，这个 AlphaZero 类比并非百分之百准确。

7. Poke AI 把决策过程从自然语言中抽离出来

• Bill 对 RL Agent 的定义，不是让语言模型输出一段文字，再把 function call 嵌进文字；planning、reasoning 和工具调用应成为抽象的 sequential decision process，以“一个 concept 接一个 concept”的方式规划，其中某一步是工具调用，另一步可能是 information retrieval。

• 他反复澄清，RL 与语言模型并不冲突：RL 可以训练语言模型，也可以训练一个非语言模型。机器人动作或一个 domain 中的规划 policy 都可以由 RL 决策；Poke AI 选择的是后后一种实现。

• 整体分层是：“前端仍然由 LM 来完成，但是后端完全不用 LM。”语言模型负责理解自然语言和与用户交互，RL 模型负责抽象后的工具规划和调用。

• 买菜例子把长期终局讲得最清楚：用户意图经语言层理解后传给 RL，后者把请求交给服务商的 B 端 Agent；对方从数据库取数、派发给线下人员，最后再把完成状态转回自然语言。中间的信息流并不需要一直是文字。

8. 真正的分界线不是“会不会搜索”，而是“能不能写入”

• 从用户视角看，Deep Research 或 Manus 主要仍在“surf the internet”：抓取、归纳、分析和生成内容。Bill 想补上的能力，是直接向 Facebook、LinkedIn、个人网站或 Shopify 等账户和平台发帖、更新内容或触发操作。

• 他的产品比较是：Operator 的执行能力可能比 Manus 强，但成功率仍然很低；Manus 的 Deep Research 和信息整合能力更强，写入能力则弱一些。Bill 认为 Manus 是“非常好的工程产品”，但没有解决 Poke AI 所追求的长期后端问题。

• 终局假设是互联网前端的重要性下降：UI 和其中大量 JavaScript 是为了帮助人类理解信息流，Agent 只需理解 raw 的文字和图片。“如果未来世界都是 Agent-to-Agent”，漂亮网页更像中间态。

9. 工具数量与长任务会把语言模型上下文推向失控

• Bill 的算例是，50 个工具若每个需要 1,000 tokens 描述，工具说明已占 5 万 tokens；再叠加用户 prompt、Agent memory 和历史上下文，模型还没开始执行就背负很高的信息成本。

• 多步任务会继续把工具结果塞回 prompt：若一次抓取的文章有 1 万 tokens，十几步之后单任务可能超过百万 tokens。Bill 的判断是，所有 LLM 都可能因此产生幻觉。

• 主持人问这个限制是否终会被解决。Bill 承认，若拥有无限计算资源并持续扩大模型，理论上可以提升 attention 与 context；但现实中工具可能呈爆炸式增加，而 context length 只能相对线性扩展，不能永远把世界上所有垂类工具装进同一 prompt。

10. “让模型自己造工具”仍绕不开文档和接入权

• 主持人提出另一条路线：模型不必掌握一百个工具，只需掌握十个“造工具的工具”，例如熟练写 Python。Bill 的反例是安排 Zoom 或腾讯会议——若模型没见过对应 documentation，它无法凭 common sense 把接入代码写好。

• 改用 browser，又回到 token 多、流程复杂、速度慢于人的问题；为每批新接口重新训练语言模型同样不经济。Poke AI 的目标是在保持语言模型作为交互基座的同时，让成千上万个新增工具直接被调用。

11. 写操作迫使产品把 approval 设计成一等公民

• Poke AI 的界面看起来仍是左侧聊天、右侧结果，但执行前会先展示整体规划并询问用户是否满意。原因是任务会真实改动用户的社媒、工作和个人账户。

• 在 step-by-step 模式下，很多非搜索步骤会展示 input，用户可以批准或手动修改。Bill 不希望用户按下按钮后“无事可做”，等半小时才发现 Agent 卡住或失败。

• 反馈出现明显分裂：business 用户无法接受系统未经同意便写 Facebook、Instagram 或 LinkedIn；开发者、researcher 和 AI 发烧友却嫌 approval 按钮拖慢流程，要求一次自主跑完。产品因此同时保留受控与自动两种模式。

• Bill 记得 Manus 会让用户看到由一个 LLM 撰写的执行要点，但用户不能暂停、编辑整个计划后再继续；Operator 和 Anthropic 的产品很多时候连计划也不会提供。Poke AI 不展示虚拟机，则因为多数任务通过平台接口完成，持续读取并展示内部状态可能涉及平台隐私等问题；后续 Deep Research 任务会告诉用户每一步在做什么。

12. 官方接口、代码和协议组成执行栈，browser 被放在最后

• Bill 所称的首要差异，是与几十个互联网平台的接口打通，以及接入这些平台背后目前可能一千多个 API。难点不只是数量，而是大量接口长得近乎相同，Agent 必须在相似的 input、output 和 endpoint 之间稳定区分。

• 工具选择有明确优先级：能用官方 API 就不用网页，能写代码解决就写代码；未来再接 MCP 与 Agent-to-Agent。只有不得不 search 或使用网页的场景才使用 browser，因为“browser 在我们眼里不是未来”。

• 当前系统完全没有使用 MCP，但计划兼容既有 MCP 生态；同时会提供更轻的接入方式，开发者只需给一个 JSON file，说明 input、output 和 endpoint，无需自行 host。

• 第一轮 release 预计约一千个子工具，分布在几十个平台。之后将建立开发者社群，让 SaaS 厂商提交工具；Bill 不把这视为 MCP 竞品，因为同一工具既可经 MCP 接入，也可走其更简化的协议。

13. Prosumer 是最先感受到“生成容易、执行困难”的人群

• Poke AI 的当前核心用户是开发者与 professionals：公司里的个人开发者、社媒营销人员、广告投放员、法务或财务。Bill 把它描述成“场景是 To B、使用者可能是 C 端个人”的产品。

• 早期访谈中，广告和社媒从业者并不缺内容生成，而是生成后仍要花三四个小时跨平台传播、推广和运营。帖子产生几十条回复后，逐一阅读和回复更费时；Poke AI 可以找到帖子，再对每条评论生成个性化回应并写回。

• 未来进入企业还要解决 private cloud、模型规模和 scalability 等问题，因为敏感数据正是许多公司不愿直接连接 OpenAI 或 Anthropic 的原因。现阶段先服务个人开发者和 professionals，再逐步进入公司内部 infrastructure。

14. 企业工作流的机会，在于删掉步骤而不是照抄流程

• 主持人问，为什么不继续拓展普通消费者。Bill 的担忧是，过于 general 的产品会让用户高估能力边界；他与朋友用 Operator 安排会议、发邮件，用 Manus 向 Facebook 发帖，结果在这些执行任务上的成功率都接近 0。

• 真正密集的工作流仍在企业内部，常有几十步甚至上百步。Bill 希望 Agent 自动串联全部步骤，需要人时主动派任务给人，而不是让人做很久，再在每一步找一个 LLM 完成局部内容生成。

• 对 Salesforce 式拖拽工作流，他的批评是 rigidness：流程稍有变化就失效。他把 Agent、工具、拖拽式工作流工具和 LLM 工具都视为下层工具，Poke AI 则试图成为更上层的规划器，决定何时、以何种顺序调用它们。

• 主持人指出，大公司的工作流可能更固定、变化更少。Bill 的回答是走 bottom-up：让个人和中小公司先证明原本二三十步的流程可以缩成七八步，再影响大公司采用；他也承认这种 sales cycle 很难，并依赖信任。

15. 失败容忍比“每一步都成功”更接近真实工作流

• 若一个子任务失败，RL Agent 会结合此前的 context 判断后续步骤是否依赖它；无依赖便跳过，继续完成其余部分。“能完成多少就完成多少”，再让用户围绕未完成步骤发起下一轮交互，而非把整条任务卡死。

• 自动 debug 尚未开放，因为重新尝试可能改变用户 input。Bill 举 LinkedIn 为例：连续发布两篇相同内容会被拦截，一个“足够聪明、足够狡猾的 Agent”可能略改文字再发；技术上绕过了限制，却未必符合用户意图。

• 团队因此要区分哪些错误可自动绕过、哪些必须直接 fail 并告知用户。这里的难点不是能否重试，而是 Agent 在恢复执行时拥有什么修改权限。

16. 速度、人工介入、读写与成本是通用 Agent 的四项要求

• 节目开场概括 Bill 提到的优秀通用 Agent 四个要素是：实现任务比人快、无需人工干预、能读取信息也能写入信息、成本低。Poke AI 当前仍通过 approval 等方式控制写操作，并不意味着所有任务都已实现完全无人干预。

• Bill 展示的社交媒体运营、会议安排和分析 demo 都没有加速。包含 approval、来回点击在内可能约 60 秒；如果取消 approval，让 Agent 自己执行，可能十几到二十秒完成。

• Poke AI 单次任务的成本，Bill 称目前约为市面上同类产品的几十分之一。他没有把低价描述成永久优势，而是认为 computational cost 最终还会被其他公司继续压低。

17. 训练可扩展性的难点在探索与负信号

• Bill 称，有些与 contrastive learning 相关的方案他们试用后效果并不理想。这类方法可能带有较强 supervision，但在上万个工具中只有一个正确答案的情况下，随机调用几乎总是得到 negative signal。

• 一个工具可能被反复 sample、人工标注很多次，却仍然找不到正确答案，训练难度会非常高。因此需要更 smart 的训练和 exploration 机制，这被 Bill 称为 Poke AI 的 secret sauce。

• Poke AI 的第一轮 release 预计约有 1,000 个可调用子工具，涉及几十个平台；Bill 同时强调，低价格来自当前架构带来的优势，但不是长期不变的护城河。

18. 四人团队按 research、production 和 product 端到端配置

• 公司起步时唯一非常清楚的原则，是 Agent 必须跨平台、多工具完成复杂任务，因为人类工作本来如此。低成本也是融资时强调的架构优势，但 Bill 不愿把价格当作长期广告卖点。

• 全职团队共四人：Bill 负责整体方向；一位曾在其 Meta 团队工作的 research scientist 负责强化学习研究；一位原 B2B 推荐系统下属负责 ML production；另一位多年朋友、前 Meta 同事负责 product engineering。

• 这套配置覆盖 fundamental research、production engineering 和 experience engineering。大量 scaling 与内部工作由团队自建 AI tools 完成，亚洲还有 contractor 处理较杂事务；很多工作依靠 AI 辅助。

19. 旅行与 Shopify 都是通用架构的压力测试，而非最终方向

• 最早的旅行规划不是产品转向，而是用一两周制作的 demo：一个只有几百万参数的模型，可以跨城市调用 Google Maps，并连接 Google Docs、Calendar 等工具，向投资人展示规划与工具调用如何快速 scale。

• 当市场尚不相信通用 Agent 能卖钱时，团队选择 Shopify 作为垂直落点，把 command line、GraphQL、API 和 SDK 集成为面向商家与客户的全功能 Agent。Bill 称传统方式可能需一两年，他们两个月便完成了背后的逻辑。

• 这个项目验证了开发速度和 robustness，也一度考虑继续销售。DeepSeek 火起来、市场对相关方向形成更多共识后，团队从 12 月起回到最初的横向 platform vision，把垂直产品放在那里，该卖则卖。

20. 从“早了六个月”到 8%—9% 转化，市场在数月内完成教育

• 2024 年秋融资是低点：投资人后来评价 Bill “six months ahead of the curve”，因为当时没人理解 RL 加 Agent。他不认为先缩到 Shopify 是错误；若市场只相信生成、不相信规划和工具调用，grand vision 会遭遇持续阻力。

• 12 月、1 月和 2 月，投资人、客户和开发者的关注据称呈几何级数增长：上百位投资人、几十家大型客户主动联系，小开发者“不计其数”。团队没有承担完整的 market education 成本，这是回到平台路线的重要条件。

• Poke AI 在 3 月 3 日发布 demo，两天后 Manus 上线。团队最初担心撞上直接竞品，体验后认为 Manus 仍以 browser 和生成式任务为主；其 marketing、产品设计和多工具衔接值得学习，但执行侧可以互补。

• demo 发布后一周带来 800 多个 waitlist sign-up；3 月上线后又有 800 多人 sign up。线上帖子到 waitlist 的转化率接近 8%—9%，浏览量约 1 万。beta 计划直接开放而非依靠邀请码制造稀缺，但会给网站和工具设置 rate limit，避免集中抓取被视作 DDoS。

21. 护城河要从工作流和市场迁移中长出来

• Bill 对纯生成产品的担忧是，质量完全取决于 backend 技术，没有 integration、用户黏性或工作流绑定。Poke AI 希望沉淀用户的历史文件、视频、图片和账户关系，让一句指令能调取旧素材并发布到 Instagram、TikTok，从而形成更深的绑定。

• 主持人据此追问，这是否成为“谁最快绑定用户谁赢”的速度游戏。Bill 用 MySpace 与 Facebook 反驳：Facebook 并非第一家，但在市场变化中活了下来；关键是能否调整策略、抓住用户群体，并通过自建或合作服务加深黏性。

• 他承认技术不会成为永久独占：“eventually 肯定有人能做出类似的东西。”先发优势的任务，是在其他团队追上前完成第一波 integration、规模化和用户绑定，而不是假设算法永远领先。

• 地域直接影响集成速度。Bill 判断北美商业生态最开放、欧洲居中，中国模型生态开放但商业生态相对封闭；Facebook 发帖有 API、SDK 和第三方工具，微信朋友圈或企业微信、视频号则缺少同等的用户代发接口，跨腾讯、阿里、百度生态的统一 Agent 因而更难。

22. 横向 Agent 不会消灭垂直公司，反而可能成为它们的基础设施

• Bill 预计未来一年会出现不少于 10 家通用 Agent 公司，最终可能留下 4—5 家，甚至 3—4 家；它们会像 Claude 与 ChatGPT 一样，从相似起点逐渐偏向 coding、To C 或特定 vertical，以差异化维持份额。

• 主持人指出“通用”与“差异化”似乎冲突。Bill 用操作系统回答：Android、iOS、Windows、macOS 和 Linux 都足够通用，却因架构、生态和开源策略长期共存；Agent 的复杂度更接近 OS，而非单一语言模型。

• Poke AI 的长期角色是 power vertical AI：社媒抓取、写文件、做 slides、建网页等能力可以共用，垂直公司只需补上最关键的专属工具，就能直接调用一千多个工具完成工作流。

• 对 OWL、Open Malice 等开源项目，Bill 认为 Deep Research 和生成式 Agent 较易开源，真正能跨平台写入的版本 integration 难度最高、lifecycle 更长。后一类产品的开源版本最终会以某种形式出现，但具体形态仍不确定。

23. Minimal viable example 是 Bill 判断技术潜力的核心方法

• 他从 Rich Sutton、老板和博士导师处得到的思路，是先造一个计算量极小、足够 intuitive 且 general 的 toy example：其他路线原则上解决不了，而自己的技术能系统性解决。若只是 hack 一个 corner case，并不能证明现实价值。

• 第一步跑通后，再把问题放大，检查 deployment、system integration 和 bottleneck。Bill 认为，这能让人对技术有大约 80% 的可行性信心，但“也不是百分之一百会成功”；直接跑大实验则变量太多，常常无法知道究竟什么 work。

• GPT-2 时期他已认为语言模型一定会火，却觉得那艘“船上已经坐满了人”：自己应学习该技术，但成为最早一批落地者已不现实。相比跳船追逐显学，他选择继续深挖自己拥有积累的 RL。

• 他当时的推理是：如果能在 token level 用 RL 做复杂、长 horizon 的 planning，那么在更抽象的层级做 RL planning 也应该可行。推荐系统把文章视为 action、把推荐序列视为规划，也提供了先例。

• Bill 毕业时就开始思考这些问题，经过约半年才形成现在的方案。旅行 toy example 虽然跑通，能否扩展到无数场景、能否真正泛化仍是一个“大问号”；最终他选择直接离开 Meta，因为金手铐不会自行消失，而创业需要明确的 conviction signal。