Decagon 如何让90%的智能体运行在开源模型上
摘要
Decagon 如今将90%的工作流运行在开源模型上,因为生产级语音智能体看重的是特定任务的准确率和低延迟,而非通用智能。 在主题识别、坏人检测等窄任务上,微调后的更小模型可以胜过前沿系统,同时更便宜、更快:“我们最终3项优势都拿到了”(“We end up getting all three things.")。剩余10%用于新任务、实验性任务或特别开放的工作。
真正持久的模型分工,是前沿模型用于探索,开源模型用于规模化生产。 前沿 API 仍是启动不确定用例最便捷的方式;工作流稳定后,微调并控制更小模型的激励会显著增强。Decagon Autopilot 仍利用前沿模型的智能,审阅最多100万段对话、发现趋势、生成变体并测试改进。企业迁移会很慢,因为专有数据、定制评测、安全和模型风险治理的重要性都高于模型是否可用。
Decagon 将其研究组织视为持续运转的“模型工厂”,而不是一次性基础设施项目。 新能力会创造新的自动化任务,更强的基座模型也会让旧微调模型过时,因此公司持续训练、持续退役模型。Decagon 在内部构建紧密耦合的系统级评测,同时购买通用的数据标注和数据集多样性工具;它优化的是客户的价值单位——一次对话,即使每次对话中的模型调用和 token 数量不断上升。
应用层的核心判断是,模型不会编码不断变化的业务流程、集成、控制措施或记录系统。 Decagon 针对可复用的客服行为进行微调,但将每家企业的具体流程留在上下文中,以便流程变化时无需重新训练;外围产品则必须处理测试、QA、合规、协作,以及航班取消后为3名旅客重新订票等场景。即便 AGI 到来,创始人仍认为,智能体也需要软件“来存储工作、调取信息,并据此进行推理”。
只有当客户痛点能够沉淀为可复用产品时,前置部署才有价值。 早期 AI 工作流需要人们“边判断火车驶向哪里,边铺设轨道”,但已知工作流应该为接下来的10个客户产品化;否则,公司就会变成“一家披着 AI 外衣的咨询公司”。Ashwin Sreenivas 保留了 Palantir 更尖锐的说法:前置部署工程师“吞下痛苦,再排出产品”(“eat pain and excrete product.")。
Duo 展示了 Decagon 的复利式产品循环:昂贵的人力部署任务先变成产品功能,再由 Duo Autopilot 自动化该功能的持续改进。 这个更大、更慢的智能体可以把文字记录和文档转化为智能体操作规程、集成、测试、模拟、对话监控和修复草案——这些工作是核心对话智能体无法完成的。Jesse Zhang 认为,Decagon 近期的护城河是围绕智能构建的企业基础设施;但他也承认,如果未来智能体能够按需生成全部这类基础设施,“我不知道,但3年后我们会弄清楚”。
Decagon 的商业切入口是客户可以自行操作的“玻璃盒子”,并由客服拓展为覆盖每次客户互动的 AI 前门。 据称,一家客户在大约1年内只在 Sierra 上做出了3个旅程,转到 Decagon 后则在1个月内做出了7个;创始人仍深度参与销售,Jesse Zhang 估计销售约占其时间的80%。服务成本下降也可能释放潜在需求,而不是机械地转化为裁员:Ashwin Sreenivas 认为,“AI 会消灭工作,但不会消灭职业”(“AI will kill jobs but not careers.")。
精读
1. 生产规模推动 Decagon 从前沿 API 转向90%开源模型
Jesse Zhang 的起点很务实:当 Decagon 只需要证明智能体能够创造价值时,OpenAI 和 Anthropic 自然是首选。随着客户变成大型企业、终端客户达到数百万,且产品进入语音场景,权衡发生了变化——答案本身即使不错,来得太慢也仍然是糟糕的产品。
一个对话智能体实际上要完成许多边界清晰的工作:识别客户主题、检测潜在坏人,或执行其他窄范围检查。这些任务都不要求模型同时擅长数学、编程和所有其他通用任务;每项任务需要的,是在某一种明确行为上做到极致。
Jesse Zhang 否定了“聪明且昂贵 vs. 愚钝且便宜”的常见框架。更小的模型只是通用性较弱,并不一定更差:经过针对任务的微调后,Decagon 发现它可以胜过“大型、聪明、最先进的模型”,同时降低延迟和成本。“我们最终3项优势都拿到了。”
最终的生产组合是90%开源模型、10%闭源前沿模型。Zhang 从成本、智能和延迟3个维度解释模型选择:Decagon 起初接受较弱的通用智能,以改善语音延迟,后来发现,专业化还可以提升模型在实际任务上的准确率。
2. 前沿模型仍是开放式工作的探索引擎
当任务宽泛且处于探索阶段时,Decagon 仍会优先使用前沿模型的智能。以 Decagon Autopilot 为例,它可以审阅100万段已完成的对话,发现模式,生成核心智能体的不同变体,并判断哪些变体表现更好——这远比执行既定的改签或医疗流程更开放。
创始人的生产规则按生命周期划分:用便捷的前沿 API 启动新用例,等其形态稳定并达到规模后,再考虑转向开源模型。Zhang 认为,此时开源模型可能“严格意义上更好”,因为公司获得了控制权、速度和成本优势,同时不会牺牲任务表现。
这也解释了一个表面上的悖论:开源推理占比可能下降,但市场热情反而上升。企业正在启动大量新实验,前沿 API 是最快的起点。成功的实验之后会迁移,但专有数据、定制基准、安全审查、模型风险治理和有限的组织产能,都会让迁移速度慢于行业讨论所暗示的水平。
3. Decagon Labs 是一座持续重建的模型工厂
Decagon 并不会微调一套永久不变的模型栈。随着基座能力提升,团队会发现值得专业化的新型可复用任务,训练全新的模型,并淘汰那些已经被更强开源基座吸收其功能的微调模型。Jesse Zhang 称 Decagon Labs “某种程度上就是一家模型工厂”。
评测与应用不可分割。公开基准无法说明一个专用模型与其他多个模型协作后,是否真正带来了最终的客户结果;因此,Decagon 衡量的是端到端系统,而不是因为 loss 曲线好看或单项任务得分更高就自我庆祝。
这种耦合关系决定了哪些能力自建、哪些能力外购。当训练和评测基础设施体现 Decagon 自身的架构与客户结果时,公司会选择自建;数据标注、数据集多样性测量等广泛可复用的能力,则直接购买。唯一的判断标准是:怎样才能让最优模型最快进入生产。
在当前增长阶段,token 成本不是 Decagon 的首要问题。客户购买的是一次成功的对话,而不是 Decagon 内部消耗了多少 token;随着公司增加检查、并行工作和模型调用来提升质量,每次对话的 token 数量实际上还在上升。Zhang 的优先级是增长;“如果我们已经赢下市场”,更深层的成本优化才会成为核心。
4. 应用公司掌握基座模型没有的业务逻辑
Zhang 区分了两种定制化方式。微调用于教授跨 Decagon 客户通用的客服行为;客户特有的流程则留在上下文中,因为企业每次调整政策时都重新训练并逆向修改模型,实际并不可行。
应用层必须处理这样的场景:航班取消后,需要把3名旅客安排在一起重新订票。它要连接不同系统,表达权限和流程,运行实验,检查对话,支持 QA,并让合规团队看见全流程。这些需求属于业务软件,而不是潜藏在基础模型中的知识。
不过,实验室与应用正在趋同。前沿实验室增加通用应用,帮助企业实现价值;Decagon 则构建专用模型,改善性能、延迟和成本。Sreenivas 认为,应用公司最终可能成为“特定垂直领域的实验室”,而它们的模型会成为主要产品。
对于“最后一批创业公司”的论点,他的反驳很简单:人类已经具备广泛智能,却仍然需要数据库和 CRM。AGI 智能体同样需要存储工作、检索事实的地方;一些只围绕人类交互设计的软件可能承压,但“我不认为软件整体会以任何有意义的方式消失”。
5. 前置部署必须发现产品,而不是补贴咨询业务
Sreenivas 认为,前置部署工程师之所以重新变得必要,是因为 AI 工作流尚未被梳理清楚。他们会嵌入客户现场,让供应商和客户共同摸索产品应该做什么,“边判断火车驶向哪里,边铺设轨道”。一旦路径明确,这项工作就应该变成软件。
他的长期检验标准毫不留情:能够产品化的工作就产品化;不能产品化的,“你只是在打造一家披着 AI 外衣的咨询公司”。他从 Palantir 经历中保留了那句更具画面感的内部格言:前置部署工程师“吞下痛苦,再排出产品”。
因此,Decagon 的工程师会把缺失的能力补进核心产品,让接下来的10个客户自动获得这些能力。智能体产品经理也会把企业部署失败转化为产品改进或可复用的流程改进,包括大型组织如何在把有价值的工作交给智能体的同时改变运营方式。
Zhang 提醒,很少有初创公司能够复制 Palantir 先拿下巨额合同、再大举投入的经济模式。承诺可以实施任何 AI 用例的团队或许能赢得短期收入,但没有可复用产出,就只是建立了一家现代服务公司。Decagon 将自己定义为产品驱动型公司,销售负责提供产品应该构建什么的证据。
6. Duo 将构建智能体的劳动变成另一个智能体
Decagon 的第一个对话智能体需要人工编写智能体操作规程、构建工具和 API 集成、创建模拟环境,并手动审查实时对话。交付的产品虽然是一个智能体,但并没有消除构建、测试和运营它所需的大量人力。
Duo 是第2个“更大、也更慢”的智能体,负责执行外围工作。用户可以提供文档和对话记录,让它推断流程,并获得 AOP、工具、测试和模拟环境;上线后,它还可以检查1000段对话,找出表现薄弱的主题,并起草改进方案。
Zhang 称这一能力“非常神奇”,因为 Decagon 刚成立时根本不可能做到。更强的推理模型原本面向更广泛的用例,如今已经足够通用,可以执行 Decagon 特有的流程编写、集成、测试和监控,尽管它们并未专门针对这套工作流训练。
每一层能力都来自对部署痛点的产品化。流程首先从代码迁移为纯文本 AOP;随后,Duo 自动化了 AOP 的创建;Duo Autopilot 又解决了审查生产流量和持续迭代所剩下的人力。目标是逐步降低每次部署所消耗的面向客户的工程资源。
7. 近期护城河是让强大智能体在企业内可治理
面对主持人提出的 AGI 挑战,Jesse Zhang 首先否定了“职业会消失”这一前提:大多数现代工作本来就是层层抽象构成的,并非直接从事粮食生产或基础设施建设。AGI 可能改变工作的内容,但人们仍会为其他人提供有价值的劳动。
Zhang 认为,Decagon 近期更现实的护城河,是部署一个哪怕理论上完美的模型所需的软件。企业需要对模型可执行的动作设定可强制执行的边界,让数百名领域专家协作,完成监管测试和受控上线,在数百万段对话中进行监控、提取洞察,并连接遗留系统。
对长期问题,他仍明确保持不确定:这些基础设施在未来几年应该仍然重要;如果智能体最终能够按需生成全部基础设施,而这些能力也变成商品,“我不知道,3年后我们会弄清楚”。这个让步保留了当前部署优势与未来10年确定性护城河之间的区别。
8. 玻璃盒子产品是 Decagon 对服务型竞争的回答
主持人将市场描述为越来越集中于 Decagon 和 Sierra,Zhang 则强调自己对 Sierra 及其他优秀平台的尊重。他给出的具体对比来自一家近期转投 Decagon 的客户:该客户认为 Sierra 的前置部署模式是一个“黑盒子”,每次构建旅程或理解对话,都需要重新找 Sierra 的工程师。
据称,这家客户在原系统上花了1年才上线约3个旅程。采用 Decagon 的“玻璃盒子”方式后,技术和非技术员工都可以检查并修改智能体,客户在大约1个月内上线了7个新旅程。
Decagon 产品化的不只是智能体,也包括进入生产的路径。对于受监管企业,公司会梳理可能的模型风险审查、测试方案、分阶段上线、问题检测、修复以及防止问题重现的控制措施。大型买家必须同时相信“这东西有效”和“我们确实能把它上线”。
Zhang 估计,自己的时间约80%花在销售上。创始人参与可以加快决策,但更高杠杆的作用在于重新设计产品、流程和组织推进顺序——通常从1、2个高价值用例开始;销售人员则负责培养内部支持者并推进客户关系。
9. 将企业销售直接连接到产品判断,才能获得速度
Zhang 表示,两位创始人都没有企业销售经验;火热的市场降低了向客户推销 AI 这一品类的必要性,Decagon 需要证明的,是自己的方法为什么正确。成功要求团队理解买家看重什么、害怕什么,以及决策实际上如何在大型组织中传递。
创始人将公司早期商业团队的实力归因于其反常规构成:包括主动投递但已经理解市场的候选人,以及拥有非传统销售背景的人。快速扩大团队带来了持续的培训和组织设计工作,但公司的基本前提没有变化:需求通过销售进入,再传导到产品。
创始人参与还让反馈回路足够短,能够跟上每周甚至每天都在变化的市场。客户在别处看到新的模型能力,就会立刻追问 Decagon 为什么做不到;保持近距离接触,才能在传统路线图或汇报链条反应之前,识别公司必须补上的能力。
这也是精确制定12个月路线图不现实的原因。公司保留长期主题,但当前判断是:如果一个功能已经明确有价值,就应该立即开发;客户证据和模型能力的变化,会不断重排近期工作的优先级。
10. 客服正在扩展为企业的 AI 前门
客服成为 Decagon 的第一个市场,是因为它同时具备迫切的客户痛点和早期模型的能力边界。随着指令遵循能力提升,同一套系统可以接受更宽泛的指导,容忍会“来回迂回”的对话,并主动补足合理缺口,而不再局限于严格脚本。
一家客户发现,客服智能体已经了解自己的产品、能力、品牌语气和客户,于是将其延伸到入站销售。智能体可以回答问题、完成需求挖掘,并将价值足够高的商机转给合适的企业销售代表。
另一家客户在出现账户问题时,主动使用 Decagon 处理运营流程。贯穿其中的主线是,Decagon 从来没有真正构建“一个擅长客服的智能体”,而是构建了“一个擅长遵循业务流程的智能体”;客服、销售资格审查和主动运营,都是同一基础能力的不同变体。
因此,长期的“礼宾服务”愿景是,让 AI 智能体成为“你的企业或品牌的前门”。每一次被动或主动的客户互动都可以经过它,产品路线图则根据观察到的客户需求推进,而不是由 Decagon 闭门穷举所有可能的互动。
11. 现在的硬约束是公司建设,而不是模型原始能力
被问及最大的瓶颈时,Jesse Zhang 的答案是“招聘”。智能体可以外包某些执行步骤,但他还不信任智能体具备品位判断:决定做什么、不做什么,以及一件事是否已经完成。语音到语音系统和更聪明的小模型仍有技术提升空间,但不是当前最主要的业务约束。
Zhang 用反例回应“一人独角兽”论:AI 编程公司是 coding agent 最成熟的用户,却仍在积极招聘。如果每个人都能在1/3的时间内完成原定路线图,竞争者不会停下来,而是试图完成3倍的工作。因此,Decagon 的招聘计划并没有实质性收缩。
创始人不把“苦干”当作目标。工程师参加销售电话,销售人员调试产品,智能体产品经理横跨两端;办公室支持这种团队协作和快速沟通。将这种文化复制到不同办公室仍是“尚未解决的问题”,因此新员工会在旧金山工作数周,再由有经验的员工去搭建新地点。
国际需求来得异常早,因为高管压力是全球性的,而 AI 让多语言适配更容易。Decagon 仍只会在确有客户拉动的市场加大投入,因为数据驻留和本地竞争者依然重要;横向来看,Zhang 预计行业会整合,因为规模和产品深度应当胜过狭窄的垂直功能。
12. 记录系统仍会存在,AI 则会降低个性化服务的价格
Sreenivas 将礼宾服务定义为注意力的民主化:消费10万美元的客户可能获得深度个性化服务,而消费10美元的客户无法支撑同等人力。如果 AI 能以“10美分”的成本提供这种服务,体验就会变得经济可行;但由此产生的偏好和历史记录,仍然需要一个持久的存储位置。
Sreenivas 认为,CRM“可能表现得相当好”。人工礼宾已经会在 CRM 中记录信息,AI 礼宾也会如此;当智能体直接操作 CRM 时,图形界面的重要性可能下降,但作为事实来源的系统反而可能获得更多活动。Decagon“完全没有兴趣”去构建 CRM。
业务上下文同样是限制个人 AI 的关键。Sreenivas 构建了一个持续汇总招聘需求、候选人、交易和公司挑战的智能体,让它能够发现重复的技能缺口,或提醒某笔交易正在重演此前的失败——关键事实没有足够早地得到验证。
更强的模型已经成为有用的辩论伙伴,而不是自动附和的机器。Zhang 将其与拥有联合创始人的优势联系起来:交谈可以加速得出结论,而如今具备丰富上下文的模型甚至会直接说:“不,这是个糟糕的主意,别这么做。”Sarah Wang 说,她使用过一个极度唱反调的 Claude 提示词,但她的妻子觉得那只是在刻薄。
13. 更便宜的客服可以扩大需求,即使部分岗位消失
Sreenivas 认为,许多企业对客户帮助存在无法经济供给的潜在需求。如果客服成本下降30%,管理层可能会把节省下来的资金投入更快激活、更高留存率和更广泛的服务可得性,而不是按相同比例直接缩减团队。
在使用 Decagon 之前,一家早期客户每月处理约50,000次咨询。发现仍有大量客户需要帮助后,该公司把客服入口放到更多页面,放在可能产生摩擦的环节附近,甚至向免费用户提供即时帮助;主持人认为,这可能是现实世界中杰文斯悖论的一个案例。
Zhang 根据客户所处阶段,对就业影响保持了限定。部分公司大幅减少或完全取消 BPO 使用;快速增长的企业可能维持运营团队人数不变;还有一些企业会把员工转向更高价值或能带来收入的工作。降低成本是最容易落地的首个用例,但对话智能体也越来越能够支持收入创造。
Sreenivas 最后的区分针对的是任务,而不是人:重复点击和脚本化电话工作“应该交给 AI”,但改善客户结果的工作几乎没有上限。“AI 会消灭工作,但不会消灭职业。”