语音智能体如何学会对话节奏——Shawn Wen

摘要

• 企业语音仍是尚未解决的系统工程问题，即便语音组件越来越便宜、越来越易得。 早期 ChatGPT 封装产品只是把 ASR、LLM 和 TTS 串起来，但 Wen 认为，语音还引入了时间、噪音、打断和适应能力：这是“向真实世界迈出一步”（one step to the real world），智能不只是对说了什么进行推理，还要回应对方是如何说的。
• 最有胜算的架构，可能是在听取和轮次控制上采用端到端方案，同时保留文本作为企业可控接口。 Wen 的音频原生模型直接流式接收音频，判断用户是否已经说完，再输出答案或工具调用、引用，最后生成转写文本。文本输出保留了安全护栏和可审计性，也不必让系统等转写完成后再响应。
• 生产环境对话数据构成难以防守的优势，因为干净实验室音频几乎不会覆盖真正棘手的场景。 他们的平台在客户同意的前提下，从银行、公用事业、物流、餐饮、酒店、零售和外呼销售等联络中心部署中获取数据，删除个人信息并植入合成身份。训练会刻意加入串音，以及“背景里有婴儿哭声”时说出一个名字等组合场景；Wen 表示，旧式降噪流程可能反而让新模型变差，因为它制造了一个“过度清洁”的环境。
• 延迟的核心首先是轮次控制，而不是模型原始推理速度。 固定的端点阈值要么会打断说话较慢的人，要么让没耐心的用户干等；音频原生模型则可以结合语速和未完成的语义，识别句中停顿。公司还结合预计算、将模型自托管以降低 P95 网络延迟，以及“延迟预算推理”，判断多想1秒是否真的能显著改善答案。
• 语音身份会直接影响性能和信任，但企业仍警惕过度拟人化。 通用声音会继承失灵 IVR 系统的负面印象，而适度的地域特征——例如英国纽卡斯尔口音——可以传递熟悉的人类服务场景。公司曾发现，最自然的英语声音其实是让一个法语声音强行说英语：“正是那种不完美，才让它变得真实。”
• 企业价值层正在从模型获取转向评估与控制。 Wen 批评忽视延迟、工具调用、引用、姓名识别和任务完成度的语音基准；他的公司改用真实对话数据评估，并计划在“未来1-2个月”内发布该基准。企业可以在不同模型 API 之间切换，但很多企业仍希望拥有自己的测试框架，将品牌、工作流、安全护栏和审计轨迹编码其中。
• AI 供给过剩后，组织瓶颈正从生成转向监督。 Wen 的工程师已经面对多到难以舒适审阅的代码：“瓶颈已经从生产内容转向真正验证和审计内容。”长期市场可能分化为更具娱乐性的消费级语音和受监管的企业级语音，但采用速度仍取决于隐私规范、文化语境，以及智能体能否在不产生未经审计的“AI 垃圾”的前提下隐身于工作流之中。

精读

1. 语音在日益商品化的语音组件之外，又增加了时间与适应能力维度

• Wen 最初也认同 ChatGPT 之后市场普遍形成的预期：语音很快就会被解决。封装公司把 ASR、ChatGPT 和 TTS 连接起来，但真实部署暴露出一个缺失维度：语音是“向真实世界迈出一步”（one step to the real world），时间点会实质性地改变响应的含义。

• 文本智能受益于海量文档和在线论文；相比之下，机器对于具身互动和口语互动的观察数据少得多。Wen 的区分构成了本期节目的基础：这里的智能“并不真正关乎推理，真正关乎的是适应”。

• Tim Scarfe 用机器人做类比，把难点说得很具体：人类轻松就能煮咖啡或倒啤酒，但要把这些动作明确描述给机器，却并不容易。对话也是同样的隐性复杂任务——人类每天产生海量对话，但“机器从来没能观察”其中相关的节奏、犹豫和调整。

2. 企业要的是人类级能力与机器人式可预测性的结合

• 企业需求中存在一个明确矛盾：客户希望品牌声音能准确读出公司名称，同时希望智能体“像人一样超级强大”，又“像机器人一样超级可控”。衡量标准往往是公司最优秀员工的表现，而不是平均运营水平。

• Wen 认为，以效率为导向的部署是最现实的采用切入口。智能体一旦在边界明确的任务上取得成功，客户就会开始认为它“比我原以为的更好”，从而为更广泛的使用打开空间，而不必要求它从第一天起就在所有场景达到人类水平。

• 前沿的 speech-to-speech 系统可以做出让人感觉“奇点已经到来”的演示，但联络中心暴露的是另一类失败模式。一位年长来电者可能因为困惑而停顿，调得过于激进的智能体却继续压着她说——而这恰恰是经过打磨的消费级演示不会测试的体验。

• 级联式技术栈分别处理识别、语言和端点检测，工程师不得不调节脆弱参数，或额外加入“识别年长说话者”等规则。把这些功能合并后，一个模型就能感知慢语速、背景噪声、串音和犹豫，再从真实部署中的对话里学习恰当的响应方式。

3. 音频原生输入与文本输出构成可控契约

• Wen 的模型是音频原生的，但并不是从波形直接生成波形：LLM 接收流式音频表示并输出文本。Wen 保留文本，是因为企业可以更可靠地对文本施加安全护栏；不受约束的语音输出“难处理得多”。

• 每个音频片段到达后，模型都会反复生成一个成本很低的首个 token，用来表示轮次状态：用户刚开始、仍在继续，还是已经说完。模型预测到结束时，音频已经编码进 embedding 空间，LLM 可以立刻流式输出答案或工具调用，无需重新处理整段话。

• 输出顺序有意颠倒了经典流程：先给出响应，再给出用于标明所调用知识库事实的引用，最后输出供调试和审计使用的转写文本——也就是说，“无需等转写完成”就能回复。

• 检索也从传统的“先转写再做 RAG”变成工具调用：模型需要外部信息时，直接生成搜索查询。Wen 认为，真正的创新在于“输入输出契约”（IO contract）——训练配对、数据准备和规定的输出格式；随着更强候选模型“每月、甚至每周”出现，开源基础模型可以被替换并重新训练。

4. 真实噪音是训练信号，而不是污染

• 他们的平台已经从银行、公用事业、物流、餐饮、酒店、零售和外呼销售等部署中获得相关音频。在 GDPR 和个人数据约束下，取得客户许可并不容易，因此公司会删除真实身份，生成合成姓名和地址；目标是学习对话机制，而不是客户事实。

• 音频通过 mel 频谱图表示，并按片段流式传入，使感知过程类似图像识别。Scarfe 回忆，受过训练的人可以从视觉上读出语音、泛音乐器、打击乐或椒盐噪声；神经网络同样可以从这种表示中学习模式。

• 噪音增强是有意为之。Wen 举例称，系统会把他普通话姓名的合成发音，与“背景里有婴儿哭声”等真实生产环境干扰结合起来，在不暴露私人对话的情况下，倍增模型可能遇到的环境。

• 反直觉的是，旧式降噪和流程清理可能损害集成模型，因为清理后的信号与部署现场的音频并不相似。面对串音，他们目前没有使用专门的说话人分离机制；融合模型可以根据训练和指令，被要求忽略背景说话者、跟随主要参与者，或加入多说话者对话。

5. 自然的延迟来自知道何时不该回答

• 在级联系统中，端点判断由一个粗略的等待时间参数控制。设得太短，智能体会打断语速较慢或年长的来电者；设得太长，语速较快的人会以为系统没有响应。单一全局阈值无法覆盖每个人不同的对话节奏。

• 集成模型同时看到语速和语义。如果说话者在句子语义尚未完成前停顿，模型可以继续等待；与此同时，增量编码会预计算部分工作，将模型部署在公司其余平台旁边则可以消除网络往返，而网络往返对 P95 延迟的损害尤其明显。

• Wen 希望把节省下来的时间投入“延迟预算推理”（latency-budgeted reasoning）。模型会估计现在停止是否仍能给出好答案，并在训练中加入这样的约束：“你真的需要想这么久吗？能不能把它限制在，比如1秒？”

• 后端调用时间较长时，仍需要给用户可见的反馈。填充语和打字声一旦重复就会失效，而等待音乐可以为更深度的推理或响应缓慢的企业 API 争取时间。沉默尤其危险：如果 AI 黑屏“3或5秒”，来电者可能会恐慌，怀疑系统是否还在工作，尤其是在多年不可靠自动化的经历之后。

6. 熟悉的不完美往往比通用的精致更能赢得信任

• 大多数企业似乎并不希望助手被推向与真人完全无法区分；它们希望助手解决问题，同时带有克制的品牌身份。一家南美赌场曾考虑使用高度本地化的开场声音，但最终因“感觉有点太过了”而放弃上线，说明这种热情接近生产环境时会明显退潮。

• 通用声音往往表现更差，因为来电者会把它们与僵硬的 IVR 提示联系起来，而这类系统反复无法识别“付款”或“转账”。地域特征可以扭转这种预期：英国用户可能信任纽卡斯尔口音，因为许多联络中心员工来自那里，这传递出的信号是，用户可以直接说出问题，并让智能体解决问题。

• 公司早期的英语声音不如一个被强行用来讲英语的法语声音自然。后者略带口音，提供了有用的不完美。因此，Wen 把声音选择视为品牌和地区特定的问题，而不是一场追求最大流畅度、或寻找某种所谓中性声音的普遍竞赛。

7. 可信的语音基准必须衡量完整互动

• Wen 认为，单独的 ASR 和 LLM 基准无法覆盖智能体的多维表现：响应延迟、转写、事实质量、推理难度、人名识别、指令遵循、引用和工具调用都很重要。“不考虑延迟的语音智能体基准不是真正的基准”；来电者不可能等待60秒。

• 公开数据集往往使用合成数据，因为真实语音涉及隐私，而现有测试也没有充分代表生产环境。公司基于消费者对话搭建了内部基准，Wen 表示其模型目前在该基准上表现最好；他的计划是在“未来1-2个月”内向研究人员和市场发布该基准。

• 主观体验比事实评分更难衡量，因为口音和语气会随文化与任务变化。在生产级评估中，Wen 更看重行为证据：用户是否参与、是否完成任务、是否获得满意的解决方案？这些结果评估的是完整的“模型加测试框架”系统，而不只是模型本身。

8. 企业会先拥有边界与工作流，再拥有模型权重

• 企业越来越把 AI 视为必须掌握的技术，但拥有模型需要调优能力、GPU 和预算，而很多企业并不具备这些条件。因此，它们可以接受在不同模型 API 之间切换，同时把测试框架——提示词、工具、品牌行为和流程逻辑——视为可实现的专有智能。

• Wen 提出的边界是：让快速响应的语音智能体充当面向客户的“前门”，把困难工作交给企业自有的“幕后主脑”。他预计企业会发现，自己不必拥有每一层技术；但当任务足够关键时，一些企业仍会保留定制化测试框架。

• B2B 对话尤其适合优化，因为它的规格比社交聊天更清晰：问题是否解决、客户是否满意、速度是否足够快？Wen 将其与人类闲聊作对比，后者的成功可能改变一段关系，也不存在可比的黄金标准。

• 自主性仍会与治理要求正面冲突。一家大型公用事业客户表示，未来每个 PR 都需要经过持续2周、可审计的审核流程，不能接受自动合并。因此，公司保留了流程可视化、受限工具集和逐响应引用；无代码式界面如今服务于审计查看，而不再是主要的构建界面。

9. 下一道瓶颈是人的注意力、上下文与采用意愿

• Scarfe 将其称为“认知债务”：智能体可以在他走路时工作，但等他回到电脑前，可能才发现智能体重复执行、委派错误，或产生了一些无人监督的推理。Wen 在组织层面也看到了同样问题：AI 正向 Slack 和代码审查灌入大量内容——“不要把你还没读过的 AI 垃圾发给别人。”人类必须理解并认可自己传递出去的内容。

• 语音可以缓解这个问题，但也会引入另一个问题。他们在生产环境中的回复平均约50个输出 token，避免出现大段文字，但语音是低带宽、 “非常乒乓式”的沟通渠道。Scarfe 的广度优先工作流可以协调邮件、编辑和编码智能体，但 Wen 怀疑，仅靠语音无法传达完整情况，除非测试框架能够呈现简洁的高层要点。

• 让智能体隐身，需要更丰富的组织上下文，而不只是更多文本。书面价值观通常不会记录这些价值观为何形成，因此模型可能过度强调6项原则中的某一项。即便“垃圾信息”也取决于接收者：为 Wen 的语境优化的消息，对同事而言可能完全无关，从而形成一种循环前景——智能体为其他智能体生成丰富内容，再由后者进行个性化处理。

• Wen 预计，端到端轮次控制将成为基础设施，随后分化为两条路径：更具娱乐性的消费级助手，以及专业、受监管、可审计的企业级语音。会议协调、内部生产力和“第二波物联网”可能随之而来，但他明确表示仍不确定：技术可能在10年内成熟，可围绕办公室语音、隐私、智能眼镜和交出控制权的社会不适感，仍可能拖慢采用。