语音 AI 的世界：与 ElevenLabs 的 Mati Staniszewski 对谈
摘要
ElevenLabs 在2025年底的 ARR 已达3.5亿美元，随后单季度新增1亿美元净新增 ARR，按 John Collison 的粗略计算，公司 ARR 已接近4.5亿美元。 目前超过50%的业务来自销售驱动型企业客户，较低的初始定价推动客户从单一工作负载切入，再扩展至多个部门。
技术护城河来自模型架构，以及对语音如何表达的异常丰富数据，而不只是对说了什么的记录。 ElevenLabs 建立了专门的标注团队，因为公开音频很少能准确标注说话人、口音、情绪或韵律；其内部语音转录工作后来也变成了面向客户的产品。最终，模型甚至能让「Britishness is an emergent property」（“英国腔”是涌现属性），而不是依靠硬编码开关。
语音 AI 短期的瓶颈在部署和编排，而非原始音质。 Staniszewski 认为，达到生产质量的异步旁白约在3年前出现，实时语音约在2年前成熟，而具备连接能力和上下文感知能力的应用直到最近才出现。客服场景已经可以通过限定范围的“语音图灵测试”，但开放式游戏和通用助手仍然困难得多；ElevenLabs 希望更广泛的对话式 agent 问题能在“未来一年左右”得到改善。
ElevenLabs 正押注级联式 agent——语音转文字、LLM、再到文字转语音——因为企业看重可靠性、可见性和控制力，胜过最低延迟。 直连式语音到语音模型速度更快，但 Staniszewski 称其“明显更笨”；这类模型也无法看见中间流程步骤，可靠性可能更低。Staniszewski 预计未来将采取混合架构：低复杂度交互使用直连模型，更复杂的操作、身份验证和数据库检索则使用级联架构。
产品机会远不止合成声音，而是覆盖企业与客户之间的完整交互层。 ElevenLabs 希望提供模型、知识连接、电话系统、集成、监控和安全机制，覆盖客服、销售和营销，同时把深度垂直化的应用留给行业软件厂商。解决语音问题也会顺带提供文字层，但复杂的多轮推理和金融分析明确不在公司的优化目标之内。
语音模型的训练经济学结构性优于前沿 LLM，但分发和推理仍然重要。 领先语音模型的参数量约为数十亿至数百亿，而领先 LLM 达到数千亿；客户主要按 token 或分钟付费，并签订年度承诺、获得规模折扣。ElevenLabs 经常以接近成本的价格提供更新、更昂贵的模型，让客户暴露真实使用场景和失败模式，使产品采用同时成为分发渠道和研究反馈。
下一代产品的前沿是个性化理解与可控表达。 ElevenLabs 预计将在即将发布的版本中加入针对个人的转录能力，“希望在下个月推出”，并补充说话人分离、降噪和关键词词典；V3 已支持放慢语速、插入戏剧性停顿等指令。其 expressive mode 还能识别压力状态，并在语言和语气上都生成安抚式回应。
ElevenLabs 的运营模式与模型本身同样重要：公司有470名员工，产品和研究项目通常不到10人，每位创始人直接管理超过15人。 非技术职能配备技术负责人来自动化工作流，而自助服务则让开发者优先接触最新技术，即使产品尚未达到企业级成熟度。Staniszewski 的文化筛选标准是“agency”；Collison 的更尖锐表述是，高 agency 的人会从 AI 中获益，而组织中的低 agency 人群会被淘汰。
精读
1. 语音先成为预测问题，但上下文赋予它人性
Staniszewski 从 Wolfgang von Kempelen 的机械声道讲起，回顾语音合成如何经历 Bell Labs 的结构化信号、拼接音素库——即音节之下更小的基本人类声音——最终发展到神经网络根据此前的音频和文本预测下一个声音。
传统流程先把文本转换为 mel 频谱图，即呈现音高和能量的视觉化表示，再生成波形音频。联合创始人 Piotr 的架构贡献，是抽象并改进这些编码和解码环节，同时将 transformer 和 diffusion 思路引入语音领域。
模型接收文本和 speaker embedding：后者是承载口音、风格、韵律及其他声音特征的参考信息。模型必须同时推断句子的结构，以及前后文应如何改变表达方式——判断一句话是否带有特定方言、表达快乐情绪，或处于流式对话之中。
早期系统会暴露音高、能量，或“英国口音”“波兰口音”等类别的硬编码控制项。ElevenLabs 则让模型自行发现这些维度，包括热情和悲伤；Collison 总结为“Britishness is an emergent property”，Staniszewski 回应：“Exactly。”
2. 专有标注把研究刚需变成了产品组合
Staniszewski 将模型构建归结为架构、算力和数据，随后强调音频数据的特殊难题：录音很多，但标注通常只记录“说了什么”，而非“怎么说”。其中可能缺少说话人身份，也缺少构成人性化表达的情绪、口音和表达选择。
因此，ElevenLabs 建立了自己的语音训练标注团队，将人工标注与半自动技术结合起来。其语音转文字模型最初是内部基础设施，因为现有系统无法高质量标注训练语料，后来才发展为独立的客户产品。
如今，Staniszewski 将 ElevenLabs 定义为一家“研究与产品部署公司”：业务包括基础文字转语音、覆盖超过100种语言的语音转文字、对话和音乐模型，以及将这些模型连接至知识库、电话系统、操作执行、评估、监控和安全机制的生产层。
公司的边界是横向能力，而非深度垂直化。ElevenLabs 会直接服务通用企业工作流，把重度依赖行业知识的产品留给专业应用公司；字幕生成可以覆盖“99.9%”的普通场景，但医疗客户仍可能需要定制模型，技术词典则可以补充行业上下文。
3. 语音质量先于能够真正使用它的产品出现
Collison 提出的是体验层面的挑战：他开车时，手机无法可靠朗读 PDF；汽车语音控制依然糟糕；即便底层模型已经足够强，主流消费级助手的体验仍像“10年前”。Staniszewski 接受部署存在缺口，但不同意完整技术已经存在了那么久。
他的时间表更为紧凑：高质量异步旁白约在3年前出现，实时生成约在2年前出现，生产级可用性约在1年前形成，而上下文连接式交互直到2025年才出现。他预计云端连接的汽车场景会在“今年”落地，但无需网络连接的端侧运行可能还要再等2到3年。
PDF 场景已经有了直接答案：ElevenReader。ElevenLabs 在作者使用其2023年软件低成本制作有声书后开发了这款产品，但 Audible 等发行商当时屏蔽 AI 内容；如今用户可以上传 PDF 或文本，用包括 Sir Michael Caine 在内的多种声音收听。
通用对话仍然是编排问题：系统必须根据沉默和上下文判断用户何时说完、何时需要澄清、何时应直接执行。客服场景可以通过领域限定的语音图灵测试，但真正像人的互动游戏还做不到，工具调用和身份验证也会暴露剩余的断点。
4. 个性化与可控性是下一轮准确率提升点
Collison 认为，用全球模型识别每一句话会浪费已知说话人稳定的口音信息。Staniszewski 表示认同：ElevenLabs 正将个人专属识别与说话人分离、降噪和关键词检测结合起来，让咖啡馆或技术播客能够限定可能出现的词汇范围。
说话人微调是“可解决的问题”，相关能力将在即将发布的版本中推出，“希望在下个月”。最关键的场景包括：手术室需要准确隔离某位医生的指令，以及家庭设备需要识别授权用户，而不是把附近家人的谈话一并收进去。
在生成端，V3 将模型从自主选择表达方式，推进到遵循“用更慢的方式说”或调整戏剧性停顿等表达指令。Expressive mode 可以识别对方处于压力状态，生成安抚性的语言，并用安抚性的情绪表达出来。
尽管如此，ElevenLabs 仍偏好级联式 agent：转录、LLM 推理、语音生成。直连式语音到语音模型省去了文字环节、降低了延迟，但牺牲了可观测性和可靠性；Staniszewski 认为，这种架构会在陪伴型产品中蓬勃发展，因为幻觉可能没那么重要，甚至可能成为一种特性，而复杂企业任务仍将采用级联架构。
5. 开口说话会改变用户披露什么，以及谁能参与
ElevenLabs 将潜在客户表单中的一部分替换为语音 agent，结果发现完成率更高、用户披露的信息也更丰富。人们更愿意用说话而非写字描述更广泛、更复杂的使用场景，而追问又让交互接近 Collison 所说的“开放式冒险游戏”。
多语言支持扩大了全球获客漏斗，银行到汽车公司等企业也开始构建语音 SDR 变体。Staniszewski 更大的愿景是“Babel fish”：用户用波兰语或英语说话，听众则以自己的母语接收内容，从而消除低质量配音曾经暴露的分发障碍。
最重要的场景不是自动化沟通，而是恢复沟通能力。Staniszewski 提到因 ALS 或喉癌失去语言能力的人，随后特别讲述一名女性：她在结婚前失去了声音，ElevenLabs 重建了她的声音，让她终于可以再次完成婚礼仪式，并用自己的声音说出誓言。
Agent 可以是被动响应式的，也可以是主动式的。ElevenLabs 参与打造的 Guinness 主题项目“Guinndex”会主动致电爱尔兰酒吧收集生啤价格，同时接收酒吧主动提交的信息；约3,000个实体可以参与其中，展示了语音如何成为连接缺乏结构化 API 的组织的接口。
6. 更小的模型改善经济性，补贴式发布加速学习
语音模型的训练成本“显著”低于 LLM 或图像视频系统，因为模型更小，参数量约为数十亿至数百亿。不过资本开支依然不低：ElevenLabs 近期刚以110亿美元估值融资5亿美元，用于支持模型研究和部署。
在商业模式上，文字转语音通常按文本 token 收费，转录和 agent 则按分钟计费；大型企业会签订年度协议，承诺更大用量并获得折扣。因此，推理成本仍会随使用量增长，尽管训练成本低于前沿 LLM。
新模型成本更高，初期可靠性也更低，但 ElevenLabs 经常以接近成本的价格提供给客户。目标是让产品获得广泛曝光：客户发现新的可能性，带来分发，并提供关于哪些能力需要改进的证据，直到企业级可靠性跟上。
Staniszewski 认为，有声书旁白可能已经接近实用意义上的模型规模上限。纯语音组件应保持快速且相对小型，而融合智能与语音的系统可能达到数百亿甚至数千亿参数；对于级联系统而言，编排仍比单纯扩大规模更关键。
7. 企业扩张推动收入曲线创下历史最快增速
ElevenLabs 在2025年底报告 ARR 达3.5亿美元，并首次实现单季度新增1亿美元净新增 ARR。Collison 粗略推算公司 ARR“在4.5亿美元左右”；Staniszewski 没有正式重述这一数字，而是提到 Deutsche Telekom、Revolut、Klarna、Meta 和 IBM 等客户。
如今超过50%的业务来自销售驱动型企业客户。增长既来自使用量上升，也来自部门扩张：Deutsche Telekom 最初从 Magenta 营销和播客生成切入，随后进入客服领域，进一步扩展至服务整个网络交互的 agent。
自助服务仍然是发现引擎。即时使用可以检验模型质量、暴露失败点，也让开发者和中小企业在技术满足企业对合规、可靠性和规模的要求之前进行探索；随后，高接触式部署工程师会与最大客户共同定制生产系统。
ElevenLabs 还在推出完整的按量付费自助服务计费模式，不再局限于订阅计划和超额用量。Collison 认为，AI 产品应该允许用户在达到额度后继续付费，而不是用“抱歉，你已达到使用上限”打断有价值的工作。
8. 扁平化技术组织是 ElevenLabs 的第二场实验
ElevenLabs 目前有470名员工，产品和研究项目仍主要由不到10人的团队负责，部分市场团队也采用小团队模式。每位创始人直接管理超过15人，约为传统管理幅度的2倍；Staniszewski 承认，其中“肯定有一点创业公司的阶段性特征”，这种模式能否长期维持，要在5到10年后才能看得更清楚。
技术能力被嵌入工程部门之外。人才和运营团队配备技术负责人，让流程数据变得可探索、自动化手工工作并识别候选人画像；销售团队生成定制化的会前材料、案例研究和演示文稿，但最终仍由人负责审核和完善。
乌克兰提供了一个外部参照：其 Diia 公民服务平台连接了福利、前线信息、教育和医疗服务，每个部委内部都配备技术资源，再由中央转型团队整合各项服务。Staniszewski 称其为“我们见过最先进的一套工作”。
因此，招聘重点落在文化和 agency 上：第一性原理思考、主人翁意识、卓越和谦逊。Staniszewski 最自豪的结果是，“如今是文化在塑造公司”；Collison 则总结称，高 agency 员工会成为 AI 时代的赢家，因为他们会持续探索如何放大自己的专业能力。