Mercor 产品负责人谈前沿实验室带来的收入集中度
Mercor 产品负责人谈前沿实验室带来的收入集中度
摘要
- 开源不必蚕食前沿数据业务。 它反而抬高底线。Osvald 为 Mercor 的核心辩护是:数据在模型性能前沿最有价值;每家实验室都会购买评测集和训练集,补上当前能力的缺口;“开源模型只意味着,没人会购买 K3 已经能做的东西。”
- 他不接受“90%的企业工作流都能自动化”这种表述。 理由有二:Mercor 的 Apex 基准显示,顶尖模型在长周期工作流上的得分只有约50%;此外,还有一整类尚未被任何人尝试的潜在需求——比如部署一个运行数月、每周只需检查一次的采购代理。对于法律论证或医疗建议,“用百分比来框定完全不对,我们需要更多考虑持续且无上限的回报”。
- Mercor 的 token 开支已经超过薪资。 Benioff 每年在 Anthropic 上花费3亿美元,相当于开发者薪资的约3.8%;Osvald 认为这一比例在宏观层面会升至3%以上,并确认 Mercor 已经在 token 上花的钱多于薪资:“100%听起来合理。”企业目前还没有 ROI 问题,只是处于“探索和试验阶段”,同时在部分环节“逐步收紧开支”。
- 关于收入集中度,以及“这不算收入”的旁观评论:“我们每周结束时,银行里的钱都多了很多……现金流简直惊人。” 业务甚至来不及花钱来满足需求。解决集中度的办法,是通过自助式项目和 AI 项目经理向中小客户下沉,因为实验室项目需要白手套服务,运营上极其繁重。
- RL 环境是增长最快的数据类型。 一方面是应用的高保真模拟——一个“表现得和 Salesforce 一模一样”的 mock;另一方面是包含数百乃至数千个文件的丰富初始状态。他改变看法最大的一点也是环境:原以为环境无法规模化,“但后来它做到了”。他对未来3年的判断是机器人/物理世界数据,行业进展可能更像“Waymo 无人出租车/Cruise 时刻”,而不是 ChatGPT 时刻。
- AI 时代的产品组织正在倒置。 随着工程不再是瓶颈,PM 与工程师的比例会上升;团队开始争相缩小产品表面积;Mercor 正逐步从 Figma 转向云端设计;“技能问题几乎已经消失,所以现在全看判断力。”他的警告是:“不要把决策权……交给模型,否则你会失去这种能力,最后你会得精神病。”
- 竞争格局方面,对手是一群“自己做标注的创始人组成的家庭作坊”——由 VC 补贴、价格“完全错位”、深受实验室喜爱,但无法扩张10倍。 其他竞争者往往很快照抄 Mercor;Surge 则被形容为“有点离谱……非常神秘”。至于前沿实验室会不会吞掉应用层,Google Plus 和 Threads 已经说明,大公司“会输给那些对自己的市场高度聚焦的公司”。
精读
1. 开源抬高底线,不必吞噬前沿数据业务
- Harry 以迁移到开源模型的论点开场,手里拿着 Kimi 的新模型:开源会不会蚕食 Mercor?Osvald 的回答构成了整期节目的主轴:数据在模型性能前沿最有价值。客户购买评测集和训练集,是为了补足当前能力的缺口;因此,“开源模型只意味着,没人会购买 K3 已经能做的东西。”
- 其中的传导机制是:开源模型“只是抬高了人们感兴趣的能力底线”。只要客户仍然想要新的能力,业务就会继续增长;前沿以下的商品化,并不影响资金真正流向的地方。
2. “90%的企业工作流”测量的是错误对象
- Osvald 不相信,无论是开源模型还是前沿模型,都能处理90%的企业工作流。这类计算可能建立在既有需求之上,但还有一批尚未被任何人尝试的潜在需求,最常见的是长周期任务:“设置一个采购代理,把整个采购团队连续数月完全自动化。你可能每周只检查一次。”
- 他愿意认可的数字是:在 Mercor 的 Apex 基准上,顶尖模型在长周期工作流上的得分约为50%。
- 他更强调的是,满足性工作流和无上限工作流不同。前者如更新 CRM——“你其实很难把它做得更好”;后者则包括法律论证,以及某种程度上的医疗建议,因为这类任务总有继续改进的空间。在这些场景里,“用百分比来框定完全不对,我们需要更多考虑持续且无上限的回报。”
3. 企业担心实验室介入核心工作,每家公司或许都会拥有自己的模型
- 对于 Alex Karp 所说的企业不愿把数据交给前沿实验室,关键取决于工作流的核心程度。HR 和采购相对不敏感,企业更愿意把这类工作流放在专有模型上;真正敏感的是能形成差异化的工作——比如律所撰写的“实际备忘录”,以及给客户提供的建议。Harry 认为其中存在反差:敏感数据可能交给开源、很可能是中国的模型,HR 反而放到闭源模型上。对此的反驳是,开放权重意味着推理“可以发生在多个地方……你拥有更多控制权”。
- 对于 Harry 归因于 Filecoin 创始人 Lynn Qual 的“每家公司都需要专门模型”论点,Osvald 回答:“我认同。”他也承认,这一判断对 Mercor 有自利性,因为每个专门模型都需要企业特定的评测和训练数据。市场规模“取决于客户能从专门模型中获得多少价值”,而那些能够被 ROI 证明合理的场景会随时间增加。
4. 没有 ROI 问题,Mercor 的 token 开支已经超过薪资
- “我不认为现在存在 ROI 问题。我认为我们正处于探索和试验阶段。”在 token 价格和模型性能变化过快、计算结果尚未稳定之际,企业会更有容忍度和耐心;与此同时,部分环节的开支也在“逐步收紧”。
- 他的预算框架是:工程师使用编码代理的开支“可能仍然在带来复利式收益”,因此不能算作销售成本。若客服代理消耗的 token 成本超过它服务客户带来的收入,那就“肯定处于糟糕的位置”。
- 针对 Benioff 每年向 Anthropic 支付3亿美元、约相当于开发者薪资3.8%的说法,Osvald 希望更准确地核算每个 token 带来的结果,并区分不同团队的消费结构。但在宏观层面,“这个比例会随着时间推移升至3%以上”。当 Harry 透露 Brendan 曾告诉节目这一比例会达到100%,且 Mercor 已经在 token 上花费超过薪资时,Osvald 回答:“是的,我们确实如此……100%听起来合理。”自他加入以来,公司员工数增长超过10倍,收入也同步增长——“我们甚至来不及花钱来满足手头所有需求。”
5. 服务业务弥合落地缺口,聚焦型公司可以击败大型实验室
- 对于服务业务热潮——包括 Microsoft 的服务部门和 Palantir——他自称的“热辣观点”是:短期内这就是未来。如何部署和评测代理的知识,目前“集中在旧金山的一群人手里”,之后会向各个行业扩散。最终它可能成为类似软件工程的一种职能,“也许会是一个持续10年的变化”。针对 Factory 的 Matt 所说服务只是“糟糕产品的借口”,他的判断是:问题在人才供给,而不是产品本身。
- 优秀工程师愿意做前线部署吗?那些沟通能力强、能直达问题根源的人愿意;而“这类工程师最终也很适合成为创始人”,所以 Mercor 不断有人离职创业。“失去一个人去创办公司,远好过失去一个人去接受另一份工作。”
- 对于 Harry 担心 Anthropic 会成为 Legora 的真正竞争对手,Osvald 让他看看 Google 和 Microsoft:“你还记得 Google Plus 吧?……它后来什么也没做成。”大公司会不断分散业务,但“会输给那些对自己的市场高度聚焦的公司”。
6. AI 时代的产品组织:缩小表面积、增加 PM,判断力成为核心工作
- 工程更快,反而让产品管理更难,而不是更容易:人们因为做得到,就提交几千行代码的 PR,于是团队“始终在努力简化产品表面积”。他最大的遗憾也指向同一个问题——标注平台曾试图“满足所有需求”,最终形成数百个异构项目,“管理起来简直是一团混乱”,本应更早设置护栏。判断需求是否会持续存在,是领导层基于与实验室持续接触所做的判断——“归根结底,这有点像猜测。”
- 组织上的结果是,PM 与工程师的比例会更高,因为工程不再那么受限,而理解用户工作流、理解什么能推动收入“现在成了瓶颈”。专家市场和 Studio 标注/评测平台这两块产品,都以4或5人为一个 pod,PM 与工程师的比例还会继续上升。
- 伟大 PM 所需的能力已经发生两次变化:工具变少了,“甚至 Figma,我们也越来越多地转向云端设计”;所有人都在提升到业务影响层面。“技能问题几乎已经消失了。所以现在全看判断力:我做的事情是不是能带来最大的商业价值?”
7. 招聘资深人才、测试判断力,并拒绝把大脑交出去
- 招聘现在更偏向处于黄金期的资深候选人——“25到35岁”——他们能更快理解什么驱动收入。初级人才是否会使用工具的能力变得“没那么重要”。Take-home 已经缩减为一次 AI 熟练度检查,之后通过白板面试考察实验、统计和系统设计,因为借助 AI 工具,“很容易把大量思考外包出去”,而他需要的是不会“只是复述 Claude 输出内容”的人。
- 他的“脑腐”规则,划清了判断与执行的边界:模型“会让你以为它做的是对的,但你仍然必须对它保持偏执……不要把决策权,也就是你真正的工作,交给模型,因为你会失去这种能力,最后你会得精神病”。他的类比是,手机“有点像会把你的大脑烧坏,把它变成一团糊状物”;关键是弄清楚边界在哪里。
- 他在糟糕的招聘中最难识别的是:“面试过程中真的很难评估一个人的主动性和主人翁意识。”有才华但讨厌的人尚且可以容忍——“性格可以改变……但很难让一个人真正上心。”
8. 业务机制:现金流惊人、收入集中,并有意向下沉市场推进
- 针对“这不算收入”的评论,他的回应是:“我们每周结束时,银行里的钱都多了很多……现金流简直惊人。”他在其他地方见过“有趣的金融工程”,但 Mercor 不是那种情况。
- 关于前沿实验室带来的收入集中,公司的方向是向中小客户下沉:提供自助式人工数据项目和 AI 项目经理。原因在于实验室项目需要白手套服务,运营强度极高:持续挖掘边缘案例、让客户与专家之间“以惊人的速度完成对齐”,并对每一个数据点都保持“极度偏执”,确保其完美。企业数量远多于实验室,而这一转向已经降低了收入集中度。
- 供给侧的秘诀是专家体验:准时、优厚、透明地支付报酬,带来转介绍;同时配备 sourcing 团队,应对尖峰式技能需求。公司并不是靠超过竞争对手的“疯狂奖金”取胜,而是让专家看见未来的工作和技能成长。利润率是在项目结束后才确定的,如今合成数据和自动质控项目的成本,大致由专家报酬与 LLM 开支各占一半。
- 实验室会谈判,但这套合作关系令人羡慕:评测集代表客户真正想要的东西,训练集则不断推动模型爬坡。因此,“只要他们在数据上的花费低于将要获得的收入,人们就会想把这个杠杆越拧越紧。”
9. 环境是前沿数据类型,家庭作坊无法规模化,机器人是未来3年的判断
- 环境是增长最快的数据类型,Mercor 认为自己处于这一品类的领先位置:一方面是应用模拟,另一方面是包含“数百个文件、数千个文件”的丰富初始状态,让训练数据“更接近模型部署时真正看到的东西”——比如一个“表现得和 Salesforce 一模一样”的 mock。它现在之所以难,和过去的 SFT 及偏好排序一样;“实验室正在摸索。最终……企业也能做。”这也是他改变看法最大的一件事:他原以为环境无法规模化,但“我们不断推进,最后它真的奏效了”。
- 竞争格局是“一群自己做标注的创始人组成的家庭作坊”:这些聪明的前技术创始人经营着“实验室喜欢的、由 VC 补贴的工作”,因为价格“完全错位”。一旦客户要求10倍吞吐量,模式就会失效。其他竞争者经常照抄——“我们写一篇博客,通常一周后就有人写一篇一模一样的博客”;Surge 则被形容为“有点离谱……非常神秘”。网络安全是另一个增长方向:对抗式、“AlphaGo 式”的场景,回报没有上限,“目标会一直移动”。
- 3年后尚未出现的收入曲线,来自机器人所需的真实世界物理数据。相较于 GenAI 和自动驾驶,这仍是一个早期市场。针对 Harry 对“15分钟取水”演示的吐槽,Osvald 提到 Cruise 走向 Waymo 的先例:“现在我打 Waymo 的次数比 Uber 多。”因此,行业拐点可能更像“Waymo 无人出租车/Cruise 时刻”,而不是 ChatGPT 时刻。
- 2000亿美元的乐观情景,是一家技术驱动的服务公司,其中“评测就是 PRD,同时也是提升性能的优化目标”。只要更好的模型对经济仍有价值,评测和训练需求就会持续存在;此外,还会叠加不断增长的代理部署企业业务。
核验说明
- 原始字幕提到“Kimi”,并分别出现“K3”;无法确认“Kimi K3”是否作为一个完整名称被说出。
- 原始字幕将2000亿美元乐观情景中的公司识别为“Brex”;结合上下文看可能指 Mercor,但仅凭原始字幕无法确认。