先锋 趋势 方法 投研 作者
Matt Fitzpatrick:谁将赢得数据标注竞赛,以及为何 Al 需要前线部署工程师
返回节目精读

Matt Fitzpatrick:谁将赢得数据标注竞赛,以及为何 Al 需要前线部署工程师

摘要

  • 核心判断:企业采用 AI 要走“10年,而不是2年”。 过去两年,模型在公开基准上的表现提升了40–60%,KPMG 称60%的消费者每周使用 genAI;但 MIT 发现,只有5%的 genAI 部署以任何形式真正运转,Gartner 预计到2027年40%的企业项目会被取消。Fitzpatrick 的诊断是:瓶颈在数据基础设施、工作流重构、责任归属,以及“最重要的,信任”——银行会先按模型风险管理的方式验证 genAI,其他企业则会在此后五到六年跟进。
  • “仅靠开箱即用的 SaaS 绝对做不到这件事。” Invisible 不收前期费用——免费提供8周解决方案冲刺,直到用户验收测试通过才收费,前线部署工程师也完全免费(450人、8个办公室)。对 SaaS 投资者而言,结构性结论是:“一旦你在 SaaS 场景下不得不引入 FDE,经济模型会瞬间崩溃。”Fitzpatrick 认为,开箱即用的软件“某种程度上一直都是谎言”——终局是超个性化软件,而不是一个个软件盒子。
  • 内部自建正在败下阵来:MIT 数据显示,外部驱动的构建效果是内部构建的2x。 一家电商零售商就是典型案例:它花2500万美元做退货客服 agent,自建评估体系,以通话解决速度和情绪作为指标,结果一个虚构“退款200万美元”的回答也能拿满分;几个月后,公司关停项目,退回确定性流程。Fitzpatrick 的解法是:选择3到4个项目,由运营负责人牵头——“不要把它放在技术部门”——并按实际效果付费。
  • 行业最大的误称是:合成数据不会取代人类反馈。 合成数据适用于数学等具有基础真值的领域;跨45种语言、多步骤推理和多模态场景仍处于“第一局”,而达到法律行业标准的数据掌握在大型律所内部,不在公开语料库中。与 ML 不同,genAI 需要人类参与统计验证——“未来几十年,你都需要人在环路中。”
  • 数据标注行业将洗牌为3–5家,而非赢家通吃。 集中度是结构性的,因为真正构建 LLM 的公司并不多;但“人们愿意为好数据付费”,因为一周的坏数据就能烧掉巨量算力,所谓完全不在乎价格是“夸张了”。护城河是 Helmer 所说的机构记忆——一条数字化生产线,能在24小时内调度2.6万名筛选过的专家——而且他坚持,那些大数字是收入,不是 GMV。
  • 资本策略已经反转:Invisible 成立9年来只募集了700万美元一级资本;如今已募得1.3亿美元,今年不会盈利——“这是有史以来最适合增长的环境……我希望我们永远不要进入收获阶段。” 下一 frontier 是物理世界数据:FDE 把 Starlink 终端部署到农场,为畜群安全训练计算机视觉模型;再往后是机器人。
  • 对 agent 的怀疑可以量化:Salesforce AI 研究显示,开箱即用的 agent 单轮准确率为58%,多轮准确率为33%;AWS 报告称,70%的“agent”其实是传统脚本。 若管理一支4亿美元基金,他的逆向配置是:不要只看开箱即用的 agent,而要押注直接服务客户需求的 AI 原生企业——他认为,YC 最近一届正是靠这一路径,收入做到了此前任何一届的2x。

精读

1. 企业采用 AI 仍然滞后

  • Fitzpatrick 同时站在市场两端:Invisible 通过 RLHF 为所有大型语言模型训练数据,也在自己的平台上部署企业用例。他对过去两年“认知失调”的概括是:模型在公开基准上的表现提升了40–60%,消费者采用呈指数增长(KPMG:60%的消费者每周使用 genAI),但 MIT 报告称只有5%的 genAI 部署以任何形式真正运转,Gartner 预计到2027年40%的企业项目会被取消。
  • 问题出在模型之外的一切:“支撑这些模型的数据基础设施、工作流重构……以及最重要的,信任。还要有可观测性。”基于自己在银行业构建信贷模型10年的经历,他预计企业会复制银行所称的模型风险管理:测试、训练、验证——“整个流程还处在第一局。”
  • 他的时间判断是:“这要走10年,而不是2年。”银行和医疗行业会先完成测试与验证阶段,“之后其他企业会在接下来的五到六年里跟上。”
  • Stebbings 亲身经历进一步说明了这一点:他在全球最大银行之一演讲后给团队发消息说“他们完蛋了”,因为 CTO 以数据、安全和权限为由,笑谈他的现成工具。他也承认:“你刚才说的这些,我都听进去了。”

2. 内部自建 AI 项目失败

  • 据 Fitzpatrick 转述,MIT 报告中一个被埋没的数据是:外部驱动的构建效果是内部团队构建的2x。他观察到过去10年的模式是:企业先买15个应用,云计算兴起后再套上定制封装,而“genAI 把这一切放大了5倍”——内部团队拿到巨额预算,却没有供应商必须遵守的交付物、时间表、ROI 和里程碑纪律。
  • 他谨慎地描述人才问题:“真正知道如何把这件事做好的人并不多。”而这些人才都在 AI 初创公司和大科技公司里,因此企业若从第一性原理自行推演,确实面临真实风险。
  • 他见过最典型的案例是一家电商零售商:花2500万美元构建退货 agent,并自建评估体系,把通话解决速度和情绪混在一起衡量。“问题在于,如果 agent 产生幻觉,说‘这里有200万美元’,它确实能很快解决问题,客户也会很开心。”几个月后,公司关停项目,退回确定性流程——“这完全不让我意外。”
  • 他预计未来两年的修正来自 CFO 职能:设定 ROI、指标和里程碑。具体打法是,挑出3到4件真正推动业务的事,安排最好的4名运营负责人,“不要把它放在技术部门”,并把付款与结果挂钩。负责人“不需要技术能力特别强”,只要具备管理任何供应商时都需要的同一套肌肉记忆。

3. 前线部署工程胜出

  • 买方的现实是:每周有250家供应商上门推销,听起来都差不多——有客户甚至一开会就问:“你和这周向我推销过的另外250个人有什么不同?”而且很多产品根本不好用:Salesforce AI 研究测试开箱即用的 agent,单轮工作流准确率只有58%,多轮只有33%——“这意味着它们其实不能工作。”
  • Invisible 的回答是:“我们其实什么都不卖。”公司见客户时会说,免费做8周,证明技术确实可行。当被问到能否在没有强力前线部署机制的情况下服务企业时,他回答:“我不认为可以……仅靠开箱即用的 SaaS 绝对做不到这件事。”公司已进一步押注这一模式:450人分布在8个办公室,FDE 不收费,区别于竞争对手:“我少花钱雇销售,多花钱雇前线部署工程师。我的算式就这么简单。”
  • 他对 FDE 的定义很关键:做好 FDE,就是在大约3个月内“执行一个非常具体的工作流构建”,既不是解决方案工程,也不是 Accenture 式的3年期项目。对创业者而言,判断标准很简单:知识库(公开披露文件、医疗参考资料)不需要 FDE;“如果你想改变工作流,就需要 FDE”,而采用和工作流嵌入才是最难的部分。
  • 他最尊敬的公司是 Palantir:“他们比科技市场其他人早10年意识到,前线部署工程定制会很重要……这是一次非常反文化的跃迁”,因为当时没有人愿意涉足技术服务。

4. AI 软件需要定制化

  • 创始人 Francis 的创办原则是:“如果什么都有一个应用,为什么什么都不好用?”过去20年的 Accenture 模式是:买50个应用,两年花2亿美元把它们层层拼接起来,最后得到“没有可用数据、没有连接关系”的沉积层。Duck Creek 等保险科技公司则借助势头和推动其发展的系统集成商,取得了很好的成绩。
  • 他对 SaaS 投资者的异端观点是:看看大型上市软件公司收入中究竟有多少来自服务。“开箱即用的软件某种程度上一直都是谎言……只是把它包装起来。”genAI 进一步打破这一模式,因为每个客户构建的东西都高度具体:“它不是一个盒子。”付款发生在用户验收测试时,也就是项目开始两到3个月后——“机器学习进入企业已经很久了,一直就是这样的路径。”
  • Lifespan MD 是一个验证案例:这家医疗 concierge 服务商的数据分散在 EHR、CRM、ERP 和各种笔记中。Invisible 的5个平台——负责数据的 Neuron、构建 agent 的 Axon、构建流程的 Atomic、专家市场,以及负责评估的 Synapse——在2到3个月内完成统一,“Accenture 要花两年”。随后再叠加对话式查询,例如“哪些人用过 peptides,年龄在36到50岁之间,结果如何”,以及定制排班 agent。他的判断是:“你会从开箱即用的 SaaS,走向利用单个客户特定数据的高度超个性化。”

5. 数据标注高度专业化

  • 对于外界把 Invisible 与人才市场归为一类,他重新定义了业务:“你必须能在24小时内找到一名牛津大学天体物理学博士,把他放进一条数字化生产线,4天后生成完美且经过统计验证的数据,再与另一家的数据正面对比。”Invisible 每年接触130万名专家,最终保留2.6万名筛选过、必须在24小时内开始工作并产出完美数据的专家。
  • 用 Hamilton Helmer 的话说,护城河是机构记忆。他最喜欢的例子是丰田生产体系:丰田可以公开描述这套体系,但没有人能复制。“它就是一条数字化生产线,与汽车工厂没有区别”,同时还沉淀了5年数据,记录谁擅长什么任务。
  • 这个行业的变化很大:5年前还是在 Google Sheets 上运行的“猫狗低端商品标注”;如今则是在一天内找到“会说法语的17世纪法国建筑专业建筑师”来完成验证。专业化和拆分成极其细分的供给池确实存在——Stebbings 引述的那位董事会成员没料到这一点,Fitzpatrick 的回答是:“绝对如此。”
  • 对于定价,他说:“我把我们的业务看成 Uber。”这是一个价格发现市场,费率取决于下雨、地点等市场环境。关键区别在于:“你可能给一个非常差的专家支付过高费用,那会彻底浪费所有人的时间。”真正的价值在于知道150美元的专家与130美元的专家有什么差别。供给有限也不是问题:“所需的专业能力每月变化太大,即使你把供给固定下来,3个月后也会变。”

6. 数据市场仍将保持集中

  • 对于“两家公司贡献超过50%收入”的格局,他并不反对:“真正构建 LLM 的公司并不多,所以整个空间按定义就会集中。”他的反驳是业务正在多元化:2024年业务明显偏重 AI 训练(人才市场一侧占据“相当大的比例”),但 Invisible 已在过去45天确认了12笔企业交易。
  • 谈判的僵局最终取决于质量,而不是议价权:“人们愿意为好数据付费……一周的坏数据会烧掉大量算力。”同台测试很常见:一款多模态音频模型出现后,“我们会在当周与另一家正面对决,最后可能赢,也可能输。”但董事会成员关于价格严重不敏感的说法遭到反驳:“我认为那是夸张……所有玩家之间其实存在相当标准的价格区间。”
  • 他对行业洗牌的判断是:“我不认为答案是一家……大多数市场最终都会留下3、4或5家。我甚至不认为会是两家。”不同公司会按任务分工,分别专注编码、专业任务和博士级专家。在企业市场,历史上“一直是 Palantir,其他公司不多”,因此替代者才会引发如此大的兴奋。
  • 对于 Stebbings 质疑其收入与 GMV 的区分——他此前几期节目因称其为收入而“挨了不少批评”——Fitzpatrick 回答:“我认为那就是收入。”区别在于 Airbnb 收取统一费率,而这里“取决于项目和专家类型,差异极大”,不存在相对于订单金额的统一费率。

7. 人类反馈仍不可或缺

  • 在他看来,行业最大的误称是认为合成数据会在两到3年内接管一切。“从第一性原理看,这其实没有太多道理。”合成数据适用于数学等具有基础真值的领域;但跨音频、视频和45种语言的多步骤推理——例如“带南方口音的印地语、法语和英语计算生物学”——仍是一个排列空间,“我们还处在第一局”。他更明确地说:“人类反馈在未来10年都会很重要。我对此有强烈信念。”
  • 法律是他反复举的例子:“世界上大量法律数据都在大型律所手里,甚至不在公开领域”,而公开语料库“多年来已经商品化”。更深层的区别来自他在 QuantumBlack 工作时的经验:ML 模型无需人类干预就能回测到统计有效性;但在 genAI 领域,“未来几十年,你都需要人在环路中。”
  • 对于 Stebbings 嘲讽 Gemini 3 和 Opus 4.5 的基准不断变化,他认为模型“毫无疑问”在进步,但它们正转向高度具体的任务,而“按定义就不存在公开基准”——比如模型构建 LBO 模型的能力,或一份面向某家 PE 公司的 IC 备忘录是否达到“99%精确率”。因此投资者应注意:基准进步“几乎与企业采用正交”,后者取决于具体任务上的信任和精度,而不是泛化能力。专业能力会复利增长;他以可能与 SAIC、Vantor 和美国海军合作的案例为例:为水下无人机集群微调模型,让它们执行反应、撤退、报警和接战,正是靠逻辑积累出的转换成本。
  • 对初级人才被掏空,他并不担心:5到10年的采用曲线给了行业足够的反应时间,而应届毕业生“是采用率最高的人群之一”,他反而在加大招聘。他的类比是:会计从“计算尺走向 Excel”,员工数量并没有下降——这就是 Jevons 悖论,“实际上会计工作更多了”,而且每个 FP&A 职能的规模“可能都比25年前更大”。

8. 资本推动物理世界扩张

  • 资本策略发生了反转:Invisible 成立9年来总共只募集了700万美元一级资本;如今已募得1.3亿美元(最初公布的数字是1亿美元),今年不会盈利。他的逻辑是:“你可以收获资本,也可以投资资本……我认为这是有史以来最适合增长的环境……我希望我们永远不要进入收获阶段。”他经常思考、也最害怕的决定,是是否要向500亿至1000亿美元规模的超大规模公司迈进——这意味着要在每个客户身上投入更多。对于 Mercor 募资20亿美元,他并不羡慕:自己的资金投向企业业务和核心软件平台,“和其他人的重点有些不同。”
  • 他目前还没有投资、但希望投资的方向是物理世界交互。一个案例是服务美国最大的农业集团之一,解决畜群安全问题:FDE 走进农场,“把 Starlink 终端放进这些农场,并构建定制计算机视觉模型”,判断何时派兽医。下一站是油井平台;机器人“需要更长时间,但一旦奏效会非常有意思”,而且需要针对具体任务的机器人,而不是通用机器人。
  • 如果给他一支4亿美元的基金,他的逆向配置是:模型层能带来回报,agent 层较为复杂,应用层“也很棘手”。对社会而言,真正有意思的问题是:“围绕 AI 创立的新公司,能否比大公司学会采用 AI 更快地获得分发。”他的押注是直接服务客户需求的 AI 原生企业,包括税务和会计领域的 genAI 原生服务,以及物理世界运营商。他认为 YC 最近一届的收入达到了“此前任何一届的2x”。
  • 对于70–80%的软件毛利率是否已经成为过去,他首先反问:“首先,70–80%的软件毛利率真的存在过吗?”上市软件公司的估值倍数在两年内从20x降到10x,因为盈利能力暴露出增长放缓;与此同时,“那些一体化单元会非常、非常赚钱”——客户获取更快、构建更快,也没有软件盒子的黏性束缚。

9. 信任胜过虚张声势

  • 他接手 Invisible 时,“如果你看遍整个公开互联网,我认为只有一篇文章提到这家公司。”如今他70%的时间都在出差,遵循 Marc Andreessen 的一个观点:“当私下叙事与公开叙事出现分歧时,那就是风险或机会。”比如,假设有人声称一个开箱即用的 agent 什么都能做,而事实并非如此,这就会给竞争对手留下机会。Stebbings 的反问值得保留:“这不就是我们的行业吗?……我们的工作就是先卖出去,之后再交付。”Fitzpatrick 的回答是:“我希望与我们合作的公司知道,只要我说这能奏效,它就会奏效。你只有一次机会做到这一点。”
  • 非确定性让“先吹出来再说”变得风险更高:合同签的是“交付50个 agent”,但接下来要问的是,究竟能不能交付这些 agent?它们能不能工作?他引用当天 AWS 的一份报告:70%的“agent”其实是传统脚本编写和自动化——“这就是为什么我根本不把自己定义为 agent 公司……agent 只是工具箱中的一种工具。”
  • 他也坦言,12年前在 McKinsey 工作时,行业还叫“数据分析”,自己曾在不知道具体要构建什么的情况下设定愿景,因为相信碎片化数据让企业决策陷入失效——美国70%的软件已经使用超过20年,银行平均93%的技术成本用于维护(Stebbings 补充:有一家银行仅 KYC 就有6500人)。反直觉的经验是:“我没有虚构它……我的整个做法是说,我认为这会奏效,这是我的理由——让我们把它做出来。”人们会信任这种表达;而“一个能解决你所有问题的开箱即用 AI”只会触发怀疑。

10. 战略会变,招聘很关键

  • 他最常思考的主题是:“只要找到优秀的人,其他一切都会随之而来。”这不只是招聘,还包括“招聘、留住并让优秀人才进化”,不要拘泥于岗位:“真正优秀的人会承担5到6种不同角色……要招全能型选手。”他的体育类比可能指向 Nick Saban:“他不是靠流程打造 Alabama 橄榄球队的,而是靠招募全国最好的橄榄球运动员。”
  • Stebbings 以 Revolut 为例提出反驳:Nik 的理念是,胜负取决于文化,“有边界的残酷能驱动人类”。Fitzpatrick 给出了一个值得注意的让步:“不,我认为这其实是对的”,前提是要规模化一个一致的商业模式。但他补充说:“我们很多工作本质上是研究和探索……这既是研究文化,也是执行文化。”当然,交付和运营“相当多时候都处于战时状态”,而优秀工程师应拿出30%的时间做新项目。
  • Invisible 不再把远程办公作为默认选项:公司连续9年完全远程,如今已在纽约、旧金山(原 Pinterest 办公空间)、伦敦、巴黎、波兰、华盛顿特区和奥斯汀设立办公室。生产力呈“指数级”提升;他今年把工程团队扩大了3倍,并发现“绝大多数人都希望线下办公”,尤其是入职时间较短的员工,但公司没有强制出勤。他的平衡方式是:每周7天待命与是否共址是两回事,而每周6天到办公室“过头了,会失去优秀人才”。
  • 他放弃了两种管理信念。第一是中央控制:“有点像谬误”——应当压平层级,让一线团队拥有自主权,同时提供一致的工具,就像军队一样。第二是战略本身:“至少在 AI 世界里,战略是一个有些被高估的概念……整个世界每3个月就会变化一次。”应保留核心信念,同时保持30–40%的持续迭代;“现在做5年战略规划没有用”,5年期规划适合文化和机构记忆。最后,他以一组数字表达乐观:AI 数据中心只占数据中心耗电的0.25–0.5%,而数据中心占全球用电的1%(空调占14–20%);美国医疗人均支出为1.4万美元,是德国或加拿大的2.5–3x,每年有25万人死于可避免的医疗错误(Johns Hopkins),这些都是 AI 可以解决的问题;而教育最让他兴奋:Invisible 会根据认知能力和技能评估“大量”从未上过大学的候选人。