E253｜谁在给大模型出题、卖题、判卷？聊聊AI数据行业的野蛮生长

摘要

• AI数据赛道估值正在以远超基本面透明度的速度膨胀：三名20多岁创始人创办的AfterQuery今年4月A轮估值还是3亿美元，9月新一轮已推到32亿美元，不到半年涨了10倍，创下YC公司从启动到成为独角兽的最快纪录；Meta入股Scale AI给出超290亿美元估值，Mercor去年10月融资估值达100亿美元。 节目后段，Yiwen指出数商估值空间通常不如能长期依靠既有用户和产品获利的传统平台；孙一铀也认为数商很难长期保持这种杠杆。
• 行业需求重心在从人工标注转向rubric（评分细则）和RL environment（强化学习环境）。 Scale AI的何允中入职时rubric data还很新，“现在Rubric感觉已经过时了，大家都在讲RL environment”；但他也强调pre-training仍然重要。核心逻辑是weak-to-strong supervision——让专家把打分规则写下来，弱模型"拿着教授写的打分规则"就能监督强模型，而今年主题转向coding和让agent"动手"的完整环境。
• 两位嘉宾在rubric是否到头上公开分歧，这是判断赛道存量的关键信号。 允中认为比较容易获得的专家Rubric已经收得比较干净，尤其是静态、单轮或多轮文本输出的需求相对变小；伯克利的孙一铀反驳"Rubric这一块……其实还远远不够"——专家主观判断（游戏好不好玩、公司决策好坏）还没有成型的量化评测体系，而这可能是未来的需求。
• Benchmark与卖数据不能混为一谈。 一铀称私下听说有数据公司把自己正在用于评测的数据拿去卖，并敲响警钟：不能让生意污染Benchmark的权威性；他的框架是"Benchmark面向的是未来，数据面向的是现在"。只要榜单贴近真实用户体验，“Bench-maxxing不一定是贬义词”。
• 在垂直领域，采购正成为重要卡点和创业机会。 一个玩家只有几千人的MOBA游戏，源码要价能到两三百万元人民币一条；芯片设计要解决商业软件版权，有公司据称做了整套AWS模拟器；ALE V2用Nature子学科分类展开到第三级约3000个节点，发现现有生物类Benchmark覆盖率"可能10%、5%都不到"——医疗等敏感垂类"谁能拿到大量的病例数据，谁就会非常有优势"。
• 允中的"暴论"：大模型实验室未必有最好的基因解决数据问题，数商的真正护城河是研发。 如果一边把FDE派进企业、一边收集该企业数据，可能产生利益冲突，企业"不太放心把数据交给你"；好数商应该像软件公司一样提前投入R&D、把行业问题研究清楚再卖给deadline很死的lab，最终"拼的还是一个研发能力"，谁能把研发固化成flywheel谁赢。
• 数据造假比数据污染更难防，激励机制设计是尚未解决的巨大研究领域。 公开数据污染相对容易检测，但专家编造的化学模拟"没有个几个月根本查不出来"，验证专家本身也可能偷懒——“众包的Benchmark为什么难做，就是难做在这里，人性非常复杂”；OpenAI今年2月停报SWE-bench Verified分数，何允中印象中该榜过去6个月只从74%涨到80%，剩余问题可能集中在题目或脚本缺陷上。
• 新玩法已延伸到私募股权：买下传统公司，用AI提效、裁员重组并提升公司价值之外，再把它的数据发掘出来卖钱。 允中的极端推演（自称AI doomist view）：若未来5—10年保持这个速度，把各行业数据都蒸馏出来，数据加大模型"可能就是世界上最大的两个行业"。

精读

1. 估值狂飙：不到半年10倍的AfterQuery与百亿美元级数商

• 主持人Yiwen开场给出的坐标系：AfterQuery今年4月A轮估值3亿美元，9月新一轮已达32亿美元，“不到半年涨到了10倍之多”，创下YC旗下公司从启动到独角兽的最快纪录；Meta入股Scale AI估值超290亿美元，Mercor去年10月融资估值100亿美元。
• 本期设问也是投资人最想问的：这些公司到底在卖什么，模型公司为什么愿意给那么多钱——从rubric（评分细则）到RL environment，再到榜单分数究竟代表什么能力。
• 两位嘉宾的身份互补：何允中在Scale AI负责post-training与evaluation research，自称"有一点像整个行业的一个外包数据research团队"（声明观点为个人）；孙一铀是UC Berkeley博士后、Agents’ Last Exam（ALE）项目研究者。ALE由Berkeley RDI与300多位行业专家共同领导，公开任务150多个、覆盖50多个细分行业，目标是在几个月内的V2中放出1000多个任务。

2. 数据公司图谱：招聘系、众包系、合成系与数据broker

• 允中按"基因"分类：招聘出身的Mercor（有自动AI面试产品，主打短时间找到足够量专家）；Scale AI这种从众包网络出身的"传统数商"；做合成数据的新公司；以及更偏research和engineering的新秀如BigCode、Snorkel AI，允中猜测它们可能主要生产代码或tool call这一类环境，抓住今年的风口；还有纯broker——“可能是好莱坞的一个人，他有特别多的版权数据，他知道怎么把这东西卖出去”。
• 有趣的边角：具身智能公司"暂时没赚到钱，但它花了大量精力投资、制作数据，就顺便做起了数据生意"。
• 每家数商都面临同一个取舍：全职培养的人能力强但灵活度和产能可能较低，众包网络灵活但"每个人的质量就比较难保障"——Scale AI的优势之一是既有数据质检经验，也有人力方面的质检经验。

3. 从预训练标注到RL：rubric的本质是weak-to-strong supervision

• 允中复盘转向：o系列模型出来后"发现这RL跑通了，一下子大家兴趣都在RL上"。RL需要可验证信号，数学、代码天然有标答；但医疗、金融、指令遵循的标答"比较不结构化"——“就好像我去答历史考题，历史考题是有标答的，但是每个人的写法可能都不太一样，我很难做这个pattern match”。
• Rubric的核心原理：让专家把脑海里的知识写成打分规则，“相当于我让一个TA拿着教授写的打分规则来给你打分……这个TA也不需要特别聪明”——这就是大模型数据中的weak-to-strong supervision，用弱模型监督强模型。
• 但今年趋势是"大家需要动手了"：从验证聊天输出转向agent setting——工具、沙盒、检查环境变量是否执行、数据库是否写入，验证方式包括programmatic check、rubric、preference，“暂时还没有形成特别大的共识”。比如Terminal-Bench可能完全不要rubric，而是纯programmatic check；各家公司要的东西仍然不一样。

4. 分歧点：rubric到头了吗？ALE要从vibe coding推到vibe everything

• 孙一铀直接提出不同看法：“我跟允中的看法有一点相反……我觉得Rubric这一块，尤其是专家主观判断类的题目，其实还远远不够。“允中随后澄清：说到头的只是"静态的、单轮或者多轮聊天，输出一段文本，然后用Rubric检查它"的行业趋势；各领域训练"肯定是远远没有到头的”。
• ALE的初衷：vibe coding发展快是因为coding的Benchmark多且容易verify，“你去刷这个榜，但你只要刷的是有益的分、是有意义的题，那它模型带来的提升，对于人的日常工作来说，就是实打实的提升”——把这套机制推广到vibe everything，终局是"当你解决这个Benchmark的时候，基本上就能解决人类社会在某些领域真正有益的问题”。
• 工程产出的评测难点：输出不唯一。“你让它生成一个游戏，甚至有些数学解法它都不是唯一的”，硬和ground truth比对会造成不一致——Rubric如何兼容多样输出，是构建Benchmark时仍要解决的问题。

5. 主观评判的前沿：左脚踩右脚，与"猫要可爱"的混合方案

• 允中的框架：“大家希望左脚踩右脚”——模型变强则验证器变强，验证器变强则Rubric可以写得越来越模糊，把更多知识交给验证器；但底线是"Rubric加上验证，这两块加起来的知识和能力，应该比我要训练的模型要多，不然就达不到训练模型的目的了"。
• 生图的例子最能说明混合方案：instruction following部分用Rubric——“图里要有一只猫、那只狗，甚至我跑一下OCR把那个字提出来”；但"这个猫要是一只可爱的猫"极度主观，可能要专门训练一个掌握人类主观体验的reward model，与Rubric结合。
• Yiwen进一步举例说明，游戏"好不好玩"也许可以借助入门教材中的评判方式，例如奖励曲线是否平滑、是否符合大脑的多巴胺反馈机制来做一定量化；但市面上"还没有看到一个做得特别完整的、公开出来的评测体系"，因为需要专家更深度地参与。

6. 人决策、agent执行：决策数据是最难蒸馏的东西

• 一铀的任务分类学：从Cursor时代人参与执行，演化到"人负责决策，agent负责执行"。任务说得越清楚、输出越唯一，确定性Rubric越好用；但如果决策本身也要被agent取代，问题就来了——“对于一个上市公司领导层的一个决策，你该如何去train一个reward？它每天的任务都在变，你很难收集到足够的数据”。
• 允中的呼应：在Meta这样的公司里，“猫可不可爱"可能还能通过用户行为反馈训练模型，“但是公司的决策我就很难收到这些数据了”。ALE让专家把以往做过的项目和决策交上来，是一种方案——“以后收数据可能是，大家怎么样找到好的激励方式，让大家把一些重要的东西交出来，尽量地能够回溯当时这些重要的决策”。

7. Benchmark与卖数据：红线、诱惑与"面向未来vs面向现在”

• 允中解释了生意为何产生：提升模型能力的数据和榜单评测方式息息相关，构造Benchmark的人对领域认识深，“自然会给他一定卖数据的权威性……这个生意就这么产生了”。
• 一铀则称生态"还比较野蛮地发展"，有多少人在做科学研究、有多少人在做Bench-maxxing需要权衡，并敲响警钟：他"私下听到，是有一些数据公司，它踩了这个红线，就是它把自己在做评测的数据去卖……不能让你做的生意污染你这个Benchmark的权威性，不然的话你不仅毁了你的Benchmark，也毁了其他人的模型"。
• 他的定位框架是：Benchmark面向未来，数据面向现在。ALE年初做的时候曾担心太难失去意义——当时模型平均分只有10%到20%、大部分题拿零分——“但事实上没有必要担心，因为Benchmark本身就是要面向于未来的模型去做的”。只要榜单贴近真实用户体验，“Bench-maxxing不一定是一个贬义词”。

8. 好Benchmark的两个标准，与Artificial Analysis的分布之疑

• 允中的选榜逻辑：模型能力提升的最大ROI还是能力本身，“这些能力提升了，它应该是惠及各个Benchmark”；如果"只涨这个，别的都不涨"就危险——在犄角旮旯解一个奇怪智力题不代表认知能力提升。第二类好Benchmark是贴合大家在意的场景（如personal assistant），它"甚至未必测的是模型本身，它可能还测了你的harness"。
• 一铀对Artificial Analysis的质疑：AA给各家Benchmark设置不同权重并综合成分数，但"它分布的这个权重是不是真的是大伙需要的权重……大家质疑的更多不是这个模型本身，而是质疑这个榜单本身"。所以Anthropic、OpenAI这类头部厂商倾向自建评测体系，第三方评测则能让它们对外发布时"更有说服力一些"。
• 理想分布的定义接近用户体验，类似LMArena的模式，但Agent时代"一个长程任务动辄几个小时"，用户没有足够精力每次同时运行多个Agent并打分——现实中很难拿到真正的Ground truth；“但如果有哪家公司有某种方式解决了这个问题，那肯定很厉害”。

9. 榜单生态的随机性：SWE-Atlas被收录、ARC被特化、Claude Code的主观胜利

• 允中讲了SWE-Atlas的内幕故事：Scale做了三种风格的SWE-Test（代码仓库问答Q&A、代码重构、写Test），分三阶段推出，“不知怎么回事，Q&A先被Artificial Analysis收录了……突然间这一块需求就变大了”——Q&A其实是最简单的场景，复杂Benchmark反而还没来得及推出并合并；榜单上你看到什么、实验室使用什么，“其实是有一些随机因素，这个生态其实还比较深、比较复杂”。
• ARC Challenge类小游戏Benchmark的教训：初衷是测人类智力，“但是没想到这个智力其实也是可以做得特别特化，一个小模型也能把它搞出来”。
• 一铀用Claude Code与Codex对比说明用户评价的主观性：Claude Code在LMArena上分数一直遥遥领先，因为output format"更贴近于人们心目中想看到的"；Codex"执行得更细致一点"但输出不易读、“稍微吃了点亏”——“我个人还更偏好于OpenAI那边一点，因为它做得更细致，犯的错误更少”。允中补充：线上A/B test和评测结果经常不一致，factual的内容和clickbait、说用户爱听的话，用户反馈可能完全不同。

10. 终局像搜推，但场景增长快过用户沉淀，Benchmark长期有需求

• 允中援引自己在Meta做多年搜索推荐的经验：产品成熟、用户体量到位后，“最后你其实关心的还是用户增长……看什么样的指标跟用户增长最相关，最后就朝着赚钱的方向走”。
• 但大模型不同于传统搜推：场景一直在冒新的。“现在大家都在关注新的方向，比如科学发现，我不可能有足够多的科学家给出显著的A/B test结果”——“场景增长的速度赶不上我在这个领域用户沉淀的速度”，所以对Benchmark作为评价标准仍有大量需求；沉淀下来的领域才会走向线上评测和DAU相关性指标。

11. 采购是重要卡点：两三百万一条的游戏源码，与覆盖率不到10%的生物版图

• 允中把后训练数据拆成两个问题：采购（把原材料买回来）和加工（标注、通过Agent pipeline做成训练环境）——“在这个垂直领域问题上，其实采购变得越来越复杂”。今年小团队机会集中在coding，是因为软件行业"非常的open，有大量的公开资料"，但往垂类走：芯片设计要解决商业软件版权，DevOps方向"我知道有个公司做了一整套AWS模拟器"，谁解决采购谁有巨大优势。
• 一铀给出的价格锚点触目惊心：ALE V2也尝试收集Steam上的游戏库或游戏开发任务，其中一个"名不见经传的、大概几千人玩家的MOBA类游戏"，源码"要价能要到两三百万人民币一条"——“我觉得哪家数据公司或者别人做Benchmark，都没有这个财力去做这个事情”。
• 缺口有多大：ALE V2按Nature出版物的子学科分类把生物领域展开到第三级，约3000个节点，统计现有life/bio Benchmark的覆盖率"大概是可能10%、5%都不到，甚至连一个成型、覆盖面完整的Benchmark市面上都没有"。允中点名医疗是数据敏感且稀缺的垂类；世界上还有很多外人不知道的行业——“我才知道做药物研发，大家还会交易这些分子，一个分子还能倒腾几套，这里面还要做DD”。

12. 允中的暴论：lab未必有做数据的基因，数商的护城河是研发

• 一铀的追问很尖锐：模型公司自造数据能力越来越强，门槛会不会对非头部数商越来越高？“数学这块领域，之前大家只需要去影印那些奥数课本就能批量造数据，但这些数据现在基本上是零价值。“允中承认：“如果只盯着我手上的工作，这个一定是越来越难做的……你的margin也会越来越低。”
• 但他的第一性原理判断是：“你要想这个世界上还有多少东西没被蒸馏干净，是巨大的机会。“而且"可能lab未必有最好的基因来解决数据的问题”——合成数据按理说是实验室后训练研究的一部分，今年这波增长却来自"懂行的人在外面把这个数据合了再卖回去”；采购上lab甚至可能有conflict of interest：“一方面把你的FDE派到了人家企业里面，另一方面你有一拨人在搞这个企业数据，如果我是一个企业，我是不太放心把我的数据交给你的。”
• 数商真正该做的是研发：提前判断哪些行业重要、买回原料、自己先投入R&D把行业问题研究清楚、做成Benchmark或数据并证明有效性，再卖给"deadline都很死"的lab——“长期来说拼的还是一个研发能力”，谁能把研发能力固化成flywheel、有一条持续发掘新东西的流水线，谁有最大优势。买断（花更多钱独占数据）是解决"同一份数据卖给多家"的常见方案。

13. 训练recipe、RSI与造假：奖励机制是最大的未解研究领域

• 数据交付后的用法有讲究：简单数据直接SFT，Rubric类走强化学习；今年的buzzword是RSI（recursive self-improvement），“AI自己研发自己”——跑一次可能需要几天到一个星期、并可能需要一张GPU让模型训练模型的任务，“训练方式其实就开始变得有一些模糊了……还没有太多的共识”。定制包括：模型厂商会把未发布的模型给数商筛难度（“题太难了它啥也做不出来”），轨迹采集甚至设法让人类生成可解轨迹供SFT；防Reward hacking要用Agent做red team，Reward还要管budget——“我可能还关注它消耗了多少资源”。
• 污染问题：Yiwen介绍，OpenAI今年2月停止报告SWE-bench Verified分数，并指出测试缺陷与数据污染两类问题；一铀补充，该榜"过去6个月只从74%提升到了80%"。何允中认为剩余问题可能包括脚本太严苛、题目本身不可解或其他问题；如果剩余20%集中在这些问题上，Benchmark自身就可能失去比较意义。
• 比污染更可怕的是编造：ALE有人为了拿署名"调用Agent合成一堆乱七八糟的数据”，还出现过法院证据这类不合规提交；“最难的是编造数据，比如让你去做一个化学模拟，它根本就没有跑过这个任务，自己编了一套似是而非的东西，你没有个几个月根本查不出来”——而请另一个专家验证成本极高（本身要一两周才能完成），且验证专家本身也可能偷懒。“众包的Benchmark为什么难做，就是难做在这里，人性非常复杂。”
• 允中认为出路在激励机制设计，这是"巨大的Research area”：Proof of work——“要求你把做这个东西的一整段工作流程全部都录下来……老老实实待着做12个小时，每一步都给我交出来，那他可能就没有那么大的动机给你编假数据了”。附带的行业判断：在有足够MCP和API调用时，所谓"真实工作流数据"中"95%以上的任务都能够被划归到coding的问题上来"，因为"代码就是Agent的手跟脚"。

14. PE新玩法、数商估值折价与ALE 2.0的激励经济学

• 允中透露的新趋势：Private equity的flip玩法多了一层——买公司、用AI提效、裁掉一部分人并提升公司价值，再卖掉之外，“我还能把它的数据发掘出来，它数据还能卖一些钱”，数商和传统PE都在看。他的极端推演（自称AI doomist view）：若5—10年保持这个速度，“把各个行业的东西都给拿出来，可能这个东西跟大模型本身就是世界上最大的两个行业”。
• 对估值的清醒判断（一铀）：“数商的估值空间一般没有传统的公司来得大，就是因为它很难把这个杠杆保持住”——不像Facebook、Google积累用户后能"躺在那里吃老本挣钱"，“模型迭代速度太恐怖了”，数商领导者必须持续思考下一步。
• ALE 2.0最难的地方反而印证了激励机制的重要性：学术项目较容易吸引这个级别的专家无偿提供数据，他们可能不是单纯为了钱，而是希望大家一起把事情做好，或看重作者署名；而按Mercor官网价格，制造业工程师约一两百美元一小时——“这种价格就限定了它不可能招到特别特别高级的工程师。奖励制度不一样，就导致你能吸引到的人不一样，你的上游是不一样的”。