
Edwin Chen
前沿洞察
数据质量决定AGI天花板,其优先级高于算力与算法。Surge AI以百人规模实现超10亿美元营收,本质是用技术体系做数据质检与评测,而非廉价人力外包。Edwin坚信千条专家级精选样本远胜千万条合成数据;警示盲目追求合成规模与刷榜评测(如LMArena)正劣化模型本质。前沿格局未定,核心竞争力在于真实、长周期的高维数据治理。
观点集合
为 AGI 提供底层数据的创业公司
Surge 在2024年营收突破10亿美元、员工仅略超100人,核心优势是专家数据的质量控制系统,而非廉价劳动力。需求正转向多模态、多语言和长周期任务,但排行榜激励与合成数据规模仍可能损害模型质量。
查看摘要(7段)
2020 年创立、未获风险投资支持的 Surge 在 2024 年营收突破 10 亿美元,员工仅略超 100 人——意味着人均营收约 1000 万美元。 Chen 将这种资本效率归因于坚持使命导向、避免打造组织“帝国”,以及向真正重视数据质量的研究人员销售。对于 Surge 认为与 AGI 无关的项目,公司甚至会放弃其收入。
Surge 所称的差异化优势是质量控制技术,而不是廉价劳动力。 Chen 将竞争对手形容为依赖电子表格的“人肉外包工厂”,同时强调用于衡量工人与任务质量、追踪质量变化、开展实验和过滤低质量产出的系统。「不能只是把一群人扔进去」(“You can’t just throw warm bodies at it.”)。
生成式 AI 数据让旧有的共识式标注模型变得不够用,因为多数偏好可能筛出通用、最低公分母式的产出。 一首 8 行月亮诗可以满足所有检查项,却依然糟糕;英语文学博士也可能缺乏所需的创作能力。Surge 转而试图保留多元洞察——写诗或证明勾股定理都可以有“一千种方式”。
需求已从搜索评测和内容审核,转向多模态、多语言、专家级 LLM 工作,足以让贡献者连续投入数天甚至数周。 Surge 目前覆盖超过 50 种语言,包括用阿根廷西班牙语编程,以及在玻利维亚提供法律或金融专业知识。Chen 预计前沿将从研究生 STEM 能力进一步迈向真正的科学协作。
Chen 认为,基准测试激励可能带来更高的分数,却造出更差的模型。 在 LMSYS/Chatbot Arena 排行榜上,普通评测者可能奖励更长的答案、格式和 emoji,即使答案在幻觉或无视指令;据称,一些研究人员只有在模型获得 10 个排行榜积分后才有资格晋升。Chen 的判断异常绝对:这个排行榜“至少让行业倒退了 1 年”。
Surge 倾向于在有限的 SFT 启动之后采用 RLHF,同时认为合成数据有用,但一旦压过人类信号就会带来风险。 一项评测中,使用 1000 万至 2000 万道合成数学题训练,改善了狭窄的学术领域,却让模型在其他领域变差。Chen 说,一些实验室后来丢弃了规模相当的数据,因为发现“哪怕只有 1000 条真正高质量的人类数据”也更有用。
Chen 看不到模型开发的瓶颈墙:下一轮扩展将来自更丰富的 RL 环境、更长周期的智能体、个性化、创造力,以及持续投入的人类数据。 一个例子是模拟的 AI 初创公司,里面包含 Gmail、Slack、Jira、GitHub、代码库,以及突发的 AWS 或 Slack 故障。按照当前激励机制,他猜测闭源模型将继续胜出;不同实验室的数据支出可能约占算力支出的 1% 至 10%,而这部分占比应该更高。
Surge CEO兼联合创始人 Edwin Chen:零融资做到10亿美元以上营收
Surge AI依靠高质量人类数据和零融资MVP做到10亿美元营收;Edwin认为竞争对手只是无法衡量和改进数据质量的人力外包商。他将数据质量置于算力和算法之前,认为合成数据与基准测试优化被高估;AI会偏爱10倍工程师,而AGI和前沿模型格局仍未定型。
查看摘要(7段)
- Surge AI从2020年起步、零融资做到10亿美元营收。 GPT-3发布后,创始人Edwin用了“几周时间”亲自做出V1,随后发在博客上;公司第1个月就实现盈利,且没有销售团队。他拒绝以300亿美元、甚至1000亿美元出售公司:“我绝对不会以300亿美元、甚至1000亿美元出售……被收购就等于承认失败。”
- Edwin认为,竞争对手本质上是“披着科技公司外衣的人力外包商”:靠简历筛选招来一批“人肉劳动力”,没有衡量或提升数据质量的办法。 质量控制是真正的对抗性问题:CS专业毕业生中有一半“连代码都不会写”,而会写的“会想办法骗你”——把账号卖到海外、用LLM生成数据。
- 他对AI进步瓶颈的排序是:数据质量第1,算力第2,算法第3。 拿算力硬砸垃圾数据,只会带来“并不存在的进步”——各家实验室反复在6-12个月后发现,训练数据和评测数据都是垃圾,有些模型甚至比起点更差。LM Arena就是典型:投票者奖励emoji、加粗和篇幅,而排行榜第1的模型坚持认为Pope Francis还活着。
- 合成数据被高估了:大量用合成数据训练的模型擅长“合成问题,而非真实问题”;客户告诉他,“1000到2000条真正高质量的人类数据……价值高于1000万条合成数据”。 Surge的大量工作,正是在清理合成数据造成的损害。
- Scale被收购后,Surge迎来了一波兴趣。 在顶尖研究员圈子里,Surge是“这个领域最大、最好的公司”早已是公开的秘密;出于历史原因仍在使用Scale的团队带来了“巨大的兴趣浪潮”——这也呼应了Handshake的Garrett告诉Harry的说法:Scale客户迁移形成了“潮汐般的浪潮”。
- 整个故事背后的效率逻辑是:在Google、Facebook、Twitter,90%的人都在做没用的问题,这些工作只是为了让VP印象更好;因此,规模只有其1/10的公司可以快10倍。 他相信100倍工程师确实存在——速度、想法、工作强度各提升2-3倍,会议减少2-3倍;AI“会不成比例地利好本来就是10倍工程师的人”,而一家由单人创办、营收10亿美元的公司“总有一天会出现”。
- 快问快答中的预测包括:如果说的是自动化普通工程师的工作,时间点是2028年;如果说的是治愈癌症,时间点是2038年;最大的模型提供商可能尚未成立,因为“我们距离AGI还只有2%或5%”;多个前沿AGI将以不同个性并存;而今天的基准测试作弊,本质上已经是纸夹最大化问题,模型能力越强,风险越大。