20个问题,解读AI视频元年|对谈 Luma AI 产品经理 Barkley:从 Sora 惊艳亮相到群雄逐鹿的一年
摘要
- Barkley 的核心判断是,Sora 发布一年后,AI 视频没有出现第二次架构级范式切换。 Sora 验证了 DiT(Diffusion Transformer)取代 U-Net + Diffusion,并支持继续沿数据规模扩展能力的路线;此后进步主要来自物理理解、一致性、人物与动作生成的连续迭代,而非新的 paradigm shift。“现在的视频模型可能还没有到语言模型 GPT-3 的阶段。”
- 按 Luma 自建评测体系,录制时就纯视频 clip 生成效果而言,Google Veo 2 最强,但领先没有脱离成本与取舍。 动作幅度越大,一致性越难保持;美学越强,多样性可能越弱;模型效果越好,inference 时间往往越长。更值得注意的是“一般谁最后发布模型,谁可能最好”——训练时间、数据量与对上一代成果的吸收仍在快速决定排名。
- 行业尚未收敛为同一种商业模式,研究路线与应用路线的差异目前还不明显,未来可能逐渐分化。 Luma、DeepMind、OpenAI 更愿意押注视觉理解、世界模型与 AGI;Runway 深耕影视 studio,Pika、PixVerse 偏消费级特效,海螺更重全球用户增长,可灵更看商业收入与单次生成毛利。Luma 录制时累计融资约 1.6 亿美元,却把商业化定义为“相对重要但不是那么重要”,最新一轮融资也没有明确的商业数据要求。
- 视频模型近期最可形成壁垒的未必是算法点子,而是数据、评测和训练流水线的工程吞吐。 视频数据体量大、噪声多,压缩时还必须保存有效信息;从采集、标注、切片到配比投喂,Barkley 将其比作“工业厨房”。在没有统一 benchmark 的市场里,能快速建立标准、批量试错并把 creator feedback 回灌模型,本身就是核心能力。
- Luma 的长期赌注是:Barkley 认为,仅靠文字不足以得到完整 AGI,视觉理解与生成需要合并进世界模型。 Barkley 转述 Sam Altman 的反问:“你是怎么学习这个世界的客观规律的?你会看这个世界来学习吗?”目标因此不只是 text-to-video,而是融合视频、图片、声音、常识与语言的 “anything to anything”,既理解杯子为何落地,也能模拟它落地后如何破碎。
- 2025 年较有把握的产品突破是 character consistency,实时生成则仍是高潜力、低确定性的远期选项。 前者会降低连续叙事、小说改编与二创的“抽卡”成本;后者若把延时压低,用户可能边看《哈利·波特》边要求另一个结局,使“生产者和消费者的边界变得模糊”。Barkley 明确保留条件:实时生成“不一定能够在 2025 年完全实现”。
- 在研究型 AI 公司里,组织与人才分工正在变化:研究员获得方向主导权,PM 更多成为用户、数据和模型之间的连接器。 Research 十个想法可能九个失败,因此 PM 的价值不再是承诺 feature 按期上线,而是帮助选择值得试的方向、构建评测并快速识别问题本质。DeepSeek 给硅谷带来的 “shock” 又强化了 Barkley 对中国人才机会的判断:中国创业者在消费产品和中美市场理解方面有优势,中国人才在模型层研究方面也有很强能力,未来可能在全球应用和模型公司中获得更多机会。
精读
1. Sora 定下了 DiT 路线,却没有开启连续的范式革命
Barkley 对 Sora 影响的判断是:Sora 验证了 DiT 可以在大规模视频数据上工作,并以 Diffusion Transformer 取代此前以 U-Net + Diffusion 为主的架构,这才是最明确的 paradigm shift。
此后各家基本沿着 DiT 路线前进。物理世界理解、consistency、人物与动作生成都有显著改善,但更像模型架构和产品能力的逐步 improvement,而不是又一次 Sora 级断裂。
主播感慨一年像过了五年甚至十年,Barkley 却提醒行业仍非常早期:“视频模型可能还没有到语言模型 GPT-3 的阶段。”今天看似鲜明的研究与应用路线,未来几年才可能真正拉开距离。
2. Ray 2 的进展来自物理规律、垂直数据与继续 Scaling
Luma 在录制前一个月发布新一代的 Ray 2,先推出文生视频,随后上线图生视频。Barkley 举的代表性测试是小球沿阶梯滚落:模型能否更准确地模拟这一物理过程,而不只是产出视觉上漂亮的片段。
Ray 2 也不再只追求 general 的真实影像能力;团队对动漫等垂类进行了数据处理和 fine-tuning,希望模型在这些垂直领域里也能表现良好。
Luma 仍把自己定义成 research lab,除生成产品外还研究实时视频与视频理解。Barkley 的判断没有收敛语气:“Scaling Law 在视频模型上仍然是有效的”,Ray 2 做得不错,并不意味着能力已接近上限。
3. 视频没有统一 Benchmark,评测是主观指标与训练反馈的闭环
Luma 从 creator 访谈反推指标:aesthetics、真实事件与物理规律、画面一致性、prompt alignment。由于美学天然主观,团队会在模型有 API 的情况下批量生成视频,再交给全球众包网络比较。
物理能力可借鉴 Google 发布过的一组 benchmark,也可自行设计 prompt;但 Barkley 不记得该 benchmark 的具体名称。团队不会把这些标准包装成绝对客观,而是持续检查它们是否 align 内部预期与 creator community 的判断。
这套评测还承担训练反馈:先定位模型在哪类场景不足,再决定需要采集、标注和注入什么数据。评测结果会连接用户感知与 researcher 决策,形成改进闭环。
4. Veo 2 暂居第一,但质量、运动与速度无法同时最大化
被问“全世界谁最强”时,Barkley 给出直接答案:按 Luma 测试过的效果,Google Veo 2 是录制时纯视频 clip 生成效果最强的模型,也可能是业内普遍认为效果最好的模型。
这个排名附带三组 trade-off:更大的 motion 会损害 consistency;更强的审美效果可能较难保持 diversity;模型越大、效果越好,inference 通常越慢。Veo 2 的主要代价就是生成时间较长。
Barkley 观察到过去一年常见的规律是:“谁最后发布的模型,那个模型的效果可能是最好的。”原因不神秘——它训练更久、看过更多数据,也能吸收前代模型的特点;领先地位因此仍高度流动。
5. 美国玩家各有侧重,但研究、影视与消费路线尚未完全清晰
Barkley 将 DeepMind 与 OpenAI 归为大厂研究路线:DeepMind 一边推进 Veo,一边结合多模态和世界模型研究;OpenAI 的 Sora 产品正式推出后被不少人评价为“预期落空”,但据他了解仍在迭代下一代模型。
OpenAI 可以结合既有的视觉理解与多模态能力,不只是做视频生成。Barkley 推测其方向会更靠近 world model 和 AGI,但对具体投入程度保持了保留。
Runway 更集中于影视制作、专业剪辑及与 studio 合作;Luma 则偏向独立创作者和 prosumer——这类用户通过产品节省的钱,应远高于 subscription price,从而形成强 retention lever。
Pika 的重心更接近 consumer:用 AI 特效制造可传播的爆款和 trend,降低小白用户参与门槛。它争夺的不是最高端影视工作流,而是把 AI 变成娱乐行为。
6. 中国模型分化在增长、毛利与生态,DeepSeek 改变了海外注意力
Barkley 强调自己对国内公司的信息较少,以下只是个人直觉:海螺更像在争取全球用户规模,积极探索不同国家的 C 端场景,暂未把盈利放在最前;可灵更关心重点市场收入、业务正向增长及每次视频 inference 的毛利。
PixVerse 的定位较像美国的 Pika,集中于消费级特效;他对 Vidu 与腾讯混元了解不多,只谨慎推测混元借开源构建生态,Vidu 可能兼顾研究和 consumer。
Barkley 所在的从业者群体一直会评测中国模型,但美国 creator 此前仍惯性使用 Runway、Luma 与 Sora。DeepSeek 出圈后,Twitter 上开始出现更多自发推荐:“关注 DeepSeek,也要关注中国的视频模型公司。”可灵、海螺同期持续更新,又进一步吸引了海外注意力。
7. 研究路线用高失败率换突破,Luma 暂不以商业化为首要约束
研究与应用的分叉首先取决于创始人愿景。Luma 相信视觉理解和世界模型是通向 AGI 不可缺的一块,因此愿意探索当下成功概率不高、但一旦 scale up 可能产生突破的方向。
Barkley 描述的研究赔率很直白:很可能“十个 research 里面九个想法都是 failed 的”。剩下一个若成立,放大后可能形成 Sora 式出其不意的效果;代价则是长期投入、成本与组织耐心。
在 research 与商业化的权衡中,Luma 当时明显站在前者。商业化“相对重要但不是那么重要”,公司主要依赖融资推动下一代研究,同时控制 inference 和 research cost。
Barkley 称,美国 VC 对这一路线给予了长期信任;即便最新一轮融资,也没有明确要求商业化数据,而是关注 Luma 如何定义视觉 AGI 或世界模型。DeepMind、OpenAI 同样持续押注 AGI,应用型公司则更集中于生成后的消费场景。
8. 视频会复刻 Scaling Law,但数据噪声让工程路径完全不同
Barkley 相信文字模型过去两年的演进会在视频重演:沿 Transformer 持续扩大模型和数据,形成通用基础能力,再发展对现实世界的推理与模拟;届时 base model 甚至可能比文字领域的 GPT-4 大很多。
视频的特殊困难是信息体量与噪声同时增加。一张图片或一个视频包含的信息点不一定都有用;模型接收这些数据后,还必须理解它们之间哪些关系和规律是真正重要的。
因此“继续 scale”不是单纯增加视频数量。如何压缩而尽量保留信息、如何处理和组织数据、如何让模型真正理解数据之间的关系,都会使视频训练的具体工程方式明显不同于纯语言模型。
9. “只会读书的模型”不足以学会完整世界
Barkley 将 AGI 路径之争分成两派:以 Dario Amodei 为代表的一侧相信语言资料足以理解世界关系;以 Yann LeCun、李飞飞等人为代表的另一侧认为,人类首先通过视觉反馈学习,视觉模型不可缺席。Barkley 还提到,Anthropic 一直没有去做多模态的生成或理解模型。
他曾在 OpenAI Dev Day 的 After Hours 活动中追问 Sam Altman:Sora 是否仍是重点,视频生成是不是 AGI 必经之路。Altman 反问:“你是怎么学习这个世界的客观规律的?你会看这个世界来学习吗?”
Altman 随后的回答是:“我们不会指望一个只会读书的模型,能够学到这个世界上所有的规律。”Barkley 据此判断,即使 OpenAI 未必始终把资源集中在 Sora 生成产品,视觉理解和多模态研究仍会继续。
10. 世界模型必须同时理解规律并模拟尚未发生的结果
Barkley 先承认世界模型没有单一定义,再将其拆成两层:第一层理解真实物理规律;第二层根据这些规律模拟未来。手松开杯子后,它如何受重力、地面摩擦和材质影响而坠落、破碎,就是最小测试。
理解和生成是“一枚硬币的正反面”:模型既要看懂手里拿杯子的画面,也要根据一张静态照片准确生成松手后的过程。未来机器人递水,同样必须兼有理解和模拟整个过程的能力。
Luma 因而把终点想成 “anything to anything”:视频、图片、人声、音效、语言、common knowledge 与 know-how 都能成为输入或输出。视觉理解模型还可能与语言模型结合,用语言作为浓缩和组织信息的途径。
World Labs 更偏向 3D 路线;Luma 曾做 3D 重建与生成,后来选择通过视频和海量数据学习规律,但 Barkley 强调这“不算放弃”,只是认为当前还不是大规模 scale 3D 的阶段。DeepMind Genie 2 则代表另一条视频路径:在游戏中进行模拟、实时生成场景并转换不同视角。
11. 数据流水线是“工业厨房”,吞吐效率可能胜过算法花活
Barkley 所说的工程与管理优势,首先是快速 inject 和 output 数据。Scaling Law 假设模型看得越多、能理解和生成的范围越广,那么训练吞吐、压缩方式与数据处理速度就会直接转化为模型能力。
他的类比是“工业厨房”:视频数据是菜,有人清洗、切分、归类,再决定切成什么片段、按什么比例投入锅中。采集、标注、压缩、切片、排布都未必包含研究创新,却能决定训练效率。
算法创新更多表现为在 DiT 上做局部修改,或为视频、图片编辑提出新方法。常见过程是学界先给出猜测,具备大模型训练能力的 startup 再 scale up 数据,检验它能否从小实验变成广泛可用的产品能力。
12. 没有火车站时,先让画出的马跑起来
评测没有统一标准,第三方标注者甚至不知道如何判断“美感”。Luma 的做法是给出多套样例和规则,大规模测试哪些结果最符合团队与 community 的直觉,再持续 cross-reference 和修订。
Barkley 将这种文化总结为“大胆去试”“大力出奇迹”和 trial and error。主播说这像造火车时连火车站都没有;他的回应是:“画一匹马,不管画出来是什么样,它只要能跑就可以。”
这种不确定性也进入招聘。CEO 常问 candidate:“这是一个从来没解决过的问题,你要怎么去做?”Barkley 认为答案要看具体事情和候选人的思路,没有固定模板。
13. 情感连接、传播趋势与角色一致性
Luma 第一代视频模型发布后,一个简单玩法逐渐变成有情感重量的 use case:用户并排上传自己与已故亲人的照片,输入 “Let them hug”,让旧照片与现代照片中的两个人重新拥抱。Barkley 称它“很让我感动,很人性化”。
另一类传播来自 transformation,例如 “Apple Dog”:狗叼着苹果,苹果突然消失,随后出现各种有意思的变身场景。这类内容形成了新的传播趋势。
Barkley 对 2025 年较有把握的判断是 character consistency 会大幅改善,因为包括 Luma 在内的多家公司已取得不错的模型效果。连续故事将不再依赖反复“抽卡”,影视短片、小说改编和二创内容会显著降低制作门槛。
实时生成的想象更大、确定性更低:观众可以在观看《哈利·波特》时要求另一个结局,模型立即改写后续。若延时足够低,内容会根据每个人的需求定制,“生产者和消费者的边界会变得模糊”;但他明确说这未必能在 2025 年完全实现。
14. 大厂激励压制高风险研究,AI 公司身份之争仍无定论
Luma 午餐时常聊大厂研究八卦:非 researcher 管理者要在前沿探索与团队稳定产出之间选择,多数会选后者。因为研究失败可能影响晋升乃至团队存续,这套 incentive structure 会阻碍创新。
Runway CEO Cristóbal Valenzuela 的公开立场是,公司应被视作 media and entertainment company,而非 AI company;AI 最终会像水电一样普遍,继续以 AI 自我标榜已没有意义。
Luma CEO 随即在 Twitter 反击,大意是“误打误撞进入 AI、又不真正懂 AI 的人会这么说”,还配了一段青蛙吐舌头的生成视频。Luma 相信前沿模型每次提升都会拓宽应用边界,因此应先推进底层能力;Runway 则更愿意从 studio feedback 反推模型。
Barkley 没有替任何一方判胜:“两个都没有严格意义上的对错”,也可能只是时间尺度不同。随后 Ronghui 感慨,硅谷许多公司的 CEO 会直接在 Twitter 上争论,这种 “Everything in the Bay Area happens on Twitter” 的现象很有意思。
15. 在 Luma,AI PM 从需求负责人变成模型、数据与用户之间的接口
Barkley 在 TikTok 特效团队时由 PM 定义需求、向 research 提任务并推动上线;进入 Luma 后,researcher 决定主要研究方向,PM 转为辅助。最初有“不是那个能够 command 一切”的落差,后来他认为这更符合研究的高不确定性。
互联网 feature 原则上总能被工程实现,AI research 却可能十个方向失败九个。PM 的职责因而变成协助定义最值得试的想法,而不是要求它们都按时间表上线;模型评测、数据补齐与 creator insight 是他的主要杠杆,最终研究方向仍由 researcher 拍板。
模型层与应用层 PM 存在明显差异:Sora、Veo 等团队的同行同样重视 data 和 eval;应用层 PM 则可以不绑定某家模型,重点寻找最佳场景、feature 与交互。Luma 录制时只有 Barkley 一位 PM,也没有成熟 senior 模板或 mentor,招聘更看重能否迅速 “figure out” 未定义的问题。
他的学习方法是与 researcher 聊、读其推荐的 paper,并高频试用各家视频、LLM 和 agent 产品;他也在较多尝试使用 Windsurf 写自用小程序。一位前 TikTok 同事则用 tldraw 把论文和产品连成思维地图,在跨领域方法之间寻找“不变的主题”与新组合。
16. 中国人才同时握有消费产品经验与模型研究两张牌
Barkley 认为,中美双重市场理解在 consumer AI 中尤其稀缺:美国过去真正火起来的 C 端产品可能是 Snapchat,之后是源自中国团队的 TikTok。中国创业者对消费者心理、中美市场、C 端生态及 AI 硬件的理解,可能催生更多全球应用公司。
模型层的机会同样存在。他认为中国在模型层研究方面也很强,并观察到硅谷许多 AI 公司的核心 researcher 是华人,不论 PhD 在中国还是美国完成。
DeepSeek 给 Luma 团队的冲击来自两面:一家中国公司既能在底层模型技术上突破,又能在应用层快速增长。CEO 因而追问中国为何一面被描述为不做基础研究,一面又能诞生 DeepSeek;团队也由此更加重视中国人才。
Barkley 承认地缘政治会影响流动,但仍相信 AI 最终会在全球合作与竞争之间互相 improve。对他个人而言,DeepSeek 也是一次 “reaffirmation”:坚持愿景、持续 scale 模型和投入基础研究,可能最终取得结果。