从医学院学生到一线AI艺术创作者|和海辛聊视频生成工具、市场和几次人生的「十字路口」
从医学院学生到一线AI艺术创作者|和海辛聊视频生成工具、市场和几次人生的「十字路口」
摘要
- AI视频暂时没有SOTA,创业窗口因此仍有机会。 海辛的判断是:正因为没有一家能攻克所有方向——可灵写实第一梯队、海螺赢在风格化动画和镜头控制、PixVerse赢在速度与转场——细分玩法(视频文字包装、自动打光、特效模板)“都甚至有戏”。Pika专攻视频特效,就是活例。
- 需求端已从"买AI噱头"切换到"买效果"。 Runway Gen-2出来后,联想×GQ的广告主打卖点还是"这是一条AIGC的片子";到今年,伊利金领冠、霸王茶姬都是"追着效果来的,而不是追着这是AI来的"。他的结论:“AI从一开始的噱头逐渐变成真的是工具”——而且他们的报价不降反升,因为AI有传统制作做不到的增量效果,不只是降本增效。
- 三大技术突破让角色叙事片逐渐变得更容易:角色稳定性(以前"中国老人说着话会变成美国老爷爷")、画面质量(过去五秒素材只能用一两秒,如今画面质量显著提升)、风格兼容(2D插画、拼贴风都能动了)。 剩余短板同样清晰:反打镜头的场景稳定性、大调度运动镜头——所以《故宫猫猫上班记》“基本都是定机位镜头”。
- 工具消费的真实投票:他最喜欢且图像基底最依赖的是Google免费的Whisk(口述"Visk",Imagen 3产品),“比现在行业一线的AI图像工具都要好很多”;视频端可灵、海螺、PixVerse三家全按最高标准充会员。 即梦能生成准确中文文字,很多时候效果好过开源工作流。
- 老经验在AI时代是复利而非包袱:OpenArt上最受欢迎的ComfyUI工作流作者之一"瑞"有15年游戏美术背景;有影视背景的人有分镜和景别意识,新手大概率做出"一个全景一个全景接起来"的片子。 AI公司团队构成也在同步变化——从2022-23年的纯算法工程师,到今年开始吸收更多艺术创作背景的人。
- 创作方法论上的转向值得记录:“前二十八年都是完成大于完美”,从去年开始发现"和自己死磕是有价值的";荣慧以DeepSeek R1论文作类比,海辛认同这也可能适用于自己——“思考越长,最后效果越好”。 破亿的故宫猫就是死磕产物:每个镜头都必须比上一个"给观众带来更多情感上的增量",两周内每天最多产出十秒。
- 正在消失的工种是一个缩影:动捕师原本需要约两百万人民币的光学棚加专业动捕服,现在"任何摄像头后面加个AI就都可以做到"——但门槛消失意味着"任何人都可以用他的动作来驱动他的演员",是替代也是扩容。 他自己的底层驱动正是这个逻辑的极致:“以后我可能不再需要求人、不再需要求钱”,一个人做电影。
精读
1. 从医学生到全职AI影视创作者:作品即履历
- 海辛的自我定位:新技术方向导演出身,2023年起做AI短片,如今全职。代表作《故宫猫猫上班记》全网播放破亿(与阿文为北京日报做的城市宣传片)、龙年央视春晚第一个AI动画MV《枕着光的他》。
- 近期商业单:春节帮伊利金领冠用AI复现3D动画质感的贺岁短片;二月与阿文加入3D艺术工作室Sing Vision,为霸王茶姬做TVC——他们负责把3D白模风格转成AI油画质感。
2. 故宫猫的方法论:避开人脸,致敬今敏
- 选猫不选人是清醒的技术判断:“我们看人的表演很容易看出是人在演还是AI在演,因为我们对人的脸非常敏感”——绕开人物,做非人动画,也许更容易让观众觉得质量不错。
- 叙事结构直接致敬今敏的《千年女优》《红辣椒》:女主角奔跑中随景别切换变成不同时代不同电影的置景,“我很少看到这么绚丽的讲故事的模式”。于是小猫上班路上经过不同地标时切换成不同风格。
- 前期用影视素材网站Shot Deck检索经典分镜做参考,“把主角换成猫”。但AI制作中方案一直被推翻——有些镜头AI实现得了,有些实现不了,“整个过程是一直在被不断推翻的”。
3. AI时代没有借口:每个镜头必须有情绪增量
- 传统后期可以推辞"导演就拍了这么些镜头";AI时代"就没有这个借口了,你想要的素材就可以自己去生成,再也没有可以逃避的机会"。于是每做一个镜头都反复自问:下一个镜头有没有给观众增添更多感情?观众会无聊吗?
- 代价是速度:两周内每天最多做出十秒,“做出十秒就已经是非常非常开心的事情了”。而在AI圈,一条一分钟视频正常"一天左右的量就可以做出来"。
- 甲方北京日报几乎零要求:只要一分三十秒、多带北京元素——“那我们就可以放飞了”。
4. 一年三大突破与两块短板
- 突破一,角色稳定性:以前上传照片让人物笑一下、转个头,“他就变得不是我了”,甚至"中国老年人说着话就会变成美国老爷爷";现在单镜头内角色ID基本锁得住——“只有角色稳定了,才可以讲以角色为主的故事”。
- 突破二,画面质量:以前镜头越生成越糊,五秒素材可用的"可能也就只有一到两秒";如今画面质量显著提升。突破三,风格兼容:过去丢一张塔罗牌牌面这种2D手绘进去"大概率没办法真实地动起来",现在2D、3D、抽象乃至拼贴风"质量都还挺高"。
- 短板同样具体:丰富的镜头运动和场景稳定性——AI能生成他这个机位的镜头,“但没有办法生成我这个机位的反打镜头”,用他的比喻,就是iPhone前置与后置摄像头看到的是不是同一个时空。毕赣《路边野餐》那种长镜头"还是会出各种各样的错误"。
5. Sora一周年的坐标系
- 主持人的回忆锚点:去年大年初三凌晨四五点被朋友圈刷屏惊醒,“感觉简直是外星来物”,而一年后"一切好像就变得自然而然了"——回头看却是翻天覆地的一年。
- 本期再补上一线创作者视角:此前有Luma AI产品经理Barclay的二十问复盘,以及Vozo AI创始人昌胤(Google X研究员出身,产品登Product Hunt日榜+月榜榜首、半年做到ARR一百万美金);海辛补上一线创作者视角。
6. 花钱投票:Whisk第一,视频无SOTA
- 最喜欢的产品是Google的Whisk(口述"Visk",Imagen 3的产品形态),免费、写实生成"基本跟真实照片差不多",故宫猫的图片基底基本用它做——“比现在行业一线的AI图像工具都要好很多”。
- 视频端他的原话:“目前暂时还没有SOTA级别的,各家模型都有自己的优劣”:可灵写实场景强、海螺风格化动画和镜头运动控制更好、PixVerse转场丝滑且擅长判断动作连续性。三家都按最高标准充了会员。
- 冷门推荐:即梦的图像生成——大家只知道它的视频,但它能直接生成准确的中文文字,做海报很方便,还融合了ControlNet式的轮廓、骨骼、边缘参考,“很多时候比我用开源工作流的效果都还要好”。
7. 最打动他的两个新feature
- PixVerse的Auto Sound:起初不在乎(习惯做完视频再配音),后来发现大量单镜头短视频创作——“比如富士山上面倒雪,只有一个镜头几秒钟”——再进剪辑软件配音反而麻烦,这个功能正好切中轻量创作。
- 海螺的director mode(导演模式):用专业导演语言组合控制镜头——放一张东方明珠的图,指令"往左移一点,再下沉一点,再围绕它旋转"。“我一直非常希望能在AI模型里控制镜头,它完全切中了我的需求。”
8. 无SOTA即创业窗口
- 他正在想同一个问题:“为什么这么久了还没有出SOTA?“答案反过来就是机会:没有一家能完全攻克所有方向,“才使得有可能给创业公司有机会”。视频玩法太多——文字包装、自动打光、特效模板,“我觉得都甚至有戏”。
- 若自己创业,早年想做的是"画布上做故事板、故事板上做视频”,当时受限于生成又慢又贵没做成,但"未来也肯定会有这样的视频产品出现”。现在最想做虚实结合:实拍城市空镜,AI加上"被海啸吞没、被陨石击中"的特效——“跟现实结合的AI作品会更容易吸引大家的眼球,即使质量可能看起来不如纯电影质感”。
9. 与厂商的两种关系:超级创作者与顾问
- 他是多家视频模型公司的超级创作者,直接提需求:业内反复反馈的两条是角色稳定性和1080P,“可能他们就会把这个需求给提上来”。
- 更深的一层是顾问:他现在是美团妙刷的顾问(产品基于ComfyUI玩法创新),从创意方向到执行落地甚至宣传推广也会参与一些工作——毛绒玩偶Shirley Cat转绘、哈利波特入学动态海报都是产出。
- 团队构成的变化是信号:2022-23年接触的国内AI团队"基本全部都是开发者、算法工程师背景",今年开始越来越mix,大量艺术创作、视频特效背景的人进来(他举了归藏的例子)——“因为它还是比较需要吸收非常了解专业知识的人”。
10. 模型全景点评:一线创作者的排位表
- 图像三强:Midjourney(22-23年起就火,“非常有审美”);Google Imagen后来居上——“大家会发现它效果居然比Midjourney还要好”,质感更真实;即梦靠中文文字和参考控制补位。
- 视频梯队:可灵写实"绝对是第一梯队";海螺是风格化动画和摄影机控制的第一梯队,“一定是做的最好的”;PixVerse速度最快、转场和关键帧动画效果最好。
- Luma官网UI"独一流的好",动画风格动起来非常自然——外网有人用它做宫崎骏质感,“真的跟吉卜力动画工作室做出来的差不多”;Runway"很久没有听到他们的声音了,但毕竟是第一个第一梯队的大佬";Pika另辟蹊径专攻特效——人物变气球飞走、捏碎,“这种特效最开始都是皮卡做的”。
11. 市场在学会看故事:从氛围片到叙事片
- 他去年的判断是AI适合"讲究氛围、不需要强逻辑"的预告片;现在的更新:以角色为主角做影片"逐渐变得容易了,虽然还是没有找真人实拍来的容易"。
- 证据是全球AI创作比赛Project Odyssey的Narrative赛道:得前几名的圣诞骷髅吓人故事让他"发现我好像真的在关注它的故事,而不是在关注会不会穿帮"。但保留了结论:氛围片、先导片、概念片"可能还是目前AI最长效的地方"。
- 故宫猫的叙事感其实靠回避换来:故意不用同一只猫,不断切换,“就不会说下个镜头这只猫脸上多了一道花纹,观众觉得这只猫变了”。
12. 第一单:疫情、街舞5和现场生成的两个月亮
- 第一支商业AI片是2022年五六月在上海文广做《这就是街舞》第五季先导预告片,用Midjourney做场景美术。李承铉的背景"AI占的比例大概百分之八九十",刘雨昕、王一博、韩庚的则10%-30%参差不齐。
- 契机是疫情:原定三四月开工,八月要上线,两个月没法制作、经费也不足,六月才到杭州——只能用AI做概念辅助快速出活。
- 真正验证的是沟通效率:以前美术指导听完需求回去画一稿再来对;现在导演说"我们可不可以要两个月亮",他当场生成,“就可以快速地在现场跟艺人和导演把方案敲定”。甲方不在意AI成分,“大家其实都是看效果”。
13. 甲方的三个阶段:从噱头到工具
- 阶段一是游戏公司(美术资产提效,“抱着探索的态度,没有特别强的抵触”);阶段二在Runway Gen-2出来后,广告公司开始拿AI当卖点——联想与GQ联合的广告"宣传时主要打的方向就是这是一条AIGC的片子"。
- 阶段三是现在:大家追着效果来,而不是追着AI来——地标变毛绒玩具火了,客户要的是这个效果,“而这个效果是由AI做出来的”;伊利要3D感、霸王茶姬要油画风。他的总结:“AI从一开始的噱头逐渐变成真的是工具。”
- 关于"AI让乙方越卷越惨"的说法,他的反例:“我们相反报价其实变高了。“逻辑:AI解决的不只是效率成本,“AI是有增量的东西在的”——英国朋友的沐浴露广告里,男主在橙子堆、海底、树林间穿梭,衔接效果"在传统里面基本上做不到”。
14. 老经验是复利:瑞的十五年与景别意识
- 两个证据。其一:ComfyUI工作流网站OpenArt上最受欢迎的工作流作者之一"瑞”,有十五年游戏美术背景。
- 其二:影视背景的人上手AI视频"更能拍出好东西",因为有分镜意识、景别意识;没经验的人"大概率会做出整条片子都是一个全景一个全景接起来的",缺乏节奏感。但他补了个hedge:这个差距"可能在未来会随着大家制作的时间越来越多,也会被补足"。
15. AI生成即定稿:甲方最不习惯的一点
- 高频摩擦点:甲方整体氛围很喜欢,但想挑细节——“希望这匹马走路走得再慢一点,交替时不要有动态残影”——传统流程可以回工程文件改,AI给的视频不含图层,“一旦修改就需要重新回去做”。
- 新的工作流约定由此而生:照常做创意提案和分镜,但提前讲清"大概率有些东西是改不了的,要改就只有更换",且根据制作经验,“它是一个会不断灵活调整的东西”。
16. 复现不够,必须创造:拼贴风实验与想象力本体论
- 正在与阿文做拼贴风动画,做到一半的自我拷问:“如果只是用AI复现了拼贴动画的效果,那这条短片用AI做的意义是什么呢?“于是加入传统拼贴做不到的东西:元素在不同拼贴画之间穿梭、打破2D平面到3D再回到2D。“我们不仅要复原传统制作里有的效果,还必须创造一些新的效果。”
- 底层动机可以追到《飞屋环游记》:气球拽起房屋那一幕"并不是故事打动了我,而就单纯是想象力打动了我”。他对想象力为何动人的解释:“这些想象力会让我们瞬间脱离本身在的生活……感到自由,就是外界有无限的可能。”
17. 第一个十字路口:被按进医学院的五年
- 高中看《飞屋环游记》后的梦想是"成为皮克斯动画公司的一颗螺丝钉,我觉得这就是让我足够幸福的事情了”。高考后想读编导,家里强制他进了四川大学华西医学院——“这可能就是我跟家里人第一次争执”。
- 他对妥协的复盘诚实到位:不自信有两层,“一个是我不确定我成为了艺术家能够养活我自己,另一个是对专业本身不自信——在我的时代,学艺术是成绩不好的人才会去学,虽然我现在完全不这样想了”。
- 转折发生在大学五年的自问:“我想去学艺术是因为我想要成功吗?“想通的答案是快乐而非成功——“即使不会成功,这也是我要去做的事情”。大四申请艺术院校,大五拿到offer,这次与家里争执但没有妥协。
18. 无用之用,方为大用
- 医学院五年里的"无用"清单:创办广播剧社团、加入川大哲学学院梁中和老师的柏拉图学院每两周读柏拉图——“真正花在拍作品集上的时间其实也就大四那个寒假”。
- 他的选择逻辑:不以功利角度选事情,因为意识到自己有多种核心需求——成绩和工作之外,还有"想要感受到有趣、想要创作、想要感觉自己是个不错的人"的需求,“这些散开的东西反而让我变得更立体和多变了”。
- 主持人的呼应:这是高敏感特质的正面用法——“敏感不一定是坏词”,敏感地感觉到自己需要什么再去满足,“它其实也是发展自己的一种方法”。海辛补充:“我有在尝试不要被标签或职业限定了我该往哪个方向发展。”
19. 给新人的建议:完成大于完美,然后学会死磕
- 第一步永远是动手:“先做一些比较小的事情,不要被自己想象的那个困难给吓倒”,然后频繁发到社交媒体记录成长,“即使它现在不够好也没有关系”。
- 但他的方法论去年出现了转折:“我应该前二十八年都是完成大于完美……从去年开始,我发现和自己死磕是有价值的”——不断拷问"这是我真的想表达的东西吗?它是诚实的东西吗?”
- 荣慧以DeepSeek R1论文作类比,海辛表示这可能也适用于自己:“思考越长,最后的效果会越好。”
- 死磕的代价与平衡:故宫猫是"所有AI短片里面最痛苦的一部,但也是我们现在最满意的一部”;不过"百分之八九十的情况我会绕到另外一边去走",现在的节奏是"轻量跑一段时间,憋个大招"交替。
20. 美国留学:排满、burnout与accent即人格
- 留学节奏:周一到周四上课、周五到周日全在片场,研二成了全年级短片的主美,直到明显burnout——“这大概是我人生第一次发现我自己身体的极限”。调慢到一个月只主一部后,“节奏会好很多,出来的质量也会好很多”。
- 自由的第一课是边界感:“身边人都不在乎我在做什么了”,加上所有课程都与创造力有关,“感觉我生命好像就没有垃圾时间了”。第二课是包容:最好的朋友是伊朗穆斯林特效师和巴西犹太朋友,“我接触到的更多的是人,而不是某一个title”。
- 影响最深的小事是口音:美国朋友告诉他"没有标准的英语,我的accent是我性格的一部分"——从此"standard这件事情对我来说不再重要了,也给自己更多自由的空间"。
21. 从玛利亚短片到SMG,再到AI:桥是这样搭的
- 研究生短片一句话梗概:“如果圣母玛利亚活在当代,知道自己怀上耶稣了,她有没有可能会选择堕胎”——一部黑色喜剧,因为"在过往的圣经故事里,她其实没有被人问过想不想怀耶稣"。他现在的自我分析:当时在挣扎"女性主义、我和别人对我的期待到底哪个更重要"。
- 这部短片把他带进上海国际电影节创投训练营,决定留沪,进上海文广SMG做新技术方向的全职导演:元宇宙、3D扫描(帮自然博物馆扫过很多东西)、数字人、XR虚拟制片——虚幻引擎跑在英伟达显卡上,“所以AI出来的时候,它跟他们的土壤是完全一致的,就瞬间接触AI了”。
- 最后一跳靠疫情居家:看到艺术家用AI做NFT藏品,“这个东西还能用AI做吗?“报课学习后"发现AI的魅力比NFT大很多,后来就开始只做AI了”。
22. 一个人做电影的妄想,与正在消失的动捕师
- 他的底层需求毫不含糊:“我希望能自己一个人做电影。“在美国发现做电影"需要好多人、好多钱、好多沟通交流,有妥协在里面……这些事情并不完全跟创作相关”。所以一切降低电影成本的技术都是他的技术:虚拟制片可以"二十四小时一直处于日落的游戏环境里"拍日落;AI则是终极形态——“这些技术带给了我这种妄想:以后我可能不再需要求人、不再需要求钱,在任何没有创作妥协的基础上进行创作。”
- 但他没有美化独自创作:片场的乐趣是真实的——举着两三倍身高的flat布景墙搭景时,“我第一次意识到我在创作一些比我大很多的东西……我创作这件事情使得我的生命有一个巨大的延伸”。
- 明确在消亡的工种是动捕师:顶尖摄影棚"大概两百万人民币左右一个棚”,现在"任何摄像头,后面加个AI就都可以做到了”。但他看到的是扩容而非零和:“任何人都可以用他的动作来驱动他的演员——有多的人进来,可能就意味着有多的可能性进来。”
23. 灵感系统与"AI艺术中的科学家"
- 保持输入的方式刻意与行业无关:上海的摇摆舞活动、市民夜校的香料班和鱼灯班——“让我不去想我现在在做的事情本身,就是非常强的放松,而且一切对于我的输入最后都会在某个程度上digest,变成我的创作”。去年十一月的日本行直接产出了动物跳出电子屏、卡比兽与富士山等一串视频。
- 他与阿文的自我定位(大聪明称他们对行业有引领作用):“AI艺术中的科学家——不断去发现艺术创作新的表达形式可能在哪里。“即便到现在,“我们感觉每一个阶段的AI作品,它的潜能都还没有被发挥出来”。
- 工程与艺术的自我评估出人意料:他自认更擅长工程化(高中理科),“艺术创作上面更难——它不是我把框架搭出来就可以做好的东西,有很多直觉的、反思的时刻”,所以创作时"会有意识地让自己放下计划,不要去得出最明显最容易的答案”。
24. 女性创作者与Demo in的能量场
- 行业里女性表达者还少,他的观察:“我身边的女性朋友会有更多对自己的要求和反思——我只做这点东西,我可以站在台上吗?“他的鼓励角度:“站在台上的也并没有会真的比他们优秀非常多,应该要有这个勇气。这种自我怀疑我其实也有,逐渐在克服。”
- 他与AJ在通往AGI之路做"整活编辑部”(探索新特效并附教程,社区二创反过来给他们启发),另运营社区Demo in——上月在十字路口的AI Hacker House(漕河泾)办了首场,来了五六十人,入场门槛是必须demo过自己的作品。
- 主持人复述的规则本身就是产品:现场不能叫"老师、大佬”,自我介绍不能说毕业院校和公司,听demo尽量不批评只鼓励——那晚"一半上去demo的工程师都是女生,恕我直言,我听不懂,水平非常高”。