快一点！再快一点！快到世界能实时生成｜和生数科技张金涛聊：Vidu S1、推理加速、实时交互视频

摘要

• 生数科技发布 Vidu S1：此前未有模型能用语音实时控制并实现无限长不断流的流式视频生成——540p 分辨率、25-42 FPS，且在消费级显卡上即可实时跑。 张金涛直言目标函数排序明确：“快是第一目标”，“当前这个阶段我们只能说画质稍微再降一点”。收费已开始：网页与 APP 免费开放，API 收费"每分钟也就两三块钱"、无时长限制。
• 需求侧的大逻辑来自 Elon Musk 式的算力反推：如果未来人眼看到的一切都是生成的，按每人每秒像素量乘以几十亿人反推全球算力与数据中心需求。 张金涛的关键区分——离线视频有"播放量"概念可摊薄，而在线交互视觉娱乐"每个人想看的都不一样"、“每个人都要有一个独立的 session”，因此在线需求更大；他判断这一方向"势不可挡"：“未来我们的视觉娱乐信号会被 AI 生成的内容替换掉”。
• 张金涛的成名作 C Attention（原始字幕多处作"C加Attention"）“已经成为了一个事实上的行业标准”：NVIDIA、AMD、华为昇腾、摩尔线程、沐曦等硬件厂商各自实现部署，字节、腾讯、Google 及各多模态公司都在用。 技术判断值得记住：语言模型的 attention 是 memory bound，而视频生成模型的 attention 被"严重 compute bound"——这解释了低比特加速在多模态时代的收益。
• 对推理加速赛道的结构判断：“未来属于更底层和更上层”——单算子跑满硬件上限这一层会随 AI coding 增强而收敛，机会在芯片（针对某一类模型定制、调节计算与显存传输的比例，但"把一个特定的模型写死到芯片里……模型更新了芯片就废掉了"）和算法层降复杂度（“人脑其实就只有二十五瓦”）。 创业启示：“只做算法层不是特别有壁垒”，好的推理加速必须硬件和算法 co-design。
• 关于中美 AI 视频分化，他的解释是"建模再怎么雕花已经不本质了，数据变成了非常本质的事情"：美国视频生成公司在数据量、质量、偏好对齐、构造方式上"应该做的都不如我们国内"，且中国抖音、小红书、直播、电商生态更发达，积累了更多数据与更强动机。
• 对教授/PhD 创业潮：“AI 它确实不是一个泡沫”、“不是一家公司就能把这个事情全做完”，但"不是所有人都适合创业"。 朱军的 GPT-3 心法被他奉为方法论：知道世界最领先的方法、“每一个环节你都做到极致"即可做到世界领先——很多公司差的不是认知，“很可能就是代码仓库里面有两行代码有 bug”。

精读

1. 开场思想实验：实时生成的世界需要多少算力

• Koji 转述一位拜访过 Elon Musk 的朋友带回的观察：如果未来人眼看到的一切都是生成的，算法很简单——一个人两只眼睛每秒看多少像素、一天睁眼多少小时、乘以几十亿人，反推承载实时生成世界所需的全球算力与数据中心。
• 由此引出本期主题：硬件堆叠之外，软件与算法层的推理加速优化是同等重要的命题——嘉宾张金涛，26 岁、清华博士在读（朱军门下）、NTJ 水瓶座，在生数科技负责流式视频生成全链路与所有模型的推理加速和集群部署。

2. C Attention 的起点：Flash Attention 不是终点

• 起源故事：硕转博后，导师陈建飞一句"推理加速是未来非常重要的方向"把他带进这个领域。当时业界公认 Flash Attention 已是极致算子，但他们发现"硬件上明明还有更快的计算单元”——低比特计算单元在线性层加速中已被广泛应用，却没有任何工作用它加速 attention。
• 没人做的三个原因，他拆得很细：一是 2024 年初以前语言模型的 attention 是 memory bound，加速 tensor 计算收益不大——但多模态尤其视频生成模型的 attention"被严重的 compute bound"，计算速度直接决定快慢；二是 attention 加速必须手写 GPU kernel，当时 Web Coding 还不具备底层 GPU 编程能力；三是精度：全部量化到 8 比特后"输出的内容是非常差的"。解决了后两个挑战，才有了 C Attention（原始字幕作"C加Attention"）。

3. 从算子到集群：三层加速与 Turbo Diffusion

• 他把从 C Attention 到 Vidu S1 的推理加速归纳为三层：算子层（让计算在特定硬件上逼近理论上限）、模型层（降计算复杂度——如步数蒸馏把 diffusion 去噪从五十步降到四步、复杂度降十几倍，以及稀疏 attention）、工程层（集群部署、模型并行、用户请求调度）。
• Turbo Diffusion 对应第二层：在学校里、算力受限的条件下，基于开源视频生成模型加少量微调数据做出来，现已有 3600 多个 GitHub star。
• 最令他自豪的是 C Attention 的采纳广度：“已经成为了一个事实上的行业标准”——NVIDIA、AMD、华为昇腾、摩尔线程、沐曦都实现了自己的版本部署在自家显卡上，几乎所有多模态公司（生数、字节、腾讯、Google）都在用。

4. Vidu S1：不能把流式生成简单理解为"快"

• 范式区别是关键：普通视频模型输 prompt、等很久、出 5-10 秒视频；实时模型每一帧实时生成，“生成速度需要大于播放速度”。更大的挑战是时长——“现在最先进的基础模型最长只能生成三十秒”，而 S1 要无限长生成、“可以聊几天几夜”，靠 attention 计算方式与噪声强度控制上"比较本质的 diffusion 训练方法"保证长时间不漂移不崩坏。
• 规格与 trade-off 都摆得很直白：540p（市面实时生成基本没有这么高）、25-42 FPS、消费级显卡可跑。目标函数太多怎么排？“快是第一目标”，其余在此前提下尽量优化；优先级最低的是画质——“当前这个阶段我们只能说画质稍微再降一点”。
• 收费：网页与 APP 免费开放，API 每分钟约两三块钱、无时间限制。

5. 为什么实时交互视频是"一定正确"的方向

• 他把视觉娱乐分为两类：离线生成（电影、短视频）与在线实时交互。Koji 以今天两人面对面交流为例，张金涛随后补充谈恋爱、打游戏。数字革命之前，人类视觉娱乐几乎全部来自后者，因此"在线实时交互类的视觉娱乐需求比离线的预置好的需求更大"。
• 投资含义藏在一句对比里：离线视频"有一个播放量的概念"，而在线交互"每个人想看的都是不一样的"、“每个人都要有一个独立的 session”——这正是开场 Musk 算力反推成立的前提。他的结论毫不设防：“从技术上目前来看没有什么壁垒，没有什么不可能性……已经是势不可挡了”，“我坚信未来我们的视觉娱乐信号会被 AI 生成的内容替换掉”。

6. 发布首日的用例：从家里的小狗到"程序员鼓励师"

• 发布不到一天，点赞收藏破千的例子已经出现：有人上传自家小狗与之聊天交互；B 站上有人玩游戏时把画面实时传给 S1 里的二次元角色——左边四分之三玩游戏，右边四分之一"多了一个人陪他玩游戏"，角色能真实看到游戏里发生了什么并深度交互。
• S1 支持视频理解、摄像头输入与任意角色自定义。Koji 现场推演：把 coding 界面当视频流传给它，“他就做程序员鼓励师了”——张金涛的回答是"当然可以"，它能看到你写的字、你的画面。还有人上传"峰哥"的人设与图片，实时让他跳转圈祝福舞。他留下一个可验证的预测：“未来两周一定会出现基于 Vidu S1 的很多很好玩的例子。”

7. 推理加速版图：未来属于更底层和更上层

• 他先纠正常见误解：推理加速不只是把算子跑到硬件理论最大值，另一半是把模型计算复杂度降下来——省掉黑盒里的冗余计算（稀疏 attention、MoE、模型蒸馏与采样步数蒸馏）。点名的好工作：TensorRT、vLLM（重在调度管理）、生数的 TurboServe（流式视频生成的集群调度部署）、DSA（likely DeepSeek Sparse Attention），以及自家的 SLA（Sparse Linear Attention）——“腾讯和字节的多模态负责人都跟我说他们在用”，但他主动交底：开源版"还有一点点缺陷，主要在 linear attention 的选型上"。
• 结构判断：“未来还是属于更底层和更上层”。中间的算子层会收敛——Web Coding 越来越强，“给定一个算子在硬件上能不能跑得快，这一层之后都会收敛”。底层是芯片：要么像老黄做极通用的牛芯片，要么针对某一类模型半定制——按 memory bound / compute bound 调计算与显存传输比例；但特斯拉式"把一个特定的模型写死到芯片里"太浪费，“模型更新了，芯片就废掉了”。
• 上层是算法降复杂度：“我们人脑其实就只有二十五瓦，稍微给它一点时间也能解决很多复杂任务”。Koji 追问是否底层更容易出创业公司，他的回答对投资人有用：好的推理加速"一定是硬件和算法 co-design"，只做底层可以，“但只做算法层我觉得就不是特别有壁垒，很难得到底层的验证”。

8. 中美视频模型分化：建模收敛之后，数据是本质

• 对"中国视频模型为何牢牢站住第一梯队"，他的框架是：Transformer 之后"建模方式再怎么雕花，其实不是特别本质了"，本质转移到数据——质量高、对齐人类偏好、可学习性强（reasoning 就是把学不会的 A→Z 构造成思维链）。他的类比很生动：好讲解与坏讲解天差地别，“你像苏建林整理的科学空间，我看十分钟顶我看垃圾博客三个小时还多，而且那三个小时还对我的学习造成污染”。
• 结论直接：“比较确定，美国做视频生成的公司，数据量、质量、有没有对齐人的偏好、构造方式，应该做的都不如我们国内”——他认为原因可能与一些政策因素有关，另一部分是文化：中国的抖音、小红书、直播、电商发展更好，“积累下来更多的数据，有更高的 motivation 把视频生成做得更好”。

9. 创业潮、管理心法与一行代码的高光时刻

• 对 2026 年教授/PhD 创业潮：“AI 它确实不是一个泡沫，它就是能满足人类所有的需求……这波创业热潮很合理，能够持续很久”；且需求太大，“不是一家公司就能把这个事情全做完”。但他坦率补上另一半：“不是所有人都适合创业”——有人技术很牛、paper 很好，却做不好管理；“稍微不那么谦虚地讲，我感觉我还是很适合创业的”。
• 方法论承自朱军对 GPT-3 的判断：它不是遥不可及的创新，“只是把每个环节都做到极致”——知道世界最领先的方法、正确实现、每一行代码实现正确，就能世界领先。他的推论足够扎心：“很多公司不是不知道最领先的是啥，很可能就是代码仓库里面有两行代码有 bug。“管理上则是知人：对方要的是工资、credit 还是成就感，“简单聊几句之后你就能掌握”。
• 职业高光如他所述：2024 年 5 月成立 Vidu 推理组，他把 FlashAttention 换成自己写的 C Attention——“就换了一行，视频生成的跟之前像素级一模一样，但端到端推理速度直接快了一倍多”，那是"全世界第一个低比特加速 attention 计算的工作”。自评保留了原味：“说伟大就有点自夸，但确实还是比较了不起的一个工作。”
• 收尾的一段交流值得留：写作与智能的关系——“智能的边界和语言的边界有时候是对等的，你能不能把一个东西讲清楚，投射出你有没有把它搞明白”；他的补充：“把一个事情讲清楚不难，难的是把一个很复杂的事情讲得很清楚。”