148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”

摘要

• vLLM 已从论文原型长成 AI 推理的事实标准候选：InfraRact 不是拿着概念融资，而是把将近三年、两千多名贡献者共同维护的开源资产公司化，种子轮融资 1.5 亿美元。 四位核心创始人拒绝过某顶级大厂给每人年薪 2,000 万美元的邀请，因为他们的共同答案是：“如果 vLLM 项目失败了，我们会后悔一辈子。”

• 这家公司的关键资产不是独占代码，而是社区领导权与协调能力：vLLM 的商标归 PyTorch 基金会，并获得持续开源的制度保障；InfraRact 提供稳定人力、集群、NDA 法人资格和技术路线。 商业化探索包括 endpoint service、BYOC 与生态合作，收费逻辑不是卖工程师时间，而是“为客户多产生多少 token、节省多少机器成本”。

• 游凯超的核心 bet 是：开源模型最后会赢。 模型必须被大量调用，而“每一个 token 都带着模型的烙印”；用户一旦积累足够交互数据，便可能训练自己的模型，尤其 Coding Agent 场景中，他估计公司级机构约一个月就能形成可用数据飞轮。模型可能趋向 commodity，真正的护城河转向持续迭代速度、推理效率和生态位置。

• 后摩尔定律时代，决定 AI 上限的不再只是算法，而是模型、硬件、推理引擎与 harness 的 co-design。 游凯超把 DeepSeek 评为这方面最强的团队：算法人员懂 infra，infra 团队能把 MoE、FP8、NSA、投机解码等结构压榨到极致；但其自建机房和全栈控制条件难以被云上团队原样复制。

• 推理需求正在从短对话转向长思考和 Agent 多轮交互，训练与推理开销可能达到 1:1，推理占比还在增长。 供给侧要靠 PagedAttention、continuous batching、投机解码和集群优化提高 token 产量；需求侧则要靠稳定前缀、prefix caching 和更合理的 harness 节省计算，“需求爆炸”不是停止优化的理由，反而让效率更紧迫。

• token 不是电力式的同质商品：DeepSeek 的 token 无法调制成 Kimi 的 token，模型、推理实现和 Agent harness 都会留下烙印。 vLLM 支持两三百种模型结构的价值，正是吸收这种异质性；代价则是必须不断删除过时模型和低价值 feature，把资源压在主流模型、主流硬件与主流 workload 上。

• Coding Agent 让代码供给近乎免费，也开始侵蚀开源治理。 vLLM 在 2025 年按游凯超引用的 GitHub 统计成为贡献者最活跃项目，却同时遭遇培训机构用垃圾 PR 包装简历、机器人十分钟提交二十个 PR 的 AI slop；未来社区的稀缺品将从代码转向可信反馈、历史 context 和有权承担长期路线的维护机构。

• 地缘分工正在塑造技术路线：游凯超观察到欧美模型更重效果，中国模型更重效率；中国缺高端芯片，却有土地和电力优势，美国高端算力更多，但下一轮瓶颈在电力基础设施。 中国模型扛起开源大旗，并不意味着 vLLM 商业重心只能留在中国——模型可以在中国开源、在北美部署，InfraRact 目前仍以北美业务为主。

精读

1. 高考只是 admission，真正的轨迹由主动学习决定

• 游凯超直到 2015 年才认真接触编程；中学没有算法竞赛经历，主线仍是中高考与数学、物理竞赛，物理竞赛省一等奖也没有显著改变升学结果。

• 最初的震撼来自几何画板：函数图像和物理仿真让他看到计算机可以把抽象知识变成可观察对象。随后他在学堂在线学大学物理、微积分，又通过与 edX 联名的课程学习 Python。

• 他不喜欢刷题式重复劳动，更愿意把备考时间用于学习新知识；那年高考偏简单，这些积累没有充分体现在分数上，最终只比清华录取线高两三分。其判断很直接：“进了清华之后应该把这个分数忘掉。”

2. 一百封邮件和三十六门满绩，不是为了优化简历数字

• 外界常把他的本科经历概括为“大一发一百多封邮件、看一万多页资料、三十六门课程 4.0”，但游凯超认为这不是“卷”：十多门课，每周向老师认真问一次问题，自然就积累到一百多封。

• 笔记被校史馆展出也不是预设目标。他说自己没有优化笔记字数或数量，只是享受学习、需要把理解记录下来；结果是学习行为的副产品，而非倒推出来的 KPI。

• 他至今保留当年的一句话：“清华是一个舞台，但不要只做观众。”不过这里的“上台”不是赢过别人，而是追求自己的成长，不能把大学生活降维成观看“神仙打架”。

3. 清华特奖带来认可，却不等于评出“最厉害的十个人”

• 2019 年底获得清华特等奖学金时，他当然兴奋，实际收益还包括朋友圈扩大、认识更多优秀同辈；但他反对后来媒体赋予这项奖过多神话色彩。

• 游凯超提醒，获奖者通常只是大四上学期、入学三年左右的学生，把“稚气未脱的少年”长期置于聚光灯下，会干扰正常学习和科研。学校后来取消现场答辩直播、降低宣传热度，他认为“这样才比较好”。

• 主持人追问特奖是否代表全校最强十人，他明确反对：每个人追求的方向不同，不存在统一的最强标准。奖项可以是认可，但不应成为衡量所有人的单一坐标。

4. 算法学术从建设性讨论滑向“投稿像抽彩票”

• 游凯超约在 2018 年进入 AI 研究；当时一届会议只有几百篇论文，审稿人尚能指出哪里好、哪里不好，双方是在认真讨论怎样把工作做得更好。

• 到 2019、2020 年后，投稿数以几何级数增长，审稿人的数量和质量追不上社区扩张。“你中或者不中，可能跟工作质量本身已经没有很大关系了。”他把这种状态称为“礼乐崩坏”。

• 这不是某天发生的决裂，而是博士期间逐渐失去兴趣。他承认“大厦将倾，不是我一个人能够改变的”，于是停止把论文发表当作职业追求，转向更可验证的机器学习系统。

5. 何恺明式成功让他看到：规模化实验背后首先是系统能力

• 在游凯超心里，算法研究的天花板是何恺明。每当何恺明主页出现新论文，同学们都像收到“新的神谕”；读完又常觉得设计浑然天成，类似想法自己似乎也在组会讨论过。

• 真正的差距不只是 idea，而是大规模实验。普通实验室在玩具数据集上“螺蛳壳里做道场”，何恺明则能用系统和数据把自然的想法验证到足够规模。

• 一旦尝试扩大实验，决定成败的往往不再是 cross entropy 的五种加权方式，而是训练系统、算力和数据。主持人的归纳是算法蓝海已过；游凯超同意，low-hanging fruit 被摘完，scaling law 又强化了“堆算力、堆数据”的路线。

6. 工业界最头疼的不是新 loss，而是硬件缓存与算子

• 2022 年 WACV期间，游凯超拉住当时在旷视的张祥宇聊了一个多小时。令他意外的是，这位目标检测专家谈得最多的不是新 loss，而是复杂硬件怎样反过来约束软件。

• 针对视觉负载设计的芯片拥有多级缓存，需要工程师手动规划数据在缓存之间的流动；团队每天头疼的是 cuDNN、硬件适配和各种算子，而不是再微调几个算法参数。

• 这次交流与学术审稿恶化、规模化实验需求共同构成转向的三条线索：算法成果越来越依赖系统，系统问题又能被明确测量和持续改进。

7. 百分之一的算法增益，经常被下一代预训练模型直接覆盖

• 本科阶段，他研究迁移学习、域自适应与“数据稀缺场景下的高效学习”，目标是提高模型泛化性；问题在于这些方法常是锦上添花，只把既有任务准确率提高 1%—2%。

• 2020 年读博时，正值 GPT-3 发布前后，他用“应该也是 GPT-3 发布的时期”作了保留；实验室算力不足以做大规模预训练，于是他转向大模型微调。做一年算法取得 1%—2% 增益后，市场换一个更大的预训练模型，收益就可能超过整年的研究。

• 这让他意识到，依赖别人先定义任务、再做少量提升的研究难以规模化。博士后半段，他逐渐把重心转向机器学习系统工程；2024 年再赴伯克利交流，进入大模型推理。

8. 两次伯克利经历埋下了从理论到 real-world impact 的转变

• 2019 年暑期，游凯超在 Michael I. Jordan 所在的 RISELab 交流，同时接触机器学习理论与 Ion Stoica 主导的系统研究；前者更关心理论 insight、博弈论和经济学，后者的目标非常直接：real-world impact。

• 他曾向 Stoica 担心：“我做一个机器学习系统，但没有人用，时间是不是浪费了？”对方的回答成为长期支点：“只要你是一个好的软件，总会有人用的。”

• 2023 年 Stoica 再访清华时，游凯超提起四年前的建议，并展示自己一直在践行；随后申请进入已演化为 SkyLab 的实验室。对他而言，这既有机缘，也符合系统价值上升的时代趋势。

9. 天授、LogME 与 PyTorch 贡献，是转向系统的连续练习

• 2020 年疫情期间，他与本科同学翁嘉义共同开发开源强化学习系统 天授，训练 Atari 等游戏智能体；2022 年又向 OpenMMLab、PyTorch 等社区贡献算法和实现。

• LogME 一类工作已经带有明确的系统取向：相比争论 novelty，它能说明相对其他方法加速了多少，并分析背后的加速原理。“你可以说我的东西不 novel，但是你不可以说我的东西没有用。”

• ChatGPT 发布后，昔日一起“玩泥巴”的翁嘉义已参与训练。两人交流后的结论是：数据和算法强依赖少数公司的资源，而系统可以在实验室小规模研究，再扩展到工业规模。

10. 系统研究的正反馈比论文引用更直接

• 转向后，他衡量工作的标准变成：有多少人真正使用、是否产生收益。GitHub star、issue 里的感谢信，以及用户报告“提高了多少效率”，都比论文引用更贴近目标。

• 系统优化若带来两倍加速，原因通常可以拆解、验证，也能较有把握地推广到别人；算法提高 2%—3% 准确率，却可能因场景变化无法复现，甚至反向降低指标。

• 因此论文降为副产品：系统已经被大量使用后，再把其中可泛化的设计写成论文；此时审稿人往往本身就是用户，投稿反而更顺利。

11. PagedAttention 的学术 novelty 不高，vLLM 的价值却远超一篇论文

• vLLM 起源于 PagedAttention：借鉴操作系统虚拟内存，以分页方式管理自回归生成中的 KV Cache；它与 continuous batching 一起，成为早期大模型推理的核心优化。

• 游凯超直言，认真分析推理过程的系统研究者大多能想到这个思路，创新性“甚至偏低”。论文投向 SOSP 2023 时被批评 too simple，最终靠做得早、实验充分，低分过线。

• 但今天的 vLLM 已不是 PagedAttention 的别名，而是覆盖模型、硬件和服务调度的完整推理生态。论文给出起点，真正形成壁垒的是此后持续适配和生产化。

12. 伯克利的“五年实验室”传统，专门等待研究周期与产业需求共振

• 游凯超把 vLLM 放进伯克利重工业软件的谱系：BSD、RISC-V、RAID，以及后来的 Spark、Ray，都从学生 research project 起步，再由维护者扩展为工业基础设施。

• 他引用 David Patterson 的观点论文《How to Build a Bad Research Center》：研究中心做 五年就够，恰好覆盖一届博士生，让优秀学生集中精力把一个方向推进到可用。

• AMP Lab、RISELab、SkyLab 一脉相承；当五年科研周期与工业需求周期发生共振，就可能诞生 Spark 或 Ray。看到 vLLM 的增长速度后，他判断：“下一个项目就是它。”

13. 游凯超加入时，vLLM 最缺的不是 idea，而是愿意长期做工程的人

• 他在 2023 年底申请伯克利交流时便主动提出做大模型推理，2024 年加入后约是第四位主要全职维护者；在他看来，模型训练完必然要推理，vLLM 所处位置“未来非常有前途”。

• 最早的核心成员包括 PagedAttention 论文主要作者李卓翰与 Woosuk，随后是有开源创业经验、后来担任 CEO 的 Simon，再是愿意全身心投入纯工程工作的游凯超。

• 合适的维护者窗口很窄：低年级博士急需领导新 project、发表论文，临毕业者急着找工作；他恰好已有足够毕业成果，又想获得 hands-on system experience，可以连续几个月只做工程。

14. 开源团队靠“意义”聚合，也靠艰苦条件筛选

• 对于“为什么不是自己发起就不做”，游凯超没有创始人执念：项目处于极度缺人状态，只要能贡献、有热情，“用真心就可以”。

• 他把人的追求区分为金钱、权力与意义，自己的选择是“做的事情是不是有意义”。计算机从业者的基本条件又相对简单——有吃、有住、有电脑、有网络，就能长期投入。

• 他用《送东阳马生序》概括团队状态：“以中有足乐者，不知口体之奉不若人也。”几年同甘共苦筛出的维护者，后来也自然成为 InfraRact 的初始创业团队。

15. 2024 年的 v0 到 v1，是从实验原型换成生产级“发电系统”

• 2024 年主旋律是重构：2023 年的 prototype 要走向生产可用，团队调研其他推理引擎后，在年底推动 v0 到 v1 的整体改造。

• 游凯超用电力系统类比：用户仍然只是“插上插头”，但底层已经像从火电切到新能源；不同模型、硬件组合的运行方式千差万别，推理引擎负责把复杂性全部屏蔽。

• 最大难点是兼容性约束：模型和硬件不断变化，前端用户仍期待只改一个模型参数，就能在不同设备上运行。v0 到 v1 只是显眼版本号，vLLM 实际一直处于持续重构中。

16. 2025 年的中国开源爆发，迫使 vLLM 从单机优化走向集群部署

• 2024 年欧美开源仍以 Meta、Mistral 等为主，模型结构和硬件耦合相对有限；2025 年主旋律则是大规模部署，模型、硬件和集群都迅速变大。

• 游凯超在 2024 年 12 月结束交流回国，正逢 DeepSeek-V3 发布；2025 年初 R1 上线并在春节爆火。中国开源模型的爆发超出团队预料，也把生态重心从欧美明显拉向中国。

• vLLM 与 DeepSeek 的合作其实始于更早的 DeepSeek-MoE、DeepSeek-V2、DeepSeek-V3 阶段，对方内部以 vLLM 及其优化变种为基础。R1 后真正的震撼是：DeepSeek 的推理团队已经在引擎优化上走得更远，vLLM 反过来需要学习。

17. 中国社区不是翻译 Slack，而是重新建立一套本地连接

• vLLM 诞生于美国，主要沟通渠道是英文 Slack；国内参与者同时面临语言习惯和使用国外软件不便的问题，仅说“社区很包容，大家进 Slack”并不能解决摩擦。

• 游凯超从零搭建中文社区，通过公众号、小红书、知乎等渠道传播，并与国内公司建立直接沟通机制，补上原社区在中国的空白。

• DeepSeek、Kimi 等公司都公开表示使用 vLLM，但过去受时区和距离影响，双方沟通很少。回国后他逐一走访，询问“怎么用、哪里痛、需要什么”，再把模型公司、硬件方和维护者串成网络。

18. 新模型发布已变成 vLLM 的实时压力测试

• 游凯超对 2025 年 7 月印象极深：临近 WAIC，许多公司集中发布模型，维护者必须在极短时间内完成架构适配、性能验证和对外支持。

• 到节目所处的当年，他列举 DeepSeek-V4、MiniMax-M3为已经发生的复杂发布，并判断 WAIC 前还可能再有一轮，但明确保留了“不知道今年会不会”的不确定性。

• 对开源模型而言，发布时没有主流推理引擎支持，基本就处于不可用状态。因此厂商通常在发布前找 vLLM 合作，推理适配已成为模型 launch 的关键路径。

19. PyTorch 基金会提供的是持续开源保险，而不是工程团队

• 2024 年底，团队已在讨论长期维护：如果找不到持续支持者，项目可能冷却；在公司尚未确定时，Ion Stoica 推动把 vLLM 捐给 PyTorch 基金会。

• 基金会作为独立法人，可持有商标、接受捐赠、提供法律支持，也从制度上保证 vLLM 不能被某家公司闭源。学校和五年制实验室都缺少这种长期法律持续性。

• 它不参与日常技术治理，代码仍由社区与公司编写；InfraRact 大约每季度汇报一次进展。游凯超把基金会称为“一道保险杠”：商标属于社区，技术路线和商业化仍可由参与者推进。

20. vLLM 采用“仁慈的独裁者”，而不是人人一票

• 最高决策层由 Simon、Woosuk、游凯超、李卓翰及 Red Hat 的部分维护者组成，他们自称 “仁慈的独裁者”：日常尽量协商，但重大方向必须有人最终拍板。

• 其下是十余位核心维护者，分别负责关键模块；再往下有几十位 committer 和更广泛的贡献者。NVIDIA、AMD、Red Hat、Amazon、Google 等机构也以硬件、软件或云厂商身份投入资源。

• 维护者的工作不只是写代码，还要协调彼此可能冲突的大公司。基金会给予公共治理框架，核心团队则承担技术连续性和优先级判断。

21. 删除 beam search，是治理者必须承担的“不受欢迎决定”

• 游凯超做过的强硬选择之一，是把 beam search 从引擎里删除。推荐系统用户持续抱怨，但主流大模型推理已不再沿这条路线发展，继续兼容只会让模型适配越来越不可维护。

• 类似取舍也出现在小模型上：几百 MB 的模型仍可运行，但 vLLM 不再优先替其做极致性能优化，资源明显向大模型、大集群倾斜。

• 两千多名贡献者带来的最大责任不是接受更多需求，而是决定“做什么，更重要的是不做什么”。项目越大，错误优先级造成的长期成本越高。

22. Coding Agent 让代码廉价，也打破了开源社区的善意假设

• 游凯超引用 GitHub 的 2025 年统计称，vLLM 按贡献者活跃度是全站最活跃项目；这既是荣誉，也制造了巨量审阅负担。

• 当年 5 月，团队发现培训机构用垃圾 PR 包装学员简历：只要合并一段无用改动，就能自称 vLLM contributor。更极端的机器人账号会在十分钟内提交二十个 PR，内容被团队称为 AI slop。

• 这迫使维护者引入认证、重视知名机构来源，并忽略或拉黑明显机器人。过去默认贡献者善意，如今这个假设已被彻底打破。

23. 未来开源社区的稀缺品将从代码转向高质量反馈

• 当 Coding Agent 能快速重写实现时，维护者读懂陌生 PR 的成本，可能高于带着完整 context 自己再生成一遍。“代码变得如此廉价”，个人贡献代码的重要性反而下降。

• 游凯超预测，用户未来主要提交 bug report 和 feature request，维护机构负责实现；价值重心转为问题描述、使用场景、路线判断和长期责任，而非谁写下具体代码。

• 他引用 PyTorch 核心维护者 Edward Yang 的类似判断：已经没有精力审所有 PR，与其读别人生成的实现，不如自己重写。OpenClaw 式“AI 提交、AI 审查、AI 合并”虽已出现，长期演化好坏仍未可知。

24. AI 能写完九成代码，但尚不能替代最后一成路线判断

• vLLM 维护的对象往往不是现有问题，而是未来三个月的新模型、半年至一年的新硬件。代码审查必须同时携带尚未公开的 roadmap 与历史取舍。

• 游凯超认为 AI 可以帮助走完 90% 的路，但顶层系统设计与最后 10% 的“画龙点睛”仍需人提供；这些判断依赖长期 context，而不是单个 issue 的文本。

• 创始团队一旦更换，合作伙伴、技术路线和社区信任都会经历阵痛。他甚至判断，许多项目换掉核心领导后便很难继续发展得很好。

25. 开源项目先要解决真问题，再要有组织把它撑住

• 游凯超给出的第一条件极朴素：项目必须解决足够多人真正关心的问题；需求不够重要，再精巧的社区机制也长不大。

• 第二条件是有人持续组织资源，第三是创始团队保持推进。他用“天时地利人和”概括：根基、组织与连续性缺一不可。

• OpenSSH 是反面提醒：全球都依赖的基础设施长期由极少数人艰难维护，直到严重漏洞让世界可能“裸奔”，大家才成立基金会投入资源。基础设施往往只有出事故后才被看见。

26. 支撑中立开源项目的最好载体，是由原维护者创立的新公司

• Ion Stoica 的逻辑是：Linux 需要 Red Hat，Kubernetes 需要 Google，PyTorch 需要 Meta，Spark 需要 Databricks；体量已经相当的 vLLM 也必须有稳定公司支持。

• 但让既有大厂主导会带入立场：Meta、NVIDIA、AMD 之间既合作又有商业关系，其他伙伴未必接受其中任何一家拍板。中立性与号召力来自一路维护项目的原团队。

• 基金会能保证开源，但不负责日常技术管理；创业公司则能把人力、机器、法务和商业化组织起来，同时让商标和公共资产继续留在社区。

27. 真正逼出公司的，是 NDA、集群和长期 feature 三道墙

• 到 2025 年，团队要在新模型、新硬件发布前提供支持，但开源社区不是法人，无法签 NDA；合作方法务还会追问每次参与者是否变化、其中有没有竞争对手。

• 集群问题同样致命：2024 年单卡或单机还能完成大量优化，2025 年很多工作必须在集群验证。别人捐一台机器已是极限，更不可能稳定交出整套集群。

• 维护者只能“到处乞讨”：先花一个月说服对方借机器，再赶在一个月到期前排满实验；对方还可能临时收回，或规定一三五自用、二四六开放。团队因此承认 2025 年做得并不好。

• 志愿者的人来人往也无法保证一个重要 feature 连续推进。游凯超反复提醒：“对方又要签 NDA 了，我们签不了；要是有公司多好。”公司最终变成不得不做的基础设施。

28. 游凯超为了等团队创业，先接受了清贫的博士后

• 2024 年在硅谷观察创业者、投资人和“创业还是上班”的选择后，他得出结论：失败的最坏结果不过是少拿几年工资；不创业却可能让 vLLM 无法长期发展。

• 离开伯克利前，他已决定参与创业，但其他核心成员尚未就绪，于是接受 SkyLab 博士后 offer，并承诺为团队再等两年。

• 他还向 Michael I. Jordan 请教：外部工作给很多钱，博士后却很清贫，该怎么选？Jordan 以过来人经验建议长期支持 vLLM，这进一步稳住了他的选择。

29. Simon 适合做 CEO，因为他早已在社区里扮演 CEO

• Simon 曾参与 Anyscale 创业，也在 Character.AI 工作过，较早认同必须为 vLLM 建公司的判断；他在社区管理、跨方沟通和资源协调中已展示出 CEO 所需能力。

• 他尝试过从 Character.AI 内部找人和机器帮助 vLLM，最后发现“靠别人靠不住”：一家有主营业务的公司，不可能无限调用员工替外部开源项目用爱发电。

• 游凯超没有争 CEO 的想法。他认为 Simon 明显更合适，而自己也不愿在核心团队和角色不完整时独自创业。

30. Woosuk 放弃的不是普通 offer，而是可能改变一生的财富

• 最犹豫的是 PagedAttention 主要作者、后来担任 CTO 的 Woosuk。他曾面对 xAI 基础设施领导机会，也在 Google DeepMind 做过一段时间，并被 Thinking Machines Lab 邀请负责基础设施。

• 团队最终“逼宫”式提问：“你如果不跟我们创业，赚到了很多钱，但十年后 vLLM 项目失败了，你开心还是不开心？”他没有当场回答，想了几天后选择回来。

• 临注册公司时，某顶级大厂一号位又直接邀请四位创始人加入，开出每人年薪 2,000 万美元。这时四人没有任何犹豫，爽快拒绝。

• 李卓翰没有加入，主要因为他 2024 年已毕业，先后在 OpenAI 和 Meta 工作，已有自己的团队和项目；团队判断拉他离开会对既有组织造成过大影响。

31. 1.5 亿美元种子轮，是投资人等了两三年的结果

• 融资过程比创始人预想顺利：a16z 在 2023 年已向 vLLM 提供数十万美元级资助；2024 年 Sequoia 与真格也以开源社区形式捐款。

• 这些机构早已判断 vLLM 是重要基础设施，并反复表示团队若创业会全力支持。创始人宣布决定后，投资人的反应近似：“钱已经准备好了，你们终于决定了。”

• 节目开场给出的数字是 1.5 亿美元种子轮。游凯超不确定它是否为全球 AI infra 历史最大，但承认规模很大；投资逻辑是每个开源模型、每家芯片厂商都在靠近 vLLM，背后市场是数百亿美元级别。

• 即使融资完成，仍有人愿以数千万美元 SAFE 提前占位。团队的口径是“不是为了融资而融资”，资金速度必须与公司成长和明确用途匹配。

32. 公司化把“求大家做完”变成可计划的季度交付

• 开源社区只能 best efforts：参与者各有本职工作，计划常退化成“求求大家这周做完”。公司则拥有全职人力和专属资源，可以制定季度目标、拆到小组和每周任务。

• InfraRact 录制时已有三十多人、接近四十人，仍在招聘。四位核心创始人没有僵硬边界，谁掌握客户或技术 context 谁负责，自称像“四位一体、共享一个大脑”。

• Ion Stoica 作为联合创始人和 advisor，参与重大策略判断；他有 Databricks、LMArena 等创业经验，帮助团队判断行业水温与公司阶段，但不负责日常执行。

33. 公司没有透支社区信任，反而补齐了社区最缺的资源

• 合作伙伴过去想签 NDA、提供算力或资金时都受制于开源社区没有法人；公司成立后，这些法务和采购障碍显著缓解。

• 对普通用户而言，最关心的不是谁拥有多少代码或话语权，而是新模型、新硬件、新推理 feature 能否及时支持。稳定招聘与集群资源让这些交付更有保证。

• 若商业客户要求与社区方向冲突，游凯超的答案是：“我们不接。”当前合作需求远大于团队供给，他们可以拒绝不想做的项目，只选择与 vLLM 生态一致的商业机会。

34. InfraRact 想卖的是 token 产能，而不是工程师工时

• 第一种模式是 endpoint service：公司拥有机器和软件，客户直接按 token 使用；第二种是 BYOC，客户提供机器，InfraRact 提供软件，在客户环境中生产 token。

• 第三类是与战略客户共同建设生态的合作，但总原则仍是按产生价值收费。“我们不是技术外包”，收入应取决于多产出多少 token、节省多少机器成本。

• 十年愿景是把大模型推理做到“基本解决”：人们想到推理就想到 vLLM 和 InfraRact。下一轮融资的内部 milestone，则是跑通一种可以规模化扩展的商业模式。

• 中国模型开源并不意味着业务只能在中国：模型可以在北美运行，InfraRact 当前仍以北美业务为主，这使其同时连接中国模型供给与海外部署需求。

35. co-design 的本质，是让发电机适配当地水文

• 游凯超把硬件比作风、水、太阳等自然资源，把模型比作发电机，把推理引擎比作电力系统；最终目标是把资源转成 token，再分发给用户。

• 同样的水流，在湍急与平缓河段需要不同发动机。模型与 infra 的 co-design，决定的是同样自然资源下能产生多少有效 token。

• 在摩尔定律有效时，软件可以等待通用硬件每两年自然变快；如今通用性能红利衰退，新增算力越来越专用。算法若没有利用这些专用单元，就是没有抽中“hardware lottery”。

36. Transformer 抽中了 GPU 彩票，Capsule Network 没有

• Transformer 含有大量适合并行的矩阵乘法，因此与 GPU 特性高度匹配；游凯超赞同“它抽中了 GPU 彩票”的概括。

• Hinton 推动的 Capsule Network 在概念上可能很合理，但对 GPU 不友好，因此没有广泛应用；若要普及，也许需要专用硬件。这里保留了他的条件式判断，而非断言算法无效。

• 模型结构决定推理效率上界；结构先天不适合硬件，系统工程师再努力也“无力回天”。现实中硬件已经造好，通常是模型主动靠近硬件，而不是反过来。

37. RoPE 胜出，不只因为数学性质，也因为它不必改 FlashAttention

• Transformer 之后出现过上百种位置编码，但很多方案会侵入 attention kernel；例如 ALiBi 一类方法若需要修改核心实现，普通团队很难适配快速演进的高性能 kernel。

• FlashAttention 解决长序列训练效率后，成为训练中的重要基础；绝大多数用户没有能力修改其内部实现，这自然淘汰了大量需要侵入 attention 的位置编码。

• RoPE兼具良好相对位置性质，又能以注入 query、key 的方式独立置于 attention kernel 外部，因此与 FlashAttention 成为“最佳搭档”。这是模型设计与 infra 形成共鸣的典型样本。

• 反例是 MoE 的 Expert Choice：infra 团队可借此更容易做负载均衡并跑得很快，但算法上无法接受。co-design 不是让 infra 一方压倒算法，而是共同约束可行空间。

38. DeepSeek 的优势，是算法人员也能写出高效 infra

• 游凯超把 DeepSeek infra 评价为全球顶级，是否绝对第一可以讨论，但他认为其 model-infra co-design 做得最好。

• 2024 年早期探索 DeepSeek MoE 时，一位算法研究员就写出了较高效的粗粒度 MoE 实现；后续细粒度 MoE 也率先在其推理系统落地。算法团队懂一部分 infra，探索空间因此更大。

• NSA、DeepSpark 等结构都带有浓厚 infra 味道；反过来，强推理团队又能快速反馈某个算法能否高效实现。双方最好共同办公，让日常讨论、吃饭聊天形成长期“熏陶”。

• 他推测这种能力与幻方量化时期对性能的极致压榨有关：自建机房使团队能控制机器每个细节并做全栈优化。优点是控制力与总成本，缺点是难以短期扩张，云上团队无法简单复制。

39. DeepSpark 的价值不在概念最 novel，而在把投机解码做扎实

• 自回归解码只能逐 token 生成；投机解码先猜一段，再批量验证，把若干解码步骤改造成短预填充。EAGLE、MTP 等路线通常猜 3—5 个 token，长度短但接受率较高。

• 节目所述 DFlash 路线会一次猜很多 token，例如 16 个 token，优点是并行度高，缺点是错误更多、验证浪费算力。vLLM 与 NVIDIA 已为部分模型做到每秒上千 token。

• DeepSpark的改进是估计哪些猜测更可能正确：若十六个候选里只有前八个置信度足够，就只验证前八个。游凯超认为思路并不意外，腾讯混元的 D-Cut、上交团队的 Domino 已走相近方向。

• 但“创新性”与“能否扎实做出来”是两回事。DeepSeek 的价值在于把推理优化压到极致；任何投机解码算法，若没有高质量引擎实现，都难以大规模使用。

40. AI infra 不等于“有钱建大集群”

• 主持人追问某些高调团队为何有巨大集群却没形成同等能力，游凯超区分了 “infra 的 infra”与 AI infra：前者是找土地、电力、资本，把机器点亮并交付。

• 建集群很重，但技术高度不完全等于资本开销；AI infra 还要理解模型负载、通信、kernel、调度和推理行为。若一号位不懂，即使高价招来专家，也可能因“瞎指挥”无法释放价值。

• 因此“好的 infra 不是加出来的，是设计出来的”：资源决定能否起跑，model-system co-design 决定这些资源最终转成多少可用 token。

41. 推理需求越爆炸，越不能放弃效率

• 两年前模型生命周期仍以训练成本为主；如今训练与推理可能达到 1:1，推理还在增长。模型训练像研发发电机，推理则是此后持续发电，微小效率差会在长期调用中放大。

• 当算力供给远低于 token 需求，土地、电力和芯片不能快速增长，只能提高“发电效率”。模型若针对已知硬件条件设计，研发可能更复杂，却能显著降低长期运行成本。

• 游凯超用 attention head size 1,024作极端例子：算法团队若不顾硬件突然采用这种结构，infra 团队可能“晕过去”。各自为战的团队在他看来“完全没有前途”。

• 对“test-time scaling 增长快于优化”的质疑，他反问：夏季用电激增，发电厂不能因此摆烂。供给侧提高产能、需求侧节省 token，效率与 scaling 不矛盾。

42. token 带着模型烙印，因此推理不会成为简单电网

• 电可以调制成统一电压和频率，DeepSeek 的 token 却无法转换成 Kimi 的 token；模型能力、行为风格、推理实现乃至 harness 都会影响最终产物。

• “每一个 token 都带着模型的烙印。”有的模型适合指挥，有的适合执行；有的适合 Claude Code，有的适合 OpenClaw。用户面对的不是统一 commodity，而是异质智能供给。

• vLLM 已支持约两三百种模型结构，其价值就在于承受这种复杂度；维护代价则是持续删除无人使用的结构和 feature，把优化聚焦到主流模型、硬件和 workload。

43. 中美模型结构的差异，首先反映算力约束

• 游凯超的总体观察是：欧美模型更重效果，中国模型更重效率。欧美算力更充足，国内高端算力紧缺，结构选择自然受到不同资源边界影响。

• 对推理引擎而言，最关键差异往往是 attention：完整 attention 的单 token 状态较小、只增不改，适合 PagedAttention；linear attention 状态更大且会修改，需要不同管理机制。

• 混合与交叉注意力的状态更复杂，但尚未成为主流。若只从 infra 出发，Llama 式简单结构最好支持；但推理方便却生成“没有用的电”也无意义，效果仍是不可丢弃的约束。

44. MoE 带来三类系统挑战，DeepSeek 给出了一整套工程答案

• 第一类是细粒度专家：专家越细，模型可能越有效，但矩阵维度随之变小，GPU 难以充分利用，算法收益与 kernel 效率之间必须取舍。

• 第二类是动态路由：每个 token 临时选择专家，而 GPU 擅长预先确定的静态数据流。第三类是扩展到万亿参数后，只激活几十分之一参数，要求专家并行、数据并行和高效通信共同工作。

• 游凯超以 DeepSeek 2025 年的一系列方案为例：DeepEP 处理专家并行通信，DeepGEMM处理专家并行的计算和选择。其结论是，这一轮 MoE 确由 DeepSeek 引领。

• MoE 之后的主要战场仍是 attention：linear attention 与 sparse attention 哪个更好尚无定论，也可能两者都有效，没必要强行二选一。

45. test-time scaling 已从“多答几次”演变为 Agent 长期交互

• 早期 ensemble 让多个模型或同一模型多次回答，再集成结果，扩展的是尝试次数；o1 式长思考扩展单次输出 token，极端任务可输出数十万 token。

• 今年以来更显著的形态是 Coding Agent 与环境反复交互：每轮只思考数百 token，却持续读取环境、执行工具、修正策略，扩展的是交互次数和任务运行时间。

• 长思考是单个请求长期占用资源，成本很高，主要服务科学家等特殊需求；多轮 Agent 则能进入日常工作，但要求历史状态高效复用。

• 因此 prefix caching 成为核心：尽量保留既有状态，让下一轮请求直接复用。若模型主动删除上一轮思考内容，还需要模型与推理引擎联合优化。

46. harness 的一个小改动，可能让全部前缀缓存失效

• Agent 生态当前高度碎片化：不同 harness 产生不同负载，模型结构又有不同优化需求，下一阶段需要的是 harness-infra co-design。

• 有些框架每轮精细调整可调用工具范围，自以为减少了模型负担；但工具定义位于请求前端，一旦变化，后续所有前缀都无法复用，反而制造巨大推理成本。

• 旧版 ChatGPT 曾把当前日期写进 system prompt，跨日时缓存统一失效；更好的做法是把日期作为工具，只有模型需要时再查询。原则是：经常变化的内容不要放在前端。

• 更极端的框架把时间精确到秒写入请求，又把定时任务设在整点，导致流量同时爆发。团队的比喻是：“一群小龙虾一到整点就集体出动攻打月球。”随机错峰即可避免。

47. DeepSeek 的下一课，可能是把 Agent harness 也纳入 co-design

• 游凯超注意到，DeepSeek 最近完成一轮大额融资并在扩招，首批重点岗位之一是 Agent 框架设计；他据此期待其把模型、infra 的协作延伸到 harness。

• 这仍只是他的期待，而非已发生的产品判断：“我也相信他们的 Agent 框架、harness 框架能够达到和 infra co-design 的高度，再给社区上一课。”

• 对投资与产品团队的含义是，未来竞争单位不再是单模型 benchmark，而是模型—推理—工具编排的整套系统效率。

48. FP8 展示了模型结构如何主动吃到新芯片红利

• 从 A100 的 Ampere 到 H100 的 Hopper，旗舰卖点之一是 FP8 算力：八比特浮点运算比十六比特浮点运算快两倍，但直接全局量化很容易损失精度。

• 游凯超称 DeepSeek 应该是第一个大规模跑通 FP8 训练的团队：权重采用 block quantization，activation 采用 per-channel quantization，设计也贴近下一代 MX 量化格式。

• 分块量化仍会遇到矩阵计算精度问题；DeepSeek 的处理是矩阵乘法后再利用向量单元累加，并让芯片上两类单元并行工作，从而兼顾精度与效率。

• 更底层的趋势是：摩尔定律不再提供通用增益，芯片必须针对领域负载特化；矩阵乘法又被二十多年实践证明足够简单、有效，模型便必须尽量向矩阵计算靠拢。

49. 第一性原理的作用，是在每月十种新技术里辨别主线

• 游凯超认为靠谱团队首先要有人真正理解基础：continuous batching 为什么有效、GPU benchmark 受散热功率频率怎样影响、attention 在不同 batching 下如何计算、FlashAttention 怎样实现。

• 若只会在现成代码里修补、测出一个速度数字，却不知道收益来源，性能优化就像抽彩票；只会课本公式，也无法从上百种上下文扩展方法中判断哪条路线值得投入。

• 他学习 GPU kernel 时先研究编程模型，并据此推断驱动层“应该存在”调试非法内存访问的工具；持续追问英伟达后找到长期存在却少为 AI infra 圈所知的 CUDA core dump。

• 将这套方法推广后，社区解决了许多疑难问题。其方法论是：“大胆猜想，小心求证”，从第一性原理看清主线、屏蔽噪音，再持续投入。

50. 百万上下文可能够用，长期记忆未必需要继续堆窗口

• 游凯超唯一明确给出的技术 hot take 是：面向人的模型，上下文需求可能停在百万 token 级别，不再持续大幅增加。

• 生物、化学等特殊自然科学任务可能需要千万乃至亿级上下文，但他保留了“个别领域”“可能”的限定，并未把这一预测泛化到所有负载。

• 长程任务和终身学习可以交给外部记忆、技能模块、sub-agent 等工具。如果判断成立，当前模型结构和 infra 范式还能延续很久。

51. 系统一次次把“算法做不到”改写成“可以精确高效实现”

• 长上下文领域曾出现大量近似 Softmax Attention 的算法，FlashAttention 却证明精确 attention 也能高效计算，许多近似路线随之失去价值。

• 自回归解码早期被认为逐 token 生成太慢；continuous batching、PagedAttention 降低成本，speculative decoding 又把单 token 解码改造成分段验证。

• linear attention 的可用性同样取决于 chunk-parallel 等系统实现。游凯超认同 David Patterson 的判断：后摩尔时代，AI 上限取决于系统；能被系统高效实现的算法，才有机会留下来。

• 但 co-design 只能解决一段时期的问题。万亿参数是否继续扩到十万亿、上下文是否必须过千万、AGI 如何演进，最终不只是技术问题，也是“历史问题”。

52. 中国扛起开源模型大旗，美国仍掌握更多高端算力

• 游凯超认为，美国顶级模型 OpenAI、Anthropic、Google Gemini 主要走闭源路线；Mistral 等仍开源，但当前缺少同等级顶级开放模型。中国则在美国转闭源后“扛起了开源大旗”。

• 双方基础设施约束并非简单输赢：中国高端芯片紧缺，因此重视国产卡适配和极致效率，但土地、电力供应相对充足；美国高端芯片更多，下一波基础设施瓶颈却在土地与电力。

• 他不愿把中美描述成单纯竞争，更倾向于“各有局限和掣肘”。这些约束会长期塑造各自模型结构、部署方式和工程优先级。

53. 开源模型会赢，因为被大规模使用的模型很难永远藏住

• 游凯超的关键 bet 是：“我觉得开源模型最后会赢。”核电站可以只输出电，让用户永远学不会造核电站；模型却通过带烙印的 token 与用户持续互动，同时留下可训练数据。

• 尤其在 Coding Agent 场景，企业可迅速积累任务、反馈和执行轨迹。他估计公司级机构约一个月就可能收集到足以启动训练飞轮的数据，但没有把这个时间判断说成普遍定律。

• 他以 GLM-4.5 的 coding 能力为例，判断其领先应与数据积累有关，具体怎样做并不清楚。领先者会有优势，但优势难以长期守住。

• 模型最终可能成为 commodity，护城河不是某次能力领先，而是能不能快速迭代：“没有一个东西可以守着一年，必须不断推陈出新。”

54. 模型厂商会自建推理，仍需要一个可移植的公共层

• DeepSeek 内部引擎很强，但依赖对机房、集群和软件栈的完整控制；突然增加十倍机器，并不等于能立刻产生十倍 token。

• vLLM 的角色是更通用的推理层：即使云资源有各种限制、无法做最极致的全栈控制，也能在广泛硬件上给出“还不错”的推理效率。

• 这正是公共基础设施与内部垂直栈的分工：模型公司优化自己的上限，vLLM 负责把模型扩散到更多硬件、云和客户环境。

55. vLLM 正在争取成为 AI 推理领域的 Linux

• 游凯超认为，vLLM 的影响力已经可以说是 AI 推理领域的 Linux。Red Hat 同时维护 Linux 与 vLLM，并把后者打包进企业发行版，是他给出的产业验证。

• 未来企业部署的不只是“冷冰冰的操作系统”，而是能够直接运行 AI 的系统环境。基金会持有公共资产，InfraRact 作为关键商业维护者，共同构成可持续结构。

• 这个定位也解释了为什么团队拒绝闭源：如果只想做封闭产品，核心成员完全可以加入大厂；他们创业的前提，就是开源推理引擎本身具有不可替代的历史意义。

56. 游凯超最终押注的不是命运，而是可验证的长期意义

• 他不声称相信命运，因为“首先得有观测命运的手段”；伯克利两次改变人生方向，在他看来既有机缘巧合，更是多年积累与时代趋势共同作用。

• 写作是另一种开源：把技术心得放进公共社区，也迫使自己说明白。“如果没有办法清晰地写下来，说明你对它还不够了解。”数学、物理训练又让他偏爱形式化与可验证表达。

• 对新入行者，他不提供捷径，只建议从第一性原理出发，先想清楚自己要什么，再长期积累。行业越白热化、心态越浮躁，这种选择越稀缺。

• 他对人与 AI 的理想分工仍保留人的位置：硅基智能提供大规模总结与执行，人类提供 insight、灵感和更完整 context；而眼下最关键的个人 bet，仍是那句不加修饰的话——“开源模型最后会赢。”