陈天奇：机器学习系统，长期主义，初心，XGBoost，MXNet，TVM，MLC LLM，OctoML，CMU，UW，ACM班

摘要

• XGBoost、MXNet、TVM、MLC LLM并非四次追风口，而是陈天奇持续拆除机器学习规模化瓶颈的一条技术主线。 他属于“问题驱动”而非“方法驱动”的研究者：树模型、深度学习框架、编译器乃至硬件指令集都只是手段，目标始终是“让更少的人用更少的 engineering resource”构建和部署 AI。对基础设施观察者而言，这意味着价值未必沉淀在某一代模型，而可能落在跨模型、跨硬件反复出现的 bring-up、优化与部署摩擦上。
• XGBoost说明，小团队的持久护城河可以来自极致的单点产品、算法与系统协同，以及持续扩张的社区信任。 发布时它追求世界上最快的 Gradient Boosting，并把 missing value 的处理直接内置到模型中；何泰然录制前看到论文引用已接近 7 万。陈天奇把成功归结为“把一件事情做到极致”、专注一个算法和社区共建，而非事先预判了市场规模。
• MXNet的退场则表明，领先性能和大公司支持都无法替代用户体验与社区动量。 MXNet长期拥有优秀的多卡性能，Amazon、NVIDIA也曾深度推动，但团队早期试图同时最大化性能和体验；陈天奇事后认为“其实应该先选择用户体验”，PyTorch由此取得更强的开发者心智。更深的教训是，靠人力追赶每代 GPU 的工程成本不可持续，这直接催生了TVM。
• 模型趋同不会自动消灭机器学习编译，硬件专用化反而让模型—芯片协同更紧、更频繁。 陈天奇承认少数模型占据多数推理量可能压缩通用编译空间，但每代芯片的编程方式、新模型变种及专用算子仍需重新适配；“没有同一个 recipe 可以拿到 next 2x”。MLC LLM据此押注跨云与端侧的统一推理，而端侧能否起量，最终取决于本地模型是否在专用场景达到“够用”，再由成本、隐私和实时性放大需求。
• 高校与frontier lab的万卡、十万卡差距不可避免，但百卡级资源、最新GPU和开源协作仍足以攻克高杠杆的垂直瓶颈。 陈天奇不主张按论文投入产出比选题，而是寻找系统真正卡住的模块；结构化JSON生成项目XGrammar成为开源生态的事实标准之一，就是“小模块做到最好”的样本。“Resource constraint is also an opportunity to make people more creative。”
• OctoML展示了开源技术到商业收入并非直线转化：开源是起点，最终产品与最初设想几乎必然不同。 公司起初销售跨硬件的模型优化与部署能力，约两年前转向直接提供Llama等模型的endpoint/API；何泰然提到公司最终于2024年底被NVIDIA收购。陈天奇的创业复盘并不回避PMF、领导力和协调的重要性，但仍坚持：“如果继续优化ResNet，最后我们会输得很惨”，技术栈必须敢于reinvent itself。
• 这期最重要的长期主义不是“坚持原路线”，而是接受失败后仍敢于重选问题、重写系统和重新出发。 从在正确的ImageNet问题上坚持错误方法两年，到为TVM在博士后期投入11个月搭出首个可运行版本，陈天奇的风险承受力来自“失败也没那么可怕”。资源、声誉和团队责任越大，初心反而越难保持；他的自我提醒是：“勇气可能是你过去的自己给你自己的约定。”

精读

1. 互联网让县中学生第一次相信，资源匮乏不等于没有入场券

• 陈天奇成长于浙江小县城，母亲是松阳二中的高中老师，因此选择留在本地读书。约在2003年前后，他因为网页、互联网和“自己创造游戏”的想象去找计算机老师何老师，却得到了一本C语言入门书；网页和游戏没做成，编程反而成了长期方向。

• 县中没有信息学竞赛教练，他靠Online Judge和“大榕树”论坛自学。高二初赛未过，后来参加省内比赛拿到二等奖，高三才得一等奖；他形容互联网让一个“草根出身的人”也能看见高手、进入社区，并得到即时反馈。

• 何泰然追问为何同龄人玩电脑多半走向游戏，陈天奇的回答没有美化童年：“我也喜欢玩电子游戏，我其实一直都打游戏。”区别只是他还想创造东西，而编程把这种创造欲导向了更深的系统问题。

2. 一个暑假的Pascal-to-C工具，建立了此后“不怕干事情”的底层信心

• 当时竞赛主流语言是Pascal，陈天奇因“野路子出家”只学过C，于是高二尝试写一个把Pascal转成C的mini transpiler。没有GitHub，也没有完整教程，他先在Windows、后在Linux上开发，并在小本子上画模块和交互关系。

• 这个项目花掉一个暑假，最终做出能用的版本；它并非完整编译器，却让他第一次从架构到实现独立搭起系统。最重要的产物不是代码，而是“我自己可以尝试，失败了也没有什么关系”的经验。

• 后来无论搭CPU、做NPU还是重写编译器，他都反复调用这段记忆。陈天奇对其影响的总结很朴素：“对于后面就是不怕干事情，我觉得这一点上面是有很大的影响的。”

3. 上海交大ACM班同时训练了表达、系统能力与“低调做人，高调做事”

• 2006年，陈天奇以高考生身份进入上海交大电院，再申请ACM班。由于没有NOI等显赫履历，他把材料准备得极其仔细，后来于勇老师告诉他，这是学生中准备最仔细的一份；他回看时觉得，那很像提前写了一次PhD personal statement。

• ACM班的“学子讲坛”要求学生每年、每学期选择任意topic上台表达。陈天奇读博后主动第一个做组会报告，才意识到本科训练给予他的并不只是技术，而是“可以有自信直接出来表达自己”的能力。

• 编译原理大作业由第一届学生借鉴北美课程设计，再由历届学长担任助教、持续迭代和传承，要求从scratch搭编译器。陈天奇认为，即使按今天北美高校的标准，这仍是一流训练；他后来还挑战过让自写编译器运行在自写CPU上。

• 于勇强调“低调做人，高调做事”。陈天奇由此区分了两件事：做事必须有锐气、要“be ambitious”和挑战status quo；对人则应谦逊，因为一件事成功的因素“几乎不全部来自于你自己”，合作需要尊重。

4. 科研的第一道门槛不是解题，而是不知道什么问题值得解

• 进入交大APEX实验室时，陈天奇选择机器学习的动机只是“机器可以学习，听起来很酷”，入门材料是Tom Mitchell的《Machine Learning》。最初他跟随戴文渊学习，后来去微软亚洲研究院接触广告问题，但仍不清楚科研究竟怎样运转。

• 他现在认为，这种困惑不会因资历增长而消失。科研面对的本来就是uncharted territory：即使对一个领域轻车熟路，也只能降低局部不确定性，无法消除“不知道做什么”和“不知道怎样做”的根本状态。

• 当时实验室学生多、老师指导有限，薛老师一句“最近有个叫深度学习的东西挺有趣”成为转折。他和同学从论文出发，决定研究restricted Boltzmann machine，随后把一个看似合理的方向锁定了近两年。

5. 在正确的ImageNet问题上坚持错误方法两年，反而训练了风险承受力

• 陈天奇与林源从卷积restricted Boltzmann machine切入，先做人脸、行人识别，后来看到李飞飞团队发布ImageNet，便决定挑战大规模分类。当时距离AlexNet一鸣惊人尚有约两年，但Andrew Ng团队和CUDA ConvNet等工作已显示GPU加速深度学习的可能性。

• 实验室买来的显卡大约是GTX 380或390，陈天奇已记不清具体型号；服务器电源带不动，团队另买电源放在机箱外，再接回显卡，搭出第一台GPU服务器。CUDA版本大约是2.0，许多梯度传播、卷积和优化代码都要手写。

• 一个模型可能要在C++和CUDA C里开发约六个月，但结果始终无法击败SVM baseline。陈天奇后来判断，深度学习方向本身正确，问题在于最终奏效的是supervised learning，而他们锁定的restricted Boltzmann machine路径并不对。

• 何泰然将其概括为“不能同时锁死问题和方法”，陈天奇认可，并称此后基本没有再犯同类错误。更重要的是，他发现投入两年、没有论文、结果失败之后，“we are fine，我还是活得好好的”，这让他以后更敢做高风险项目。

6. KDD Cup和香港经历把他从“会解题”推向“会寻找问题”

• 团队参加KDD Cup推荐系统比赛时，最初仍从restricted Boltzmann machine出发，但很快发现矩阵分解更有效。陈天奇认为，正因为不再只守一个方法，团队才取得好结果；他还提到，KDD Cup第二年的winning method是矩阵分解与tree-based method的混合模型。这段经历也帮助他后来进入北美学术圈。

• 更关键的转折来自李航在APEX的一次报告。李航逐项讲信息检索中的问题和解法，陈天奇突然意识到：“好像这些问题我都能解决，而且我可以想出一些其他的方法。”在李航与杨强支持下，他赴香港实习，研究视野由单一的ImageNet分类扩展开来。

• 他一度觉得自己应该更早知道“挑问题”和“选方法”的区别，但随即给出反向判断：“I wish I didn’t know them。”早期吃亏固然低效，却磨出了方法基础、接受失败的能力，以及以后面对新问题时敢于上手的信心。

7. 他的research taste不是守住一种方法，而是围绕“创造与规模化”不断换工具

• 陈天奇区分两种研究风格：一种从方法出发，把同一方法用于不同场景；另一种对某类问题感兴趣，允许解法不断变化。他明确属于后者，底层动机仍是童年那种创造欲——先是想创造游戏，后来是“创造智能，创造东西”。

• 深度学习早期突破后，他与导师追问：成功究竟来自神经网络本身，还是更大的hypothesis space和更多数据？他们尝试用其他模型检验这个假说；导师偏向kernel method，陈天奇因KDD Cup经验坚持tree-based method。

• 真正挡路的却是系统：现有实现无法把他想做的树模型算得足够快。由此形成此后近十五年的核心判断——算法、数据和算力必须一起看；如果系统阻止模型scale up，他不愿绕开瓶颈，而会直接去解决它。

8. 选择UW不是排名判断，而是选择导师与研究方式

• 在交大做推荐系统时，陈天奇开源了SVDFeature。在以色列做startup的Danny注意到项目并做了博客访谈，继而把他介绍给Carlos Guestrin与Alex Smola；尽管同时拿到CMU offer，他仍为了跟Carlos合作而选择UW。

• Carlos给学生的起始标准近乎直接：“You should write the best paper。”实验室还有“no Beamer, only PowerPoint”政策，要求研究者用视觉表达让听众真正学会内容，而不是依赖密集公式和模板化幻灯片。

• 这种训练后来同时进入陈天奇的论文和开源项目：成果不能只证明新颖，还要让使用者理解、采用并扩展。Carlos团队同期的LIME开创可解释机器学习方向，也让他看到研究可以通过清晰表达建立一个新领域。

9. XGBoost的第一个护城河，是把一个算法做到速度与可用性的极致

• XGBoost最初只是用树模型检验规模与数据假说，但陈天奇沿用ACM班的标准：“做一件事情要做到极致。”他尝试各种优化方案，让发布时的实现成为当时世界上最快的Gradient Boosting工具。

• 产品化细节与速度同样关键。传统流程通常先清洗missing value，用median等数值填补；XGBoost让模型根据历史缺失模式学习默认分支，自行决定缺失样本落到哪一侧，直接免去大量预处理工作。

• 陈天奇由此第一次清晰认识到，垂直系统不能只做算法或只做工程。算法决定模型为何有效，系统决定它能否在真实数据规模上运转，而数据缺失等工作流问题决定用户是否愿意把它当作“out of box”的工具。

• 相较之下，早期SVDFeature是一个大而全的工具，配置文件有二三十项参数；XGBoost只集中做好一个算法。陈天奇认为，小团队或个人尤其需要这种专注，否则很难在任何单点建立足够明显的优势。

10. 社区把XGBoost从个人项目变成长期维护的软件资产

• XGBoost的树可视化工具来自一位法国律师Michael。他原本想用模型识别税务欺诈，随后贡献了R包，并逐步转向法律与机器学习交叉工作；这个案例让陈天奇看到，维护者无法预先设计所有真实需求。

• 后续核心维护早已不再由陈天奇一人承担，UW学弟及更多社区成员持续推动项目。代码只是某个时刻的快照，软件能否成功取决于是否不断吸收issue、修复问题并让新贡献者进入。

• 论文直到项目第三年才完成；何泰然录制前看到引用量已接近7万。Carlos要求它成为“读者可以学到东西”的文章，而非只优化中稿率；陈天奇坦言发布时完全没有预料到它会如此长寿，只觉得“做得还行，GitHub也挺好玩”。

11. XGBoost挑战神经网络的假说只对了一半，但那一半至今仍有价值

• 当时正确的判断是模型capacity不应被固定。线性模型参数量预先锁定，树却能随数据量arbitrarily grow；神经网络也能获得巨大容量，只是采取更“暴力”的路径——一开始就把parameter space设得非常大，而非按数据逐步生长。

• 树模型在tabular data和time series上仍是常用的out-of-box工具，因为切割与组合能自然表达许多结构。陈天奇因此认为，对树模型能力的判断并未失效，即便neural network后来主导了更广泛的场景。

• 低估之处是神经网络的可组合性：Transformer block、linear block等模块可以反复拼接，用更compact的方式表达复杂函数。陈天奇强调，他们当时并非认定神经网络无效，而是在检验“表示形式和数据规模哪一个更重要”，结论是“partly right, partly wrong”。

12. MXNet把分散的PhD项目合成了一个面向下一代深度学习的共同系统

• AlexNet成功后，陈天奇重新拾起此前失败却未消失的深度学习热情。他先与许斌开发CXXNet，用Expression Template把乘法、减法和update rule融合成内联GPU kernel，并拿它参加Kaggle；当时Caffe已经发布，框架生态正处于百花齐放期。

• 同期还有Minerva、Purine、Julia上的Mocha及Parameter Server等不同尝试。李牧、敏杰、张驰远、林敏、谢俊元等分布在CMU、MIT、NUS、NYU和UW的博士生逐渐聚到一起，决定吸收各自项目的lesson，共建MXNet。

• 核心设计包括Python first、计算依赖的自动调度和自动求导。用户在Python写forward与backward，系统可自动安排多卡并行、all-reduce及通信—计算重叠；分布式能力因Parameter Server经验而成为first-class citizen。

• MXNet还同时支持declarative计算图与imperative即时执行，名称中的“Mix”既指团队与项目的融合，也指mixed programming style。相较于Caffe采用backpropagation的第一代框架，这是开发模式和系统优化空间的一次代际变化。

13. 知道TensorFlow即将发布，并没有让MXNet团队停止

• MXNet立项时团队尚不知道TensorFlow；陈天奇后来到Google Brain实习，参与内部dogfood才确认它即将推出。他也向Brain介绍MXNet经验，但团队没有把巨头入场理解为终局：“我们这个初生牛犊也可以copy一下嘛。”

• 这群PhD没有围绕一作归属拉扯，最后只投了一篇workshop paper，后来保留为arXiv版本。陈天奇把合作顺畅归因于技术上的相互尊重；李牧则是长期的“中流砥柱”，毕业后进入Amazon，持续推动开发、采用和社区凝聚。

• MXNet的多卡性能长期领先，NVIDIA为取得MLPerf等跑分也持续贡献，Amazon则把它作为重要框架推动。陈天奇记得，这种优势延续到PyTorch出现后一段时间，说明项目并非因为缺少公司支持或底层性能而立刻失去位置。

14. MXNet输给PyTorch的核心教训，是体验优先级与工程规模判断失误

• 陈天奇的直接复盘是：“一定要把用户体验做到极致。”MXNet早期希望性能与体验同时拿到，但事后看“其实应该先选择用户体验”；何泰然也以TensorFlow 1.0静态图难debug、Torch更直观的亲身经历验证了开发者感受的决定性。

• MXNet 2.0以后尝试转向更统一的模式，也推出GluonCV、GluonNLP等早期易用生态，后者在某些形态上很像后来Hugging Face。但PyTorch社区已经形成动量，技术追赶无法轻易逆转使用习惯、教程和贡献者网络。

• 更深层问题是工程负担：即使有Amazon、NVIDIA和大量贡献者，为每代GPU、每种算子持续写高性能实现，人手仍远远不够。陈天奇由此提出新的问题——“怎么样能够让更少的人做更多的事情”，TVM的种子就埋在这里。

15. Google Brain经历强化了他总选“高风险、高回报”课题的倾向

• 陈天奇很幸运地成为Ian早期的第一个intern。他主动选择lifelong learning：如果智能持续演化，小模型容量终会不足，能否把已训练模型快速bootstrap成更大模型？这最终形成Net2Net项目。

• Ian把候选项目画在risk与impact坐标系上，陈天奇选择了两项都最高的方向。他不把这种选择规定为所有研究者的最优解，只解释自己的偏好：“时间是有限的，所以一定要做想要做的事情”，而想做的事往往自然落在高风险区域。

• 博士中后期，他还想到一种以低于线性复杂度训练更深模型的方法。Carlos认为只做到算法层面可能是一篇NeurIPS poster，若要做就应把recomputation选择也自动化、做到best-paper level；陈天奇因精力有限放弃，后来出现了相关follow-up work。

16. TVM在没有成熟领域地图时，用11个月搭出了机器学习编译的第一座“城堡”

• TVM从一个直接痛点出发：卷积的NHWC或channel-first layout、算子融合、矩阵尺寸和硬件形态都会改变最优kernel，手写组合根本做不完。团队希望编译器自动生成并组合这些实现，而不是继续线性增加工程师。

• 图像处理领域的Halide是重要先例，陈天奇认为TVM一开始也受到Halide启发并复用了部分设计。但当时还没有成形的深度学习编译领域，他形容整个过程像“在荒岛里面建城堡”，只有方向判断，没有现成路线。

• 项目大约从一次GTC后的4月启动，到次年3月才有首个能运行的版本，共约11个月，期间主要工作就是写代码。陈天奇知道技术路线可能耗时，却相信XGBoost、MXNet和早期编译器训练积累出的架构能力足以把它做出来。

• 李牧曾担心他已到博士第三、第四年，再挖新坑风险过高；陈天奇当时的回答是，无论未来工作、创业还是教职，“最重要的还是要做当时自己觉得最重要的事”。他并非算出TVM会成功，只是不愿让职业节点替自己选题。

17. VTA把编译器思维带进NPU设计，并从first principles解决计算—访存重叠

• 团队与体系结构研究者Terry合作，最初甚至想把神经网络直接bake进FPGA wire；摸索后转而设计带指令集的VTA，即Versatile Tensor Accelerator。多数早期NPU是hard-wired卷积单元，VTA则强调可编程，让小矩阵和内存操作组合出更多算子。

• 他们很快发现，NPU必须让内存读写和计算同时发生。于是以hardware queue和signal协调两条逻辑执行流，用类似hyper-threading的思路，在物理单线程硬件上让一个逻辑线程访存、另一个计算，并显式通知对方资源何时可用。

• 陈天奇不是体系结构出身，却认为这种从编译需求反推指令集的设计今天仍有趣。GPU原本以大量线程执行SIMT，TPU/NPU偏向一条指令完成更大矩阵；但GPU加入Tensor Core、NPU吸收线程式编程后，边界正在变得模糊。

18. 挑重要问题并不会减少工作量，却能改变同样时间的上限

• 交大敖平老师曾告诉学生：“做一件比较平庸的问题和一个重要的问题花的时间几乎是一样的。”陈天奇认同其中的机制：平庸问题同样有无数实现细节，既然时间都会被占满，就应尽量把它花在真正重要的瓶颈上。

• 他年轻时曾想象，成为领域专家后就不会nervous，所有问题都能信手拈来；现实恰好相反。经验会积累，但只要继续进入新领域，挑战仍然存在，甚至因目标和责任扩大而更难，“做有趣的事情肯定是uncomfortable的”。

• 真正可能随年龄下降的是行动勇气，因为知识越多，越能提前看到失败路径。陈天奇因此提出全期最鲜明的自我解释：“很多时候你的勇气可能是你过去的自己给你自己的约定”，现在要做的是履行过去的承诺。

19. TVM必须不断自我改写，而不是守住先行者的历史位置

• 陈天奇对TVM首次release年份只记得约在2017—2018年，社区高峰大致是2019—2020年、OctoML早期。比具体年份更重要的是，他从一开始便希望项目可演化；今天的TVM已经经历多轮架构迭代，与初版形态显著不同。

• 面对Torch.compile、XLA、Triton等新生态，他并不认为编译问题已经解决。大模型看似更同质化，但每代GPU的编程方式、模型变种和端云设备仍在变化；团队用TVM构建WebML和MLC LLM，把模型带到网页和车载等环境。

• 下一步不只是提供一个万能编译器，而是让开发者更快构建某个垂直领域的编译器。团队还把函数调用规范等共同层抽出来，以便PyTorch、JAX和其他框架相互调用；终极目标是让系统开发像写几行Python神经网络一样简单。

20. 过去二十年的AI突破，始终有一条被算法叙事遮住的系统主线

• 第一阶段是大数据：机器学习从几百个样本走向上亿数据点，Netflix Challenge让推荐系统成为标志性应用，今日头条等产品也由推荐起家。百度凤巢的大规模线性回归、Apache Spark和XGBoost，都属于把数据真正用起来的系统基础。

• 第二阶段是深度学习pattern recognition。Alex Krizhevsky不仅提出模型，还是很强的CUDA hacker：用应该是两块GPU训练一周并完成多卡优化，而此前机器学习实验通常只跑几分钟；这种工程投入是AlexNet突破中非常重要的一部分。

• Caffe随后推动计算机视觉社区采用深度学习，MXNet、TensorFlow、PyTorch再把框架普及。陈天奇用亲历对比：早期搭一个模型要六个月、约两万行C++/CUDA代码，框架成熟后几分钟写几行Python便能完成，算法探索空间因此大幅扩张。

• 到大模型阶段，系统终于走到台前：模型结构要考虑能否在GPU上高效运行，训练需要scale up，产品需要稳定deploy。模型、硬件和系统协同设计不再是幕后优化，而成为行业公开承认的核心能力。

21. MLSys不会被某套固定方法定义，它只会追随下一处真实瓶颈

• 陈天奇把机器学习系统类比数据库系统：这是问题驱动领域，议题由当下机器学习最重要的问题决定，而非围绕一套永久方法展开。因此，大模型训练和推理优化会是主线，但硬件适配、软件bring-up等fundamental bottleneck依然没有消失。

• Agent system本身是一个重要方向。让AI反过来优化machine learning system engineering，把过去依赖大量人工的内核开发、编译和集成流程进一步自动化，也是一个有趣的问题。

• 如果今天重新成为博士三年级学生，只能改一件事，陈天奇仍会做当前方向：让更少的人以更少工程资源完成新模型、新硬件的bring-up。他没有声称几年内必然解决，只认为这是“值得为之努力”的问题。

22. MLC LLM押注统一推理，但端侧需求能否爆发仍取决于模型能力

• MLC LLM是TVM向大模型时代的延伸。团队认为，编译器开发者必须真正理解LLM推理中的瓶颈，因此构建跨云与端侧的统一推理引擎，并用机器学习编译减少为每个平台手写实现的成本。

• 何泰然提到，他看到MLC的demo已经可以跑在iPhone上，Android可能也在做，AMD显卡和MacBook也可以deploy，例子包括Llama 2及此前支持的模型。

• 陈天奇对当前格局的判断很克制：“Everything is mostly on cloud，端侧还是一个问号。”但如果pre-training “kind of stalled a bit”，能力提升放缓、行业从next level of intelligence转向application，成本、隐私和specialization的权重就可能上升。

• 何泰然认为机器人抓杯子、走路不能等待云端reason十秒，实时性可能是端侧刚需。陈天奇同意隐私与实时性都重要，却坚持能力是前置条件：本地模型未必要匹配最大通用模型，只要在专用领域“够用”，本地模型与云端模型的格局就可能发生变化。

23. 模型收敛可能压缩编译空间，却无法消除硬件代际带来的复杂度

• 何泰然提出尖锐反例：若GPT-5、Gemini、DeepSeek等少数模型占据绝大多数inference，行业只需为Top Five做专有优化，MLSys社区是否会衰败？陈天奇的诚实回答是“不能完全否认这个可能性”。

• 另一面是硬件必须越来越specialized，同一vendor的每代芯片也会引入新编程特性；模型同时向硬件友好形态靠拢，两者缠绕反而更深。没有统一recipe持续获得next 2x，下一代硬件最适配的模型也可能不同；他以DeepSeek针对应用与硬件环境的设计为例。

• “Hardware lottery”则揭示另一重风险：现有硬件可能限制模型可探索空间，今天的收敛未必等于全局最优。编译与系统的公共价值，是降低新模型和新硬件的试验成本，继续enable百花齐放，而不只是服务已经胜出的少数结构。

24. 高校做不了万卡pre-training，但仍可在关键模块建立生态标准

• 陈天奇承认学校与Anthropic、OpenAI等frontier lab之间的data、compute和model scale差距不可避免，高校不可能复现同数量级的pre-training。资源不足却会迫使研究者寻找能替代“堆一百个人”的技术方法。

• CMU与相关中心能获得约百卡级cluster，何泰然指出这仍比万卡、十万卡少两三个数量级。陈天奇的回应是，许多R&D任务并不需要训练最大模型；例如最强kernel optimization只需接触最新NVIDIA GPU，工业团队本身也未必随时拥有无限资源。

• 高校不能以单个实验室自居，必须通过开源社区放大。成功系统项目经常带有高校影子，因为学校相对中立、允许长期沉淀，也能把一个关键模块开放给全球贡献者共同验证和扩展。

• XGrammar就是他的样本：Agent需要输出满足指定格式的JSON，而既有结构化生成方案并不好；团队集中解决这一模块，使其成为开源社区事实标准之一。杠杆不来自包办整个LLM stack，而来自识别瓶颈并把它做到最好。

25. 开源不是免费分发代码，而是一项长期维护信任的组织工程

• 陈天奇是open source与open science的believer：社区让人交流、分享、获得反馈，高校也借此把研究推向落地。对学生而言，开源尤其珍贵，因为公司新人通常只负责大项目的一小块，博士期间却可从零架构完整系统。

• 代价同样明确。开源需要持续阅读issue、修bug、回应用户和协调贡献，这些工作与传统论文指标没有直接关系；因此它“不是一个free的东西”，也很少有研究组愿意长期采用这种路线。

• 建立社区首先仍需正确且值得相信的技术，其次需要passion和持续维护。若一个团队突然放弃项目，下一次发布时用户会自然怀疑是否值得依赖；每一次修复和兑现承诺，都是“build trust”的组成部分。

26. OctoML以TVM为起点，却证明开源项目几乎不会直接等于最终商业产品

• TVM项目的几位成员和老师毕业后看到产业机会，顺势创办OctoML。陈天奇第一年full time，后来转为part time、负责长期技术方向；他个人加入的初始motivation甚至不是创业本身，而是希望公司让开源社区更成功。

• 何泰然以Ray/Anyscale和太极的经历追问：若开源版本已经足够好，客户为什么付费？陈天奇不否认商业化张力，但认为开源只是一条具有不同优劣的路径；Red Hat、Databricks等说明它没有天然劣势，关键是公司要找到与社区共存的商业模式。

• OctoML最初面向硬件厂商及部署机器学习的客户，销售跨硬件优化与快速部署。大模型兴起后，公司约在两年前明确转向模型部署服务，最终形态更接近Fireworks、Together等endpoint business：客户直接调用Llama等模型API。

• 竞争于是从卖编译器变成推理成本、可靠性和产品能力之争，Multi-LoRA等功能可以形成差异；TVM则退到底层，成为更快支持模型和硬件的支撑技术。陈天奇早有心理准备：“你开始想做的东西和what you end up doing一定不一样。”

27. 创业迫使技术理想主义学习PMF、领导力与有成本的自我重构

• 最大的unexpected lesson不是某个算法失效，而是“human factor is very important”。创业者必须与人交流、在大团队里承担leadership、协调伙伴，并从产品角度解释技术为何值得投入；技术正确本身不足以推动组织转向。

• 陈天奇把startup strategy拆成两层：必须认真寻找product-market fit，同时也要拥有能区分自己的优秀技术。他承认这未必是所有人认同的排序，却坚持“in the end you have to have something to differentiate yourself”。

• 大模型到来后，团队为LLM支持推翻原有图编译部分，重做Relax。内部并非人人赞成，因为patch现有系统短期更快、重构必然踩坑；他的选择是reinvent yourself，否则终会“bite the technical debt”。若还守着优化ResNet的旧路线，“最后我们会输得很惨”。

28. NVIDIA收购不是预设退出剧本，而是把编译问题带进更完整的硬件版图

• 何泰然提到，OctoML从2019年创立到2024年底宣布被NVIDIA收购，历时五年多。陈天奇说自己创业时“完全没有想过”退出方式，只想先把事情做好；回头看，加入NVIDIA的吸引力在于整个organization可以继续解决重要的机器学习编译问题。

• NVIDIA内部同样存在universal deployment：从数据中心Blackwell到Thor等edge产品，不同代际、不同产品线都要处理模型与硬件的适配。云与端、跨generation的跨度，使OctoML长期研究的问题并未因进入芯片公司而消失。

• 被问若重做一次会改变什么，他拒绝给出漂亮的反事实答案：“It’s very hard to see。”每项commitment都可能带来正面或负面lesson，但它们共同构成journey；这与他看待早期深度学习失败的方式一致。

29. 成为教授没有让他退出代码一线，反而把first-hand experience当作自己的superpower

• 陈天奇临近毕业时选择教职，因为喜欢科研的不确定性、与学生解决新问题，也喜欢教学。他并未向往纯管理角色；创办OctoML时就明确拒绝当CEO，因为CEO必须full time，并会放弃大量技术工作。

• 在CMU，他把support team member放在最高优先级，但仍尽量“be on the ground”。最近一次TVM核心重构几乎从ground up重写，foundation部分由他亲自完成；因无法保证每个中间commit让测试全绿，约半年工作长期留在local。

• AI工具改变了教授亲自开发的可行性。他使用Cursor，认为没有AI-based tools，这种大规模重构会困难“很多很多”；工具没有替代判断，却降低了把架构设想变成代码的执行成本。

• 他不以论文数量定义高效，团队deliberately少做项目、集中深挖；OctoML日常运营交给co-founder，独立学生负责drive，自己承担支持与关键技术判断。不同人有CEO式或一线式superpower，他只选择“让我觉得比较幸福”的方式。

30. 真正的长期主义像织网，不是更快追逐每一条游过的鱼

• 陈天奇给学生的比喻是捕鱼：拿叉子追着鱼刺，动作快却经常刺不准；另一种方式是在一个领域慢慢织网，机会出现时，即使前几次失手，也更可能抓住鱼。突然推出的成果往往不是临时赶工，而是此前积淀终于遇到合适问题。

• 研究节奏变快、GPU每年更新，并不意味着所有项目必须三个月完成。判断标准仍是问题是否重要、是否值得深挖；二十年前戴文渊也曾感叹SVM优化似乎已被前人做完，结果证明“there’s always new problems”。

• 他在2019年写道，困难和无助只是随机涨落，只要投入足够时间与耐心，随机过程会收敛到与付出相称的稳态。访谈中他补充：定理容易说，生活很难做；越走出comfortable zone，挫折越可能成为大部分时间。

• 面对分岔，他常问：“如果选这条路并且失败了，我会不会后悔？”这等价于追问不选是否更后悔。结果未必理性最优，却能确保过程仍值得享受；失败可以接受，长期坚持并不等于固守已证明错误的方法。

31. 资源越多，保持“初生牛犊”的初心反而越难

• 节目录制于2025年9月5日。经历科研、创业、退出和教职后，陈天奇认为未来五到十年最难的并非调动更多资源，而是保持passion：MXNet时代不担心TensorFlow会形成什么竞争，如今却会反复问项目能否成功。

• 这种迟疑不只是诱惑，也来自责任。拿到资源意味着必须让团队成功、产出足以justify继续投入的impact；但若完全被责任裹挟，就难以做risky work。CMU团队仍给了他接受失败、继续探索的空间，前提是主动保留这种心态。

• 他对AGI定义本身“不特别感兴趣”，更关心模型是否pragmatically有用，能否让一人撬动过去一百人的工作。理想AI世界应允许开源和个体百花齐放，但这种概率是在上升还是下降，他只回答：“需要每一个人的努力。”

• 成功在他这里最终落到“问心无愧”——以技术影响他人、为共同世界做贡献；幸福则是“不管抬头是什么，和大家一起解决想解决的问题”。留给未来自己的时间胶囊是接受更多失败、持续reinvent：“记住自己对自己的承诺，然后坚持自己的理想往下走。”