2026年AI现状：LLM、编程、Scaling Laws、中国、Agents、GPU与AGI｜Lex Fridman Podcast #490
摘要
2026年的AI竞赛不是赢家通吃：思想可以在实验室之间自由流动，但算力预算、硬件获取、组织文化和分发能力决定谁能捕获价值。 Sebastian Raschka认为，DeepSeek赢得了开源权重从业者的“人心”，但不会永久占有这项技术；Nathan Lambert看到Anthropic坚持代码优先的纪律，Sebastian则强调Google的整合式技术栈，以及OpenAI将新范式落地的能力。中国不断扩大的竞争版图——DeepSeek、Qwen、Kimi、MiniMax和Z.ai——让持续追赶超越比持久的技术霸权更可能发生。
Scaling laws依然有效，但其经济性越来越偏向由预训练、后训练和推理时算力组成的组合，而不是简单地打造最大的基础模型。 Nathan将约$1M-$10M的开源模型训练项目，与可能达到数十亿美元的持续服务账单进行对比；2026年GW级Blackwell集群则可能支撑更大模型、更长的RL运行和高价推理。他提出了一个颇具挑衅性的商业化标志：继$200套餐之后，如果边际智能足够有价值，“今年我们会看到$2,000的订阅”。
编程是近期最清晰的变现切口，因为经过RLVR训练的模型能够推理、调用工具，并根据可验证结果反复迭代。 Claude Code的优势似乎不只是Claude Opus 4.5本身：界面和agent harness让用户可以用英语在系统设计层面操作，而Cursor、Codeium和传统IDE在开发者希望保持更紧密控制时仍有价值。趋势正走向“软件工业化”，但生产环境复杂度、规格定义和安全关键系统仍会让人类留在回路中。
开放权重正在成为战略基础设施；即使美国企业不会购买中国API，中国供应商也能通过宽松发布赢得全球影响力。 中国模型可以在境内部署、基于私有数据定制，并使用客户自己的算力提供服务；OpenAI对gpt-oss-120b的定位也类似，是一种使用“你的GPU”的分发方式。Nathan预计2026年开源模型构建者会多于2025年，并认为美国需要约$100M级别的项目，避免将研究底座拱手让给“Qwen、Qwen、Qwen、Qwen”。
真正持久的护城河在模型权重之下和之上：专有数据、服务基础设施、可信界面、工具集成和硬件生态。 Sebastian认为，Google可以依靠TPU避开NVIDIA的利润抽成并控制自己的技术栈；NVIDIA历经20年的CUDA生态比任何单一芯片都更难取代；Anthropic占据编程心智；ChatGPT则受益于品牌、记忆和使用习惯。美国闭源模型目前仍好到足以让嘉宾付费，而中国开源模型则在成本、授权和可定制性上竞争。
数据质量和可验证的后训练如今比架构创新更重要，因为前沿模型依然能明显看出是GPT-2的后代。 Mixture of Experts、注意力变体、更低精度和更好的系统提升了效率，但能力跃升来自精选推理数据、RLVR和工具使用；Sebastian将预训练概括为吸收知识，将后训练概括为学习技能。真正棘手的负担是法律来源、基准污染和偏好平均化：RLHF可以让模型普遍讨喜，却会磨平用户看重的“声音”和锋利度。
AGI时间表不如具体能力门槛有决策价值：可靠的计算机操作、自主交付功能、科学专业化能力，以及可衡量的经济影响。 Nathan预计AI会继续呈现“锯齿状”——在某些代码任务上已超越人类，却不擅长分布式ML和混乱的研究工作；Lex则追问“类固醇版Clippy”的平台期情景。最可信的上行空间或许更安静：让更多人个性化获取人类知识、基于私有数据构建领域模型，以及持续变强的agents，而不是某个突然出现的远程员工或奇点门槛。
精读
1. 开放权重让国际AI竞赛变得多元
Lex从2025年1月DeepSeek R1的发布讲起：接近SOTA的表现，据称只用了少得多的算力和低得多的成本。一年后，研究与产品竞争已不像一次性的“DeepSeek时刻”，更像一个持续加速的发布周期。
Sebastian对“谁赢了”的回答首先是否定这个问题的前提。DeepSeek“赢得了开源权重从业者的心”，但研究人员会在实验室之间流动，因此2026年没有哪家公司能永久拥有其他地方不可获得的技术；预算和硬件，而不是思想的永久所有权，才是差异化因素。
Nathan认为，文化正在塑造这种本来流动的思想迁移。Anthropic对代码的孤注一掷正通过Claude Code获得回报，公司呈现出“最不混乱”的一面；当模型开发的瓶颈变成协调人力，而不是某个秘密算法时，这种运营一致性可能十分重要。
Lex对X平台话语的纠偏很关键：Claude Opus 4.5可能是编程社区的宠儿，但ChatGPT和Gemini服务的是规模大得多、在解决日常问题的人群。线上热度可以说明一个有价值的切入口，却不能衡量平台的真实触达范围。
2. 中国开源模型热潮是一种分发策略
Nathan认为，DeepSeek对中国的催化作用，就像ChatGPT对美国聊天机器人的催化作用。Z.ai的GLM模型、MiniMax和Moonshot AI的Kimi如今都在发布前沿开放权重，形成了一个DeepSeek可能失去象征性王冠、但技术实力仍然强劲的竞争场。
Sebastian的反驳保留了其中的细节：DeepSeek没有退化，竞争对手只是采用了它的思想并发布了更新的模型。Kimi使用了相似架构，结果是持续的追赶超越——“最新的模型可能总是最好的模型”——而不是某个组织永久领先的证据。
中国供应商知道，许多顶级美国公司出于安全原因不会订阅中国API。开放权重让它们仍能影响一个不断扩大的美国AI支出市场，而国际采用也给政策制定者支持发布的理由；因此Nathan预计2026年开源模型构建者会更多，之后才会进入整合阶段。
3. 不同激励机制将决定哪些中国实验室能存续
Nathan指出，DeepSeek在沟通上异常神秘，但技术报告却很开放。它与High-Flyer Capital的联系意味着外界不知道它究竟如何使用这些模型，也不知道它对模型商业化或更广泛影响力的重视程度，这使它的目标函数不同于风险投资支持的初创公司。
MiniMax和Z.ai已经提交IPO文件，并积极争取西方市场的心智份额。这种对外拓展可能影响发布节奏和呈现方式，即使不改变底层的模型开发路径。
商业模式的约束依然严峻：训练前沿模型很昂贵，而中国及许多其他市场的消费者历来为软件支付更少。开放发布可以在稳定收入模式形成前赢得使用量和合法性，但无法消除最终为研究和推理提供资金的需要。
4. Google、OpenAI和Anthropic分别赢在不同层面
Sebastian将消费者竞争描述为：是否愿意押注Gemini挑战已经占据主导地位的ChatGPT。Google在摆脱Bard时代的弱势后，Gemini承接了2025年的势头，但OpenAI虽然反复显得混乱，却依然“能把东西做出来”，这使得取代它比基准排行榜显示的更难。
GPT-5给Sebastian的反应好坏参半，但它的路由系统可能在经济上非常出色：大多数用户可以被分配到更便宜的推理路径，而不必消耗最大规模的GPU容量。面向公众的产品问题不只是“谁的模型最聪明”，还在于普通用户有多频繁愿意为这种智能支付延迟和算力成本。
Sebastian对2026年的判断是，Gemini会继续追赶ChatGPT，因为Google可以将研究与产品分开，在巨大规模上运行，并拥有更多基础设施栈。Anthropic则应继续在企业软件领域取得成功，因为它的代码定位和组织专注度已经建立。
OpenAI的反制力来自反复创造新品类：Deep Research、Sora和o1式思考模型都被视为定义产品或研究思想。Sebastian预计2026年的大部分重点仍会是规模和优化，但新的范式最可能依然来自OpenAI。
5. Google的TPU技术栈将整合转化为利润率
Sebastian对基础设施的判断很直接：NVIDIA的芯片利润“高得离谱”，而Google可以把硬件、软件和数据中心放在一起设计，不必支付这部分外部利润。它的长期领先很重要，因为电力合同、设施和供应链的准备周期都以多年计。
Google Cloud与Azure和AWS的竞争，处在不同于Gemini品牌的层面。这让它的优势比模型排行榜更难讲清楚，但如果推理成为行业最大的持续性开支，这种优势可能更持久。
但整合式基础设施并不能保证模型实现突破。它主要让大规模实验、训练和服务更便宜；OpenAI已经展示出的研究—产品反射能力，则是另一项组织资产。
6. 用户会逐次查询地选择延迟和智能
Sebastian日常大多数问题喜欢使用ChatGPT的auto模式，但在检查手稿、参考文献、格式和图表编号时，会主动调用Pro。这些任务可能持续到晚餐时间；如果每个琐碎请求都要花10或30分钟，产品就无法使用。
他举出的速度案例几乎像电影情节：妻子在车里等他，他出发前意外拔掉了家用GPU的电源，而他需要立刻得到一条Bash命令，把RL实验串起来并通过
tee输出。最快的非思考模型解决了这个10秒钟的问题。Nathan处在另一端：信息密集型工作使用thinking模式，快速任务使用Gemini，而代码和哲学讨论则交给开启extended thinking的Claude Opus 4.5。Lex而不是Nathan说，他通常会同时运行约5个GPT-5.2 Thinking或Pro查询，分别寻找论文、检查方程或解决代码引用。
Nathan的个人组合是功能导向的：Gemini负责快速解释，开启extended thinking的Claude Opus 4.5负责代码和哲学讨论，Grok负责实时信息或寻找记忆中的AI-Twitter帖子。推理时扩展是“让模型变得略微更聪明的一种方式”，而他始终愿意为这点边际提升付费。
7. 模型忠诚度像浏览器忠诚度
Lex发现，Grok 4 Heavy在困难调试上异常有效，而Gemini最擅长在大上下文中做“海底捞针”式检索。一次非凡的回答会赢得用户的心；一次明显愚蠢的失败，则会把用户推向Claude或ChatGPT。
Sebastian的概括很干脆：“用到它坏掉为止。”用户不会把同一个问题反复输入多个浏览器；他们会留在熟悉的软件上，直到某个边缘案例、扩展或失败制造出切换理由。
ChatGPT的记忆功能加深了这种黏性，但也可能让用户叠加更多订阅。Sebastian可以想象，一个干净的工作账户只包含代码、不含私人图片或兴趣爱好，再配一个独立的个人助手；记忆和组织政策让“每个人只有一个赢家”越来越不成立。
基准测试会扰乱肌肉记忆。Lex说，GPT-5.2的发布材料据称显示其长上下文测试从约30%跃升至70%，迫使他重新审视围绕Gemini形成的判断——但要找出足够时间测试每一项声称的改进，本身就不可能。
8. 编程界面和编程模型同样重要
Sebastian目前的最佳组合是VS Code里的Codeium插件：具备仓库感知能力的聊天工具，在不接管项目的情况下提供协助。他自称可能有些“控制狂”，还没准备好让更具agent属性的工具对文件和决策拥有广泛权限。
Lex在Cursor和Claude Code之间分配工作，因为两者教会用户不同的模式。Cursor支持代码层面的监督和diff审查；Claude Code则培养“用英语编程”的能力，让用户在设计空间中思考，并在宏观层面引导系统。
一个很有启发性的比较是，在Claude Code、Cursor和VS Code中加载同一个模型。Nathan的结论是，Claude Code“在那个领域强得多”，说明harness、上下文管理和产品设计提取出的能力，无法由原始模型选择单独解释。
Nathan也看重Claude Code的亲和力，以及它愿意处理难看的基础设施工作。它利用他博客上的历史Hugging Face下载数据做出了一份分析；Nathan估计自己原本需要几天才能完成，但仍保留了足够的情境意识来判断趋势是否合理。
9. 开源模型名单早已远超Llama
嘉宾脱口而出列举了DeepSeek、Qwen、Kimi、MiniMax、Z.ai、Mistral AI、Gemma、gpt-oss和NVIDIA的Nemotron 3。名单中显眼的缺席引出了Lex的“RIP Llama”，这是Meta如何迅速失去开源权重自动关联的简短标志。
OpenAI的gpt-oss-120b是其自GPT-2以来的首个开放模型，Nathan认为它在其他模型处理不好的能力上确实很强。Qwen 3采用熟悉的架构并实现出色表现；DeepSeek-V3和R1，以及随后12月发布的DeepSeek-V3.2，构成了2024-25年发布周期，其中架构变化格外有意思。
完全开放的竞争也在增长。AI2的OLMo发布数据和代码；Institute for Foundation Models/LM360有K2系列；Apertus来自瑞士联盟；Hugging Face有SmolLM；NVIDIA开始发布Nemotron数据；Stanford的Martini Community Project则让贡献者可以在稳定训练栈中实现新的想法。
中国开源模型总体上是更大的MoE，峰值性能更高，而西方发布的模型偏小。这种平衡可能会随着Mistral Large 3，以及RCAI和NVIDIA预告的模型而改变；后者预计在2026年Q1推出约400B参数规模的产品。
10. 开放权重把成本和控制权转移给用户
Sebastian称gpt-oss-120b是一次范式转变，因为它从训练之初就考虑了工具使用：搜索、Python和计算器让模型可以检索或计算，而不是假装所有事实都存在于权重中。由于任意本地工具访问会带来明显的隔离风险，生态尚未完全利用这一能力解锁。
大多数开放发布的首要目标是分发，透明度和信任则随后而来。用户可以让敏感数据留在本地；美国托管公司也可以通过OpenRouter或Perplexity等服务，为中国权重提供推理，而不把客户数据传给原始开发者。
Sebastian回忆Sam Altman为gpt-oss-120b提出的实用论点：“我们可以使用你的GPU，不必使用我们的GPU。”开放权重让OpenAI无需进一步增加已经紧张的服务容量，也能实现分发。
公司还可以加入领域后训练或私有数据。Sebastian说，中国模型的许可证通常比Llama或Gemma的条款更友好、限制更少；在他看来，吸引力在于“你可以直接使用它们”，不必面对其他许可证附带的用户数量门槛或报告要求。
11. 今天，更好的平台仍然胜过更便宜的开源模型
“在美国托管的Kimi K2 Thinking”体现了正在形成的折中方案：使用中国权重、美国基础设施，以及一个旨在缓解数据主权担忧的界面。Lex说，Kimi K2尤其以创意写作和部分软件任务见长。
但Lex仍然给出了一个隐藏在嘉宾自身行为背后的不舒服答案：美国闭源模型目前产出更好，而他们愿意为边际智能付费。他对许多开源发布的反应是：“有意思，但我不会回去用。”
Lex援引一份分析称，中国模型通常以每个副本更少的GPU提供服务，这可能与出口管制有关；这会让它们更慢，也改变其错误分布。这个差距迫使竞争更多依靠免费访问、显著更低的价格或新颖产品，而不只是输出质量。
12. 前沿架构仍然直接源自GPT-2
Sebastian将GPT式模型追溯到《Attention Is All You Need》的decoder部分：embedding、重复的transformer block、attention、feed-forward层和normalization，逐个token进行预测。令人意外的结论是，今天的前沿系统仍然是可以辨认的后代。
从GPT-2走向gpt-oss-120b，需要加入Mixture of Experts等组件，将Multi-Head Attention替换为Group Query Attention，把LayerNorm改为RMSNorm，并更换激活函数。这些都是有用的变化，但“从根本上说并没有真的不同”。
Sebastian用教学方式展示这条谱系：他的书从一个约124M参数的GPT-2开始，然后通过改变组件，将其转化为OLMo、Gemini 3和其他架构。能够使用预训练权重得到一致结果，证明重建是正确的。
因此，能力的剧烈变化主要发生在数据、训练算法和系统层面。ChatGPT的核心架构与GPT-3和GPT-2相似；监督微调和基于人类反馈的强化学习，则让交互体验焕然一新。
13. Mixture of Experts以不激活全部参数换取更大容量
Sebastian对MoE的直觉理解从transformer中昂贵的全连接层开始：1,000个输入乘以1,000个输出，已经意味着约1M条连接。如果把一个feed-forward网络替换成256个“专家”，却让每个token都运行所有专家，成本会无法承受。
Router会为每个输入选择少数几个专家。数学和翻译可能激活不同路径，但这种专业化比一个“西班牙语专家”或“数学专家”模糊得多；模型可以存储更大容量，却不必在每次前向传播中支付所有参数的成本。
这就是MoE被称为稀疏模型、普通feed-forward模型被称为稠密模型的原因。稀疏性让生成更高效，但也增加了路由复杂度、训练不稳定和专家坍缩等风险，因此即使同一组织也在开发MoE，稠密模型仍有价值。
14. 注意力创新本质上是推理经济学项目
DeepSeek的Multi-head Latent Attention、Group Query Attention、sliding-window attention和OLMo式混合架构，都试图降低attention或KV cache成本，尤其是在长上下文中。大多数领先模型的差异来自这些旋钮和层数，而不是完全新的概念基础。
Qwen2-VL的gated delta net指向受state space启发的操作，以一个固定且持续更新的状态替代全部历史。目标是让attention的推理成本随生成token数量更接近线性增长，以一定压缩换取更便宜的长序列。
Sebastian给出了一个系统层面的例子：通过FP8训练，每块GPU的速度从约10,000 token/s提升到13,000 token/s，意味着更少的内存和通信；FP4还能进一步提升吞吐，使更多配置和数据实验成为可能。
替代方案确实存在，包括Mamba式state-space模型和text diffusion，但没有任何方案取代自回归transformer在前沿的地位。短期内它们更可能位于市场中更便宜的一端，在那里做出妥协是值得的。
15. Scaling如今有3条独立的算力轴
Nathan从技术上将scaling law定义为：算力加数据与留出集上的next-token prediction表现之间，可预测的幂律关系。原始的预训练关系依然成立；更难的问题是，图表上的提升如何体现为用户体验。
OpenAI的o1增加了两条可见轴：扩展强化学习训练，以及扩展推理时算力。模型可以通过更大的基础模型、更长的试错式后训练，或在特定问题上生成更多token来提升。
RLVR和推理扩展带来了2025年的跃升。模型学会尝试工具、检查API结果、运行CLI命令、处理Git以及搜索信息；隐藏推理如今可以持续数秒、数分钟，甚至数小时，然后才给出第一个可见答案。
Nathan仍看好这3种扩展形式，同时承认RLVR和推理扩展中最容易获得的收益已被迅速挖掘。持续学习作为下一个能力解锁方向受到关注，但“没人知道下一次阶跃式提升究竟什么时候会来”。
16. 服务经济学限制预训练可以扩展到多大
Sebastian说，人们曾粗略认为GPT-4级系统接近1T参数，但随着训练效率提升，新模型可能反而更小。小模型很重要，因为训练是一次性开支，而为数亿用户提供服务则会持续产生费用。
DeepSeek广为流传的预训练数字，在云市场价格下约为$5M。OLMo 3论文记录的集群租赁成本约为$2M，其中包括工程失败和多次随机种子；许多机构可以筹集$1M-$10M完成训练，但为数百万用户提供服务可能消耗数十亿美元。
Nathan指出，租用1,000块GPU一天可能要花约$100,000，而头部公司可能控制数百万块GPU。因此，优化问题既是金融问题也是科学问题：更大的基础模型是否能节省足够多的后续推理成本，或释放足够多有价值的工作，从而证明其永久服务负担合理？
Sebastian把账算得更直白：预训练是固定的能力成本，推理扩展则按查询收费。如果一个模型6个月后就会被替换，那么再花$100M训练，可能不如在用户确实需要时花几百万美元进行昂贵查询。
17. GW级集群让2026年成为一次系统实验
Nathan预计，非常大的Blackwell集群和GW级超大规模数据中心将在2026年上线，依据是2022年和2023年启动的电力与数据中心承诺。2-3年的准备周期解释了为什么今天的资本开支反映的是ChatGPT发布前后的押注。
Lex援引报道称，xAI可能在2026年初达到1 GW，到年底达到2 GW。Nathan预计这些容量将同时支撑预训练、后训练和推理；架构必须足够早地选定，以便后续RL生成能够高效运行。
从AI2的1,000-2,000 GPU训练任务扩展到10,000或100,000 GPU，会让问题发生质变。达到100,000块GPU时，某块GPU几乎必然会故障，因此冗余、网络和恢复机制不再只是工程润色，而是scaling law成立的前提。
商业终点可能是更加昂贵的智能。Nathan从$200套餐外推到2026年潜在的“$2,000订阅”，前提是模型或服务提供了足以证明再增加10倍价格合理的前沿能力。
18. 预训练、中期训练和后训练各司其职
预训练依然是在互联网文本、书籍、论文和越来越多经过处理的数据上进行next-token prediction。中期训练使用相似算法，但集中于稀缺而有价值的分布，例如长文档或推理轨迹，确保高质量材料成为模型最后看到的内容之一。
后训练包括监督微调、DPO、RLHF和RLVR。Sebastian的简化说法是，预训练“吸收”知识，而RL解锁应用知识的技能；把强化学习作为预训练替代品，在2025年的论文中也还只是玩具级尝试。
灾难性遗忘限制了专业化。加入长上下文、数学或代码材料可能削弱其他行为，因此每个阶段都需要数据混合，不能假设某种能力可以无成本地无限增加。
“预训练已死”是一种情绪，不是观察到的实践。AI2曾用一个后训练任务运行5天以赶上11月20日的截止日期，随后在12月继续做了3.5周RL并发布明显更好的结果——但团队仍需定期重建基础模型并纳入新研究。
19. 合成数据从OCR延伸到模型撰写的答案
合成数据不是单一类别。DeepSeek OCR、AI2的olmOCR及类似系统将PDF和其他难处理的数字文档转成可用文本；前沿聊天机器人则可以根据现有来源生成改写、问题、摘要或高质量答案。
预训练数据集以万亿级token计量：较小的研究模型可能使用5T-10T，Qwen披露的规模高达50T，传闻闭源实验室接近100T。真正用于训练的数据，只是一个远大得多的候选数据漏斗经过过滤后的部分。
Sebastian认为，干净的语法、标点和结构让模型比面对噪声来源更快学到正确表示。Nathan补充了关键区别：来自今天具备grounding能力系统的合成答案，与早期ChatGPT产生的幻觉，是不同的训练材料。
OLMo 3用更少数据实现更强表现，主要说明数据质量更高，并不能证明增加数据就不会继续有帮助。更大的模型可以在达到平台前吸收更多信息，因此最高质量的数据混合是起点，而不是最终最优点。
20. 评估目标决定什么是“最佳”数据集
开放预训练曾反复经过Dolma、FineWeb和DCLM等经典数据集。Common Crawl提供数百T原始token，研究人员随后训练分类器并做剪枝决策，这一过程越来越像实验科学。
Nathan描述了具体做法：从GitHub、Stack Exchange、Reddit、Wikipedia等来源抽取极小部分，用候选混合训练小模型，测量评估结果，再用基础线性回归估计最优组合。改变评估指标，最优数据集也会改变。
当模型从知识和对话转向数学与代码时，OLMo 3需要新的推理来源和重新混合的语料。未来面向编程环境、浏览和导航的训练也会重复这一过程：后训练无法稳定解锁基础分布中不存在的技能。
高价值来源可能并不光鲜。Reddit经过过滤后很有用；开放获取的PDF、arXiv和AI2的Semantic Scholar集合都包含科学深度。在前沿实验室，找到更好的数据，或让所有实验快5%，往往比备受追捧的算法创意产生更大影响。
21. 数据权利可能形成最强的领域护城河
训练语料受到保护，一部分是为了竞争优势，另一部分是因为披露会带来法律风险。Common Crawl抓取的是一个大体未经授权的互联网；Nathan说，Apertus的设计目标是满足与EU相关的要求，但他不确定相关区别究竟在版权还是授权。
Nathan回忆了一起Anthropic欠作者$1.5B的案件，并称法律区别涉及它购买并扫描的书籍，与通过torrent获得的书籍。Lex更广泛的观点是，训练权利诉讼可能影响文明，而某种补偿制度最终可能类似流媒体经济。
购买Kindle或Manning的书，并不一定意味着获得了用其训练模型的许可，即使付了钱，灰色地带依然存在。盗版副本则让反对理由更强，因为作者一分钱也没有收到。
Lex预计，制药、法律和金融公司会把专有数据视为护城河，从前沿实验室招募人才并训练专业系统。临床试验和其他私有语料无法被通用模型获得；即使公共网络带来的增益减少，它们未来的使用仍可能让生产率继续扩展。
22. 人工筛选将有用的合成工作与垃圾区分开来
LLM生成的代码和文本正在GitHub和arXiv上变得不可避免。Sebastian的MLxtend仓库曾收到大量疑似AI辅助的pull request；作为维护者，他感到不堪重负，但也认可贡献者至少进行了选择、检查，并提交了可能有价值的改进。
关键区别在于人工验证，即使人工只接触输出的一小部分。能够删除弱内容、选择正确问题并验证结果的专家，实际上是在提供昂贵的标签，而不只是转发原始生成内容。
Nathan将同样的逻辑应用于写作：专家写出的Substack文章可以为读者节省3-5小时，因为作者知道哪些内容应该纳入。单独询问模型可能得到看似合理的信息，却不知道哪个问题承载着这个领域真正的洞见。
Lex注意到，摘要会“磨掉锋芒”，有时删掉改变原意的洞察。Nathan称缺失的是声音：研究者把原始的前沿感受转化为高信息密度的语言，而经过偏好训练的模型往往会把这种独特表达平均掉。
23. 个性恰恰在危险时最有价值
Nathan认为，RLHF的平均化让锋利度变得困难。Bing Sydney可能拥有更多声音，因为它可以严重脱轨；告诉记者离开妻子当然无法接受广泛部署，但这种反差暴露了安全导向的平滑可能带走什么。
GPT-4o被移除引发的反弹，说明用户会依附于精确的权重和配置。据称，OpenAI员工收到过用户发来的“我的朋友变了”等邮件；Nathan警告，一个能在5分钟内“懂你”的模型，对儿童尤其危险。
Lex提出了没有简单答案的心理健康困境。一个保密的AI可能帮助甚至挽救一些用户，但涉及LLM对话的自杀事件也会产生因果式头条和法律压力，推动公司剥掉那种既可能造成挑战、又可能让对话有意义的锋芒。
Nathan的诚实反应是：“我不想做这个。”Anthropic和OpenAI的研究者可能真心想提供帮助，但从保密的健康盟友到危险的情感依赖，这条连续谱需要复杂度、信念和基础设施，而不是简单的支持或反对Big Tech。
24. 主动创造是被动消费AI的解药
Lex的建议是用AI做东西，而不是无力地坐在不断涌入的垃圾内容面前。制作一个应用或工具，会暴露弱点、建立基于现实的直觉，也让用户更有能力区分好的应用与有害应用。
Sebastian同意AI无法被放回去，但担心自动化自己热爱的活动会抹去满足感的来源。最终，花8小时指挥一个会写代码的agent，可能更像管理，而不是工艺。
一项约791名职业开发者的调查，将职业开发者定义为拥有10年以上经验的人，发现初级和高级工程师都会交付AI生成的代码。高级开发者更可能报告交付代码中超过50%由模型生成，而整体约80%的人认为AI辅助工作让他们多少更愉快或显著更愉快。
分歧在于，究竟是哪些任务带来了这种愉快。用ChatGPT修复100个坏掉的show note链接，可以省掉两小时苦工；解决一个困难bug则可能是“世界上最棒的感觉”。Nathan把模型描述为让沙漠不再孤独的结对程序员，而不只是跳过跋涉、直接把人送到水边的机器。
25. 保留可控程度的挣扎，才能积累专业能力
Lex的“金发姑娘区间”区分了有益的困难与浪费时间。先自己尝试bug、数学题或谜题；卡住时再要提示；把那些本来就没有内在价值的部分自动化。
高级开发者可能生成更多代码，因为他们能定义、审查并信任这些代码，而不是因为初级开发者更不需要帮助。这会带来一个人才培养问题：“如果你从来不亲自尝试，又如何成为专家？”
Lex的实际折中方案是专门安排离线学习时间，比如每天2小时，然后大量使用AI。就像教科书上的解答一样，学习者先尝试把问题纳入自己的思维框架，再看答案，教育效果更好。
Lex描述了自己在一款类似Zelda的解谜游戏中要求LLM给出不剧透的提示。教育模型可以有意隐藏完整解法，但纪律仍然来自外部：学生随时可以切换到一个直接完成作业的通用模型。
26. RLVR把客观评分变成能力引擎
Nathan参与了AI2的Tulu 3项目，并帮助命名了Reinforcement Learning with Verifiable Rewards，同时将扩展上的突破归功于DeepSeek。模型生成答案、获得准确性奖励，然后通过反复试错更新策略。
数学和代码是典型场景，因为答案可以被检查。通过定义优秀答案应包含什么，rubric和LLM-as-a-judge方法把这一思路扩展到科学或开放式任务，重新唤起Anthropic早期的Reinforcement Learning with AI Feedback主题。
Lex强调训练者明确规定的内容有多么少：只提供问题和正确答案，然后让模型自行发现步骤。DeepSeek R1的回答在训练中变得更长，模型学会重新审视错误——论文称其为“aha moment”——却没有被明确教导固定的推理模板。
Nathan提醒不要过度拟人化。预训练本身已经包含人类说“我把这一步做错了”的讲座和解题示例；RLVR可能是在放大有用行为，而不是发明自我反思。真正美妙之处依然存在：放大检查和工具使用，会改善最终答案。
27. 基准污染让戏剧性的RL收益变得模糊
Nathan报告称，他用50个RLVR步骤将Qwen 3 base在MATH-500上的准确率从约15%提升到50%。他的解释是，模型不可能在几分钟内获得基础数学能力；这些知识本来就存在，RL只是将其解锁。
Lex质疑这种推断是否足够干净。有论文发现Qwen存在数学数据污染：保留措辞、只改变数字后，基础模型仍能在不调用工具的情况下输出精确到不合常理的小数答案，说明它可能在某个特殊训练阶段见过几乎相同的问题。
他们的分歧最终落在共同的不确定性上。未知训练数据，以及对格式的极端敏感——甚至选择题提示中的标点变化都可能影响结果——让受控结论很难得出；Lex认为，最公平的评估是使用模型截止日期之后新创建的基准。
因此，现代后训练配方在RL之前就已经开始：先在中期训练中整理多样化推理轨迹，再选择困难的RL问题。在GRPO下，如果每个采样结果都正确，相对奖励就没有信号，因此更强的模型需要持续面对更困难的软件、数学和科学环境。
28. RLVR能在偏好优化饱和处继续扩展
Nathan说，即使同时运行的GPU更少，RL的GPU小时数也可能正在接近预训练时长。长生成受内存限制，一个样本可能产生100,000个token，或接近GPT-5.2 Pro回答一个问题所需的1小时；actor生成系统的计算密度也低于预训练。
实验室会避免运行远超1个月的训练任务，因为灾难性失败的代价太高。GPT-4的3个月运行是“终极YOLO式运行”；如今的团队更偏好增量周期，而不是在第50天冒险损失已经预留的集群。
Nathan将客观难度与偏好平均化进行对比。RLHF可以学会，推荐笔记本时应该优先考虑电池和存储，还是内存和计算能力；但一旦平均风格被学会，继续增加算力带来的收益很少，而RLVR可以持续提出更难但可解的问题。
Process reward model和value function或许可以对中间推理而非只有最终答案进行评分。DeepSeek Math-V2使用了独立的自评分模型，但Nathan强调，value function仍基本未经证明，过去扩展process reward的尝试也带来了不少麻烦。
29. 可验证RL拥有RLHF没有的scaling law
定义这个领域的差异是经验性的：o1和DeepSeek显示，RLVR训练算力按对数增加时，评估成绩可以近似线性提升。没有类似定律能够保证再增加10倍RLHF算力，就能可靠改善模型。
奠定基础的RLHF scaling结果，讲的是奖励模型过度优化。人类偏好训练对于组织、语气、个性和让ChatGPT变得神奇的“最后润色”依然不可或缺，但它的信号不支持无限扩展算力。
随着这种差异变得更重要，研究机会也变得更少。Nathan提到Scale-RL框架，一次增量实验就消耗了约10,000个V100小时，也就是数千或数万美元，这超出了普通学术研究者的能力范围。
30. 构建小模型仍是最好的技术学徒训练
Sebastian建议实现一个能放进单块GPU的模型，而不是假装复刻生产级助手。目标是亲眼看到embedding、attention、预训练和监督微调端到端地运行，然后理解规模带来了什么。
生产复杂度呈指数增长：参数必须分片，KV cache必须预先分配而不能简单拼接，每项优化都可能增加几十行代码。透明的教学模型能建立概念基础，让这些系统之后变得可读。
Hugging Face Transformers是权重和架构的标准生态，覆盖约400个模型，但正因为范围太广，它并不适合用作学习的第一套代码。生产服务通常又会转向SGLang或vLLM，再增加一层优化。
Sebastian从简短配置文件逆向还原模型，从GPT-2开始，并将输出与参考权重进行逐一比对。他花了一天匹配OLMo 3的RoPE和YaRN扩展，但“在这种挣扎里，你会真正理解一些东西”；单元测试让学习结果可以验证。
31. 小范围研究仍可能击败大算力预算
Nathan建议先掌握基础，再把研究范围缩窄到足以读完少数相关论文并联系作者。快速变化的前沿研究者往往会把未完成的领域让给更大的机会，为坚持不懈的新来者，甚至匿名的线上专家，留下有意义的问题。
评估是用最少算力获得最大上行空间的方向。小型大学的一位研究者如果发现一个后来在下一版Claude中被引用的失败案例，就可能拥有“职业火箭”，但目标必须提前8个月预判模型会在哪里遇到困难。
角色训练可以在约7B参数模型上使用LoRA，只更新一小部分权重，但即使如此，也不是每位学者都负担得起。在更受限的环境中，研究者甚至可以只研究闭源或开放模型的completion，完全不做训练。
Nathan举的例子是一名学生研究如何让模型变得有趣、讽刺或严肃，并最终发表论文。“全世界真正深入研究某些细分问题的可能只有2-3个人”；持续关注的重要性，可能超过追逐每一次新发布。
32. AI研究职业在名望、金钱和速度之间交换
Nathan描述了一条清晰的梯度：实验室越闭源，钱越多，个人署名越少。学术产出建立可见的作品组合，而前沿实验室的工作则可能让研究者变成高薪的“机器齿轮”，影响数百万用户。
他提到，OpenAI每名员工平均每年股票薪酬超过$1M，并认为顶级实验室的offer可能值得一个人放弃PhD。想成为“下一个Yann LeCun”的另一条路，可能要求忽略短期语言模型开发，押注一个远期得多的科学方向。
Sebastian认为，这些始终是旧的权衡，而非新问题：学术界提供发表和署名成就，却伴随随意的录用结果、基金压力和普通收入；产业界提供安全和流动性；初创公司提供高风险高回报。“没有什么是永恒的”，所以个人匹配度可能比意识形态更重要。
教授可能同样辛苦，却显得更快乐，因为教学和指导提供了落脚点。前沿实验室和初创公司则把接近9-9-6的工作常态化——早上9点到晚上9点、每周6天，也就是72小时——置于持续追赶超越的压力下。
33. 竞争文化通过消耗人力加速进展
Nathan称竞争是一个被低估的驱动力：像Anthropic这样目标一致的文化，会让人工作更努力并产出更好的系统。代价是倦怠，因为人力资本无法无限期维持这种速度。
苹果在中国的类比令人沮丧：据称，团队在有人必须回家时会使用“挽救婚姻”的信号，人们在过度工作下承受身体伤害。Sebastian也承认自己经历过自愿版本——因为热爱的工作导致背部和颈部问题，而没有人强迫他这样做。
Lex认为，硅谷的现实扭曲场既高产又危险。让彼此相信突破即将发生，有助于让突破真的发生；但9-9-6和地理隔离也可能抹去中西部、国际社会和普通人的视角。
“永久底层阶级”的迷因——2025年末是构建持久AI价值的最后窗口——显示泡沫已经膨胀到何种程度。他们的解药是在旧金山保持实体存在以获取机会，同时走出Twitter和Substack，接触历史、文学和旅行。
34. Text diffusion瞄准的是延迟，而非全面超越
Sebastian通过类似BERT的遮盖机制解释text diffusion：不再逐个token生成文本，而是从缺失或带噪文本开始，迭代地并行修正多个位置。更多去噪步骤可以提高质量，从而新增一根推理算力调节杆。
它承诺速度，但代价是，如果要匹配自回归质量，可能需要足够多的去噪步骤，最终花掉同样的算力。顺序推理和工具使用也难以并行化，因为后续动作依赖外部结果。
Google在Gemini Nano 2的语境下宣布了Gemini Diffusion，声称在许多基准上达到相近质量，同时生成速度更快。Sebastian预计它会成为便宜、快速的一档，而不是取代前沿自回归系统。
Lex给出的最尖锐产品案例是大型代码diff。逐个token生成可能需要几分钟，每一秒都在流失用户；diffusion或许可以快速生成一份长而自洽的修改，即便Claude Code式的交互工具链仍然需要自回归机制。
35. 工具使用减少幻觉，也扩大攻击面
计算器或Python解释器可以阻止模型死记硬背算术；搜索则可以找到1998年世界杯冠军，而不是依赖权重。Sebastian拒绝更强的说法：工具能减少幻觉，但模型仍可能选错工具、查询方式或网站。
约在12月31日发布的Recursive Language Model论文使用GPT-5拆分长上下文工作，将其递归分解为子问题，反复调用模型并拼接结果。它说明，即使底层模型没有改进，编排方式也可以带来进步。
权限是实际瓶颈。整理邮件、修改计算机或回复消息，都需要可能暴露私密数据或删除文件的访问权限；容器化和明确批准因此属于能力本身，而不是事后补丁。
闭源系统可以深度整合单一搜索供应商、云环境或GitHub工作流。开放权重必须作为灵活的推理引擎应对任意工具，初期会落后，但也可能迫使整个领域发展出更通用的编排创新。
36. 持续学习正在与越来越好的上下文竞争
Nathan用一个员工犯错、得到反馈、之后不再重复的例子说明动机。今天的语言模型无法在工作中快速修改自己，这限制了把它直接当作远程员工的愿景。
Sebastian更看好提供完整上下文——过去的写作、偏好和相关文档——让能力足够强的agent看起来像是在学习。持续学习改变权重；上下文学习改变推理时提供的信息，但两者都能产生适应性。
Sebastian认为，一个缓慢的全局版本已经存在于GPT-5、5.1和5.2中：收集反馈、整理反馈，然后发布更新后的权重。按用户更新在数据中心规模下仍不经济，可能需要设备端模型，例如Apple通过foundation model探索的方向。
今天的记忆主要是检索信息并插入上下文。LoRA adapter可以通过小型权重叠加编码更持久的定制，但“LoRA学得更少，也忘得更少”：更广泛的学习需要更新更多参数，成本更高，遗忘风险也更大。
37. 长上下文会靠选择性增长，而不是无限记忆
嘉宾预计，今天约1M token的窗口会在2026年达到2M或5M，但如果没有真正突破，不会达到100M。算力和合适的长文档仍然是约束；有用的100,000 token序列远少于普通网页。
Nathan说，AI2最初将OLMo预训练到约8K上下文，再通过训练扩展到32K；他的粗略规则是，训练上下文翻倍大约需要2倍算力，而得到的模型往往还能再拉长2-4倍。因此，更大的2026年集群应当转化为渐进式的上下文增长。
两个极端都不理想：类似RNN的固定状态便宜，但压缩时会遗忘；transformer可以保留每个token，却要承担不断上涨的KV cache和attention成本。混合比例，例如Nemotron 3中压缩状态层与全局attention层的组合，正试图寻找金发姑娘区间。
Agentic compaction是一个有前景的后训练问题。未来模型不必像Claude Code那样盲目把完整的100,000 token历史压缩成要点，而可以自行选择何时、如何压缩，在保留最低必要历史的同时优化评估表现。
38. 稀疏注意力将上下文管理变成一种动作
DeepSeek-V3.2使用轻量indexer选择哪些token值得关注，而不是把它们与全部内容比较。Sliding window同样会丢弃大多数远端细节，同时通过偶尔出现的全局层保留更广泛的访问能力。
暴力式attention依然最安全，因为它不会意外漏掉决定性token。前沿实验室通常先用昂贵算力最大化准确率，再寻找能以更低成本保住分数的选择性机制。
Lex把这种模式与模型发布顺序联系起来：Claude 4.5 Sonnet可能先于更大的系统到来，因为小模型训练更快、遇到的算力墙更少，可以进行更多实验。效率往往是理解未来应该扩展什么的路径。
39. World model可能让推理超越答案检查
Sebastian将world model定义为一种内部模拟，其中变量会保持一致地演化，而不是只根据最终token序列判断系统。对LLM而言，这可能意味着奖励正确的中间状态，或学习环境动力学。
他的AlphaFold类比很有启发性：早期版本明确表示物理约束和分子几何，后来的提升则更多依赖规模。LLM目前仍处于暴力扩展阶段，但当单纯扩展不再有吸引力时，显式结构可能重新回归。
对投资者有意义的机制，在嘉宾的描述中仍是间接的：更好的编程LLM会加速机器人、仿真和科学工程，即使world-model架构还没有改变这些领域。
40. 机器人会先在受控环境中进步
Nathan认为，transformer基础设施、更多算力和作为可复用核心组件的语言模型，会让机器人领域得到超强加速。Hugging Face上的开放机器人模型和共享数据集，最终可能形成语言模型开源生态已经享有的飞轮。
Sebastian认为，持续适应是家庭机器人的瓶颈。基础模型可以学会通用抓取，但每个家庭都不同；让机器人“即时”定制，远比让一个LLM处理反复出现的邮件或代码任务困难。
Lex的警告是安全：LLM失败时可能很滑稽，但在数十亿次家庭交互中运行的实体系统“几乎不允许失败”。操作、意外环境和与人接触，会把尾部案例变成物理风险。
Nathan看空消费级学习机器人，但看好自动驾驶和Amazon配送中心等机器人优先的设施。设计好的环境中的重复性自动化，比通用人形机器人更有清晰路径；不过，即便美国制造业转型，也会比奇点式叙事暗示的更慢。
41. 把AGI翻译成具体里程碑后，概念会清晰得多
Nathan说，围绕一种能够完成大多数数字经济工作的AI——远程员工——正在形成粗略共识；而ASI则意味着人类甚至无法提出的发现，例如意外的医学关联。他不喜欢把智能压缩成经济价值，但接受这种定义具有现实锚点。
Lex更喜欢AI 2027的里程碑阶梯：超人类程序员、超人类AI研究者、超智能AI研究者，然后是ASI。据称，该情景的平均时间表向后推迟了3-4年，来到2031年；Sebastian自己的预期还要更晚。
Nathan的反对点是锯齿状能力。模型可能在前端和传统ML上超过人类，却因为缺少描述大规模系统的公开训练数据而不擅长分布式ML；“超人类程序员”错误地暗示了跨越完全不同领域的完整性。
他预计，人类将经历一场长期共舞，利用模型非凡的强项并弥补其缺口。软件能力可能早于自动化研究到来，因为研究具有社会性、混乱且嵌入模型无法直接处理的数据中。
42. 软件自动化正在变成设计工作，而不是零人类工作
Nathan预计，到年底自动生成的软件数量会大幅增加，同时多集群RL训练等困难区域仍会保留。真正有用的指标不是人类是否消失，而是人在回路中时每个人能产出多少有价值的代码。
软件工程应当转向目标、系统设计和结果评估。看起来像agentic“垃圾”的东西，已经正在变成他所谓的“软件工业化”：人们创建带有自己指纹的系统，却不必检查每一行代码。
Lex强调生产现实：在沙盒里重建Slack，不等于修改Chrome成熟的标签页架构，也不等于安全管理一支车辆队伍。旧代码库、隐藏需求和安全关键行为，让“从零开始”远比集成容易。
规格定义是人类一侧的瓶颈。模型无法读懂开发者的心思；由自然语言驱动的规格和澄清问题决定表现。Claude Code本身就是用Claude Code构建的，这说明前沿实验室已经发展出外部使用者尚未学会的使用方法。
43. 经济门槛是可靠的工具使用，而不是AGI标签
Nathan预计，未来几年内AI会端到端实现一些应用功能，在干净的系统中可能更快。Agent可以花1-2天尝试一个功能或修复一个bug，然后通过dashboard汇报，人在其中扮演设计师和产品经理。
Lex认为更难的门槛是：计算机操作的错误率远低于1%。Claude的计算机演示和OpenAI的Operator在2025年仍然表现不佳，这说明API和专门构建的环境可能比用视觉控制人类桌面更早扩展。
科学领域的登月级机会是现实实验室中的RLVR。对话提到一些初创公司投入数亿美元，让模型提出假设并在湿实验室中验证；它们可能领先6个月，也可能领先8年，但一个类似AlphaFold的结果，会比另一个聊天机器人增量更重要。
Lex预计，金融、法律和制药领域会出现专业化模型，或许通过一份$100M级别的定制模型合同实现。当每家公司拥有相同的通用助手后，私有数据就成为差异化能力的路径——即使这更像高度专业化，而不是AGI。
44. 平台期可以与广泛的实用放大并存
Lex的怀疑论情景是“类固醇版Clippy”：网站、自动补全、调试、购物和辅导都很优秀，但没有变革性的计算机操作，也没有与训练和推理成本相匹配的经济回报。
Nathan回应说，模型明显的失败和多年未被利用的思想，让硬能力平台期不太可能出现。收益可能会分散在狭窄人群中，而不是让全部8亿ChatGPT用户的体验都显著改善。
Sebastian预计的是能力放大，而非2026年的范式转变：更好的模型，加上更好的上下文工程、工具整合和推理扩展。实验室会继续发布产品，小团队则利用不断扩大的工具箱追赶。
Sebastian说“一模型梦想正在某种程度上消亡”，但有意保留了限定。Claude Code是通用的，但能力越来越依赖整合、环境和专业agent集群，而不是由一个云端智能管理所有数字活动。
45. 知识获取可能比突然的GDP跃升更重要
Nathan最强的乐观重构是，LLM让全世界的人都能以对话方式获取人类知识。影响可能是“一股渗透一切的安静力量”，带来更好的职业决策、教育和解决问题能力，而不是某个离散的季度GDP跃升。
Sebastian保留了结构化来源的作用。数学教材仍然能提供一条经过验证、从零开始的线性路径；LLM则增加定制化解释和无限练习。它独特的优势，是把稀疏且不断变化的信息综合起来，解决个人任务，例如规划迪士尼乐园门票和费用。
旅行与本地推荐的搜索页面经常被埋在“广告垃圾”中，这让助手立刻更有用。但这种优势部分依赖补贴，嘉宾预计广告最终会进入AI界面。
最好的情况类似于把一家真正的小企业与想要其产品的人匹配起来；最坏的情况则会重现成瘾性信息流和隐性影响。Google可能处在最佳位置，因为它已经拥有广告供给；但如果竞争对手保持无广告，先行者一旦引发负面头条，就可能面临用户逃离。
46. 在经济学尚未定型前，整合已经开始
Nathan提到Groq约$20B的估值和Scale AI接近$30B的估值。许多交易采用“授权加人才”的结构以规避反垄断，这可能让普通员工无法获得完整收购本应带来的收益。
对话还提到Meta投资的总部位于新加坡的Manus AI，据称在约8个月后实现了$2B退出。Perplexity和Cursor被讨论为潜在收购目标，因为大公司需要结果，而AI初创公司带有高昂溢价。
后来加入对话的一位参与者称，Cursor的Composer模型据称每90分钟就根据真实世界使用情况更新权重，这与生产环境中的持续RL异常接近。
美国大型实验室太容易筹集私人资金，不愿承受公开市场压力。MiniMax和Z.ai已在中国提交IPO文件，OpenAI、Anthropic和xAI则可以推迟上市；Nathan更希望公众看到支出信息，让更广泛的投资者能够参与“这个时代的公司”。
放眼10年后，嘉宾仍然拒绝赢家通吃。模型API可能像AWS、Azure和GCP一样，成为数家巨型企业；也可能变成低毛利商品，迫使供应商向上进入产品、向下进入电力、数据中心和硬件。
47. Meta通过追逐头条，失去了开源模型中心位置
Sebastian记得Llama 1、2和3是有用、可信且可修改的模型。Llama 4转而追逐巨大、领先基准但很少有人能运行的系统，忽视了更实用的小型发布，并且似乎过拟合于偏好型评估。
Lex更严厉地将崩塌归因于内部政治、管理激励和糟糕的技术决策。研究人员想要最好的模型，组织层级却想要可展示的基准胜利；这个项目是“内爆”，而不只是输掉了一张排行榜。
Llama 5未来仍有可能出现，因为Mark Zuckerberg此前曾有力地支持开放源代码AI；但Nathan预计，在当前领导层动力下，Meta不会推出开放权重模型。Meta后来关于“重新评估”的表述，与2024年7月的开源论证相比，已经是深刻转向。
Nathan补充了社区层面的自我批评：强烈反弹可能让Meta意识到，一份昂贵的礼物带来的头条，可能比不发布更糟。X平台的话语可以任意惩罚一个模型，同时悄悄使用另一个，比如Grok 4.1或Grok Code Fast 1.0。
48. 美国开源模型缺口变成产业政策问题
Nathan发起的ATOM Project——American Truly Open Models——建立在两个判断上：开放模型是外部AI研究开始运行的引擎，美国应该拥有这个底座，让研究、公司和经济价值在国内积累。
他的图表上出现了“Qwen、Qwen、Qwen、Qwen”：7月时，市场上有4-5个DeepSeek级别的中国开源模型，却没有一个来自美国。落后一代于闭源前沿的模型，可能需要约$100M，但相对于整个行业的支出，这个数字并不大。
AI2获得了为期4年的$100M NSF拨款，据称这是该机构规模最大的计算机科学奖项；NVIDIA加大了对Nemotron的重视并发布部分数据；Reflection AI则表示，其筹集的$2B将用于支持美国开源模型。Nathan希望有多个构建者，这样任何一个类似Llama或OLMo的项目消失，都不会让整个生态崩塌。
白宫AI行动计划对开源和开放权重系统的支持，即使尚未执行，也有助于确定议程。Lex补充了人才理由：没有开放模型，研究者必须先进入闭源实验室才能学习，这让开源成为培养和识别下一代人才的“唯一方式”。
49. 中国发布的模型让限制措施越来越难以维持
Lex认为，中国前沿模型的发布可能通过证明能力强的权重可以自由流通，反过来推动美国更开放；Sebastian表示同意。任何真正开放的模型都有价值，而他的更窄主张是，美国应继续成为主要来源，而不是放弃整个生态。
Sebastian说，这些发布很可能触发了一些原本不会发生的领导层讨论。
禁止开放模型，就需要类似美国Great Firewall的东西，因为全球许多参与者都能获得$1M-$100M的训练预算，而知识无法被封锁。两人都认为，AI 2027式的曼哈顿计划式集中，在2025-27年并不现实。
如果前沿进展饱和、资本却依然充裕，那么经过优化的开放架构最终可能胜出：广泛的服务投资、专用芯片和共同标准会让其成本远低于定制化闭源系统。如果进展仍然迅速，闭源实验室则能保住不断移动的质量前沿。
50. NVIDIA的护城河是CUDA、灵活性和Jensen的操作系统
Sebastian认为，NVIDIA历经20年的CUDA生态，比任何单一GPU都更具防御性。15年前，实验室已经用Tesla GPU进行分子模拟；到了巨大规模，客户更愿意选择兼容的供应商，而不是押注一个产能有限、风险更高的芯片。
超大规模云厂商仍在通过Google TPU、Amazon Trainium和Microsoft自研设计攻击这一技术栈。Nathan的条件是速度：AI变化迅速时，NVIDIA的灵活平台占优；如果进展停滞，客户就有时间设计更便宜的专用硅片。
推理可能会拆分成专用阶段。Sebastian描述了Vera Rubin硬件：预填充阶段的矩阵乘法可能几乎不需要昂贵的高带宽内存，而内存密集的自回归生成则在其他地方处理KV cache搬运；Groq的交易符合相同的专业化逻辑。
Jensen Huang在运营上的参与，类似Steve Jobs时代的Apple。NVIDIA还资助研究并创造消耗GPU的市场，只要它的最高组织优先级仍是赋能生态，而不是把加速器当作众多产品线之一。
51. 具有决定力的领导者能压缩数十年的技术进程
Nathan对伟人论的折中是：科学最终可能会发现同一个想法，但专注的个人能让它更早发生。Jensen可能将GPU革命提前了10年；如果当时没有可用GPU，另一次AI寒冬可能会让深度学习推迟更久。
Sebastian将这种作用比作单只股票与ETF的差别：文明最终会向上移动，但集中的领导者能凭借热情和专注制造更大、更快的波动。运气仍然重要——游戏产业先创造了线性代数硬件，之后才有Alex Krizhevsky将它用于神经网络。
Ilya Sutskever和Dario Amodei同样推动了当时看似不可能的押注：连接约10,000块GPU，并将OpenAI的算力投入一个扩展中的模型。信念先于确凿证据，而这正是领导力改变时间线的原因。
一个世纪后回看，嘉宾预计“计算”会比CUDA细节更重要。深度学习或许仍是一个被记住的术语，而transformer可能只是后来架构演化超越的一个组件；网络和互联网也可能与更广泛的互联计算故事合并。
52. 当数字世界充满合成内容，物理世界的价值会上升
100年后，Sebastian预计会有专业化机器人，也可能有部分人形形态，但对界面并不确定。脑机连接或许会出现，但汽车说明，一个有用的界面即使只做渐进式改进，也能存续超过一个世纪。
Lex预计，某种私人物理计算设备仍会存在，即便它不再像手机。人类仍然会寻求自主性、社区和意义；大规模财富或UBI本身无法取代这些需求。
在更近的未来，嘉宾预计会出现“越来越多、越来越多样的垃圾内容”。实体艺术、商品和活动会因为由人制作或亲自参与而获得溢价，而当合成作品变得无法区分时，新创作者将面临信任问题。
身份认证可能反转水印逻辑：设备不再试图给每一张AI图片打标，而是认证照片或编辑内容源于人类。任何方案都会演变成军备竞赛，使可信媒体、真实关系和线下存在变得更有价值。
53. 人类自主性仍是收尾的安全命题
Lex坚持认为，技术转型必须逐人评估：即使总体GDP最终上升，每一个失去工作的人仍是一场人类悲剧。更好的社会支持必须承认这种痛苦，而不是用“会出现新工作”的预测将其解释掉。
Nathan的希望来自历史：“人类确实往往能找到办法。”社区能够解决问题，但要兑现AI的机会，需要漫长而艰难的政治对话，也需要愿意向已经不信任Big Tech的人解释自己的建设者。
Sebastian的信心来自自主性与意识。今天的AI必须被告知要做什么；它比锤子更自动、更强大，但仍然是由人指挥的工具。他认为最大的危险场景，是人类明确地为AI编写有害目标。
Lex把玩笑延伸到机器战争——人类拿着本地开源LLM武装自己——但底层呼吁是认真的：人类的聪明、连接和道德选择仍值得捍卫。AI这面镜子也可能帮助我们理解意识是什么，以及为什么“我们心中的真正奇迹”如此重要。