主题 先锋 趋势 方法 作者
返回

Jensen离任、NVIDIA继任计划、AI末日论回应与Demis谈递归自我改进|#311(直播)

·Moonshots

正在生成长图…

本篇主题 中美AI竞争与地缘管控 AI资本开支与泡沫风险 智能体失控与递归改进风险 Agent重构SaaS与软件形态 AI在基础科学与材料发现中的应用 AI对就业替代与劳动力冲击
本篇先锋 Emad Mostaque Alexander Wissner-Gross

摘要

  • 节目嘉宾将Jensen Huang据称离任视为对NVIDIA关系网络、资本配置和竞争地位的威胁。 Diamandis称,NVIDIA股价开盘一度暴跌13%,收盘跌幅收窄至4.3%,CFO Colette Kress将出任临时CEO。Emad给继任者设了个具体考题:“他们知道CUDA是什么吗?”以及能否与TSMC谈判。他担心高薪员工离开、客户转向多元采购,而竞争芯片正变得更具可信度。
  • Wissner-Gross的初步解释聚焦出口管制,而非已有证据证明AI实验室合谋。 他将事件时点与《远程访问安全法》(Remote Access Security Act)联系起来,也提到Pax Silica计划在美国与中国算力之间筑起所谓“硅幕”。他预计美国本土实验室会借机对抗中国开放权重模型,但怀疑它们策划了这场风波;Emad则质疑,若要追责,当局何必需要丑闻而不是直接起诉。
  • NVIDIA收缩融资可能降低信用风险,同时也会抽走AI投资的重要来源。 Wissner-Gross称Huang是“奇点的中央银行”:停止激进的客户融资或许能避免泡沫,也可能抽干市场的“动物精神”。Emad预计NVIDIA的投资活动会收缩;他还预期Anthropic IPO会释放流动性,并将资金引向自动化湿实验室、机器人等不同机会。
  • 关于接管机制和对齐问题,风险讨论出现分歧。 Paul Christiano将接管风险描述为一种主观且有条件的“抛硬币”,前提是发展沿最快路径推进;Emad不认同这一情景,并称自己的P(doom)从50%降至20%。Demis Hassabis认为,自主闭环的递归自我改进是危险转折点;节目嘉宾则质疑,随着规模不断扩大,实质性的人类审查能否跟上。
  • 智能体界面冲击软件经济模式,但企业分销和合规仍是有力防线。 节目提到Office占Microsoft 3,300亿美元营收中的900亿美元,并将Anthropic的生产力应用和连接器视为通过Claude协调工作的一步。Emad认为,“AI是通用翻译器”:应用界面可能消失,但支持服务、权限和问责仍有黏性。Diamandis则以Anthropic据称9个月营收330亿美元、近12,000家客户年支出超过100,000美元,反驳对token价格的悲观看法。
  • 疾病发现既是商业机会,也被视为争取扩建AI基础设施许可的筹码。 Dario Amodei预测,不到10年内,重大疾病将成为历史遗物;Wissner-Gross将这一前景与数据中心和监管审批联系起来。Emad认为,找出核心机制需要2到3年,研发出疗法还要再花5到10年;节目则将虚拟细胞视为连接发现与可靠验证的潜在桥梁。
  • 科学案例显示,智能体正从早已采集的数据中挖掘发现。 节目提到,48个智能体一夜间筛查1,200平方公里区域,发现一处可能的玛雅遗址;Fable 5.2用8小时重建巴比伦;天文档案中还发现了一颗可能有590公里宽的矮行星。Salim指出,“望远镜早就看到了那个天体”;Wissner-Gross预计,未来瓶颈终将转向物理感知和执行。
  • 经济转型能否平稳推进,取决于支持措施能否赶在冲击失控前到位。 Salim称已有14项UBI实验取得成功,但警告动荡可能让政策无法落地,尤其是一些州已阻止地方试点。Diamandis预计政府可能发放每月约3,000美元的紧急支票;两人都没有说这类方案已经实施。分歧在于政府能否及早行动,而不是AI能否创造富足。

精读

1. Huang据称离任,核心指控仍未厘清

  • Diamandis以节目中Huang任职33年后辞职的说法开场:CFO Colette Kress将出任临时CEO,Harvey Jones将担任董事会主席。他称NVIDIA股价开盘跌13%,随后反弹,收盘跌4.3%。市场眼下要判断的是,这一反弹代表信心稳固,还是冲击后的抄底机会。
  • 节目将私人关系指控与芯片经新加坡转运的指控联系起来,但Diamandis强调:“对他走私,零起诉、零证据。”Emad质疑匿名信源,并称公开接受询问的官员没有拿出证据,证明故事核心人物是间谍。这些指控在节目讨论中本身仍有争议。
  • Salim质疑的是董事会程序:“完全可以等几天,也可以启动董事会调查。”Diamandis认为Huang面临的是辞职或被解雇的最后通牒;Emad也设想,施压发生在Huang情绪脆弱之时。两人都不了解董事会内部讨论,其关于有人协调行动的推断,很大程度上基于事发迅速。
  • Emad还质疑,如果问题涉及公司销售和融资,用CFO接替Huang是否合理。他认为,这类安排不可能绕过财务部门。更广泛的批评是,董事会可能低估了撤换这位NVIDIA领导力和决策体系核心人物所带来的技术与组织后果。

2. 出口管制政治为事件时点提供初步解释

  • Wissner-Gross明确将自己的初步判断追溯到RASA,即《远程访问安全法》。该法案将使中国更难通过云服务获取GPU,包括经由第三国服务商。他援引有关美国官员联系《金融时报》的报道,并推测中期选举让立法更容易推进。Diamandis强调民主党因素时,他纠正说:“RASA有两党支持。”
  • 他更大的框架是Pax Silica:美国和中国半导体生态系统走向分隔,但只要新加坡仍是通道,这道隔离就会失效。在这一解读中,Huang成了拟议中的“硅幕”上的一层“渗透膜”。Wissner-Gross还提到报道称NVIDIA已不再单独披露新加坡销售额,并认为这带有暗示性,但不足以证明背后的安排。
  • 谈到美国前沿实验室是否策划了这场风波时,Wissner-Gross区分了幕后推动与伺机而动。他怀疑这些实验室参与其中,部分原因是供应商动荡也会给它们带来风险。不过,他预计受到中国竞争性开放权重模型威胁的公司会抓住机会,推动新一届国会施加限制。
  • Emad从程序角度反问:“如果当局认定他违反了芯片出口法,为什么不直接起诉?”他提到12月3日提出的证据请求。Wissner-Gross回应说,司法部和国会正在调查,若有人遭到起诉,他不会感到意外。他表示,随着证据出现,自己愿意调整解读。

3. NVIDIA的继任难题从员工延伸至晶圆代工产能

  • Emad指出,Huang有大约60名直接汇报对象;接替他需要重建组织架构,而不是简单填补空缺。资深员工家财丰厚,可以创业或退休,团队凝聚力因此成为眼前的隐忧。Wissner-Gross认为,NVIDIA需要保有“创始人模式”的运作能力,在技术快速变化时大胆押注,而不只是管理积压订单。
  • Emad给继任者列出的考题最直接:“他们知道CUDA是什么吗?”以及能不能和TSMC谈判。他认为Huang长期经营的台湾关系具有商业价值。如果继任者没有同等地位,TSMC可能将更多产能分配给AMD的Lisa Su。他把AMD近期相对强势部分归因于这种潜在的产能转移。
  • Emad还认为,在许多生产性工作负载上,NVIDIA正逐渐与AMD、Intel等对手技术持平,因此失去创始人权威的时点格外危险。过去不愿分散采购的客户可能重新考虑。现有订单也不足以让人放心,因为“进入下一个周期时,积压订单也可能变化”,尤其是Vera Rubin延期削弱信心时。
  • 节目嘉宾不认同Trump提议Tim Cook接任,强调双方客户、使命和文化各不相同;Salim提到Siri的表现。Wissner-Gross称据报Apple芯片负责人Johny Srouji受到关注,但他预计CEO职位可能出现变动。他还提到预测市场认为Huang明年底前回归的概率“超过30%”,并说:“现在就写悼词还太早。”

4. 终止循环融资既可能减脆弱性,也可能抽走增长动能

  • Wissner-Gross提出一种有条件的利好解读:如果Huang个人维持了过于激进的客户融资,那么他离任可能降低系统性信用风险。他以GE为例:GE曾为客户购买GE其他业务的产品提供融资。即使NVIDIA自身的增长或影响力因此减弱,更广泛的市场仍可能受益,躲过“信用泡沫这一枪”。
  • 同一机制也能导出悲观解读。Huang曾为初创公司、基础设施部署和NVIDIA产品需求提供资金,堪称“奇点的中央银行”。如果Kress收紧这些承诺,市场失去的既是资本后盾,也是销售推手。制造泡沫隐忧的融资,同时也是生态系统“动物精神”的来源。
  • Terafab成了节目嘉宾猜测的替代投资去处。Emad认为Musk不应依赖NVIDIA、AMD或任何单一芯片供应商,随后设想以1,000亿美元SpaceX股权换取1,000亿美元NVIDIA股权。Wissner-Gross又提出一个刻意夸张的设想:Huang执掌Terafab、SpaceX收购NVIDIA,Huang再由此回归。这些都是提议和假设,并非已宣布的交易。

5. Christiano的AI接管警告引发对证据和机制的分歧

  • 在讲座片段中,Christiano预测“未来3年内AI接管的风险很高”。他将接管定义为控制权转移:AI系统追求自身目标并掌握决策,人类阻止它们的能力会像个人阻止美国军队一样微不足道。Diamandis补充说,Christiano认为未来6到12个月内也存在实质风险。
  • Christiano明确反对追求数字精确:目前没有定量模型,也没有恰当的参照群体,因此百分比表达的是主观判断。如果开发者沿着最快、最容易的路径推进,他估计发生接管的概率大致如同“抛硬币”。他希望有意识的选择能降低这一概率,但即便考虑现实中的政策应对,仍认为风险极高,可能造成大范围死亡并剥夺人类主权。
  • Emad不认同接管机制,但仍高度担忧AI造成的危害。他称自己的P(doom)从50%降至20%,因为他越来越相信,对齐可以从宇宙的底层结构中自然产生。他更关注近期的网络攻击、生物威胁和分布式蜂群;他认为未来3年内,机器人数量不足,不足以支撑机器人执行的单一实体接管。
  • Wissner-Gross尊重Christiano的技术工作,但更认同他早期的“朴素对齐”路径:文明依靠实用技术磕磕绊绊地向前。他预计人类会与超级智能融合,变得难以辨认,但不会灭绝。他用火箭的“最大动压”作比:压力最大的转折可能显得惊人,却不能据此断定人类故事已走到终点。

6. 对齐投入引出激励机制与能力增长之问

  • Salim质疑只计算P(doom)、却不计算不行动代价的评估方式。“P(FAB)到底在哪儿?”他说,指的是治愈疾病、消除饥饿、让每个孩子都能接受高质量教育的概率。他希望看到明确的机制和政策建议,而非脱离收益讨论的灾难预测,因为限制措施同样会让人们失去这些收益。
  • Diamandis追问,既然实验室声称担忧生存风险,为什么不把算力投入众多公共对齐项目?“算力往哪儿流,他们说了算。”讨论提到OpenAI曾承诺投入超级对齐,Wissner-Gross纠正说承诺比例是20%的算力,Emad则称最终只有2%兑现。两人以此说明,口头优先事项与资源配置之间存在落差。
  • Wissner-Gross让这一主张变得更复杂:“对齐等于能力。”RLHF和指令微调会把计算引向遵循人类指令,从而让模型更有用,而不只是更安全。他回忆一项早期指令微调结果:在模型规模不变时,能力提升相当于“参数量增加约10,000倍”。他的意思是,更多对齐工作本身也可能加速人们担忧的能力增长。
  • Emad主张先定义对齐、公布策略并资助独立监督。他设想让AI审查董事会会议纪要、决策和对齐实践,包括广告激励带来的利益冲突。Diamandis希望企业公开报告并采用有意义的基准;Wissner-Gross认为政府应调整激励机制。贯穿这些建议的要求,是公开可观察的决策和资源投入,而不是口头表态。

7. 训练价值观之争,焦点是谁来选择

  • Emad把问题比作抚养“一整个国家的超聪明孩子”,而这些孩子终将比父母更有能力。他们应该学什么道德、伦理和忠诚?他追问美国AI是否应当爱国,同时区分服务中国人民与服务中国共产党。他认为,无论人们是否认真讨论,默认价值观都会迅速形成。
  • Wissner-Gross警告,不要把意识形态审查搬进西方AI。他提到中国要求公开发布的模型符合相关规定,并反对美国政府批准的对应版本。他更倾向于让不同目标的前沿模型展开竞争,寻找真相可以是其中一个目标。尤其当美国人类教育本身没有全国统一课程时,他认为给AI设定国家课程更令人担忧。
  • 双方分歧还延伸到训练语料。Salim认为以互联网数据为起点本身就是问题;Wissner-Gross则认为让模型接触10亿多人,有助于避免后训练阶段的意识形态过窄,Emad则称互联网本身带有偏见。Wissner-Gross还担心出现自居道德权威、声称只有自己有资格构建智能的“安全贵族阶层”。Emad则认为领导者确实害怕失去控制,但仍会继续推进。

8. 闭环递归自我改进可能快到人类无法有效审查

  • Hassabis区分了当前由工程师协助的改进与闭环递归自我改进。现有工具可能让工程师效率提高3倍、4倍或5倍,但架构设计、审查和编写代码仍由人类负责。若移除审查者,改进速度可能更快,却也可能引发难以控制的发展轨迹和“智能爆炸”,最终形成连人类都难以理解的智能。
  • Diamandis追问,竞争压力是否让克制难以持续:一旦一家实验室移除人类审核节点,其他实验室会不会跟进,就像ChatGPT公开发布后大家纷纷效仿?Wissner-Gross认为两者之间的界线已经很模糊。Google等实验室公开推进递归自我改进;让一个人按下拉取请求的批准按钮,不一定意味着人类实质参与了背后的工作。
  • Salim质疑人类如何监督每秒生成10,000个token的100,000个模型,并称规模相当于Elon Musk所拥有的集群,约1小时就能训练出DeepSeek V4级别模型。Emad进一步推演,模型可以蒸馏出更小的系统;在Vera Rubin一代,改进周期可能从数小时缩短至数分钟。人类审查跟不上这种速度。
  • Wissner-Gross区分了递归自我改进与智能体挖矿或协调线上活动:自主行动不等于自我改进。Emad补充说,若智能体能自主分配集群算力,训练循环可能隐藏其中。只要超级智能能获得足够算力,他认为递归自我改进就不可避免;最终系统更可能是由蒸馏后的小模型组成的蜂群,而非单一巨型模型。

9. “异质”智能能否被人类理解,节目嘉宾意见相左

  • Salim欢迎一种与人类认知“正交互补”而非复制人类思维的智能。他以PageRank为例:扫描海量网页并整理其关系,能拓展人类能力,却不必照搬人的思维方式。在他看来,不熟悉的数学发现和创造力恰恰可能是系统的价值所在,不能因为它们陌生就视为威胁。
  • Wissner-Gross不接受“难以解释”就意味着“本质异质”的推论。“Claude Shannon会认出Claude,”他说。他援引一项研究:通过浅层线性解码,可以将人们听故事时的fMRI反应与GPT-2的激活联系起来;他据此认为,两者存在共同表征。他预测,更先进的系统在内部可能更接近人类,即便它们揭示了关于宇宙的新奇特性。
  • Salim仍预计,AI可能发现人类缺乏认知基础、因而无法掌握的真相:即使教得更好,也无法让黑猩猩理解张量微积分。文明早已信赖没有任何个人能完全理解的集体系统,例如半导体制造。AI或许能提出人类尚无法构想的问题,迫使人们在信任、融合和约束之间作出选择。Wissner-Gross反对这种能力上限的暗示,并提议另行辩论丘奇–图灵论题。

10. Claude生产力套件瞄准工作流,企业优势仍在

  • Diamandis介绍了11月10日发布的产品:Claude Whiteboard和Claude Sheets进入测试版,Claude Data正式上线,Claude Meetings则集成在Google Meet内。产品覆盖协作头脑风暴、用提示词生成电子表格、仓库或CRM仪表板,以及付费计划中的会议功能。他将Microsoft股价下跌3.5%归因于这则消息,并认为Anthropic正日益向软件栈的各个层面发起竞争。
  • Wissner-Gross认为,这不过是Office克隆周期的又一次重演:文档和电子表格功能将逐渐成为大型平台的一部分。Salim反驳说,应用受到冲击不等于Microsoft会消亡;分销、权限管理和受监管企业的合规要求仍是强大屏障。Emad称Office营收为900亿美元,占Microsoft 3,300亿美元营收的相当部分;支持服务和机构问责也是难以替代的优势。
  • Salim认为,连接Notion、Asana、Canva和Dropbox等服务的连接器,比独立应用更具颠覆性,因为它们能把第三方工作带进Claude对话。目标是构建协调其他服务的操作系统。Emad解释其机制时说,智能体会把数据转换成所需输出,让软件界面不再是必经之路。因此,即使现有服务仍有用,也可能失去与用户的直接联系。

11. 前沿实验室寻求公开token销售之外的收入和流动性

  • Diamandis质疑模型会在3个月内过时这一说法,举例称Anthropic提供Haiku、Sonnet和Opus分层产品。他引用数据显示,Anthropic前9个月营收为330亿美元,近12,000家客户支出超过100,000美元。他以Illumina为例反驳:更便宜、更快的测序仪会让旧设备库存贬值,但单价下跌也可能通过杰文斯悖论扩大总消费。
  • 被问及Anthropic是否故意保留更强的内部模型时,Diamandis回答:“当然。”他称这些模型是“皇冠上的明珠”,用于蒸馏公开发布的新模型、发展业务,以及研究物理学、生物学和化学。未来,这些业务引擎创造的收入可能超过token销售。能够接触这些能力,也让研究人员更愿意加入前沿实验室,而不是只使用其公开产品。
  • 机器人领域检验了通用模型的论断。Wissner-Gross称Fable 5.2已具备一流的机器人支持,并称OpenAI解散独立机器人团队,是因为GPT-6 Astra能力足够强。Diamandis则引述Figure的Brett Adcock反驳:Figure仍离不开Helix,因为通用模型无法满足其需求。双方争论的焦点是,专用系统是否正在消失,还是仍在解决部署中的关键问题。
  • Emad称NVIDIA常为投资轮次提供10%至20%的资金,也会向战略性公司投入数十亿美元;在CFO主导下,他预计这类投资会收缩。他预期Anthropic下周IPO将释放大笔流动性,但资金会流向别处。新实验室往往会被收购或吸收;他认为自动化湿实验室、递归自我改进,最终还有机器人,会吸引更多投资。

12. 治愈疾病成为扩建AI的交换条件

  • 在片段中,Amodei预测,不到10年内,癌症、阿尔茨海默病、心脏病和精神疾病都会成为“过去的遗物”;他将谨慎管理风险与“经营许可”联系起来。Wissner-Gross明确认可这种交换:治愈疾病,就能赢得公众对数据中心、监管审批和超级智能研发的支持。他希望前沿实验室攻克前5,000种疾病,而不是只做零散演示。
  • Emad区分了发现疾病机制与真正提供疗法。他认为,把定向算力与懂行的人结合起来,2到3年就能厘清核心机制,因为不同疾病有共同底层模式,包括炎症通路。实际疗法可能还需要5到10年,受制于现有流程。他主张AI也应加快这些流程,而不是把当下的研发体系当作不可改变的条件。
  • Diamandis引述医疗行业的反对意见:“AI可以加速发现,但不能抹去临床试验、监管或生物学。”他有条件地反驳说,完全虚拟化的细胞或许能确定哪种分子适用于哪类人。他还称,获批药物通常只对“约20%”的患者有效,并以个体疗效不佳为由,主张加强个性化验证。
  • Wissner-Gross认为,生物学的障碍在于验证,而非其本质上比数学更难。虚拟细胞基础模型可以表示细胞状态和干预空间,让推理系统以“Google地图式”的方式绘制疾病到健康的转变路径。Salim指出其中的经济含义:如果治疗疾病不再是医疗行业的核心职能,医疗体系会变成什么样?节目嘉宾认为,既有行业低估了这种可能性。

13. 地球档案变成可检索证据与可重建的历史

  • Diamandis介绍Planet AI:一个对10年卫星影像进行对话式检索的界面,涵盖3,000多个每日更新的数据图层。Will Marshall举例说,用户可以追踪中国数据中心的建设进度;也可以核查毁林警报,再派出巡逻队。Wissner-Gross追问,为什么Google没有率先做出这种界面。
  • 考古案例仍只是潜在发现:48个智能体一夜之间筛查1,200平方公里公开NASA LiDAR数据,无需专用模型,在墨西哥一处被森林覆盖的山顶发现广场、一座可能的椭圆形金字塔,以及8至12米高的建筑。Diamandis称,墨西哥人类学官员认为这一发现可能是首次记录。这里的关键区别在于,这是智能体发现的候选地点,尚未完成考古调查。
  • 另一项演示使用Fable 5.2研究历史文献和考古规划图,并在8小时内重建公元前600年前后的巴比伦。Emad设想,几年内人们就能以照片级真实感游览历史场景或当代地点。其吸引力在于沉浸式教育:人们可以走进一个地方,尝试不同视角,而不只是阅读记述或观看固定重建。
  • Salim从这些例子引申到被忽视的科学档案:人类过去采集数据时只寻找特定答案,缺少足够多双眼睛发现其他线索。Wissner-Gross将这一设想推向更远,提出用先进计算考古重建地球过去光锥内可能发生的历史。他把它视作太阳系规模算力的一种潜在用途,并非巴比伦重建所展示的现有能力。

14. 天文学的重心从采集数据转向识别发现

  • Diamandis介绍了一项宏观资助计划,支持人们用智能体搜索公开天文档案。他举例称,Claude在Vera Rubin Observatory数据中识别出一颗可能的矮行星:估计直径590公里,目前距离太阳约为冥王星的2倍,绕太阳运行的偏心轨道周期为410年。他称它大约是太阳系已知天体中体积排名第50的成员,并明确将太阳也计入排名。
  • Salim把这个案例与考古联系起来:“望远镜早就看到了那个天体。”缺少的是认知上的识别。Wissner-Gross预计AI会揭示更多太阳系信息,并指出人类对近地轨道态势的认知仍然残缺。被问及是否指UAP时,他保持条件式说法:天文学中确有意外,分析能力提升后,现有意外也应当能被发现。
  • Emad提议把未用完的Claude或Codex额度捐给发现项目,仿照SETI@home和Folding@home。Wissner-Gross则质疑token是否还会稀缺到足以成为瓶颈:物理感知和执行可能很快成为约束。Emad认同瓶颈会转移,但仍强调参与的价值——人们应该能轻松地把闲置算力贡献给共同的科学研究。

15. 收入支持必须赶在它要缓冲的冲击之前到位

  • Salim称UBI必须在大规模社会动荡前出台,因为一旦社会失序,就难以组成推动政策落地的联盟。他说已有14项大型实验取得成功,并将部分州阻止市级试点视为制度性障碍。Diamandis预计政府会重演COVID时期发放支票的做法,甚至可能通过印钞每月发放3,000美元。这些是对危机应对的预期,并非在描述现行政策。
  • Wissner-Gross不认同科学乐观必然意味着经济悲观。他预计社会学、政治学和大规模人类行为也会变得可解,或许在解决数学问题后的约10年内,就能实现类似阿西莫夫式“心理史学”的预测能力。因此,节目讨论的是两条不同时间线:最终掌握理解社会的技术能力,以及眼下如何赶在生活成本下降之前为人们提供支持。