先锋 趋势 方法 投研 作者
那块可能解锁 AGI 的芯片
返回节目精读

那块可能解锁 AGI 的芯片

摘要

  • Naveen Rao 的核心判断是,AI 面临的能源墙需要改变计算机,而不是只把今天的架构继续做大。 他说,美国数据中心已经消耗全国电网约4%的电力,而一些估算认为,未来10年还需要新增400 GW。瓶颈正变成物理问题:“当前范式尽管已经足够优秀、也把我们带到了今天,但无法把我们带到那个水平。”

  • Unconventional AI 的起点是物理学习理论,而不是传统芯片路线图。 Rao 希望使用自身动力学就能执行有用智能的电路,而不是依赖多层数字抽象:Bornstein 将这一想法概括为“智能就是物理学”(“Intelligence is the physics”),Rao 表示认同。人脑功耗约20瓦,而松鼠或猫可能只需约0.1瓦——如此巨大的效率差距,足以让人重新审视第一性原理。

  • 模拟计算并非要取代数字计算,而是针对可能受益于物理动力学的随机、随时间变化的工作负载。 Rao 关注扩散模型、流模型和能量模型,因为它们的动力学可以写成常微分方程,并有可能映射到物理系统上。他的目标是打造与传统计算并行的“智能基底”,对需要精度的问题仍保留数字计算。

  • Rao 认为动力学可能补上当前 AI 缺失的因果性,但他反复称 AGI 这一论证“很不严谨”。 他的直觉是,由具有真实时间演化的元素构成的系统,比那些基础中不包含这类动力学的系统,更有可能理解因果关系。他说,今天的模型已经包含智能、也非常有用,但距离 AGI“还差得远”(“nowhere close to AGI”),因为它们仍会犯基础错误,也还不像是在与一个人共事。

  • 商业化的检验标准,是 Unconventional 能否在5年内找到一种类似智能的物理范式,并实现大规模量产。 Rao 认为,TSMC 将是原型开发和最终规模化所必需的合作伙伴;他判断 Google 拥有完整的内部能力,正围绕 TPU 持续进行低风险改进,而 Nvidia 已经建立起占据主导地位的编程平台。Unconventional 正试图构建“比矩阵乘法更好的基底”,但 Rao 没有预设双方必然直接竞争,也为合作留下空间。

  • 执行风险极高,但 Rao 认为这不是一次盲目跳跃,而是有多项局部验证支撑。 人脑提供了存在性证明,超过40年的学术研究显示出这一方向的潜力,动力系统和神经科学理论则提供了工程师可以组合并“打磨”的零件。首个原型可能是规模最大的模拟芯片之一,甚至可能是有史以来最大的模拟芯片,因此,理论、系统、算法、模拟电路和数字电路等领域的人才都构成这一命题的核心。

精读

1. 公司从物理学习出发,而不是从芯片规格出发

  • Rao 立即纠正了这个前提:Unconventional 严格说“并不是一家芯片公司”(“not a chip company per se”)。公司的起步工作是理论研究——从第一性原理追问学习如何在物理系统中发生——因为他认为,基本未变、已有80年历史的计算架构可以被重新设计。

  • 从无线硬件和实时视频压缩,到神经科学博士,再到 Nervana、MosaicML 和 Databricks,Rao 的经历让跨越边界变得顺理成章。在 Rao 过去的定义里,真正的全栈工程师需要理解硅器件、逻辑、架构、底层软件、操作系统和应用,而不只是 JavaScript 和 Python。

  • 因此,硬件和软件对他而言并不是天然边界;边界只存在于人们选择在哪里划线、哪些东西由自己配置。核心问题是,一项能力最终会在哪里被消耗,然后再让解决方案与问题的规模相匹配。

2. 数字计算赢在可扩展性,模拟计算保留效率优势

  • 数字计算机用固定比特表示数字,以精度误差换取一台能够模拟所有可用算术表达的问题的通用机器。早期模拟系统效率很高,却因制造波动无法规模化;真空管可以可靠地表示高电平或低电平,即便其中间状态难以准确刻画。

  • Bornstein 将1945年 ENIAC 使用的18,000根真空管,与一些大规模训练系统所使用的 GPU 数量作比较。

  • 风洞体现了另一种路径。工程师不再通过数值方法近似流体动力学、始终留下误差,而是搭建一个物理模拟体,让底层物理规律直接对过程进行建模。

  • 智能可能尤其适合这种模式:神经网络具有随机性和分布式特征,但今天运行在精确、确定性的计算基底上。人脑也展示了一个惊人的效率目标:人脑功耗约20瓦,而松鼠或猫可能只需约0.1瓦。

  • Bornstein 用“智能就是物理学”(“Intelligence is the physics”)概括生物学上的一面;Rao 表示认同,并解释说,神经动力学直接由化学扩散和神经元的物理属性介导,中间没有操作系统或 API 将计算与物质隔开。

3. 能源稀缺让架构效率成为硬约束

  • Rao 说,美国拥有全球约50%的数据中心容量,数据中心约占其电网用电量4%。他补充称,2025年夏季,美国西南部开始出现关于停电的新闻报道;如果这一比例升至8%或10%,约束将明显恶化。

  • 发电能力可以扩张,但基础设施昂贵且建设缓慢。Rao 援引的估算显示,未来10年需要新增400 GW 电力容量,而当前扩张速度“每年大约4 GW”;Bornstein 补充说,即便发电量足够,也可能压垮主要建于1970年代的输电电网。

  • Bornstein 将这一努力描述为人类调动“物种级资源”来发明未来。Rao 说,随之而来的供给缺口意味着必须重新思考问题,同时也主张继续建设更多发电能力。

  • Rao 拒绝将问题简化为数字与模拟二选一。数字计算仍适合确定性的数值问题;模拟动力学则可能适合跨多个输入进行检索和总结,形成补充传统计算的智能基底。

4. 物理动力学可能在接纳复杂现实的同时保留精度

  • Bornstein 讲述了一个故事:Steph Curry 曾搭建特殊的追踪系统,以确认篮球击中的是篮筐中央,而不只是最终穿过篮筐。但在比赛中,位置、防守球员、球鞋、场地、篮球的黏性以及出汗的双手,会让每一次输入都独一无二。

  • 大脑能够整合这些变量,同时产生极其精准的行为。这种“模糊、分布式输入产生精确行动”的组合,正是 Rao 希望智能物理基底能够处理的问题类型。

  • Unconventional 会从当前的模型家族出发,而不是将它们全部抛弃。扩散模型、流模型和能量模型尤其值得关注,因为它们包含动力学,有时可以表示为常微分方程,并可能映射到物理电路的时间演化。

  • Transformer 仍然有价值,因为它们让 GPU 的计算构件发挥出了极高效率,但 Rao 认为,其参数化方式“没有自然法则”可言。他预计 Transformer 参数空间与其他参数空间之间可以相互映射,认为 Transformer 可能只是依靠“海量参数”来获得结果。

5. 时间与因果性是通往 AGI 的推测性桥梁

  • 当被问及这一路径是否能推动 AGI 时,Rao 的回答刻意保留余地:“坦白说,我确实认为会”,紧接着又说“这说法很不严谨”(“this is hand wavy”)。他的直觉是,一个包含时间和因果性的基础,可能优于不具备这类动力学、或只在数值层面表示时间的基础。

  • Bornstein 指出,数学系统往往可以在时间上逆向运行,而物理世界至少在人类的感知中通常并非如此。Rao 认为,从拥有真实时间演化的基本单元出发构建系统,可能会产生真正理解因果关系的系统。

  • Rao 从幼儿身上看到了一条存在性线索:幼儿似乎理解事件会以因果方式展开,而人们也知道,向手臂发出某个特定指令,就会产生某种特定动作。他猜测,大脑天生由因果性基本单元构成,但没有声称自己知道其中的具体机制。

  • 当前机器已经拥有智能,也能提供有用工具,但 Rao 说它们“距离 AGI 还差得远”(“nowhere close to AGI”)。它们仍会犯“愚蠢的错误”(“stupid errors”),人与其互动也还不像是在和另一个人共事。

6. 制造规模与组织广度决定理论能否兑现

  • Rao 设定了两个里程碑:5年内找到一种类似智能的范式,然后在这一期限内从制造角度实现规模化。如果无法制造10 million 个器件,这项技术就无法解决全球能源问题。

  • 因此,TSMC“绝对会成为合作伙伴”。Rao 说,Google 拥有完整的内部能力;根据他能从公开信息看到的情况,Google 正围绕 TPU 持续进行低风险改进,以服务自身业务。Nvidia 已经建立了所有人都在其上编程的平台;Rao 无法判断 Nvidia 最终会成为竞争对手还是合作伙伴,只能确定 Unconventional 想要的是“比矩阵乘法更好的基底”。

  • 他的信心来自人脑这一存在性证明、超过40年的学术研究、研究人员制造的概念验证器件,以及来自神经科学和动力系统的持续发展理论。伟大的工程,最终就是把不完美的零件组合起来:正如 Bornstein 所说,“这个东西不太合适——把它磨一下,做到合适为止。”

  • 最初几年,公司会以实践型研究实验室的方式运作:先证明一个想法可行,再让制造方面的顾虑关上大门。Rao 预计组建一支混合信号团队,成员覆盖理论研究者、模型专家、系统架构师,以及模拟和数字电路工程师。首个原型可能是规模最大的模拟芯片之一,甚至可能是有史以来最大的模拟芯片。

  • Rao 偏好早期创业公司式的广泛职责和高自主权文化,因为狭窄的专业分工可能难以适应变化。领导者应提升组织的自主性,在人们对某种路径充满热情时为其让路;每个人都应对好结果和坏结果负责,包括承认:“好吧,我搞砸了。”他的动力来自这样一种信念:改变计算机,可以让 AI 无处不在。他“完全不是 AI 悲观主义者”(“the opposite of an AI doomer”),并将 AI 视为人类的下一次进化。如果 Unconventional 成功,他说,“这个世界很长一段时间都不会忘记这件事。”