主题 先锋 趋势 方法 作者
返回

Demis Hassabis:AI 的未来、模拟现实、物理学与电子游戏|Lex Fridman Podcast #475

·Lex Fridman Podcast

正在生成长图…

本篇先锋 Demis Hassabis

摘要

  • Hassabis 的核心论点是,自然系统的可经典学习程度,远高于其组合规模所暗示的水平。 AlphaGo 和 AlphaFold 能够穿越约 10^170 种围棋局面和 10^300 种蛋白质结构组成的空间,是因为进化、地质学和物理学留下了可利用的结构——“最稳定者生存”——而非均匀随机性。如果这一猜想成立,神经网络就能以可处理的方式建模大量生物学、化学、天气乃至物理问题;真正没有模式的问题,例如大数分解,可能仍属于暴力计算或量子计算的领域。

  • Veo 3 表明,世界模型可以仅凭被动观察学到有用的物理规律,这削弱了“智能必须先具身化”的论据。 它生成的约 8秒视频已经能够较好地复现液体、材料、光照和人体动态,足以让 Hassabis 认为其中存在“某种直觉物理”,尽管这并非人类式的哲学理解。他预计未来两三年仍会快速提升真实感,而互动版本可能在5至10年内实现真正由模型生成的游戏世界。

  • 科学发现的技术栈正在成形,但研究品味仍是最关键的缺失层。 AlphaEvolve 将基础模型提出方案与进化搜索结合起来,延续了“模型加目标导向探索”的 AlphaGo 路线;但今天的系统仍难以选择重要且可证伪的问题——“选对问题是科学中最难的部分”。Hassabis 更长期的虚拟细胞计划,将从 AlphaFold 的静态结构、经过 AlphaFold 3 的分子相互作用,推进到多尺度模拟,可能把大部分实验搜索转移到硅基环境中,并将湿实验效率提高100倍。

  • Hassabis 认为,未来5年内、约在2030年前实现 AGI 的概率为50%,但他设定的门槛明显高于基准测试领先。 真正的 AGI 必须消除今天这种“锯齿状智能”,经受数万项认知任务和数百名顶尖专家的审查,并产生多个“灯塔时刻”:从1900年的知识截止点推导出相对论、提出重要的新猜想,或发明一款像围棋一样深邃而优雅的游戏。现有扩展路线是否足够,还是仍需一两次架构跃迁,在他看来是“50/50”。

  • 即使前沿训练只占总算力需求的一小部分,算力需求仍会持续复合增长。 服务数十亿用户的产品、Veo 3 等多模态生成器,以及能够从测试时算力中获益的推理系统,都会扩大推理需求;因此 Google 正在同时推进 TPU、专用推理硬件、散热和电网优化,而不仅是更大模型。Hassabis 还预计,未来5年内 AI 将实质性帮助聚变、太阳能材料、电池,并可能帮助解决室温超导问题;在未来20至40年的能源押注中,他最看好聚变和太阳能。

  • 在 Hassabis 的叙述中,Google 的战略优势来自前沿研究、充足算力、覆盖数十亿人的分发能力,以及“持续进步”与“持续交付”的结合。 Lex 将 Gemini 1.5 到 Gemini 2.5 的变化概括为从输转赢;Hassabis 则把功劳归于合并后的 Google Brain–DeepMind 人才储备,以及巨型产品公司内部类似创业公司的决断力。新的基础模型代际来自约6个月的研究积累,随后进行一次“巨型英雄训练”;后训练和蒸馏则铺开 Pro、Flash 和 Flash-Lite 的性能—成本前沿。

  • 最大的风险不是某一个技术故障,而是制度必须适应一场 Hassabis 预计影响力是工业革命10倍、速度也快10倍的转型。 未来5至10年,与 AI 工具深度融合的程序员生产率可能提高10倍,而常规工作会迅速转移,需要新的治理机制,甚至普遍基本供给。Hassabis 拒绝对 p(doom) 给出虚假的精确数字,只说风险“绝对非零”且“可能不可忽略”;他的处方是“谨慎乐观”、将安全研究增加10倍、推进国际协调,并让最终结局更像 CERN,而不是曼哈顿计划。

精读

1. 自然界的选择压力让不可能的搜索变得可处理

  • Hassabis 在诺贝尔演讲中提出的猜想刻意带有挑衅性:“任何能够在自然界中生成或找到的模式,都可以由经典学习算法高效发现并建模。” AlphaGo 和 AlphaFold 是他的核心样本:模型学会了足够多的结构,从而能够引导搜索穿越原本天文数字般的空间。

  • 如果靠暴力枚举,约 10^170 种围棋局面和 10^300 种可能的蛋白质结构都将构成障碍;但蛋白质能在人体内几毫秒完成折叠。对 Hassabis 而言,这一物理事实意味着高效路径必然存在;只要学会相关景观,就能沿梯度走向合理着法或构象,而不必逐一枚举。

  • 他提出的“最稳定者生存”并不局限于生物进化。风化塑造山脉,行星轨道和小行星形状则反映了反复作用于它们的过程;能够经受自然过程反复筛选的事物,应该携带可恢复的模式,而不是任意结构。

  • 边界同样重要:如果数字空间近似均匀,大数分解可能没有可用模式,只能依赖暴力计算或量子计算。Hassabis 正在研究,具有自然结构、可由神经网络解决的问题,是否值得划入一种新的复杂度类别;由于他认为信息比物质或能量更基础,P=NP 于是成为“一个物理学问题”。

2. 经典学习不断重画可处理性的边界

  • AlphaGo 和 AlphaFold 表明,经典图灵机系统可以进入曾被认为还要数十年、甚至可能依赖量子计算的领域。Hassabis 的开放问题是“这一范式能走多远?”——在经典硬件上实现 AGI,可能就是它的终极表达。

  • 元胞自动机和涌现系统可能处于边界附近,但仍有希望进行正向模拟。混沌系统更难,因为初始条件的微小差异就可能产生彼此不相关的终态;Hassabis 将这些视为真正开放的问题,而没有把所有现象都纳入自己的猜想。

  • Lex 最有力的挑战来自非线性动力学和 Navier–Stokes 方程:奇点、流体和天气都难以被人类清晰预测。Hassabis 同意,传统流体模拟消耗巨大算力,但他认为学习模型可能发现更低维的结构,让这些系统变得更易处理。

  • 他更广泛的推论谨慎却大胆:神经网络甚至“还没有触及”经典系统可建模能力的表面。如果自然动力学提供了一个景观,且目标定义正确,那么表面的组合复杂性未必决定计算难度。

3. Veo 3 仅凭像素就学会了直觉物理

  • 对 Hassabis 而言,Veo 3 最突出的例子是透明液体被液压机挤压。由于曾经编写物理和图形引擎,他知道液体、材料和镜面光照编码起来有多么费力;而这个模型似乎从 YouTube 视频中反向推导出了它们的行为。

  • 这不意味着 Veo 3 拥有人类拟态意义上的深层理解。Hassabis 更狭义的主张是:要预测约8秒内连贯的画面,就必须对底层动力学进行足够建模,因而可以称为“一种理解”——也许是对物理行为所学习出的“低维流形”。

  • Lex 直接反驳了把扩散模型一概归为“只是生成像素”的说法:物理虽然并不完美,但“好得离谱”,很难在不给予某种理解的情况下解释这种真实感。Hassabis 预计,再过两三年,视频相较于仅早一两年的系统会显得极其惊人。

  • 关键区别在直觉物理和形式物理之间。Veo 3 更像一个知道玻璃被推倒后会掉落、碎裂并洒出液体的孩子,而不是一名推导方程的博士生;对 AGI 而言,这种常识层可能比单纯的符号掌握更基础。

4. 被动观察可能足以构建世界模型

  • Hassabis 改变了自己对具身化的看法。5或10年前,他会认为直觉物理需要通过在世界中行动来获得,这与“行动即感知”的理论一致:深层感知应当与机器人、具身智能,或至少是模拟行动相联系。

  • 如今 Veo 3 表明,“你可以通过被动观察来理解它”,这在科学上比其喜剧效果或照片级真实感更令 Hassabis 意外。其含义并不是机器人不再必要,而是海量观察数据可能比过去设想的更充分地还原现实的力学。

  • 下一步是让生成视频具备互动性:进入其中、四处移动,并改变事情的发展。这将接近 Hassabis 对世界模型的定义——对“世界的机制、世界的物理规律,以及世界中事物”的表征。

  • 这类模型是他 AGI 图景的核心,因为它把感知、预测和行动连接到同一个连贯环境中。视频生成、模拟宇宙、游戏,以及关于经典计算能够重建什么的理论极限,背后其实是同一个问题。

5. 生成式游戏可能用真正的共同创作取代脚本化选择

  • 展望未来5至10年,Hassabis 想象 AI 能围绕玩家的想象力创作,无论玩家采取什么行动,都动态改变叙事和戏剧性——“终极的选择你自己的冒险”。Veo 的互动继任者是他直觉上的起点。

  • Lex 区分了真正开放的系统与 The Stanley Parable 刻意制造的“选择幻觉”,以及 Daggerfall 的随机地牢。理想系统必须支持潜在的任意行动,同时生成连贯、有吸引力且针对该玩家的后果,而不是在硬编码分支中择一。

  • Hassabis 早期的游戏已经在追求这一原则。Theme Park 先建立模拟环境和初始条件,再让每名玩家“共同创作”独特体验;传统元胞自动机技术带来了涌现,但仍脆弱而有限,因为开发者不可能制作无限资产,也不可能预见每一个方向。

  • Black & White 提供了一个早期学习范例:神话生物会映照玩家如何对待它,可能变得残酷,也可能保护村民。Hassabis 认为,今天的通用学习系统正是这些硬编码模拟的延续;他还开玩笑说,更好的氛围编程,或者 AGI 之后的休假,终于可能让他亲手再做一款游戏。

6. 游戏是研究现实、掌控感与人类冲突的实验室

  • 游戏吸引 Hassabis,是因为它把前沿编程与艺术、音乐和叙事融合在一起,同时让观众成为创作过程的一部分。20世纪90年代,AI、图形、物理引擎、硬件和 GPU 都在被游戏推动,使这一媒介成为真正的多学科研究前沿。

  • Civilization 1 和 Civilization 2 仍是他最喜欢的游戏。他通过 ZX Spectrum 和 Commodore Amiga 500 学会编程,并认为做游戏仍是进入计算领域极具激励性的路径,因为技术系统会立即产生富有表现力、可互动的结果。

  • 游戏还为现实生活中只能做十几次的决策提供了可重复练习,例如选择工作或大学。国际象棋、围棋、扑克和外交都是简化的世界模拟:结果会暴露判断错误,同时允许你再试一次。

  • Lex 和 Hassabis 都认为失败本身是一种功能:国际象棋、武术、巴西柔术和体育教会人谦逊、恢复和自我提升。足球和游戏也能把部落性或竞争性冲动引向远离破坏性冲突的方向;人类“本身就是爬坡系统”,当原本不可能掌握的技能变成可衡量的能力时,就能从中找到意义。

7. AlphaEvolve 以引导式搜索连接模仿与创新

  • AlphaEvolve 将基础模型提出方案与进化计算结合起来:LLM 生成候选程序,进化搜索则对其进行探索和重组。Hassabis 认为,这只是一个更广泛混合家族的例子,未来可以在基础模型之上叠加蒙特卡洛树搜索或其他推理算法。

  • 分工至关重要。模型掌握已知动力学和现有数据;搜索则把系统推入新区域,正如 AlphaGo 的蒙特卡洛搜索发现了第37手。但如果没有可以持续爬坡的目标函数,搜索空间仍然过大,发现就会重新坍缩为随机性。

  • 进化带来的不只是自然选择,还有变异、组合、层级和涌现能力的可能性。传统进化计算通常只能产生由设计者预先提供的能力子集,无法进化出真正的新属性;基础模型可能帮助跨过这道门槛。

  • 自然界证明了,一个相对简单的算法在物理规律上运行约40亿年,就能创造出非凡的新颖性。Hassabis 并不浪漫化自然,但认为程序空间尤其重要,因为程序几乎可以表达任何事物;AlphaEvolve 可能是探索人工进化如何获得新能力的早期路径。

8. 研究品味仍比解决既定问题更难

  • Hassabis 认为,品味或判断力是最难建模的科学能力之一。所有职业科学家在技术上都很优秀;真正的卓越来自“嗅出”正确问题、实验和假说的能力。“选对问题是科学中最难的部分。”

  • AlphaProof 在高难度数学问题上达到了银牌级表现,未来系统或许能解决千禧年大奖问题类型的难题。但 Hassabis 认为,原创一个能让 Terence Tao 这样的数学家认为深刻、可解且值得研究数年的猜想,难得多。

  • 好猜想处在平庸与不可能之间狭窄的边缘;好实验则无论结果如何,都能有效切分假说空间。在蓝天研究中,“其实不存在真正的失败”,因为阴性结果只要排除一大片区域,就能显著指引下一轮搜索。

  • 这正是 Hassabis 怀疑对基础模型进行朴素搜索不足以推动变革性科学的原因。Einstein 迈向狭义和广义相对论,包含一种超越明确目标的想象力跃迁;今天的系统仍然在人类已经定义成功标准之后表现最强。

9. 虚拟细胞是由有用里程碑拼成的25年计划

  • Hassabis 研究虚拟细胞的想法已经超过25年,并反复与生物学导师 Paul Nurse 讨论。他的方法,是把大胆的终点拆解为一系列可实现的组件,让每个组件本身就具备科学价值,而不是等待一个庞大的整体模拟一次性完成。

  • 实际目标是构建一个足够可靠的模型,在硅基环境中完成大部分实验搜索,再进行湿实验验证。Hassabis 设想这一流程可以将实验速度提高100倍,并会从酵母开始:它是研究充分的单细胞,同时也是一个完整生物体。

  • AlphaFold 提供蛋白质静态的三维结构;AlphaFold 3 则通过建模蛋白质、RNA 和 DNA 之间的成对相互作用,迈出动态建模的第一步。接下来,路线图将推进到完整生物通路,最终覆盖细胞内部相互作用的全部内容。

  • 多尺度时间是主要难点,因为蛋白质折叠和其他细胞过程发生在不同速度上。Hassabis 预计会出现能够在不同时间层级之间切换的分层模拟器,并希望蛋白质层面的粒度足以捕捉所需动力学,而不必模拟每一个原子或量子力学细节。

10. 生命起源与天气模型检验同一套模拟论

  • 在虚拟细胞之后,Hassabis 可以设想反向处理这个问题:从原始化学汤和初始条件出发,搜索出类似细胞的东西。Lex 希望看到生命起源版本的第37手——一条出人意料的路径,消解非生命化学与生物学之间看似固有的界线。

  • Hassabis 怀疑,大过滤器更可能已经位于人类身后,而不是前方,并引用 Nick Lane 对进化重大创新的解释。生命第一次出现,以及从单细胞到多细胞生物的转变,都极其困难;后者“我认为花了大约10亿年”,而细菌则长期保持成功。

  • 更深层的愿景,是把从大爆炸到物理学、化学、生物学和意识的连续谱变得严谨可解。Hassabis 说,那些尚无答案的定义——生命、时间、引力、量子怪异——一直在对他“尖叫”;而构建 AGI,本质上就是在打造一个能够处理这些问题的工具。

  • WeatherNext 提供了更近一步的验证。Hassabis 称,DeepMind 的学习式预报优于传统流体动力学系统,后者可能需要超级计算机运行数天;同时,它还能及时预测气旋和飓风路径。即使接近混沌边界的动力学,也包含足够多可恢复结构,可以进行有用的正向模拟。

11. AGI 需要持续的广度与无可置疑的发明行为

  • Hassabis 估计,未来5年内实现 AGI 的概率为“50%”——大致在2030年前后——但他的定义要求覆盖人类认知功能的完整范围。今天的系统仍然呈现锯齿状:在少数领域异常强大,在其他领域却明显不可靠。

  • 一种暴力式认证可能覆盖人类能够完成的数万项任务,随后由数百名顶尖领域专家进行一两个月的审查。如果这些专家无法发现明显漏洞,系统就能对自身的一致性提出可信主张。

  • Lex 反驳说,人类会迅速把奇迹正常化,并盯住剩余缺陷;具体的人类个体本身也有严重弱点。因此 Hassabis 希望,除了全面评估,还要看到积极的“灯塔时刻”,不能只看基准测试平均分。

  • 他提出的测试刻意强调创造性:将知识限制在1900年以前可获得的一切,然后要求系统推导出狭义和广义相对论;或者要求它发明一款像围棋一样深邃、优雅且具有审美之美的游戏。跨领域出现多个这样的成就,而不是一次孤立的表演,才会成为 AGI 的信号。

12. 人类专家可能验证自己无法原创的发现

  • Hassabis 预计,前沿发现最终仍能被最优秀的科学家解释清楚,即使这些科学家自己无法生成它们。类比国际象棋:业余棋手可能永远找不到 Magnus Carlsen 的某一步棋,但在强有力的解释之后可以理解其逻辑;把复杂推理简单讲清楚,本身就是智能的一部分。

  • AlphaGo 的第37手是一种全新、此前从未出现过的策略。后来 Lex 提到 Lee Sedol 的第78手可能是人类最后一次纯粹天才式落子,Hassabis 则称那一刻特殊且彼此鼓舞。

  • Hassabis 说,他已经在生成代码中遇到过一个较小版本的类似现象:起初看似错误的东西,可能包含一个让人类审查者判断失误的洞见。随着系统变强,程序员可能需要独立的监控 AI 来检查更强大的编程 AI 输出,而不能只靠自己评估。

  • 端到端递归自我改进是可以想象的,但 Hassabis 不确定这是否值得,因为它接近“硬起飞”情景。AlphaEvolve 可以逐步优化矩阵乘法这类狭窄目标;“制造一个更好的自己”仍然过于无约束,而且还没有任何系统明确展示出类似2017年 Transformer 架构那样的跃迁。

13. 扩展仍有空间,但可能还需要另一次突破

  • Hassabis 认为,3条曲线仍在同时延伸:预训练、后训练和推理时扩展。推理系统获得更多测试时算力后会变得更聪明,而后训练则能在初始训练完成后,从同一基础模型中提取出大幅增益。

  • 这些曲线单独能否通向 AGI,答案是“有点50/50”。因此 DeepMind 大约一半精力投入蓝天式想法,另一半则把现有路线尽可能扩展到极限,将经验性进步和架构创新视为并行而非互斥的策略。

  • 他认为,如果竞争环境从工程转向研究,Google DeepMind 处于有利位置,理由包括 Noam Shazeer 和 David Silver 等人才。按他自己的历史估计,支撑现代 AI 的突破中,80%至90%来自 Google Brain、Google Research 或 DeepMind。

  • 他并不太担心数据耗尽。现有真实世界语料已经足以训练出强大模型,而只要分布匹配,这些模型就能生成合成数据;DeepMind 的科学系统也表明,有用的学习可以从比消费级语言建模更少的数据开始。

14. 推理增长与能源创新相互强化

  • 训练最大模型仍然需要共址算力,以及机器或数据中心之间足够的带宽。但数十亿产品用户、多模态生成器和更长时间思考的推理系统意味着,随着实用性推动更多消费,训练可能成为总算力需求中较小的一部分。

  • Google 正在推进 TPU、专用推理芯片、高效数据中心散热和电网优化;Veo 团队甚至开玩笑说,需求之下服务器都快能煎鸡蛋了。Hassabis 的判断很直接:更好的模型带来更多应用,更多应用带来更多推理,因此短期内看不到放缓。

  • AI 也能同时解决自身的能源约束,包括聚变等离子体约束与反应堆设计、更好的太阳能材料、电池,以及长期以来的室温超导梦想。他预计,未来5年内,AI 系统将“实质性帮助”其中至少一些问题,并在20至40年的时间尺度上押注聚变加太阳能。

  • 廉价清洁能源将解锁海水淡化、从海水制取氢氧火箭燃料、小行星采矿,以及与自动着陆火箭结合后可能实现的公交化太空通行。Hassabis 不会对100年内出现卡尔达舍夫 I 型规模文明感到意外,但强调,“极端丰裕”仍然留下公平分配这一政治问题。

15. Gemini 的翻身来自研究深度与交付速度的结合

  • Lex 将 Google 的变化概括为:一年之内从 Gemini 1.5 时的落后,转为 Gemini 2.5 时的领先。Hassabis 把功劳归于包括 Koray、Jeff Dean、Oriol 在内的团队和更广泛的 Gemini 组织,而不是某一位领导者的单独干预,同时也归功于充足的算力。

  • 组织上的关键动作,是把 Google Brain 与早期 DeepMind 合并,围绕最强的人才和想法重新组合。Hassabis 将目标节奏描述为“持续进步”配合“持续交付”,让竞争型研究人员聚集到一条通用 Gemini 路线上。

  • 在巨型公司内部,他仍努力保持创业公司的决断力,并持续削减官僚流程。回报很特殊:世界级研究可以在第二天流入服务数十亿人的产品,而产品使用情况又能向研究组织提供信号和现实反馈。

  • 分发能力也带来责任。大英博物馆学者 Irving Finkel 几乎不了解聊天机器人,却意识到 Google 的 AI Mode 是他第一次接触 AI;对世界上许多人而言,智能会通过更好的 Search、Maps 或其他熟悉产品无形地抵达,因此必须实现无缝工作。

16. AI 产品设计必须提前承接尚不存在的能力

  • Hassabis 的产品直觉来自为数百万用户设计游戏,当时前沿技术必须转化为身体能感受到的体验。他认为,科学品味与产品品味是相关能力:两者都要求想象什么真正重要、在多种可能性中做选择,并跨越技术与艺术之间的边界。

  • AI 原生产品必须围绕模型6个月或12个月后的能力设计,而不只是围绕当前限制。他的原则是“不要挡住模型的路”——“模型列车正在驶来”,围绕今天弱点构建的界面很快就会过时。

  • 对话指向更丰富的多模态交互:Hassabis 提到类似《少数派报告》的协作方式,并把音频视为开放问题;Lex 则设想眼镜、耳机,最终甚至是神经设备,或许能把输入输出带宽提高100倍。

  • Lex 想象由 AI 根据任务、审美偏好和认知风格生成个性化界面。有人希望看到每个参数和键盘快捷键,另一些人则希望复杂性隐藏在后台。共同的设计目标仍是 Steve Jobs 式的“简单、美丽和优雅”,而 Lex 认为目前还没有人真正做到。

17. 每一代 Gemini 都是一次英雄训练,周围环绕大量实验

  • 当被问到 Gemini 3 会先于还是晚于 GTA 6 上线时,Hassabis 没有给出日期。相反,他解释说,新一代基础模型需要约6个月收集架构、数据和研究进展,挑选有用组合,然后启动一次“巨型英雄训练”。

  • 预训练之后是大规模实验性后训练阶段,修补等方法可以带来进一步提升。Gemini 2.5 的中间版本通常共享基础架构,而 Pro、Flash 和 Flash-Lite 则对应不同规模,Flash 往往由 Pro 蒸馏而来。

  • Google 的产品目标,是在性能与成本、延迟或速度之间定义 Pareto 前沿,让开发者根据自身约束选择模型。下游发现会持续被推回下一轮核心训练周期——Lex 的总结是:“一次只做一场英雄训练。”

  • 基准测试仍然必要,但过度拟合会带来危险。团队追求代码、数学、语言、科学和翻译领域的“无悔”改进,然后再核对真实使用;人格特征也构成另一项目标,因为冗长、简洁、幽默和语气可能改善一个用户的体验,却损害另一个用户的体验。

18. AGI 竞赛带来合作义务,也带来劳动力冲击

  • Hassabis 认为,“赢得”一项具有重大影响的通用技术并不是正确框架。他努力与其他实验室负责人保持沟通,以便安全合作仍有可能,并认为 AlphaFold 和 Isomorphic 的药物发现工作等项目,已经具体展示了可以在科学界共享的收益。

  • 对 Meta 开出的巨额薪酬,他的判断是,对于一个试图夺回前沿位置的组织而言,这一策略是理性的,但使命和责任不能被金钱取代。他回忆说,2010年 DeepMind 融资困难时,自己曾无偿工作;如今,实习生拿到的金额可能接近 DeepMind 最初的整个种子轮。

  • 未来5至10年,与 AI 工具“几乎融为一体”的程序员,生产率可能提高10倍。Lex 认为,常规前端工作可能更早自动化,而架构、规格定义、高性能系统以及评判生成代码仍将保留更多人的杠杆;Hassabis 同意,冲击会转移技能并创造新工作,顶尖程序员可能反而更有价值。

  • Hassabis 预计,AI 带来的影响将是工业革命的10倍,却以10倍速度交付——10年而非100年,或者说,当规模与速度相乘时达到“100倍”。他呼吁经济学家、哲学家和政治学家设计新制度,甚至考虑普遍基本供给,同时坚持必须先创造生产率和丰裕,再讨论如何分配。

19. 谨慎乐观需要安全、人文主义与知识谦逊

  • Hassabis 拒绝给出精确的 p(doom),因为这个数字会暗示人类掌握了没人真正掌握的知识。他有限而明确的结论是,风险“绝对非零”且“可能不可忽略”;面对巨大的上行空间和生存性风险,理性立场是“谨慎乐观”,并在 AGI 临近时把安全研究增加10倍。

  • 他把人类或流氓国家的短期滥用,与更长期的自主、智能体系统控制问题区分开来。开放科学最大化正当收益,但也可能赋能恶意行为者;Hassabis 认为,如果 AI 足够可靠,它或许能提供预警,但仍可能需要护栏,甚至需要中美之间的基本标准。他承认,自己还没有听到清晰的访问控制解决方案。

  • 与曼哈顿计划式竞赛不同,Hassabis 希望最后几步更像 CERN:顶尖人才在部署前谨慎合作。他回忆 John von Neumann 同时接近原子武器和现代计算的历史,并认为单靠理性不够;技术必须保留精神性或人文主义维度,成为促进人类繁荣的工具。

  • Hassabis 礼貌地不同意 Roger Penrose,押注大脑主要是经典计算,因为据他所知,令人信服的量子机制尚未出现。但硅基意识会移除人类用来推断彼此体验的共同基底证据;脑机接口最终或许能揭示“在硅上进行计算是什么感觉”,从而检验意识是否仅仅是“信息在我们处理它时所呈现的感觉”。