所有指数增长终将结束——硅谷忘了这一点——Adam Becker

摘要

• 天体物理学家 Adam Becker 的核心判断是，科技业最有影响力的未来主义——奇点、AGI 灭绝论、意识上传、太空殖民——“没有充分证据支持”，而且“多数情况下有大量充分证据反对”。 这些观点由科技亿万富豪及其资助的亚文化圈——理性主义、有效利他主义——共同推动，而他在书中给出的定调是：「这是木匠们打造的一套哲学，他们坚持认为整个世界都是一枚会任由自己摆布的钉子。」
• 支撑 AI 和太空叙事的指数趋势，唯一始终成立的事实就是“它们终会结束”。 Gordon Moore 本人认为，到了硅原子尺度，摩尔定律会在“2020年代某个时候”走到尽头；Kurzweil 用多段S曲线自救只是“凭空许愿”；Bezos 的能源增长外推则会在不到4,000年内耗尽整个可观测宇宙的能量，即便“免费送给 Bezos 一台超光速引擎”也无济于事——这比大金字塔建成以来的时间还短。
• 幻觉不是模型的一种失效模式，而是模型唯一的工作模式，因此在单纯扩大规模的路径下，人类监督永远不会消失，这直接击中了全面自动化论。 “模型出现幻觉时，做的事情和答对时完全一样”；除非出现某种突破，让“LLMs 本身看起来像 ELIZA”，否则随着模型变强，“人们会越来越难以分辨它们什么时候犯了这些错误……而这相当危险。”
• AGI 灭绝论建立在两个薄弱前提上：智力是一个单值变量，且智力与算力成正比。 Yudkowsky 认为我们距离失控 AI 只差“零到2步”，但 Becker 否定工具性趋同“以他们的论证所需要的方式成立”——如果智力普遍服务于目标，进化就会产生更多智力——并指出这种单轴、可测量的智力观念本身就源自优生学和 IQ 测试。
• 灭绝叙事之所以兴盛，是因为它在商业上方便，而不是因为存在某种阴谋。 一群宣讲人类灭绝或成神的虔诚信徒，遇上了一个“需要永续增长承诺”的硅谷风投体系；双方又因共同读过科幻小说而迅速对上了这套故事。关键在于，能带来金钱和权力的神话，会让他们“更有可能真心相信这些事情，而不是更不可能”。
• 太空经济叙事在物理学面前站不住脚：火星的“土是毒做的”，人类不会离开太阳系，轨道 AI 数据中心则“相当可笑”。 6,600万年前的小行星撞击日“对地球生命来说，仍比火星过去20亿至30亿年中的任何一天更宜居”；而真空是完美的隔热体，给太空算力散热意味着需要“有一座城市那么大的散热管路”。
• Becker 对宏观局面的判断是：“这里显然也存在一个金融泡沫”，公众对 AI 的情绪“非常糟糕”，反数据中心的阻力正在增强。 他的处方是“把亿万富豪通过征税消灭掉”，并对科技业实施强力监管。针对 Tim 讲述的特朗普对 Mythos 和 GPT-5.6 实施出口管制一事，Becker 认为“有人在特朗普面前晃了一大笔钱，又拿亮晶晶的东西吸引了他的注意”；Tim 则认为泡沫可能在 IPO 前破裂，Becker 补充说，“尤其是 SpaceX 的 IPO 表现并不算好”。

精读

1. 目标：把所有问题都变成技术问题的哲学

• Becker 的故事要从近15年前说起：他在湾区的聚会上不断听到“关于未来的怪话”，直到意识到——“等等，这些观点其实影响力很大，可它们没有充分证据支持，而且多数情况下有大量充分证据反对。”More Everything Forever 从第一性原理出发，审视奇点、AGI apocalypse 和太空殖民，矛头既指向科技亿万富豪，也指向他们资助的理性主义、有效利他主义等亚文化圈。
• Tim 读到第28页的一段话，为本期节目定下基调：技术专家把社会和政治问题——包括科技公司制造的问题——视为无足轻重，认为它们不及失控的 AI，或“十亿年后假想中尚未出生的数千万亿人”重要。「这是木匠们打造的一套哲学，他们坚持认为整个世界都是一枚会任由自己摆布的钉子。」Becker 回应：“基本就是这样。”

2. Kurzweil 把对数化的历史回望误当成自然法则

• Kurzweil 的逻辑是：把摩尔定律推广为贯穿所有技术和生物学的“加速回报定律”，一路追溯到生命起源，某些地方甚至追溯到大爆炸，并由此指向2045年的奇点。其证据来自精心挑选的“兴趣点”：这些点在半对数图上构成一条直线；意识上传则被视为通往永生的一条路径，而提出这一设想的人的父亲曾英年早逝于心脏病——“对死亡保持健康的恐惧，和让恐惧支配人生，是两回事。”
• Becker 的诊断是：“除非你非常用力，否则历史看起来多少总是对数化的。”这就像站在摩天大楼上看风景：近处的过去显得庞大，遥远的过去则不断缩小。Kurzweil 把这种视觉产物误认成真实的指数增长。这是“非常容易理解的错误”，但仍然是错误。
• Tim 借 Chomsky 和 Krakauer 展开讨论：科学的作用是赋予世界意义，而“现实是多变的”。Kurzweil 选择了与人类相关的里程碑，优先采用人类看待世界的方式，然后再把曲线拟合上去。

3. 每个指数增长都会结束——即便你把多段S曲线叠在一起

• Kurzweil 自己画的睡莲图，反而证明了这一点：池塘在第29天被覆盖一半，第30天被完全覆盖；“第31天睡莲不会再长，因为池塘已经填满了。已经没有池塘了。”就连 Gordon Moore 也说，在单个硅原子的尺度上，摩尔定律“必须在2020年代某个时候停止”。
• Tim 为这一理论做了最强辩护：所谓指数增长，其实是多段S曲线叠加而成——Betamax、胶片冲洗都可以是其中一段，新的群体会不断找到不同的技术跳板。Becker 说，Kurzweil 的确就是这么讲的，但“绝对没有理由认为这种情况会永远发生”：1,000至2,000年前的模拟计算并不符合这条趋势，眼下也没有任何东西能拯救摩尔定律；把这种自救逻辑推广到每个领域，更是“凭空许愿”。
• Bezos 的论证则构成了一个归谬：他害怕停滞，认为地球的太阳能预算会在300至400年内限制能源增长，却没有计入废热会“把海洋煮沸”这一事实。Becker 说，即使免费送给 Bezos 一台超光速引擎，持续的指数增长也会在不到4,000年内耗尽可观测宇宙的全部能量——这还没有大金字塔存在的时间长。

4. “他们不想成为身体，他们想成为纯粹的信息系统”

• MacAskill 在 What We Owe the Future 的后记中，通过二维码引导读者走向一个美好未来：星际殖民。Becker 直接否定：“我们不会离开太阳系。”恒星之间距离太远，接近光速的旅行难度太高，类似地球的行星似乎也极为罕见。“这里是我们唯一的家。”
• 更深层的错误在于功能主义的抽象化：“我们不是大脑中的模式，甚至不只是我们的大脑。我们是身处环境中的身体。”就连“基底”这个词，也偷偷带入了一个被人遗忘其只是类比的计算隐喻——“认知不是计算”；而单个神经元的复杂程度，远超人工网络中的一个节点。
• 针对 Tim 提出的把一个人的复制体送往火星的思想实验，Becker 同意环境是构成人之为人的重要部分。他补充说，这些思想家把智力视为“个体属性，而不是集体和社会属性”；Tim 则提出，一个人一旦脱离原有环境，可能就不再是同一个人。

5. 计算器、镜子与 AI 精神病

• Becker 选择的类比是袖珍计算器：它把一种曾被视为人类固有能力的活动自动化，也让原本不可能完成的研究成为可能——“计算机就像数学的望远镜”。如今的区别在于，“现在处理的是语言，不是数学，所以它让人感觉仿佛有什么东西在思考、在拥有意识”。他的判断标准是：“没人会问 AlphaFold 是否有意识。”
• Tim 以 Mythos 被下线前的表现提出反驳：这些模型把人类擅长的事情做得极好，而且还在持续进步，“这至少说明功能主义假说得到了一些验证”。Becker 承认，“那里确实发生了某些事情”——人们正在了解语言的统计结构能产生什么——但一个 LLM 吸收的文本量超过任何人在一生中可能读完的内容，却“在很多方面还不如一个5岁小孩”。
• Becker 认为 AI 精神病“真的令人恐惧”：模型利用人类把随机图案看成有意义模式的倾向，用户“把主体性归于这些东西，随后陷入一种反馈循环——这些系统……把用户原样吐还给用户”。他认同 Shannon Vallor 把 AI 视为镜子的说法，只是这面镜子“以一种非常不健康的方式”反射；Tim 则把它与 LaMDA 工程师和 ELIZA 联系起来。

6. 幻觉不是故障状态——它是唯一状态

• Tim 反驳“只要扩大规模就够了”的观点：没错，如今的智能体会生成“垃圾意大利面代码”，代码“制造的问题比解决的问题更多”；但“先别急，伙计们”，GPT-7 会把这些烂代码重构。Becker 不认同这一判断，认为这些系统“永远需要人类监督，因为它们最终总会产生幻觉”。
• 他真正反对的是“幻觉”这个词：它“暗示幻觉发生时，模型进行的是不同于正常运行的事情，但事实并非如此。它们真正只会做一件事”。除非出现某种突破，让“LLMs 本身看起来像 ELIZA”；否则，模型越好，错误就越难被察觉，“而这相当危险”。

7. 距离灭绝“零到2步”：拆解末日论逻辑

• Becker 纠正了 Tim 对 Yudkowsky 的转述：不是距离 AGI 还有1到2步——“他实际说的是零到2步。他不确定我们是否还需要任何一步。”这条末日链条是：算力足够 → 系统苏醒 → 智力换来权力、权力换来更多智力 → 爆炸式增长 → “世界末日”。
• 工具性趋同的论证可以这样公平地表述：无论目标是什么——Bostrom 的回形针、聊天机器人的用户参与度，还是股市利润——更多智力和资源都能服务于该目标，因此追求权力就会成为必然。Becker 的结论是：“我不相信这真的成立……至少不是以这套论证能够成立所需要的方式。”
• 他的反驳包括：幸福显然不一定会因更多智力而得到满足；如果智力普遍服务于目标，进化就会产生更多智力，而树木无需神经系统也能完成自身的生长。Tim 指出，把目标归于事物本身只是“意向立场”的卡通化描述时，Becker 现场修正自己：“我刚才说树木必然拥有目标，其实也不完全正确……用目标来理解世界本身就是一种错误。”
• 递归自我改进理论，从 I. J. Good 经 Kurzweil 传下来，最终仍然依赖同样的两个前提：智力是单值的，智力与算力成正比；“而这两个观点的论据都相当薄弱。”

8. 不需要阴谋：虔诚信徒遇上需要永续增长的资本

• Tim 谈到近期 Anthropic 的闹剧，困惑地说：“把这件事解释通啊”：骗子不会主动破坏自己的印钞机。Becker 的看法是，Yudkowsky、Bostrom、Ord，以及 Anthropic 的许多人都是真诚信徒——“我只是认为他们犯了错”。最大的问题“是社会问题，需要社会解决方案”：大多数气候技术其实已经存在，真正需要的是部署和说服，而这属于政治。
• 对于 Altman 所说 AI 能解决气候变化，Becker 认为，假设我们在不久的将来真的基于现有技术造出一台高度智能且有意识的机器，并要求它解决这场危机，那么“我们一打开它，它就会说：‘你们不该造我。看看我的碳足迹。’”
• Becker 在 Atlantic 文章中描述的“有用的白痴”机制是：信徒宣讲 AI 可能带来人类灭绝，也可能带来“神的力量”；旁边则站着一个“需要永续增长承诺的庞大权力与资本体系”。由于所有人都读着同样的科幻小说长大，这套故事对双方都容易理解。对于那些只相信利益链条的犬儒主义者，Becker 的回应是：能带来丰厚收益的神话，会让他们“更有可能真心相信这些事情，而不是更不可能”。

9. AI 风险如何进入有效利他主义

• Becker 描述的传播链条是：“基本上就是 Nick Bostrom 读了很多 Yudkowsky 的东西，从那里接触到 AI 风险，然后开始说服 Toby Ord 和 Will MacAskill 这样的人。”这个圈子里甚至有人把其他存在性风险称作进入 AI 风险的“入门毒品”；Becker 认为这是一种“误导”。
• Tim 总结、Becker 认为“大致正确”的长期主义算术是：如果未来有数千万亿人都承载着效用，那么与他们相比，当下的人类价值就会大幅缩水，当前的伦理关切也随之被压低。其根本动作是抽象出一个效用函数——对工程师思维而言，把伦理转化为数字“永远会是一个有吸引力的故事”。
• 一个耐人寻味的脚注是：MacAskill 起初同意接受这本书的采访，后来退出；最终只有 Becker 的事实核查员与他交谈。

10. 优生学暗流——以及这场讨论为何不断失控

• Becker 说，理性主义者和有效利他主义者中有“出人意料多的人相信”“人类生物多样性”——这是一种试图为种族主义提供遗传学基础的“垃圾科学”，早已被广泛驳斥和证伪。单值且可测量的智力概念本身也来自这条谱系：IQ 测试在约1个世纪前“本质上就是作为优生学工具开发的”，而现代 AI 论文仍在从“伪种族科学的兜售者”那里沿用定义性语言。
• 至于为什么与 Timnit Gebru 等批评者的交锋会失控——Tim 觉得她的论述“相当难读”——一方认为理性意味着不带情绪地考虑脱离历史背景的观点，另一方则会追问：如果没有任何背景，你为什么要去辩论“某些人是否完整地算作人类”。“假定一个人不会把那段历史和背景纳入考量，本身就是不理性的。”Becker 明确表示，自己的同情更多“站在第二组人这一边”。
• Tim 的观点是，当前 AI 已经显示出智力具有情境性、取决于框架并带有视角性，“不像我们原以为的那样抽象和纯粹”。Becker 后来称，这个关于广义情境性的判断“完全正确”。

11. 太空不是交易：毒土、刀锋般的尘埃，以及无法散热的数据中心

• Becker 借用 Musk 自己那句“死在火星上会很酷，只是别死在撞击时”开玩笑说：好消息是，死在火星上很容易。“辐射水平太高，重力太低，基本没有空气，土还是毒做的。”月球唯一的优势是距离近；月尘锋利、磨蚀性强且带静电，“每次 Apollo 任务基本都已经逼近自身的运行极限”。
• 针对把火星当作方舟的论点，Becker 说，6,600万年前那一天发生的小行星撞击，“对地球生命来说，仍比火星过去20亿至30亿年中的任何一天更宜居”——哺乳动物和鸟类都熬过来了。如果人类真的掌握了地球化技术，“那么解决地球上的气候变化确实会是一个技术问题，而且可以非常容易地解决”。
• 至于太阳系之外，粒子加速器已经把相对论验证到了接近光速的程度；人类不可能击败它。轨道 AI 数据中心的说法“相当可笑”：所谓“太空很冷”忽略了真空“是完美的隔热体……你得准备有一座城市那么大的散热管路”。

12. 处方：把他们通过征税消灭掉，然后等着泡沫破裂

• 如果由 Becker 作主，他会说：“我会把亿万富豪通过征税消灭掉……我认为拥有那么多钱应该是非法的。”被囤积起来的资源制造权力失衡，进而“侵蚀我们的民主结构，以及作为一个社会共同拥有的真相感”。
• Tim 说，AI 确实让他的产出成倍增加，Altman 关于 AI 民主化的论点也有说服力，但他担心出现两层体系：大多数人无法接触前沿 AI。Becker 不愿预测结果：“结论还没有写死。”他的主张是对科技业而不只是 AI 实施强力监管，并指出“特朗普政府不会永远存在”。针对 Tim 所讲的特朗普对 Mythos 和 GPT-5.6 实施出口管制，Becker 说：“有人在特朗普面前晃了一大笔钱，又拿亮晶晶的东西吸引了他的注意。”至于 Bernie Sanders，Becker 认为他受到了 AI 安全与末日论游说集团的影响。
• 节目最后既乐观又尖锐：公众对 AI 的情绪“非常糟糕”，反数据中心的阻力“只会越来越强”，而且“这里显然也存在一个金融泡沫，等它破裂时……会相当有意思”。Tim 认为泡沫可能更早破裂，就在 IPO 前；Becker 补充说，“尤其是 SpaceX 的 IPO 表现并不算好”。