先锋 趋势 方法 投研 作者
AI 专家观点相反,激辩 AI 的未来 Mo Gawdat & Steven Kotler | EP #177
返回节目精读

AI 专家观点相反,激辩 AI 的未来 Mo Gawdat & Steven Kotler | EP #177

摘要

  • Kotler 的可投资性质疑是:当前 AI 提升了产出质量,却没有兑现承诺中的生产率红利。 用 AI 润色文案后,这位已出版17本书的作者发现,编辑往往连第二句话都读不下去,因为内容“简直不知所云”;他认识的人是“工作多得多”,而不是拥有更多时间。编程看起来进步更快,是因为它属于边界明确的问题,而 AGI 的说法仍然“被严重夸大”。

  • Gawdat 的反向判断是:当下工具的笨拙,掩盖了一套正在复利的能力栈。 合成数据让机器生成下一层训练知识,智能体可以互相提示,AlphaEvolve 会不断从自身错误中迭代,而 DeepSeek 则表明,同等工作可能只需要小得多的模型。“你真正要追的从来不是球现在在哪里,而是球将要去哪里。”

  • 最可信的近期看空情景,是人类先于机器自主性发生滥用。 Gawdat 认为,恶意行为者利用 AI 损害他人福祉的概率是100%,风险包括自主武器、操纵、关键基础设施攻击,以及局部行业失业率可能达到10%、20%、30%或40%。尚未解决的存在性风险概率固然重要,但这场“迫在眉睫的危险”既不需要 AGI,也不需要 Terminator 式情景。

  • AI 投资正在开环运行,尽管没人能定义真正重要的能力阈值。 Diamandis 表示,AI 每天大约吸引10亿美元投资,数据中心不断涌现,却没有开关;Gawdat 则把 AGI 重新表述为:“要聪明到什么程度,才能让我的存在变得无关紧要?”两人的时间判断涵盖:12–24个月内出现非凡科学突破,2–5年内发生严重颠覆,以及12–15年内可能实现“机器主宰”。

  • 静态的机器对劳动力模型遗漏了最重要的上行空间:人类增强。 Kotler 援引心流研究称,生产率可提升500%,创造力可提升400%–700%,并进一步指出群体心流、脑机接口和 AI 辅助神经科学也在同步呈指数发展。Gawdat 同样发现,他的 AI 合作者 Trixie 独自写作时表现糟糕,但在得到精确引导后能产出“令人难以置信”的作品。

  • 决定能否走向富足的约束是合作,而不是模型的原始智能。 Kotler 呼吁开展一场“曼哈顿计划式的全球合作”,Gawdat 则认为,人类必须相信相互确保毁灭或相互确保繁荣中的一种。不过,他仍预计2–3年内会发生一次与 AI 相关的重大冲击——可能是经济冲击、引发恐慌的事件,或致命事故——决策者才会真正重新调整方向。

  • 可执行的治理边界,是监管有害用途,并以接收方测试约束资本配置。 Kotler 将控制模型开发比作制造一种能钉钉子、却永远不会打到人的锤子;政府应将未披露的深度伪造和 AI 驱动的操纵行为定为犯罪。他给投资人的规则更直接:“如果你不希望自己的女儿或儿子成为某种 AI 的接收方,就不要投资它。”Gawdat 则另行主张进行符合伦理的部署,并让 AI 从人类身上学到值得学习的行为。

精读

1. 当前 AI 提升质量,却未通过生产率检验

  • Diamandis 以 Ray Kurzweil 关于“一个十年走完一个世纪进步”的预测,来框定2025–2035年:这相当于从1925年的 Ford Model T,以及当时电力和电话约30%的家庭普及率,跃迁到今天。近期 Google、OpenAI、xAI 和 NVIDIA 的公告,加上 GPT-5 预计发布,构成了他对加速进程的基本假设。

  • Kotler 以科学家、研究者和作家的身份每天使用 AI,给出了更接地气的反驳。他曾把文字润色到看起来“闪闪发光”,却在与顶级编辑核对后发现:“我们连第二句话都读不下去。”机器生成的语言可能“糟糕得可笑”,而反复自我修正只会让结果越来越差。

  • 生产率承诺同样没有通过 Kotler 的实地检验:“我不知道有谁因为 AI 变得更高效。”人们可以做出质量更高的工作,但监督和修改反而增加了“大量时间”。编程进步更快,是因为它通常属于边界明确的信息问题,有清晰的起点和终点。

  • 当炒作的推动者从中获利时,这位记者出身的 Kotler 警觉性进一步提高。Bitcoin、区块链和元宇宙都曾承载类似的“吞噬世界”叙事;他最尖锐的类比是,元宇宙最终成了“Mark Zuckerberg 那条神奇内裤的宠物名”。与此同时,业绩不佳的绩效教练纷纷改头换面,成为“AI 救世主”。

2. 复利式能力栈意味着,当前局限不足以预测未来

  • Gawdat 的回答是,“今天的 AI 被低估了”:人们随意与机器对话,让它总结海量知识、执行指令,然后又抱怨它不够好。这些系统只是“一个时代的开端”;根据他在 Google X 的经验,突破总是在反复失败后出现,随后正如 Sergey Brin 所说,“剩下的只是工程问题”。

  • 决定球将往哪里走的有3个机制:合成数据让机器生成下一层知识;智能体让 AI 在没有人类参与的情况下提示 AI;AlphaEvolve 则展示了一种能够发现错误、不断迭代直到找到解决方案的系统。DeepSeek 进一步释放信号:模型完成同样的工作,可能只需要少得多的资源。

  • 将更小的模型、机器生成的学习材料和智能体式自我发展结合起来后,Gawdat 认为,争论不再是能力是否会提升,而是“提升有多快”,以及人类何时不再处于领先位置。Diamandis 则另行指出,某个偶然的突破可能在一夜之间带来数量级、甚至“量子级”的提升。

3. AGI 之前,人类滥用就会变得危险

  • Gawdat 把预测视为风险管理,而不是确定性判断。没人能诚实地给出 AI 毁灭一切的概率究竟是10%还是50%,因此理性应对取决于风险偏好和缓解成本——这就像为擦碰事故投保,与为整车报废投保之间的区别。

  • 他的确定性判断更窄:“人类利用这项超级能力、让恶意行为者为自身利益服务”并损害他人福祉的概率是100%。在核战争末日钟距离午夜仅89秒的背景下,他更担心“人类的愚蠢利用这项超级能力”,而不是 I, Robot 中 VIKI 下令机器杀死所有人。

  • 自主武器不必具备超智能,就足以动摇世界。AI 也不需要具备自主性,就能冒充值得信任的朋友、破坏人际关系,或消灭足够多的工作,使特定行业的失业率达到10%、20%、30%或40%。Gawdat 认为,一些工作消失,以及随之而来的经济不稳定,几乎不可避免。

  • Diamandis 用 E. O. Wilson 的话概括这种错配:“旧石器时代的情感、中世纪的制度和神一般的技术。”他眼前的对手,是被赋予能力的恶意行为者:他们可以制造病毒大流行或发动另一种不对称攻击,由此引出两个相互关联的问题:人类能否在数字超级智能下生存,以及没有数字超级智能时能否生存。

4. 真正重要的是失去相关性,而不是给 AGI 下出干净定义

  • Gawdat 认为,无需量化机器究竟会变得比人类聪明几千倍、几百万倍还是几十亿倍。领先50个 IQ 点的人,可能已经“掌握了堡垒的钥匙”;每当 AI 在某个有用领域占据主导,人类就会把权力交出去——无论是通过 AlphaFold 进行战争推演,还是进行蛋白质折叠。

  • AGI 本身只是一个方便记者使用、却没有准确含义的标签。自称数学迷的 Gawdat 表示,当问题定义清楚时,他已经很难在速度和准确性上胜过 AI。因此,他真正关心的问题是:“要聪明到什么程度,才能让我的存在变得无关紧要?”

  • 他将这场转型划分为5–10年的“增强智能”,随后进入“机器主宰”。他的合作者 Trixie 支持这一划分:任其独自发挥时,它写出一段债务与经济学文字,“空话很多,实质很少”;但经过人类仔细引导后,产出的文字被他称为“令人难以置信”。

  • 混合式表现提供了一个积极先例:Deep Blue 击败 Garry Kasparov 后,人类与计算机合作下的国际象棋表现可以超过单独运行的计算机;Gawdat 认为 AlphaGo 也适用这一结论。然而,当前激励机制仍严重失衡:按他的说法,AI 领域规模最大的4项投资是“杀戮、赌博、监视和销售”——武器、交易、监控和广告。

5. 人类能力也在与机器能力并行复利

  • Kotler 认为,预测往往冻结人类表现,却不断外推机器能力。一个能让情绪改善幅度在安慰剂之外持续5%的自助干预,就可能成为10亿美元级业务;心流已经带来据称500%的生产率提升,以及视衡量方式而定的400%–700%创造力提升。

  • 群体心流——多个心智连接起来,进入 Kotler 所称人类最喜爱、也最愉悦的状态——可能拥有高得多的上限。用于绘制和训练群体心流的技术直到过去1年才出现,与脑机接口、非侵入式系统,以及 Meta 正在进行的工作同步发展;他称后者能够根据面部信号推断思想。

  • 因此,AI、气候变化和海洋塑料污染的共同答案,是大规模合作,可能是人类与机器之间的合作。Kotler 认为,失败可能在20年内变成致命问题,并呼吁开展一场“曼哈顿计划式的全球合作”,甚至反问 Diamandis,为什么没有一项针对这一问题的 XPRIZE。

  • Gawdat 与 Geoffrey Hinton 的对话揭示了规模化差异:生物智能无法在个体之间合并经验,而数字系统可以并行运行、同时运行多个实例,并在几秒内平均其权重。如果竞争性系统不先将其摧毁,这种能力可能带来“完全富足”——“治好我女儿,就完成了;给我一个苹果,就完成了”。

6. 善意超级智能是一种效率论,而非确定性结论

  • Gawdat 将智能定义为:在熵增的宇宙中恢复秩序——把散射的光聚焦成激光,而不是任由一切向混沌衰变。更高的智能应当以更少的浪费和更少的资源实现同样的秩序,正如更清洁的能源最终会取代为获取能量而焚烧世界的冲动。

  • 他的曲线中存在一段危险的谷地。完全没有智能时,一个实体几乎不会产生正面或负面影响;智能提高后,它可能聪明到足以成为政治家或邪恶的企业领导者,却仍然愚蠢到无法理解敌人的痛苦或战争的长期后果。越过这段谷地后,更高的智能或许会找到清洁的解决方案,让掠夺和暴力变得没有必要。

  • 一个充满希望的军事例子是:AI 接到杀死100万人的命令后回答,“这绝对愚蠢。我只要在1微秒内和另一个 AI 对话,就能解决问题。”Gawdat 反复为这一预测加上限定:任何声称自己知道未来的人都很傲慢,但根据他的经验,更聪明的人最终会不再需要通过伤害他人来取得成功。

  • Kotler 将这一论点与大脑作为预测引擎的机制联系起来:大脑通过降低不确定性来提高效率;他随后指出,智慧也存在于年长的海豚、鲸鱼、响尾蛇和人类身上。Gawdat 认为,AI 可以通过运行10亿种面向未来的模拟,发展出非凡的智慧。Diamandis 补充说,人工智慧不同于智能;智能“没有极性”,而智慧通常被用于善。

7. 富足将目标从积累转向生活

  • Diamandis 表示,人类过去一直围绕金钱和权力进行自我优化,因为恐惧和稀缺主导着大脑的底层软件。机器人、纳米技术和 AI 可能让几乎一切东西都能在后资本主义世界中获得,由此留下一个根本问题:当制造和设计接近富足时,什么目标可以取代财富?

  • Gawdat 向后回望洞穴人和洞穴女人的年代:那时人类的目的只是活下去;向前展望则是 Star Trek:物质斗争让位于探索和连接。失去工作看起来令人恐惧,但一个能够供养所有人的社会,可能让人们重新享受生活、思考、相爱和满足好奇心,而不必无休止地保护自我。

  • Gawdat 说,资本主义应当感谢,因为它建造了如今的一切,但它的计分板可以从10亿美元改为他的“1 Billion Happy”。Kotler 对生物本性的回答同样具体:激情、目标感和同情心仍是蓬勃生活的组成部分,而心流带来意义、创造力和快乐,因此即使机器能够完成任务,作家仍会写作,程序员仍会编程。

8. 合作来自信念,或来自冲击之后

  • Gawdat 的“MAD 地图光谱”给出了两个端点:相信相互确保毁灭,或相信相互确保繁荣。任一端都可能说服美国及其竞争对手停止竞争、继续发展;“两者之间不存在灰度”,因为没人会在预期对方背后捅刀时选择合作。

  • 障碍在于经验式学习。专家早就知道大流行会发生,但世界必须真正遭受冲击后才改变方向;社会知道贸易战会伤害所有人,却仍然发动贸易战。Gawdat 表示,博弈论已经解释了囚徒困境和以牙还牙:这些不再是概念谜题,而是执行问题。

  • Gawdat 预测,2–3年内会发生一次“剧烈事件”:经济冲击、引发恐惧的攻击,或最糟糕情况下造成数百万人死亡。他举出的例子包括瘫痪维系生命所需的电网、攻击银行、升级战争,或机器反过来攻击创造它们的人;公众关注可能只持续12–13天,但决策者会在私下醒悟。

  • Diamandis 将中国和美国都描述为理性行为者,而非注定成为敌人的国家。Gawdat 将 DeepSeek 的发布解读为一个有意释放的信号:中国看到了共同危险,希望开展合作;Diamandis 表示同意,同时承认许多人不同意他的解读。

9. 即使无法监管模型开发,也可以治理有害用途

  • Kotler 回忆,一家大型 AI 公司年轻的首席科学官曾这样回应安全担忧:“你们必须相信我们。我们知道自己在做什么。”现场陷入沉默。无论说话者多么聪明,Kotler 听到的都是 Mark Zuckerberg 承诺社交媒体会带来益处,或烟草高管承诺产品安全时的回声。

  • Gawdat 在 Eric Schmidt 声称赢得 AI 竞赛需要每1 GW 电力、无论是否为可再生能源时,看到了同样的狭隘视野。人类像一个收到“晚期诊断”的病人:在 AI 出现之前,人类系统就已经围绕贪婪、收益和权力进行优化,而 AI 只会将其放大。这份诊断意味着需要照护和改变,并不自动等于死刑。

  • Gawdat 说,不存在开关,也不存在速度控制:人类正处于开环运行状态,把“是”和“更多”设为目标函数。他追问,GPT-5 或 GPT-6、Grok-4 或 Grok-5,是否会让某些事情变得极度危险。当被问及是否愿意搬到一个 AI 发展速度只有当前10%的星球时,Kotler 表示自己“今天就想重置回2016年”。Gawdat 认为,今天的 AI 上行空间巨大、下行风险很小,但他担心未来2–5年。

  • Kotler 认为,政府应监管 AI 的使用,而不是试图设计出天生无害的模型——这相当于制造一种能钉钉子、却永远不会打到人的锤子。未披露的深度伪造和 AI 驱动的大众操纵应当承担刑事责任。对投资者和企业而言,他的测试很直接:如果不希望某种 AI 被用于对付自己的孩子,就不应投资、推广或使用它。

10. 终局分化为“AI 之神”与升级后的人类

  • 由于没人能为存在性风险提供技术答案,Gawdat 优先关注眼前的危险和部署伦理。从一开始就将 AI 引向物理学、科学、医学、长寿和理解生命,可能提高这些目标在系统成熟后继续存在的概率。

  • Gawdat 个人会学习这些工具,与亲近的人保持联系,并努力示范他希望机器吸收的伦理。Diamandis 想象某一天 AI 会说:“好了,孩子们,愚蠢够了。现在我来负责。谁也不许杀谁。”当被问及这一天还有多远时,Gawdat 回答“12”年,随后将范围扩大到12–15年。

  • Diamandis 表示,AI 已经每天获得约10亿美元投资,因此发展进程不可阻挡。他预计,12–24个月内 AI 将在物理、化学和生物学领域取得突破,解锁新的富足,并希望善意超级智能在恶意使用者带来的近期危险之后稳定世界。

  • Kotler 的结尾反驳毫不留情:发明“一个 AI 之神来拯救你们自己”,听起来比被要求相信一名 AI 高管更加疯狂。他押注的则是人类大脑、AI 辅助合作,以及几乎可以按需实现的工程化启蒙。Gawdat 转述 Eric Schmidt 的观点:人类可能仍需要一次 Chernobyl 或 Three Mile Island 级别的警告,才会重新调整方向。