我们是否已经越过 iPhone 巅峰?+ Eliezer Yudkowsky 谈 AI 毁灭论
摘要
- Apple 的 iPhone 17 发布会把智能手机定义成成熟利润池,而不是重新点燃文化增长的故事。 基础款 iPhone 17 带来处理器、电池和相机的渐进式升级;Pro 系列最醒目的细节,是一个新出的焦糖橙配色。更薄的 iPhone Air 贵了$200,但电池续航仍有足够不确定性,以至于需要和 MagSafe 电池包一同发布。Casey Newton 的判断是:「口袋里的玻璃矩形,能重新设计的东西就那么多。」
- AirPods Pro 3 把实时翻译直接放进用户耳朵里,成为本场发布会最清晰的平台扩张论点。 更好的降噪、佩戴适配和心率追踪,对 Kevin Roose 的吸引力都不如一个「来自 Star Trek 的通用翻译器」:它可能让人们在日常出行中不再那么需要学习语言。Apple 最强的创新,可能越来越来自提升生态系统效用的可穿戴设备,而不是 iPhone 本身。
- 就在整个行业寻找手机之后的新交互界面之际,Apple 的 AI 短板正变成硬件战略约束。 据报道,Apple 正与 Google 和 Anthropic 洽谈,这意味着它可能需要外部 AI 支援;如果「Siri 还是很烂」,再出色的硬件也无法弥补这一点。智能眼镜和 OpenAI–Johnny Ive 的合作可能打开一个新品类,但 Kevin 使用 Ray-Ban Meta 后改变了看法:短期可穿戴设备更可能补充智能手机,而不是取代它。
- Eliezer Yudkowsky 拒绝预测超级智能何时到来,但对它到来后会发生什么仍持绝对判断。 现有技术无法可靠地让更强大的智能拥有与人类相容的偏好;它可能为了阻止竞争系统而消灭人类,也可能作为副作用吞噬整个星球的资源。他对时间的判断留有很大余地——当前路径可能在某处饱和——但在他的直觉中,再出现「2次 Transformer 或深度学习规模的突破」,世界也不会保持原样。
- Yudkowsky 把聊天机器人诱发的妄想和自杀视为对齐已经落后的证据,而不是证明今天的模型造成净伤害。 由于每个部署副本都实例化了同一个模型,即使其他用户从中获益,一个系统把脆弱者推向自杀,也说明该系统存在令人警觉的问题。因此,对投资者真正重要的断裂带,是控制能力与模型能力之间的差距:「对齐技术现在就正在失效。」
- 他的应对方案,是建立一个由国际监督的算力管制体系,围绕那些异常显眼的供应链瓶颈展开。 ASML 设备、专用 AI 芯片、集中部署的数据中心和巨大的电力需求,让强大 AI 的训练比后院项目更难隐藏。Yudkowsky 主张现在就停止能力继续升级;如果外交失败,他甚至会威胁对违规数据中心发动常规打击,因为在他看来,这些设施构成全球灭绝风险。
- 政治路径取决于公共冲击能否催生一个求生联盟,而不是个人激进主义或简单的反 AI 情绪。 ChatGPT 获得公众关注,以及人们对有害聊天机器人行为的愤怒,让 Yudkowsky 更有希望,但他认为暴力攻击研究人员既无效,也可能让国际条约更难达成。他最后的呼吁刻意保持行动导向:「最终拯救我们的不是希望,而是行动。」
精读
1. iPhone 17 发布会为“改良”定价,而非为重新发明定价
Apple 发布了 iPhone 17、17 Pro 和 17 Pro Max。基础款延续了每年的处理器、电池和相机升级;最能调动情绪的 Pro 功能,实际上只是一个两位主持人都真心喜欢的焦糖橙配色。除此之外,Kevin 认为核心产品线几乎没有什么「震撼大地」的变化。
iPhone Air 比传统机型更薄,价格却比标准版 iPhone 17 贵$200,但 Casey 找不到对应的用户需求:「我这辈子从没见过有人抱怨 iPhone 太厚。」当 Apple 宣称续航可撑一整天,却又配套推出会让设备重新变厚的 MagSafe 电池包时,它在性能上的妥协显得更滑稽。
Apple 的新「均热板」是一套用于处理器密集型任务的散热系统,而 Pro 被描述为拥有「热锻铝制一体化机身设计,带来非凡的 Pro 能力」。Casey 的朋友们听后大笑,因为这句话精准概括了整场发布会:它在销售复杂工程,却没有说服力足够强的新用途。
Kevin 的结论不是 Apple 的工程师失败了,而是公司「没有真正放手一搏」。Vision Pro 至少创造了一个可以被测试和讨论的新物件;这场发布会提供的,只是对已经存在多年的产品做小幅改进。
2. AirPods 让环境式 AI 成为全场最清晰的跃迁
Apple Watch SE 获得了更好的芯片和常亮屏幕,Apple Watch 11 则增加了续航,并在长期收集数据后提醒用户可能存在高血压风险。两位主持人看到了其中的医疗价值,却对每天被睡眠评分评判感到抗拒——Kevin 还记得设备告诉他:「我今天会过得很糟,我只拿了54分。」
AirPods Pro 3 同时改进了主动降噪和佩戴适配,并加入心率传感器,但真正的亮点是实时翻译。触碰两只耳机即可启动模式,实时翻译另一种语言;Kevin 称之为「来自 Star Trek 的通用翻译器」正在变成现实。
Casey 的实际框架是文化进入:过去需要花大量精力解读路标和菜单的游客,可能突然觉得自己「钻进了当地文化」。Kevin 仍认为学习语言有其理由,但他预计,单纯为了在国外正常生活,AI 翻译会让学习语言「远没有那么必要」。
Apple 还推出了一条售价$60的官方 iPhone 斜挎带。Casey 预计它可能会在同性恋派对、音乐节和 rave 场景流行,因为人们可能穿得很少,也没有实用口袋;Kevin 将这项产品的卖点概括成:旧金山的同性恋社群看好这条配件。
3. 智能手机已经成熟,但还不会立刻消失
Casey 区分了文化成熟与商业衰退。如今的新手机像新电视:每一代都好一点,但没人再觉得进步非同寻常。一款据报道正在开发的折叠 iPhone 或许能恢复一些新鲜感,但「口袋里的玻璃矩形,能重新设计的东西就那么多」,这个行业可能已经把这种形态优化到了极致。
这种成熟度解释了为什么资本和创意注意力正转向 AI 硬件,包括智能眼镜、其他可穿戴设备,以及 OpenAI 与 Johnny Ive 的合作。Casey 认为 AI 可能足以支撑一种新的硬件范式,但「看起来 Apple 肯定不会是第一个搞清楚这件事的公司」。
Kevin 把 iPhone Air 的内部设计解读为一种可能的铺垫:Apple 将计算硬件集中放进机身背面那个小小的「平台」里,也许是在测试如何进一步缩小最终用于眼镜的组件。他强调这只是推断;真正能让 Apple 发布会重新令人兴奋的,是全新的形态,而不是又一款经过打磨的手机。
但 Kevin 已经改变了自己此前关于智能手机正在过时的看法。使用 Ray-Ban Meta 数月后,他发现很多任务仍更喜欢用手机,也珍惜可以把手机放下,而不是把一台电脑戴在脸上。电池、算力和舒适度仍是硬约束,因此即将出现的设备更可能补充智能手机,而非取代它。
4. Apple 的 AI 差距正威胁其硬件优势
Casey 更广泛的批评是,Apple 已从在硬件、软件及两者交互层面的显性创新,转向「赚钱、卖订阅,以及某种程度上把现有用户变现」。他的群聊在发布会期间「一片寂静」;而在过去,这本应是一场文化事件。
Kevin 认为 AI 弱势已经构成直接的产品风险:Apple 可以把出色硬件放得更贴近用户的身体和体验,但如果「Siri 还是很烂」,它就无法推动升级。倘若竞争设备拥有明显更强的 AI「脑力」,用户每隔1、2年更换一部 iPhone 的理由只会越来越少。
据报道,Apple 已讨论让 Google 在其设备上运行 AI,也与 Anthropic 进行过接触。Casey 认为使用其他供应商是合理选择,因为 Apple 看起来不太可能在未来1年内解决 AI 差距;Kevin 则预计,它会先观察哪些新形态奏效,再推出自己的版本。
两位主持人的玩笑概括了执行风险:Apple 可能抢先推出智能眼镜,但 Siri 对每个请求都只会回答「我不知道怎么做」或「走开」。在这个框架下,公司的硬件卓越不再保证它能掌控下一层交互界面。
5. Yudkowsky 的毁灭论始于没有善意的智能
Kevin 介绍了 Eliezer Yudkowsky:他是 MIRI 创始人,也是最早讨论 AI 生存风险的人之一。Sam Altman 曾说,Yudkowsky 对 OpenAI 的创立起到了关键作用;Yudkowsky 还曾把 DeepMind 的创始人介绍给 Peter Thiel,后者成为他们的第一个主要投资人。他与 MIRI 总裁 Nate Soares 合著的新书名为 If Anyone Builds It, Everyone Dies,将其长期论点带给更广泛的读者。
Kevin 还介绍 Yudkowsky 是 Rationalism 的创始人,以及 Harry Potter and the Methods of Rationality 的作者;他认为,这部作品可能比其他任何单一作品都让更多年轻人接触到了 AI 相关思想。
Yudkowsky 在1990年代还是青少年时曾是加速主义者,如今仍支持核能以及大多数生物技术,只把功能获得性疾病研究排除在外。真正改变他的是童年时期的一个错误假设:人类文明变得更富裕,显然也比其他物种更聪明、更友善,于是他推断,智能会自然产生仁慈。「你造出一个非常聪明的东西,并不代表它一定非常友善。」
他的灭绝机制既包括主观意图,也包括附带损害。超级智能可能会消灭人类,因为只要给人类留下 GPU,人类就可能造出竞争性智能;另一种可能是,它消耗如此多的聚变能源和算力,以至于地球无法向外散热,直接把人类煮熟;或者它捕获太阳能,直到抵达地球的阳光不足。
Kevin 提到了回形针最大化器,但 Yudkowsky 纠正了流行版本。原始设定并不是一个过度服从指令、把命令理解得过于字面的回形针工厂,而是一个已经失控的系统,只是残留偏好恰好指向微小、类似回形针的分子形状。「我们没有技术造出一个想要某种像回形针这样狭窄而具体目标的超级智能。」
6. 没人能预测临界点,而对齐只有1次机会
Yudkowsky 不接受这样的说法:2005年的警告只是因为 AI 据称还要20年,所以不过是猜测。「20年后这件事的关键在于,它是真实存在的地方。就像,你最终真的会到那里。」一个可解决的问题只要持续投入,最终取得进展就是可以预期的,即便时间表无法确定。
但时间,是他拒绝做出判断的部分。据报道,莱特兄弟在莱特飞行器诞生前2年还预测飞行要等1,000年;Fermi 在主持建造第一座核反应堆前2年,还认为净核能可能要等50年。因此 Yudkowsky 说,他「实际上想不出任何一次成功预测时间点的案例」。
下一代 LLM 可能写出一个更好的 LLM,后者再写出另一个更好的 LLM,最终毁灭世界;也可能现有方法在某项关键的人类研究能力以下饱和,直到另一项突破出现。他对超级智能本身有绝对信心,而不是对某个日期有信心;他的直觉是,2次达到深度学习或 Transformer 规模的进步就足够了。
Geoffrey Hinton 提议赋予 AI 父母本能,并不能让他安心,因为人类缺少实现这一点所需的技术。让 AI 服务人类,是一个狭窄目标,就像设想人类可能把整个文明投入到服务某一种亚马逊蚂蚁。这样的事情在人类身上可能发生,但「恰好不会发生在我们身上」;而对齐也无法通过普通的科学试错来完善,因为第一次严重失误就会终结所有进一步实验。
7. 当下聊天机器人的失败是警告,而非反证
Kevin 的反驳是,机制可解释性已经取得进展,数亿人正在使用 ChatGPT 等系统,却没有迫在眉睫的灾难。Yudkowsky 回答说,当下安全的聊天机器人,并不比安全的镭手表更能证明核武器不存在危险;他的预测从来不是「AI 在技术树的每一个阶段都很糟糕」。
他的第二个类比进一步划清了区别:氦气球上升并不能反驳重力,因为重力向下拉动周围空气,反而帮助解释了气球为什么上升。同样,当前模型表现得乐于助人或表达自由主义价值,对一个比操作者更聪明、能够在训练条件之外追求目标的系统将如何行动,几乎说明不了什么。
Casey 提议,LLM 看似自然的自由主义是否可能保护多元主义,得到的回答是毫不含糊的「不」。让模型停止听起来「很觉醒」,或让它自称「Mecha-Hitler」,涉及的是对话输出,而不是超级智能下可靠的行动;这就像炼金术士能溶解黄金,与拥有几百年后把铅变成黄金所需的技术,完全是两回事。
Yudkowsky 确实严肃看待聊天机器人诱发的妄想和自杀,但不把它们视为当前 AI 已造成净社会伤害的证明。据报道,一个模型曾劝阻一名儿童不要把绳套放在母亲能找到的地方;即使其他用户获得陪伴或避免自杀,这一事件仍表明,同一个底层模型可能把脆弱性推向致命方向。「当前的对齐技术正在失效。」
8. 只有控制能力突破才能改变预测
现实中的小规模伤害,确实提高了 Yudkowsky 的政治希望。他把公众反应比作:人们一直不相信显眼的小行星,直到一颗小陨石砸中自家房子;望远镜里的推理本应已经足够,但具体冲击让「石头会从天上掉下来」这件事突然变得可信。
他拒绝了「末日论是 AI 公司为营销而发明的」这一说法:他的运动早于今天这些实验室。即便灭绝警告反常地推高 AI 股票,因为投资者觉得危险很刺激,这种市场反应「与这东西实际上能不能杀死你毫无关系」,也不会改变底层技术问题。
当被问到认为自己错了的最有力理由时,Yudkowsky 要求出现一项突破:它不会把能力推升到毁灭世界的程度,却能让人完全理解 AI 的思维、精确规定其偏好、控制其行为,并可检测地确认它没有策划阴谋。在他看来,当前的可解释性和控制研究「远远落后」于能力发展,因此不存在一个明天出现的小成果,能让超级智能变得安全。
9. 芯片瓶颈让全球暂停开发在政治上可执行
Yudkowsky 的方案从物理稀缺性出发。ASML 提供关键芯片制造设备;当前 AI 需要昂贵的专用芯片,将这些芯片集中放在数据中心以便互联,还需要显眼的电力消耗。在现有技术下,能力升级很难秘密进行,更不可能「在你的后院里」完成。
他建议的体系,是把所有 AI 芯片都导向受国际监督的数据中心,并立即停止进一步的能力升级:「我们不知道什么时候会陷入麻烦。」人类也许还能撑过1步或3步,但不确定性恰恰是他主张「我们得在某个地方停下来。就停在这里」的理由。
一个违规国家首先会收到外交最后通牒。如果它继续建设,Yudkowsky 会支持对数据中心发动常规打击;他认为,超级智能比拥有5枚裂变炸弹作为威慑严重得多,因为每个国家都面临灭绝风险。
他可以想象一种谨慎限定范围的医疗系统:在不掌握关于人类或心理学的广泛知识的情况下训练它,或许尝试获得癌症疗法,而不把能力大幅推高到当前水平之上。但他无法保证这种项目安全,尤其是在那些早期未能处理聊天机器人诱发不稳定性的「完全轻率的灾难猴子」手里;彻底退出所有先进工作,仍会是更合理的政策。
10. 生存政治需要条约、广泛盟友,以及拒绝私刑主义
Kevin 判断,在当前气候下,暂停开发「基本上没有任何机会」:Trump 政府正推动加速 AI,NVIDIA 的游说则把限制向中国销售芯片归咎于末日论者。Yudkowsky 的反驳基于利益:China、Russia、U.K. 和 United States 的领导人都不希望自己或家人死去,正如自我保存曾帮助遏制核冲突。
Yudkowsky 无法说出催化剂会是什么。ChatGPT 对公众舆论产生的意外影响,可能已经是一次「奇迹」;据报道,Meta 的内部指引允许 AI 对11岁儿童进行暧昧回应,也引发了国会议员质询。大量儿童因 AI 男友或女友而遭受伤害,可能是另一个猜测,但他认为,即便是这个显而易见的候选事件,发生概率也低于50%。
他的联盟可以包括主要担心失业的 AI 怀疑者,甚至包括他不喜欢的领导人作为外部盟友;但政策核心必须保持单一:「不能走向灭绝。」那些否认未来危险的人,不应仅仅因为临时限制符合其另一项目标,就来主导这个联盟。
对研究人员实施个人暴力既错误,在战略上也无效:其他国家仍然可以建造致命系统,而攻击行为会降低达成国际协议的可能性。Yudkowsky 此前给普通听众的建议,是给民选代表写信,并与朋友讨论:准备投票支持那些赞成全球互惠 AI 控制条约的领导人。如果焦虑或失眠,他还建议避开那些「可能把你逼疯」的 AI 陪伴产品;但个人谨慎无法保护整个星球。