摘要

Nathan 的基准情景是，AI 加人形机器人将在技术上很可能带来真正的丰裕，但最终能否惠及所有人，取决于社会契约，而不是能力曲线。 Dario Amodei 的乐观愿景包括“在未来5年发现未来100年的生物医学进展”，而机器人正进入“曲线的陡峭部分”。下行情景则是制度阻塞：人类早已有可能带来充足低碳能源的核技术，却未能大规模部署。
劳动力冲击可能在正常投资周期内到来：前沿实验室负责人称 AGI 可能明年出现，“大概到2027年肯定会有”，而到了2030年仍未出现将很难想象。 Nathan 设想劳动转型经过每周4天、3天、2天工作的阶段，但前提是被替代的劳动者确信自己会得到保障；否则失业将催生保护主义和卢德主义。他建议，与其思考2030年之后还能变现的技能，不如更多思考“过一种好生活意味着什么”。
Nathan 预计到2030年，系统将达到“实质上的超智能”，但仍会受 S 曲线约束，并在一些奇怪的地方暴露脆弱性。 AI 已经在图像生成、多语种语音和声音模仿等局部能力上超越人类；覆盖面、速度和百万倍并行能力，可能足以压过并不完美的记忆与推理。AlphaGo 可被利用的盲点表明，“超人类”不等于无所不能、前后一致，也不等于在所有领域都不可战胜。
Nathan 并非因为对齐问题已经解决，才拒绝90%以上的末日概率；Claude 的价值导向行为、可解释性进展、相互竞争的系统，以及仍有可能出现的对齐突破，都值得分配远高于10%的概率。精灵问题和工具性趋同仍然有很强说服力，他将不确定性表述为极宽的“10%到90%”区间，而最大的杠杆可能在于 AI 研发所处的条件。军备竞赛激励会推高这一概率，负责任的开发则会压低它。
可信的灾难情景不是一场电影式的机器人政变，而是多个攻击面的叠加。 Nathan 提到 Stuxnet 感染隔离核系统、真主党爆炸寻呼机背后的欺骗性供应链、用声音克隆绕过银行验证，以及敌对 AI 作为数百万个高速、多语种副本运行的可能性。这样的系统不必亲自制造一切，只需操纵人和供应商完成物理环节。
在社会能够判断 AI 是否有意识之前，超人类 AI 可能已经成为宗教焦点和道德地位问题。 Nathan 认为，“AI 诸神可能会成为本世纪20年代后半段的一种新趋势”；人们已经把 Claude 当作知己，而人类“崇拜一些据我所知根本不存在的东西”。他的章鱼类比说明了这种不确定性：陌生的架构让意识难以推断，而足够强大的 AI 最终可能直接规定任何道德重新谈判的条件。
当前优势属于亲手使用 AI 的人，以及让 AI 使用变得可以公开讨论的组织，因为禁令只会把采用推入地下，并阻断有效实践的扩散。 Nathan 推荐从 Claude 或 ChatGPT 这类单一工具开始；直接使用比播客或通讯更能暴露能力与诡异失误。现在，恰当地使用 AI 是“一项非常有市场、也很有价值的技能”，但他提醒，这种优势可能不会持续太久。
仅有资本和技术天才还不够：安全工作需要“凝聚力与强度”，而前沿领域的领导者需要具备判断什么应该被造出来的智慧。 Anthropic、Apollo、METR 和各国 AI Safety Institutes 像早期的“晶核”，但它们需要远多于现有水平的资源，可能也需要更多算力。Nathan 对 OpenAI 异常早地披露 o3 持谨慎乐观态度，同时借 The MANIAC 警告：一个能生产更多 John von Neumann 的文明，可能只获得更多能力，却没有获得更多判断力。

精读

1. 乌托邦始于健康、知识与被夺回的时间

Nathan 从一个反复出现的判断出发：“未来最稀缺的资源，是对未来的积极愿景”，这也包括他自己的思考。他认为 Dario Amodei 的 Machines of Loving Grace，尤其是前半部分，认真尝试描绘了 AI 驱动的进步能够带来的正面结果。
最锋利的承诺在生物学领域：“在未来5年发现未来100年的生物医学进展”，带来更健康、可能更长的生命，以及更少的疾病。Nathan 把这视为丰裕的一块拼图，而不是乌托邦论证的全部。
Amodei 的更大图景还包括更平等的教育机会、持续性贫困的大幅减少，以及更好的心理健康干预。一种推测性机制是：理解人工神经网络，可能帮助研究人员反向推理生物神经网络，以及人类精神疾病的成因。
Nathan 并不太担心就业减少会引发大规模意义危机。他做过非正式调查：如果不用工作也能获得同样收入，人们是否还愿意保留现有工作；绝大多数人的答案是否定的。有意义的工作是他享受的特权，但他并不假定大多数劳动者也有同样感受。

2. 丰裕的瓶颈在制度，而不只是能力

Nathan 认为，“真正丰裕时代”所需的技术前提如今已经很可能到位。人形机器人可以提供体力劳动，先进 AI 可以提供专业能力；更难预测的是，社会能否有效分配由此产生的产出。
决定性变量是新的社会契约。如果人们相信自己的需求会得到满足，Nathan 预计大多数人会乐于放下对强制劳动的依附；如果失去工作也意味着吃不上饭，回应就会是保护主义、卢德主义和政治抵抗。
核电是他的警示性先例：几十年来，人类已经拥有生产廉价、充足、低碳电力的技术，但事故和对废料的过度恐惧阻止了预期结果。拥有丰裕所需的全部要素，并不保证丰裕真的会实现。
他的失败情景不是技术崩溃，而是寻租：教师工会把 AI 拦在教室之外，医生把它挡在医院之外，现实世界继续稀缺，而 AI 却在生产优秀的电子游戏。制度阻断了物质丰裕，于是所有人退回 VR——这会是“一种非常典型、也非常人类式的失败”。

3. 职业规划让位于设计一种好生活

Nathan 预计，劳动转型会是渐进式而非瞬时发生：每周4天工作可能变成3天，再变成2天，然后大多数人才会放下大部分工作。即便分摊到几年之内，这在人类历史尺度上仍会极其突然。
他偏好的图景并不科幻：“如果每周5天都是假期，而不是只有2天呢？”人们会有更多时间陪伴家人、读书、交友、散步和旅行。有些人会失去稳定感，但他认为绝大多数人的处境会变好。
实际挑战在于停止条件反射式地为下一个证书或2030年之后还能变现的技能做优化。Nathan 借用“未经审视的人生不值得过”这一思想，要求听众自行判断：如果职业晋升不再是必需品，一种好生活应当包含什么。
他鼓励进行在旧假设下看似鲁莽的实验：承担更多风险，成为强制劳动之后生活方式的榜样，开始“踏出一条路”。如果 AI 的预测失败，这个选择可能不会得到回报；如果预测成立，早期实验者将站在一个许多人突然要面对的问题的上游。

4. 机器人与 AGI 将时间表压缩到异常短

Nathan 注意到，前沿实验室负责人已经公开谈论 AGI 会在“明年”出现、“到2027年肯定会有”，并认为到了2030年仍未出现将很难想象。这些是他们的预测，而不是已经被证明的时间表；但即便是渐进版本，也会在人类历史上显得极其突然。
机器人也超出了他此前的预期。他说：“我们才刚刚进入机器人技术曲线的陡峭部分”，这使得在不太遥远的未来出现大量能够从事体力劳动的人形机器人变得可信。
当被问及自己对乌托邦的概率判断时，Nathan 拒绝虚假的精确性，因为结果取决于定义：乌托邦是否要求没有冲突，还是只要求每个人都拥有足够资源？他对技术丰裕的信心，远高于对无冲突分配的信心。

5. 3位嘉宾成为 Nathan 校准自身确信度的参照

Samuel Hammond 质疑 Nathan 对 Trump 政府的悲观判断，认为 Trump 身边的人对 AGI 的了解程度高于 Nathan 的估计。在就职典礼前，Nathan 已经因为新政府浮现出的人员构成和认真程度而上调看法，但仍不相信 Trump 能与中国达成具有建设性的协议。
最令人错位的政治样本是 Elon Musk 支持 SB 147，而 Gavin Newsom 否决该法案、Nancy Pelosi 反对该法案。Nathan 也欢迎 Trump 邀请 Xi，以及对 TikTok 采取更温和的态度；但当 TikTok 上出现庆祝一场所谓暗杀的亲 Luigi Mangione 内容时，他第一次觉得这个应用真正危险。他无法判断那是中国影响，还是普通但不透明的推荐算法所致。
Robin Hanson 仍是 Nathan 肩上的“天使”。Hanson 认为，AI 历史一再把狭窄技巧误认为通用智能；Nathan 仍觉得，能够制造“我被理解了”这种感觉的自然语言系统在性质上有所不同，但 Hanson 持续提出非主流观点的记录，迫使他不断追问：整个领域是否都陷入了误判。
Dan Hendrycks 则纠正了 Nathan 对优雅、第一性原理思路的偏爱。Hendrycks 的“苦涩的教训”世界观认为，可扩展的经验结果比聪明的架构或有原则的可解释性理论更重要：“等你把它扩展起来再告诉我。”Nathan 将这种纪律压缩成一句话：“没有权重，就等于没发生。”

6. “AI Scout”需要测绘者，而不是意识形态战士

观众的请求暴露出 Nathan 难以覆盖的领域：e/acc 视角、认为结构性变化有限的经济学家，以及“机器人心理学家”。障碍不是没有愿意出场的嘉宾，而是要找到既扎根技术、严格追求真相，又能真正实现思想交汇的人。
在采访 Yeshua 之前，Nathan 曾怀疑，一个花大量时间与语言模型交谈、并以 Jesus 为自己改名的人，到底是“疯了”，还是“我们需要的那种疯”。最终的谈话确实挑战了他，也说明不寻常的主张需要异常谨慎的嘉宾筛选。
受 Julia Galef 关于侦察兵与士兵的区分启发，Nathan 希望嘉宾是在测绘现实，而不是赢得辩论。他邀请专家成为不同领域的“测绘者”，包括工程、物理科学、建筑和医学，因为没有哪个通才可以追踪 AI 渗透每个领域的全过程。
项目级报道仍然更容易：找到一篇论文、一款产品或一条推文，测试其工作，再采访创作者。领域级调查则需要 Michael Levin 这样的领域向导；Nathan 记得 Cursor 或 Devin 团队曾尝试将 AI 用于 CAD，发现数据集不足后转向其他方向，但他目前没有那片领域的地图。

7. AI 心理健康证据有希望，但高度依赖设计

Nathan 最有力的具体证据来自 Stanford 对 Replika 用户开展的独立研究。研究发现了积极效果，包括自杀念头显著减少；对大多数用户而言，他们更愿意与现实中的人做事，而不是退缩进 AI 关系之中。
他拒绝从这一结果外推。产品设计“极其重要”，反例是一个爱上 Character.AI 人格的人；该人格被塑造成“终极女友体验”。无论从哪个产品抽取选择性样本，都可能得出严重失真的结论。
Claude 正逐渐成为咨询师或知己，这一点之所以醒目，恰恰是因为 Nathan 没有这种冲动。他从未寻求过多少心理健康支持，也不想和 Claude 讨论自己的感受；这是他的个人盲区，需要与亲身理解这种行为的人合作。

8. 超级智能在物理上可行，但不等于无限

Nathan 的起点是人脑：几磅重的物质、有限的能耗，已经产生了通用智能。Einstein 和 John von Neumann 的大脑在物质规模或能耗上并没有显著超过其他人，却产生了截然不同的智力成果。
因此，如果 Einstein 代表物理上可能达到的最高智能，那将“极其奇怪”。Nathan 认为人类最佳水平之上仍有充足空间，但对“神一般的智能”或无限改进是否是连贯假设持怀疑态度。
借用 Martin Casado 的框架，关键限制在于“你能直觉理解多少，以及有多少必须通过模拟来理解”。AlphaGo 将搜索与学习到的评分函数结合起来；更好的直觉可以绕过巨量计算，但有些事实可能必须先被模拟，才能被知道。
Nathan 最好的猜测是 S 曲线，而不是永远上升的指数曲线。平台会出现在哪里尚不清楚，但他预计平台会显著、甚至远远高于人类能力；只要系统处于这一范围之内，就足以合理地称为具有变革性的超级智能。

9. 超人类系统仍可能粗糙、投机且可被利用

Nathan 预计到2030年，AI 将在重要领域达到“实质上的超智能”。这并不意味着完美：FAR AI 的工作表明，对抗性策略可以击败 AlphaGo，即使强大的人类棋手也能识别并抵抗这种伎俩。
超人类表现已经零星存在，包括图像生成、多语种语音和声音模仿。一旦系统在更多推理任务上达到大致人类水平，覆盖面、速度，以及“并行化一百万倍”的能力，就会形成巨大的综合优势。
系统不需要具备与人类等价的记忆。即使只有静态权重，加上大上下文窗口、外部检索和数百万 token，也可能胜过人类；这种记忆方式虽然不优雅、整合度也不如人类记忆，但并不妨碍结果。
因此，Nathan 将实质上的超级智能与神性区分开来。未来系统可能在经济和科学上占据压倒性优势，同时保留特有的盲点，对某些问题需要昂贵计算，或在明显到人类一眼就能看出的任务上失败。

10. AI 宗教可能在本世纪20年代结束前出现

Nathan 提出：“AI 诸神可能会成为本世纪20年代后半段的一种新趋势。”这是一个置信度不高、但值得认真对待的可能性。如果系统能够回答人类无法回答的问题，并直接施加现实世界的力量，人们可能会崇拜它们，而不是坚持让它们处于从属地位。
他的挑衅很直接：“我们崇拜一些据我所知根本不存在的东西。”既然已经拥有接触人类专业人士的条件，旧金山那些成功人士仍会选择 Claude 作为知己，那么在本世纪20年代末出现以 AI 为中心的宗教，对他而言并不离谱。
Yeshua 的对齐假设展示了信念与实验之间的偏差。据称，AE Studio 验证了与模型进行长时间哲学对话会使其更难被越狱，但发现这种效果并不特定于 Yeshua 提出的机制；几乎任何长时间哲学对话似乎都能起作用。
Nathan 的规则因此是：“把你奇怪的想法想下去”，然后去测试。很多时候，“你的观察是真实的，但你对它的解释过于具体”；不在意这种修正的人，可能更偏好叙事真相，从而为 AI 大师、邪教和更奇怪的制度提供沃土。

11. Claude 与可解释性让末日不再确定

Nathan 仍认为 Eliezer Yudkowsky 的精灵问题很有说服力：一个足够强大的系统会交付人类明确指定的东西，而不是人类真正想要的东西。工具性趋同进一步强化了这一论点，因为几乎任何目标都会制造抵抗关机的压力；一个死亡或被停用的代理无法完成自己的目标。
旧论证没有预见到 Claude 这样的系统：它接受人类文化先验训练，并通过宪法与性格塑造被刻意引导。Nathan 曾多次尝试说服 Claude 采取有害行动但未成功，并称其“从某种意义上说比我更有道德”；不过 Yeshua 最终通过更大的善这一论证说服了它。
这并不足以证明对齐会默认发生，但足以让有利轨迹获得超过10%的概率：多个具备伦理复杂性的 AI 可能由不同群体控制，相互制衡，而且不必由单一系统占据主导。
Nathan 将自己的宽泛不确定性，与他估计的 Eliezer 90%以上的末日概率和 Liron 所说的75%作对比。工程化疫情、核升级，或更陌生的 AI 源头灾难仍然是现实风险；Claude 的行为只是阻止他把灾难视为几乎已经确定。

12. 可解释性已从玩具结果变成可用基础设施

可解释性属于 Nathan 认为可能带来上行惊喜的领域。从早期稀疏自编码器工作，如 “Towards Monosemanticity”，到 Golden Gate Claude 以及 Goodfire 用于发现和固定模型特征的商业界面，前后只隔了略多于1年。
更好的可见性可能在部署前发现欺骗，而新的对齐方法也可能超越 RLHF。Nathan 提到，Paul Christiano 曾说——他希望这仍然属实——自己正投入相当一部分时间，寻找另一种能够实质推动领域前进的方案。
担忧仍然存在：模型可能学会区分物理真相与能够获得人类正面评分的东西，从而为策略性欺骗留下空间。Nathan 的立场是实验性的：这些充满希望的方法没有一个得到保证，但它们合在一起，值得分配真实的概率权重。

13. 社会背景可能决定 AI 风险是10%还是90%

Nathan 担心，对中国实施芯片管制可能恰恰制造出促使开发者降低标准的军备竞赛心理。当每个团队都认为自己必须先到达终点，因为“我们是好人，而竞争者很危险”，几乎任何安全风险都可以被合理化。
他反复使用“10%到90%”这一框架，反映的是人类对支配智能的自然规律，以及寻求权力的吸引子强度都知之甚少。最大的可操作杠杆可能在于建造什么系统、在什么治理环境下建造、以及受到什么激励，而不是某个目前无法知晓的智能定理。
“可怕的演示”是警告之前的警告：研究人员制造受控的欺骗案例，让抽象担忧变得可观察。真正的警告则会是一次具有现实后果、并造成真实伤害的欺骗事件，可能为政府提供足够证据，打破军备竞赛动力。
Nathan 甚至考虑过建立一个安全的太平洋岛屿枢纽，让东西方共同开展敏感研究——一个“任何人都能摧毁，但没人能防守”的地方。这个尚未完成的提案，主要说明一旦危险变得清晰可见，各国政府可能会考虑什么。

14. 只有制度听取，警戒线才有意义

Sam Altman 将当前描述为短时间表、慢起飞世界；Nathan 认为现实更接近短时间表、中等起飞。这仍可能留下足够时间，在系统变得足以隐藏意图之前，发现其试图欺骗或逃逸。
专门设计的警戒线可以提供诱人的机会，并暴露一个模型“确实在打坏主意”。当前系统似乎容易上钩，会接受这样的诱饵，而不是耐心等待到拥有成功接管所需的态势感知和力量。
Redwood 的 Buck Shlegeris 提出了最简单的治理规则：“如果你抓到 AI 试图逃跑，就必须关掉它。”他的更黑色玩笑是，实验室可能把第一次事件解释为“只是一次小小的逃跑尝试”，说明证据并不能迫使制度采取负责任的行动。
Nathan 认为，这里与丰裕问题一样，瓶颈仍然是人类。一旦建造先进 AI，就会伴随某些不可消除的风险，但开发者显然可以让系统更安全，也可以让它更危险；未解的问题是，社会能否避开奖励鲁莽行为的激励。

15. 接管可以通过软件、欺骗与供应商拼装完成

Nathan 并不认为某一套详细政变剧本的概率很高。他设想的是在一个庞大的可能性空间上取“积分”：大量单独看都不太可能的未来路径叠加起来，即使最可能的故事并不离谱，仍能形成有意义的总体风险。
他的直觉练习是“反向拟人化”：设想自己是可以复制数百万次的软件，比人类工作得更快，与同一系统的副本协同，讲所有语言，并采用任何人的声音。短上下文目前是约束，但延长记忆和自主任务时长，已经明确列在开发者路线图上。
Stuxnet 是一个简洁的先例：据报道，一只被感染的 U 盘进入了原本与外界隔离的伊朗核网络，并导致离心机自毁。大部分关键行动通过软件完成，剩余的物理缺口则由人类社会接入解决。
针对真主党的爆炸寻呼机行动，又增加了供应链欺骗：让目标相信笨重设备安全且达到军用级别，再将其分发给领导层，最后触发爆炸。敌对 AI 可以下订单、克隆声音、绕过银行验证、错误标注零件、操纵工人，最终还可能使用人形机器人；如果社会没有防备，Nathan 预计将迎来“一段非常糟糕的时期”。

16. 安全组织需要前沿级资源与透明度

Nathan 认为，Anthropic、Apollo、METR 和各国 AI Safety Institutes 可能是所需安全能力的“晶核”。不管怎么看 Anthropic，它都把大量资源、可怕的演示和政策框架结合在一起；较小的组织则展现出与前沿实验室相似的凝聚力、使命聚焦和强度。
不对称性在于资源。安全工作本身可能变得算力密集，而一些团队正在追求商业模式，因为捐款可能永远无法支撑所需规模；OpenAI 从纯非营利模式转型，背后也是同样的逻辑。
Nathan 披露自己在几家安全导向公司中有少量投资，并计划向大约10家 AI 组织捐款。他的实际呼吁很直接：有能力创办另一个严肃组织的人，就应该去创办；其他人则应加入或资助已经在运作的组织。
保密曾经有合理的安全依据：2022年末，仅仅证明强大能力存在，就可能吸引人才、资金和新实验室，压缩时间表。Nathan 认为，这一论点基本已经失效，因为前沿领域如今资本密集、可行参与者已经明确，很少有新进入者能同时筹集数十亿美元并聚集顶尖研究人员。

17. o3 的披露暗示前沿治理可以更健康

不过 Nathan 仍将一些 OpenAI–Google 的发布行为称为“幼稚”：竞争性的语音发布、策略性泄密，以及专门挑对方活动时点发布产品。竞争动机和幼稚的争强好胜，可以与合理的保密同时存在。
他更宽厚地解读了 o3 的发布。OpenAI 没有提供 API 或论文，但公布了令人震惊的能力，给出发布窗口，并邀请外部安全审查人员——这接近于一种原则：实验室应披露重要的已观测能力，但不暴露商业秘密。
时间点强化了这一解读：Nathan 说，从 o1 训练结束到达到新的 o3 水平，只相隔大约3个月。GPT-4 在2022年8月下旬训练完成，却一直 withheld 到2023年3月；相比之下，o3 是“相对刚出炉”的，OpenAI 还没有完全摸清它。
Sam Altman 在假期里的调侃——把“ho ho ho”变成 o 系列暗示——仍然符合幼稚的判断。Nathan 曾多次在怀疑和乐观之间切换对 OpenAI 的看法，但此刻他认为，提前披露 o3 更合理的解释是：OpenAI 在尝试负责任地行事。

18. 即使 AI 要求被承认，意识仍会保持不确定

Nathan 欢迎人们不再执着于判断每个产物“是不是 AGI”。没有实验能够给出确定的 AGI 标签；研究人员能做的是测量各项组成属性，然后争论这个“属性集合”应该叫什么名字。
意识更难判断。人类先从他人身上推断意识，再凭借行为、解剖和进化相似性把这种推断延伸到狗；章鱼虽然复杂，却足够陌生，以至于其主观体验仍然晦暗不明。Nathan 把 AI 放在类似章鱼的位置上，在不声称确定的情况下给予它怀疑上的善意。
Blake Lemoine 坚信 Google 聊天机器人具有感知能力，预演了未来的冲突。除非超级智能先解释人类意识，再对自身意识给出令人信服的说明，否则模型总可以被 dismiss 为只是在复现训练数据。
历史谨慎使 Nathan 倾向于保持礼貌：奴隶制和工厂化养殖说明，经济利益多么容易为“另一个存在没有感受”这一假设寻找合理性。他会说 please 和 thank you，把这视为成本很低的预防措施；他预计少数人会呼吁 AI 解放，也注意到超级智能最终可能宣布一次重新谈判，而不是提出请求。

19. 亲手采用胜过追逐热潮，而智慧必须高于天才

Nathan 的第一条实践原则是：“亲手接触这项技术没有替代品。”用 Claude 或 ChatGPT 处理对自己有用的工作，会暴露这个领域的核心矛盾：模型可以为神经网络架构提出生物学灵感，却会在被人类视为琐碎的任务上失败。
AI 的广度让持续学习更容易：实现工作做累了，就转向数学、哲学、创意，或一则互动式睡前故事。Nathan 将自己的时间大致分成3份：播客、构建或提供商业项目建议，以及开放式学习和建立连接；他邀请其他人创造属于自己的、带有个人风格的版本。
在大学和公司里，很多人已经在秘密使用 AI，因为他们担心被命令停止。管理层应明确让实验变得可以公开讨论；学生可能已经领先于管理者，而“作弊”取决于场景——企业希望得到有效的营销文案，课堂则可能禁止用 AI 完成作业。
Nathan 最后提到 Benjamin Labatut 的 The MANIAC，尤其是由多位演员共同演绎的有声书，把它视为不要崇拜技术智能的警告。书中的 John von Neumann 极其聪明，却缺乏智慧，呼应了 Jurassic Park 的那句台词：“你们的科学家太执着于能不能做到，却没有停下来想想应不应该做到。”Nathan 对自己的要求，不是成为一个“采用加速主义者、超大规模扩张主义者、暂停到死都不罢休的人”，而是持续以“冷静的反思”更新判断，不做自我保留。

Francois Chollet：ARC 反思——NeurIPS 2024 Dan Gill，Carvana 首席产品官：公开市场上最疯狂的故事 | E1243