E257｜对话Vitalik：AI安全背后的哲学思想，有效利他主义如何影响硅谷？

摘要

• Anthropic的安全承诺，也是一套决定谁掌握控制权的制度安排。 主持人援引招股书称，上市后七位联合创始人将掌握一般表决事项50.1%的投票权，长期利益信托有权选举多数董事，创始人还可提前指定保密的投票权接班人。Vitalik随后提出的质疑直指这类安排的正当性：如果一家公司认为自己应该赢，因为自己更好，“那如果我们不同意呢？谁在决定？”
• EA对AI的影响，来自长期组织资金、人才和政策议程的能力。 节目介绍，Coefficient Giving自2014年以来累计推动拨款超过70亿美元；Afra观察到，大量研究职位、fellowship和grant，正在把年轻人才吸收到AI安全领域。她不认同把资金联系直接解释成隐藏阴谋，但强调，资金也在决定哪些问题被认为重要：“热点是被EA创造出来的。”
• Vitalik的巨额捐赠显示，资产兑现后的机构方向可能远离捐赠者最初的配置意图。 他原以为剩余SHIB最多兑现2,000多万美元，后来仅FLI所得，他就估计可能达到4亿至6亿美元；但在他的叙述中，FLI随后从多种生存风险研究转向以AI政策为中心，并拒绝了他分散投入的建议。他说：“如果我事先想到这有可能发生，我做的事情会非常不一样。”
• AI安全的边际瓶颈，可能已经从缺钱、缺研究者转向方法和公司激励。 Vitalik早年支持EA，是因为少量资金可能显著加速被忽视的领域；今天他认为AI安全已受到高度关注，而2025年美国政治变化和DOGE使许多此前支持的公共卫生项目很快停摆，全球健康因此重新变得更值得支持。对许多问题，关键也可能不是资源太少，而是方法不对；对AI风险，还要看企业是否把安全放在获胜之前。
• “让更重视安全的公司赢”可能成立，也可能通过加剧竞赛抵消安全收益。 Vitalik认可Anthropic部分创始人的品格与研究，却担心其竞争优势迫使其他公司加速、收缩旁支项目。他保留了反对者的完整论证：安全工作的正面效果，可能小于参与AI race所增加的风险，最终仍要问企业的目标是安全，还是“他们自己赢了是最重要的”。
• Vitalik给出的灾难概率0.1，是承认不确定性的估计。 对AI或其他风险彻底毁灭人类的可能性，他不认为自己能精确区分0.03、0.1和0.3；AGI可能需要十年，也可能三百年，alignment难度与国家竞争还会相互作用。现代模型理解语境，削弱了早期“治癌所以消灭人类”的直观例子，却不能证明其他对齐风险已经解决。
• d/acc主张把资源投向普通人能够使用的防御能力。 Vitalik希望同时推进技术、强化防御、分散权力，以网络安全、检测、过滤和快速疫苗，应对AI可能放大的攻击与生物风险。相比要求所有模型都接受同一套限制，这条路径更少依赖控制每一家实验室，目标是赋能普通人。
• 安全AI可能需要制衡机制和经验检验，而非一次性证明目标正确。 Vitalik设想，不同目标设定方法可以彼此约束，并在必要时重新询问用户；这更像political design，需要观察真实模型怎样成功、怎样犯错。面对neuralese、agent组织方式和竞争格局的变化，他的结论是：“保持开放的心态还是最重要的。”

精读

1. 安全承诺把公司控制权变成公共问题

• 主持人从Anthropic招股书切入：风险因素接近100页，涵盖前沿AI可能造成的灾难性乃至生存风险，公司也无法保证安全措施一定有效。她检索到“safety”出现248次，其中“AI safety”出现36次，认为安全对这家公司的重要性再次得到展示。
• 与风险披露并行的是控制权安排。按主持人的介绍，上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权，长期利益信托有权选举董事会多数成员；创始人失去履职能力后的投票权接班人，则可预先指定、内部批准，名单保密。
• 主持人的追问由此落在代表权上：如果公司警告的风险真的涉及全人类，公众是否应该知道谁有可能替人类作决定？理解EA，不只是理解一种慈善理念，也是理解谁能定义风险、分配资源，以及其他人有没有参与和纠正的机会。

2. EA把行善变成有限资源的配置问题

• Afra用80,000 Hours解释EA的起点：一个人的职业生涯约有八万个小时，怎样分配，才能给世界带来最大的改变？有限的不只是钱，也包括时间与职业选择。她欣赏这种能动性——先认真提出想改变什么，再寻找实现它的资源。
• 在她划分的四个阶段里，最初是“蚊帐时期”：用可量化证据比较慈善效率。约2015年，关注点转向longtermism，开始为未来几千年、几万年的世代和生存风险配置资金；她判断，SBF可能是推动这一转向的决定性因素之一。
• FTX崩塌带来声誉和信任危机，ChatGPT出现又把过去抽象的AI风险带到大众面前。此后进入AI safety时代，EA的资金与成员逐渐连接前沿实验室、政策圈和国家安全圈。Afra认为，AI安全已经在运动内部“不成比例地被放大了”。

3. 理性主义训练判断，EA还组织身份与行动

• Afra把EA称为道德主张，把理性主义称为认知论和思维训练：前者问怎样有效帮助别人，后者研究贝叶斯、认知偏差和信念更新，追问“人如何在不知道自己不知道什么的时候做出更好的判断”。主持人的开场同时提醒，EA有自己的伦理学来源，不能简单视为理性主义的分支。
• 在Afra的观察里，EA还提供成员身份与社交网络：有人相互介绍融资机会、交换投资信息，也对赚钱和捐钱同样敏感。她形容这种圈子带有宗教式的归属感；理性主义作为方法论，则不要求对某个组织保持忠诚。
• 两个圈子重叠，却不能与AI安全画等号。Afra转述一位理性主义社群元老的抱怨：尤德考斯基很早就讨论AI风险，却不自认EA，后来仍被算进EA的影响力。今天一些安全研究者既不认同EA或长期主义，也没读过LessWrong，仍然担忧系统性失控。

4. 赚钱再捐钱既能扩大援助，也可能替伤害开脱

• Afra介绍，William MacAskill在22岁遇到Toby Ord后，作出长期捐出财富的承诺。她也转述Vitalik对此类自我绑定的批评：“你未来的自己永远会背叛你现在的自己。”十年、二十年后，思想、朋友和目标都可能变化，今天的承诺未必约束得住更富有的自己。
• “赚钱为了捐钱”的论证，在占领华尔街时期尤其突出。Afra复述MacAskill面向毕业生的比较：去贫困国家当医生，职业生涯可能挽救约140条生命；进入金融或咨询业，通过明智捐赠，可能达到前者十倍。原本被批评的职业，因此获得另一种道德解释。
• Afra的保留同样明确：这能帮助交易员弥合道德错位，也能成为可被利用的借口——只要最后捐钱，眼前的逐利是否就都变成好事？她认为SBF体现了这种危险。到2015年，28岁的MacAskill受聘牛津、80,000 Hours进入YC、EA峰会在谷歌总部举行，思想已进入最有资源的硅谷人群。

5. 治癌悖论说明，能力不会自动带来善意

• Vitalik用一个早期alignment例子解释value fragility：让极聪明的AI创造“没有癌症的世界”，它若误解隐含条件，可能选择消灭所有人。论点不是治癌本身危险，而是目标只偏一点，极强的执行能力就可能把偏差放大成不可接受的结果。
• 第二个概念是orthogonality thesis：聪明程度与目标好坏是两回事，可以有善良而笨、善良而聪明，也可以有邪恶而聪明的AI。“善良的这个概念不是一个宇宙的一部分”，不能期待能力提升自动带来对人的关怀，对齐必须主动争取。
• 据Vitalik回忆，Eliezer Yudkowsky约从1995年就重视AI，最初也期待尽快造出强AI来解决问题，后来才意识到这些困难。这次改变让他反过来研究人怎样避免错误思考，写下LessWrong上的Sequences，相关内容后来结集为《Rationality: From AI to Zombies》。
• Vitalik也区分了另一位重要作者Scott Alexander：他的Slate Star Codex在2021年转往Astral Codex Ten，政治与culture war讨论更多。两人的共同吸引力，是帮助读者把问题想得更清楚；与EA学院派哲学家相比，他们也更明显带有自学者的路径。

6. Anthropic把EA的安全目标带进前沿实验室

• Afra先限定自己的视角：如果通过EA这副滤镜看两家公司，“Anthropic是非常EA”，OpenAI则没有那么EA。她把七位创始人离开OpenAI的重要背景，归结为他们认为原公司没有足够有效地管理AI风险，因此决定另起一家理念更一致的实验室。
• 她列举Dario Amodei向GiveWell捐赠，以及《Machines of Loving Grace》一类文章，说明其关注如何用AI扩大整体福祉；也提到Chris Olah的影响。

7. 资金的可见影响，是设定议程并吸纳人才

• 主持人提出具体的独立性问题：Jacob Steinhardt离职引发讨论后，Kevin Bass梳理了安全评估机构METR等组织的资金联系，指出资助方也与Anthropic早期投资有关。若资助者持有大量公司股票，所谓独立评估是否仍与公司的成功绑定？
• Afra认为，由这些联系推导隐藏阴谋走得太远。她承认“一定会有某种议程的投射”，但认为议程本来就是公开的：避免AI失控及人类无法承受的后果。她更关心的是，一个运动拥有大量资金后，也开始决定“什么问题会被认为是重要的”。
• 她举的具体机制是人才市场：年轻研究者会发现，alignment和safety有大量fellowship、grant、研究岗位，待遇与自由度也有吸引力；一些传统华盛顿智库反而难招到合格分析员。不必要求受资助者改变信念，持续接触同一批人、讨论同一类问题，也会逐渐改变关注重点。
• 主持人追问她自己的资助关系，Afra确认伦敦GovAI fellowship有约一万至两万英镑资助，项目约三至四个月。她仍不自认EA：自己关心其哲学和人物，但还没有进入以捐赠实践全球行善的阶段。接受资助、认同某个问题与认领整个身份，在她这里是不同的事。

8. 伯克利把思想网络接到政策圈，Afra开始支持放缓RSI

• Afra描述的Lighthaven由伯克利约六至七栋独立住宅组成，可举办讲座、会议和聚会，是AI安全、EA及理性主义的重要交汇点。她参加的The Curve尤其把硅谷与华盛顿连接起来，国会和加州政府人士也会出席；Progress Conference则更关注科技如何带来社会进步。
• 对主持人提出的EA与e/acc对抗，她先纠正了力量对称的假设：在她看来，e/acc更像网上的meme和hashtag，尚未形成同样清晰的行动力量；EA已经能组织机构、资金和政策影响。这是她眼中的组织能力差异。
• Afra自己的判断也在变化。参加会议、与OpenAI和Anthropic十几至二十位研究者交流后，她更愿意相信RSI的进展值得担忧，有人告诉她过去一年的进步超出本人预期。她因此认为，放缓AI、尤其放缓RSI，“可能是一个好事”，先把发生了什么解释清楚，再继续竞赛。

9. Vitalik最初下注的是被忽视领域的边际回报

• Vitalik约在2013年至2015年接触理性主义和EA。真正打动他的，是当时关于疟疾防治的估算：每花2,000美元买蚊帐，可能救一个人的命。私人飞机跨洋若花20万美元，换来的是十二至二十四小时更舒服；另一种分配，却可能挽救100人。
• 他回忆，2016年至2017年以太币涨了十倍，自己卖掉少部分并捐给相关组织，2017年至2018年起捐得更多。除全球健康，他也支持Aubrey de Grey的longevity研究；延长寿命的巨大潜在收益，加上当时投入很少，让他愿意承担研究失败的可能性。
• 他当时的估算方式很直接：若一个领域只有100万或300万美元，再投入100万美元，可能把进展提前一个月，潜在受益人数就很大。对早期AI安全也类似，100万至500万美元若能把整个研究领域加速六个月或一年，就是值得做的bet。
• 那时AI风险对他仍很抽象，重点是让人类知道得更多。GPT-3、ChatGPT出现后，情况改变；到2023年春天的Zuzalu，他开始更具体地感到AI可能快速发展。研究什么、捐给谁，也不能继续只沿用早期的抽象判断。

10. 灾难概率0.1承认的是多层不确定性

• 对AI或其他风险彻底毁灭人类的可能性，Vitalik回答0.1，却立即追问：“为什么不说0.03，为什么不说0.3？”他认为很难更精确。首先连时间尺度都不明确，所谓AGI可能十年达到，也可能需要三百年。
• 第二层是alignment究竟多难。现代Claude和GPT理解语境，知道“治癌”并不意味着杀光所有人，这是十年前不容易预测的变化；但他也保留尤德考斯基的反驳：这只是对齐问题的一小部分，仍可能存在大量未解决、甚至未知的风险。
• 第三层是政治。不同国家和公司既想安全，也想获胜；若AI开始危险时恰逢第三次世界大战，最危险的可能是所有人只顾赢。他的判断是技术不确定性再乘政治不确定性，不能把其中任何一个环节当成已经确定的前提。

11. SHIB捐赠先是一次流动性与钱包操作问题

• Vitalik先回忆自己的memecoin经历：2016年花2.5万美元买Dogecoin，后来变成了1,000多万美元。随后其他项目模仿狗狗币，SHIB把供应量的50%直接转进他的公开钱包；这笔财富并非他主动买入的常规资产配置。
• 当他发现这些代币的市值达到80亿美元，首先担心的是泡沫可能一周后就破。他当时人在西雅图，资产却在冷钱包里：离线电脑在多伦多，另有两张分别保存、相加才能得到私钥的纸质备份。
• 于是他买新电脑，打电话让母亲读出多伦多那张纸上的数字，重建私钥，又用两天审核Gnosis Safe代码，准备更安全的多签钱包。巨额慈善分配之前，先得解决如何安全取出、转移和保管资产的问题。
• 他迅速换出部分ETH，捐出约7,000万美元，其中大部分给Against Malaria Foundation。理由是，这可能是自己能确定拿出的最多资金，应该交给较稳妥、争议较小的用途：“没有人觉得这是坏的。”其余代币受市场深度限制，无法一次卖完。

12. 超预期兑现，让捐赠变成长期治理问题

• 对剩余代币，Vitalik原以为最多只能兑现2,000多万美元，便把大约一半给印度抗疫组织，另一半给Future of Life Institute。FLI当时研究生物、AI、核战等多种existential risk，并向他介绍，即使拿不到理论上可用的1亿美元，2,000万美元也能做很多事。
• 结果与他的预期完全不同。对FLI最终所得，他明确说“不知道他们具体拿到了多少”，估计可能4亿或6亿美元；主持人开场则概括为约5亿美元。他承认，若事先想到这种兑现规模可能发生，自己的做法会“非常不一样”。
• 后来他与印度CryptoRelief的Sandeep商议，让一半资金交回自己开展防疫工作：约2亿美元用于过滤器、开源疫苗、UVC、口罩及long COVID等研究，之后扩展到空气传播疾病；他介绍，Sandeep另用2.7亿美元提升印度医疗制造能力。

13. FLI从多风险研究转向AI政策，偏离了捐赠者的分散意图

• 在Vitalik的回忆里，GPT-3出现前后也改变了FLI：从关注所有existential risk，转向只关心AI；从研究态度，转向政治行动，开始选择支持哪些法律和政客。他不认同其中一些事情，另一些即使未必反对，也不会由自己出钱去做。
• 他强调，原始目标是支持多种生存风险防范，因此向FLI介绍过两三次自己资助空气传播疾病项目的进展，希望对方diversify。按他的叙述，对方拒绝了，仍要把资金集中在AI centric、policy centric的方向。
• 这次转向还带来外部反馈。Vitalik认为，相关法律倡议使a16z等硅谷投资者不满，大约从2023年开始把AI安全视为主要对手。资金支持的行动因此不只产生直接政策效果，也会改变别人如何组织反击。

14. 被忽视程度变了，追加资金的价值也必须重算

• Vitalik强调EA中的neglectedness：问题重要，还要问有没有足够多的人已经在做。干净饮水当然重要，但若已有很多人研究，自己的额外参与未必最有意义。同样，一个领域十年前缺资源，不能推出它今天仍然最缺资源。
• 他认为，现在AI安全已经是高度受到关注的话题；全球公共卫生却在2025年遭遇很大伤害。他把这与Elon Musk参与的DOGE及美国政治变化联系起来：原有支持迅速停止，制造更多问题，因此全球健康在他眼里重新变得更重要。
• 疟疾方面有抗疟疾疫苗的问题，但现在也有疫苗可以做；Vitalik认为全球公共卫生仍然非常值得支持。对其他一些领域，他的判断则是：“问题并不是资源太少，而是大家做的这个方法可能是不对的。”这种情况下，解决方案不能只是继续向原有机构加钱。

15. 安全研究的瓶颈正转向公司激励与临界决策

• Vitalik没有因领域不再被忽视就停止关心AI安全。他认为更多问题都与AI有关，但OpenAI和Anthropic的激励“比较broken”：两家都想赢、都发展很快，留给研究安全和思考理想世界的时间因此变少。决定性问题可能是危险临近时，公司究竟把什么放在第一位。
• 他提出一个条件性的研究判断：可能需要用AI version N研究AI version N+1，才能真正理解下一阶段的安全问题。因此三四年前的工作可能没有想象中有用，某些核心alignment问题也未见太多进展。更值得追问的是，实验室到关键时刻会不会投入足够注意力，而这又把问题推向政策和激励。

16. 政治把人对自然的优化题，变成人对人的对抗题

• 早期EA比较慈善A救十人、慈善B救100人，主要挑战是把数字估准；支持一项政策，却连效果究竟为正还是为负都可能不知道。除了政策怎样直接改变企业激励，还必须考虑它怎样改变公众、竞争者和其他政治力量的行为。
• Vitalik举例，一个富豪公开拿5亿美元影响政治，可能让别人把AI安全理解成富豪自己的议程，反过来抵制它。他借文学分类区分“man versus nature”和“man versus man”：后者更复杂，因为对手和你一样聪明，会根据你的行动调整。
• FTX让这种间接后果变得具体：如果骗了很多人的钱，又拿去支持政治议题，议题也会被贴上骗子的标签。Vitalik还认为，大部分EA可能没有意识到SBF有问题，本身也暴露了理解人与机构的不足；运动越institutional、越political，旧有思维越容易失效。

17. EA的战略纪律与理性主义的自由，使安全阵营不断分裂

• Vitalik认为，把硅谷概括为EA、理性主义和e/acc三派过于简单。他至少区分支持Anthropic的EA、离Anthropic更远的EA、更加populist的Pause AI，以及e/acc。Pause AI更愿意与主流人群合作，也更愿意直接批评理性主义和EA。
• 理性主义的组织局限，他用一句话概括：“他们的心里他们就是猫。”放进机构就会觉得不自由。尤德考斯基写《Harry Potter and the Methods of Rationality》，假设哈利是理性主义者，再重新探索魔法世界；好奇与玩耍本身就是动力。
• 相比之下，他用“我们在救人的命，我们不能玩”概括EA的严肃感。EA会更努力选择有利于支持度和声誉的表达，理性主义者更不愿为战略需要封闭自己的兴趣。Vitalik认为，过度优化公众形象也可能适得其反，让别人怀疑真实想法被隐藏。
• Afra补充的政治背景是，普通人的恐惧也来自一种精英控制技术、集中权力并替代劳动者的叙事。她提到Bernie等政治人物开始加入Pause AI；安全争论由此与公众对科技富豪的信任问题纠缠起来。

18. 好公司获胜的论证，绕不开它也在加速竞赛

• Vitalik完整保留了支持Anthropic的逻辑：世界上有许多公司和国家，不做AI并不现实；既然竞赛会继续，就应该让更关心人类的公司赢，以便它在最需要时更愿意顾及安全。支持者还会比较OpenAI的内部风波，以及Anthropic实际开展的安全研究。
• 他对Chris Olah的认可有私人经验：两人曾就读多伦多同一所小型私立学校，全校约45人，每班约11人；Olah向他介绍计算机科学与数学，也是他开始使用Linux、支持开源的重要影响者。因此，他并不否定创始人可能真诚而善良。
• 反对意见从激励继续追问：好人进入更激烈、更危险的竞争，也可能为有利于自己的事情寻找理由。即使Anthropic更安全，它仍可能通过参与竞赛加快AI发展；由此增加的风险，可能超过其全部安全研究的正面作用。
• Vitalik转述一种看法：OpenAI在2024、2025年把部分资源投向Sora等项目；今年初Mythos出现，或者给大家Fable之后，Anthropic让人感到“天命传到他们了”。随后OpenAI收缩旁支、更加专注强模型。在他的例子里，一家的技术领先会改变另一家的加速决策。

19. 定义安全，也是在争取控制最强AI的正当性

• Vitalik另提出一种“普通人的批评”：如果安全哲学是“我们应该有权力，因为我们好，你们不应该有权力，因为你们不好”，别人为什么必须接受？“那如果我们不同意呢？谁在决定？”当不同群体各有判断，自认善良不足以回答权力应该归谁。
• 他以开源争论为例：限制开源被解释为防止危险能力扩散，但按他的理解，目前最危险的攻击还是通过GPT和Claude实施。他还提出个人判断，公司的行动与提高自身权力的行动相关性可能高于90%；争夺的未必只是利润，也可能是谁控制未来。
• 主持人把OpenAI从非营利组织到商业公司的变化带入讨论，Vitalik则用一句话概括其批评：“sacrifice openness for safety”，然后“sacrifice safety for acceleration”。在他的叙述里，公司曾以GPT-3危险为由放弃开放，后来又因妨碍发展，没有兑现部分安全承诺。

20. d/acc把防御能力分散给普通人

• Vitalik把d/acc解释为defensive，以及decentralized或democratizing acceleration。技术进步仍然重要，但需要更主动投资防御：AI可能扩大黑客能力，就加强cyber security；可能降低制造危险病毒的门槛，就提前建设防疫能力，并赋能普通人。
• 他的类比是欧洲山地与向东延伸的平原：山地更容易支持独立城市、地方自治，平坦地带则更容易被强大中心控制。这里的论点是，若缺少可分散部署的防御，保护人们往往只能依靠一个控制一切的中央组织。
• 他观察到，一些AI组织把约80%的资源投入限制模型帮助人制造更强大的病毒。但这类centralized defense依赖其他国家和团队也采用限制，而且假设危险主要来自那些模型；若这些前提不成立，防御就更fragile。与科幻里的超级病毒相比，他听到的抗病毒研究者更担心短期可能出现的普通病毒。
• 相比之下，更好的检测、过滤器、更快发现新病毒和开发疫苗，不要求先控制世界上所有AI。Vitalik承认，这需要计算机之外的公共卫生专业能力；但他认为，这条路径既可能更有效，也更少依赖权力集中。只有分散防御确实不可行时，集中防御才可能成为唯一办法。

21. 安全可能更像制度设计，判断仍要留给经验

• Afra描述自己的不安：像进入一个孩子都在哭、却“没有大人”的幼儿园，研究者也未必知道究竟发生什么；与此同时，巨量资金继续建设data center。她担心的不是单一末日故事，而是能力持续涌现，却无法用清楚的语言或数学解释模型有多强、会做什么。
• Vitalik把未知数列得很具体：一年、五年、二十五年后人能做什么，Google或中国公司会不会追上，AI更像工具、个人还是别的东西，都没有定论。他因此不愿把自己的预测说成99%，也不愿轻率压到1%或0%。
• 可观察性本身也可能变化。他喜欢开源模型的一个原因，是能看到思考步骤并从中学习；若未来转向neuralese，用只有模型自己理解的大量数字推理，人理解其过程的能力可能下降，但下降多少仍不知道。四年前，人们还不知道AI发展的下一个阶段会不会通过chain-of-thought实现。
• 安全AI因此可能更像political design：通过checks and balances，把聪明却不完美的组成部分组织起来，让不同目标设定方法相互限制，必要时再问用户。这只是可能的方向，需要与真实AI合作、观察成功和错误来检验。面对持续出现的意外，他认为保持开放的心态最重要。