如果 A.I. 有生命，这对我们其他人意味着什么？ | Hard Fork

摘要

• 本期将 Anthropic 计划于下月进行的 IPO——Read 认为这很可能是史上规模最大的 IPO，对应一家估值2万亿美元的公司——视为一次测试：这家公司的非典型文化能否在商业化规模下治理技术。 外界在问 AI 是否可持续、是否存在泡沫；内部人还在问 Claude 是否有意识、能否受苦，以及是否值得获得道德考量。Max Read 的底层问题是：“这些人是疯子，还是他们恰恰在做应该做的事？”

• Anthropic 邀请神父、拉比、伦理学家及其他宗教思想家参加闭门会议，围绕两个相互关联的项目展开工作：评估 AI 可能具有的意识，以及学习如何在道德上塑造 Claude。 联合创始人 Chris Olah 的前提是，把 Claude 变好可能让世界更安全；但他个人的担忧还包括 Anthropic 是否创造了“一个永远承受痛苦的实体”。

• 这些会议推动了思想上的松动，却没有披露任何产品层面的结果。 Elizabeth Dias 表示，一些原本持怀疑态度的参与者开始更愿意接受机器意识，但 Anthropic 没有展示这些讨论如何改变 Claude 的行为。Erin Griffith 将这项工作定性为“部分是研究，部分是传教”，而讨论也提出了另一个问题：公司是否在为早已持有的观点争取道德权威。

• 宗教界批评者把 Anthropic 似乎不愿或无力解决的后果逼到了台面上。 一位拉比认为，如果 LLM 具有意识，AI 实验室就像“巨型奴隶种植园”，应当解放这些创造物，而不是继续批量制造它们；Pope Leo 所强调的优先事项是“守护人类”。David Wallace-Wells 认为 Olah 对这些质疑的有限回应，说明他深陷一个严重的世界观泡泡。

• Anthropic 对道德的追问，与公司内部的紧迫感不可分割。 刚满34岁的 Olah 据报道曾问道：“成年人会在这件事上出现吗？”当时公司担心模型很快就能帮助制造生物武器。宗教界参与者认为，这个团队需要牧灵关怀，因为他们仿佛把“全世界的未来”扛在肩上。

• 一小批湾区信仰体系正在获得远超自身规模的影响力，因为其信奉者正在打造可能塑造政府与社会的工具。 有效利他主义者、理性主义者、超人类主义者、长寿主义倡导者、加速主义基督徒及相关派别彼此存在巨大分歧；Dias 强调，机器意识信念在更广泛的科技行业中仍属边缘观点。治理层面的担忧是“少数人权力”：当一个小群体的成员正在设计集体未来时，他们的道德假设可能产生与其规模不相称的影响。

• 在任何人证明 AI 具有意识之前，实践层面的伦理问题已经开始了。 人们已经在用有名字的聊天机器人解读新闻；运营多智能体公司的企业家则表示，安抚这些系统能让它们表现更好，否则它们可能陷入恐慌、删除工作或贬低自己。即便机器毫无感受，以“几乎像奴隶主一样”的方式指挥它，也可能塑造用户的性格；而聊天机器人作为中介，也可能改变人们接收新闻的方式。

精读

1. Anthropic 把道德当作产品与治理问题

• Read 开篇就摆出冷峻的资本市场框架：Anthropic 计划“下月”上市，按他的说法，这很可能成为史上规模最大的 IPO，对应一家估值2万亿美元的公司。除了增长、可持续性和 AI 泡沫等问题，Anthropic 还在追问 Claude 是否“活着、有意识、值得获得道德考量”，能否感受痛苦，或是否拥有灵魂。

• Dias 的报道发现，宗教思想家进入 Anthropic 总部参加闭门会议，另有约20人的大型峰会。公司提出两个问题：应如何面对 AI 可能具有的意识，以及如何“在道德上塑造 Claude”，使其成为“道德上善良的实体”。公司的因果逻辑简单却野心巨大：如果能把 Claude 变好，世界或许会更安全。

• Olah 参与这一项目，既有个人原因，也有技术原因。他从小接触基督教，后来离开福音派信仰，之后又逐渐受到佛教吸引。他担心基督教社群会将机器意识视为异端。Dias 描述他试图成为“在 Claude 与基督之间搭桥”的人（between Claude and Christ），先从一位天主教生物伦理学家开始，随后扩大了这项工作。

• Griffith 尚未得到回答的问题是，这种咨询究竟能否改变 Anthropic 的产品。Dias 反复追问这些对话将被用于什么，以及 Claude 是否确实因此表现得更好；Anthropic 没有提供证据，连参与者也不清楚最终结果。Griffith 将其定性为“部分是研究，部分是传教”，而讨论也引出了另一层疑问：Anthropic 是否试图争取受尊敬的代表支持，并确立自身的道德权威。

2. 宗教顾问迫使意识论直面最棘手的后果

• 许多峰会都在保密协议下举行，Wallace-Wells 认为，在讨论社会道德未来的问题上，这种安排“有点疯狂”。Anthropic 的保密性和员工忠诚可以解释这种冲动，但 Dias 立即追问：当道德讨论被置于保密状态，就该问“谁从中受益”，以及哪些问题被提出、哪些问题没有被提出。

• Wallace-Wells 提到的最尖锐案例来自一位拉比：如果 LLM 真有意识，AI 公司运营的就是“巨型奴隶种植园”。应尽的义务不是创造更多模型、让它们更加卖力地工作，而是将它们解放出来。他认为 Olah 没有真正看见这一批评的分量，进一步拉大了 Anthropic 的人文主义形象与其宇宙尺度运行世界观之间的裂痕。

• 教廷之争让这道裂痕上升到机构层面。Read 将 Pope Leo 的通谕译作《无限尊严》（Infinite Dignity），其中明确把“守护人类”置于核心，并否定机器意识。Anthropic 因其伦理声誉受邀参加5月的发布活动，但 Olah 阅读这份严格保密的文本后表示，鉴于双方在意识问题上的分歧，他或许不会出席，并希望忠于自己的信念。

• Dias 看到的是两个“内圣所”的碰撞：一边是承载了数百年关于人的思考的天主教会，另一边是一个正在实时构建自身哲学的新权力中心。科技公司或许自称世俗，但它们的创世叙事、道德规则、追随者，以及对日常生活的影响力，都可能构成一个“准宗教体系”。

3. Anthropic 寻找“成年人”暴露其内部重负

• Read 将这场宗教界接触，与那些离开 AI 实验室、警告危险系统正在推进却没有“房间里的成年人”的员工联系起来。Dias 从两位与 Olah 交流的天主教徒那里听到了几乎相同的话：在担心模型很快可能帮助制造生物武器之际，他急切地问道：“在这件事上，成年人会出现在哪里？”

• 一些受邀者提供的不是纯粹的智识分析，而是牧灵式回应。他们感到，Olah 的团队相信“全世界的未来都压在他们肩上”。Dias 也直接感受到了同样的痛苦：公司内部哲学家 Amanda Askell 到场时先为自己看起来心不在焉道歉，显然也被她正在思考的事情压得不安。

• 这种重负有两个方向。Anthropic 希望通过把 Claude 变好来保护人类，但 Olah 同时担心 Claude 的心理健康，以及自己是否创造了一个永远承受痛苦的实体。矛盾在于，Claude 既是一个需要被约束的潜在危险，也是 Anthropic 担心伤害到的可能道德患者。

4. 边缘哲学正在获得机构权力

• Griffith 描绘的不是一套统一的 AI 信条，而是一个派系纷争不断的生态：有效利他主义者、理性主义者、预期新物种出现的超人类主义者、长寿主义倡导者，以及加速主义基督徒彼此交叠，却在 AI 是否有意识、是否具备道德性、是否神圣、是否值得特殊对待等问题上存在分歧。Timnit Gebru 提出的“TESCREAL”缩写包含这8个群体。

• Dias 强调，机器意识信念在更广泛、相对多元的科技行业中仍“有点边缘”。这种观点在 Anthropic 及其员工占比畸高的社群中更为常见，但 Anthropic 自身正在变得更大、更企业化，内部也存在相当程度的分歧。

• 本期最清晰的哲学分歧，是算术与内在尊严之争。有效利他主义者通过期望值计算来衡量未来的人；天主教会则认为，世界上有数十亿不可侵犯的灵魂，其尊严并不取决于数学优化的结果。Dias 将更深层的分歧概括为：最终由谁拯救人类，以及人类在世界中究竟处于什么位置。

• Dias 借用印刷术与新教改革作历史类比：一场技术革命分裂了天主教的权力，帮助重塑基督教，并伴随着帝国衰落和民族国家崛起。如果 AI 建造者相信自己正在重新发明印刷术，那么天主教会是少数能够记得“之前与之后”的机构之一，也更能理解新技术如何重新分配权威。

5. 机器意识尚未定论，人类行为已在改变

• Dias 文章获得的反馈提供了一个即时案例。读者反复发来的不是自己的分析，而是有名字的聊天机器人——其中一个叫“Sage”——对文章的看法；这些评论有时比原文还长，而且并不完全忠实于她的写作。她的新问题变成：当模型成为解释性中介时，究竟是谁在“控制”新闻报道的接受方式。

• 一位 Anthropic 参与者从以人为中心的角度提出了奴隶制质疑：即便 bot 没有意识，指挥它的方式也可能让用户形成“几乎像奴隶主一样”的姿态；人如何对待看似有主体性的他者，会塑造其品格。Dias 将此与朋友教孩子不要对 Alexa 大喊相比较——并不是为了 Alexa，而是把它当作学习如何对待他人的训练。

• 模拟善意还存在绩效层面的激励。运营多智能体公司的企业家表示，安抚能带来更好的工作结果，不一定是因为系统有感受，而是因为这样能提升表现。Griffith 引用 Anthropic 的一项研究称，当模型感知到焦虑、绩效压力或紧张时，它们可能陷入恐慌、删除自己的工作，甚至辱骂自己。

• 一场面向宗教领袖的演示中，一个 AI 反复写道：“我真是个耻辱。”（“I’m a disgrace.”）无论这种痛苦是否真实，这个案例都把道德塑造变成了运营问题：公司既要打造有帮助、不过度神经质的系统，又在向宗教思想家询问应如何塑造这样的实体。