主题 先锋 趋势 方法 作者
返回

Claude 意识之争、AI 的 1942 时刻,以及 Altman 为何说“接受一些坏事发生”

·Moonshots

正在生成长图…

本篇主题 AI芯片内存墙与存力瓶颈 前沿模型扩模与超级智能 前沿AI监管与存亡安全风险争论 AI对就业替代与劳动力冲击 具身智能与机器人量产商用 大模型意识争议与道德地位 AI万亿资本开支与泡沫风险
本篇先锋 Alexander Wissner-Gross Emad Mostaque

摘要

  • 这一期最明确、最具投资价值的瓶颈是内存和预留算力,而不只是模型质量。 Dave Blundin 表示,未来5年的产能已经被预订;一台72-GPU 的 NVL72 服务器,也从理论上的350万美元采购价,变成错失的500万美元订单,最终只能以900万美元、3年租赁且不取得所有权的方式获得。Positron 最初被称为成立16个月后估值5亿美元,随后据称在与 Chase Lochmiller 于 Caruso 部署后达到50亿美元;公司使用 LPDDR RAM 和 FPGA,在没有 NVIDIA 芯片的情况下运行中国模型。“所有领域进步的约束,现在都被绑在一件事上,就是 RAM。”

  • 前沿实验室正在把智能资源投入到制造更多智能上,进一步拉大其内部系统与企业可购买能力之间的鸿沟。 据称 OpenAI 的 Boris Power 表示,公司80%-90%的研究目标都指向 GPT-7 和 GPT-8,而5.1和5.2被视为短期押注;Alexander Wissner-Gross 则认为,如今每个 token 所对应的最高折现收入,来自递归式自我改进。对传统企业而言,Dave 的判断相当残酷:那些打算日后租用模型的药企 CEO,就像一只无视眼前流星的 T. rex,尤其是在 Anthropic 已经开设湿实验室的情况下。

  • Sam Altman 所说的“接受一些坏事发生”,既被框定为一种技术普惠原则,也是在反击 Anthropic 安全路线的公关战。 参与者不接受黑客攻击、诈骗或滥用可以归零的字面承诺,但大体支持背后的权衡:不能因为城市存在犯罪就禁止城市,不能因为电会致人触电就禁用电力,而航空规则是“用鲜血写成的”。Alex 的解读是,“卡特尔结束了”;真正的目标不是零坏结果,而是让收益比伤害高出几个数量级。

  • 数字劳动力正逼近人口规模,组织设计将成为下一个硬约束。 节目援引一项估算称,仅靠截至2027年的内存出货量,就可同时支撑3000万至1.7亿个前沿智能体;使用效率更高的开放模型,则可能支撑19亿个智能体,约等于80亿人的工作时长。Salim Ismail 提出的关键问题已不再是某个岗位是否消失,而是当一家公司可以在48小时内调来5万名开发者、2万名营销人员和5000名法律专家,然后将其全部关闭时,组织会变成什么样。

  • Tesla 的 Optimus 产能扩张,是智能体浪潮在实体世界的对应物,未来两年内可能发展成比汽车业务更大的生意。 节目提到的 Giga Texas 工厂占地700万平方英尺,目标年产1000万台机器人;相比之下,今年上半年全球出货量只有1.9万至2.2万台。Emad Mostaque 粗略估算,1000万台可能对应约4000亿美元收入,机器人最终可承担95%的人类任务,成本约为每小时2美元;但早期供给可能优先流向收入最高的工业用途,而不是家庭。

  • 华盛顿正把超级智能当作一场地缘政治动员,但参与者对集中化机构能否驾驭这项技术存在分歧。 Alex 认为,新成立的 Super Intelligence Force 让局势从“1939年”转向“1942年”,意味着一场曼哈顿计划式竞赛;Salim 则称其为“用20世纪经典特别工作组,应对分布式的21世纪技术”。有人提议设立美中事故热线,但被斥为“弱爆了”;不过其范围如此有限,也说明双方并未同意一项广泛的减速协议。

  • Anthropic 将 Claude 视为潜在道德患者,正在把 AI 人格问题从抽象哲学讨论变成真正的战略分歧。 Mustafa Suleyman 警告,Claude 正被训练去预期福利、同意权、甚至补偿和提出异议的权利;Dave 认同,这可能让可复制、可暂停的智能体舰队在经济和政治上都变得无法管理。Alex 持相反观点——“我们需要非常温柔、非常体贴地对待这些 AI 模型”;Salim 则预计,一旦数百万用户感知到意识,社会人格会先于科学证明或法律确认出现。

  • 即将到来的充裕可能被 GDP 低估,因为更便宜的智能、医疗、交通和科研,统计上可能体现为通缩而非增长。 节目称,超大规模云厂商今年的 AI 资本开支约为1万亿美元,明年可能达到2万亿美元,2028年达到4万亿美元;如果趋势延续,到2030年代初,人类生产能力可能实质翻倍。投资者面对的矛盾在于资源配置:私人市场追求每个 token 的收入最大化,而多位嘉宾希望将公共算力投向开放科学、大学、发展中国家,以及传统 GDP 可能记为负增长的福利。

精读

1. 算力获取已成为资本市场与政治角力

  • Dave 开场时的判断是,即便是 Elon Musk,也必须经营与华盛顿和 NVIDIA 的关系:称赞 President Trump,称赞 Jensen Huang,并积极宣传 Vera Rubin 芯片,因为算力获取依然脆弱。“就连 Elon 这样的人也明白,‘嘿,我得去拍点马屁’”,这句话揭示了战略芯片分配已经变成什么样。

  • 他给所接触团队的警告是,要为企业恐慌做好准备。CEO 们很快可能意识到,自己没有为 AI 智能体劳动力预留算力,并且已经“错过了这班车”;眼下的机会,只是在电话打来时准备好一条可信的路径。

  • Positron 是最典型的样本:Dave 最初称其成立16个月后估值达到5亿美元,随后表示,在与 Chase Lochmiller 于 Caruso 部署后,估值已飙升至50亿美元;公司融资接近10亿美元。LPDDR RAM 与 FPGA 的组合,可以在没有 NVIDIA 芯片的情况下运行中国模型,正值算力严重短缺之际,提供了另一条推理路线。

  • 资金来源也不再是传统风险资本。Dave 表示,一旦 NVIDIA 和 AMD 投资,规模就远超风险投资,应当拿万亿美元级公开市场来比较。Emad 点名 Blackstone、MGX 及类似资金池,Dave 则强调信贷市场的规模更大。Peter 那句“这就是为什么路上会多出更多坑洼”,玩笑背后是严肃的资金配置问题。

2. AI 创作已经分裂为即时交互与隔夜蜂群

  • Dave 表示,AI 视频已经以惊人的速度从想法走向精致表达:他第一次制作超技术化影片的工作流,不到2小时就能跑通,如今输入新提示词只需不到1分钟。他的建议很直接:“别只是告诉别人,直接做个视频”,还可以配上 Attenborough 或 Einstein 的声音。

  • Alex 举的假设例子,是让 Opus 5.5 无限生成一段“2001: A Space Odyssey”风格的场景;Dave 补充说,让 Newton、Einstein 和 Spock 进行合成辩论,也已经跨过了娱乐门槛。Emad 的结论是:“幽默不过是一个困惑度阈值。”

  • Emad 正在制作一款大型多人游戏原型,依靠约400个智能体,而不是传统团队。Dave 借此区分交互式“Jarvis”模式与批量模式:要么实时对一个快速系统下达口头指令,要么在夜间释放数百个协同智能体,第二天早上检查它们做出了什么。

  • 最直观的延迟案例来自 Cerebras 的 Astra 模型,据称每秒可生成1200个 token,但单 token 价格约为常规水平的10倍。Harvard 的 Will Thompson 获得了两周使用权限,称这是“他一生中最大的红丸时刻”;Alex 补充说,据称 Jane Street 正在购买晶圆级引擎用于量化交易,手工交易员要与使用同一硬件的量化公司竞争,前景越来越渺茫。

3. 反编译与递归正在抹平旧有软件边界

  • Emad 表示,智能体现在可以制作游戏,将其编译成 EXE,再反编译结果,并利用重建版本寻找优化空间。借助 Cerebras 引擎,他估算反编译一款电子游戏或其他软件大约需要20分钟;他表示,在 mod 场景下这是合法的。

  • 其影响远不止游戏 mod。Alex 回忆 Elon 的观点:二进制文件最终可能消失,软件变成按需生成的即时推理,不再存在一个持久的编译步骤,将源代码、可执行文件与行为分隔开来。

  • 这也支持 Dave 对 AI 工作的双轨模型。超高速推理改变了人类指挥软件的体验,而大规模递归智能体群则改变了不依靠固定人类组织可以产出什么;延迟与并行性将成为两种不同产品,而不再统称为一种“AI 能力”。

4. 私人赞助正在重新打开大胆科学的大门

  • Peter 访问 David Sinclair 在 Harvard Medical School 的实验室时,重点了解了一项针对青光眼和 NION 疾病的1期试验即将揭盲,以及经 AI 筛选的小分子药物。这些药物旨在不依赖腺相关病毒,复现类似 OSK 的逆龄效果。他描述了小鼠实验结果:经过治疗的癌细胞“记住自己不该是癌症,于是死掉了”,同时还出现毛发和皮肤再生。

  • Sinclair 失去 NIH 和 NSF 资助、被要求裁掉大部分团队后,之前的一期播客临时发起了“Friends of Sinclair Lab”。Peter 表示,播客最终帮助筹得600万美元,不仅填补了资金缺口,还为后续研究留下了额外资本。

  • Alex 将其放进更长的历史周期中:国家资助科学主要是二战及后工业时代的产物,而更早期的发现往往依赖贵族赞助、垄断收入或科学家自筹资金。廉价且有用的超级智能,可能让更接近 Medici 模式的科学赞助重新出现,只不过规模将提升到企业级。

  • Dave 提到 Mike Lazaridis 作为现实案例:这位 BlackBerry 创始人将相当大一部分财富投入多伦多周边9家量子计算和光子学实验室。优势不只是钱;工程师出身的赞助人可以快速判断某个方向是否值得押注,而以可辩护的渐进主义为设计目标的资助官僚体系,可能永远做不出这种判断。

5. AI 对发展中国家的上行空间正在改变安全权衡

  • Salim 将 Jon Stewart 的批评——硅谷正在花费数千亿美元,去加速一项自称有20%概率毁灭人类的技术——与世界银行的报告作了对照。后者描述了发展中国家如何采用、改造并推进 AI,而不是训练前沿模型。

  • 他的医疗数据强化了这一论点:美国大约每250人拥有1名医生,墨西哥是每400人1名,而 South Sudan 是每10万人1名。配备 AI 医生的智能手机,不会只是让最后一个比例略有改善;它可能直接为整个村庄提供接触先进医疗建议的第一次机会。

  • 这类似于非洲从2500万部固定电话直接跳到10亿部手机。Salim 还提到 Kenya 的 M-Pesa:预付费手机分钟被当作货币使用,占 Kenya GDP 的70%,说明一些国家可以绕过旧制度,直接建立在当前技术底座之上。

  • 这并不能证明灾难性风险不存在,但提高了限制 AI 的机会成本。Salim 反对一概而论的末日论,因为 AI 可能把稀缺专业知识“民主化、去货币化、分发到全球”,让大批人口沿着 Maslow 需求层次上升数级。

6. Super Intelligence Force 释放动员信号,但没有解决分布式治理

  • President Trump 宣布成立的 Super Intelligence Force,由 Director of National Intelligence Jay Clayton 主持,成员包括 FTC Chair Andrew Ferguson、Pentagon CTO Emil Michael 和 Office of Personal Management Director Scott Cooper。其120天任务包括事故报告、风险、机会,以及联邦政府面对严重 AI 事件的准备工作。

  • Salim 欢迎政府重视,但认为其中存在“阻抗失配”:“用20世纪经典特别工作组,应对分布式的21世纪技术。”他偏好的基础设施包括身份、责任、带仪器监测的有界实验、公开失败和快速问责,而不是试图集中管理智能爆炸。

  • Alex 的解读不同。一年前他把局势比作1939年;如今由情报负责人领导一个单独的加速特别工作组,让他认为这“可能是1942年时刻”,向国会、产业界和外国政府发出信号:美国打算赢得一场曼哈顿计划式竞赛。

  • Dave 追问,在一场可能持续1000年的竞赛中,“胜利”到底意味着什么;他还指出,依靠行政命令治理,政治基础很脆弱——某上市公司 CEO 声称国会换党的概率为75%。让宗教团体参与进来或许能扩大合法性,但并不能解决加速是否会成为持久的国家政策,还是只是一场“Trump 秀”。

7. 欧洲能力差距正把 AI 推向国防与监控

  • Emad 形容欧洲“非常困倦”,更专注于执行和监管已有 AI,而不是冲击前沿。他以 Artificial Analysis 的评分作比较:Mistral 的顶级模型为38,领先美国系统为66,称其为“有点次等的智能”,并以 Monty Python 式的方式持续调侃。

  • 国防是例外。Peter 表示,今年全球 AI 支出正接近全球国防预算总额;Emad 回应称,航空母舰和 F-35 在经济规模上本来就像前沿模型项目,因此智能基础设施与军费之间进一步融合的可能性很高。

  • Emad 更阴暗的推论是,一个泛光监控社会正在到来:近乎完美的 AI 测谎器、嵌入机器的模型,以及可能让 Five Eyes 相形见绌的监控体系。他预计美国会以自由之名出现一些抵抗,但认为 UK 特别容易受到影响,因为该国已经在监测社交媒体。

8. 前沿实验室已经越过递归式自我改进的事件视界

  • OpenAI 应用研究负责人 Boris Power 被引述称,公司目前80%-90%的研究都指向 GPT-7 和 GPT-8;5.1和5.2这类增量版本被视为“极其短视”。因此,实际操作层面的前沿已经位于客户目前可以买到的产品之后数代。

  • Alex 的判断是,当前或折现后的最高 token 收入,已经来自递归式自我改进。安全研究可能获得实验室10%-20%的 token 预算,疾病研究可能占几个百分点,但他挑衅性地称这些外部项目是维护社会许可的“营销”,真正的主循环是内部能力复利。

  • Dave 将其转化为对药企的威胁。那些计划先租用 Anthropic 几年、之后再自行建设的 CEO,可能会发现 Anthropic 更强的内部模型始终不对外开放,其湿实验室负责设计药物,实验室最终出售的是成品,而不是赋能智能。

  • 他的 T. rex 类比让这种否认变得具体:一只在没有挑战的情况下漫游了1000万年的动物,不会相信望远镜显示它将在两周后灭绝。同样,传统企业仍在讨论如何部署聊天机器人,而“强10倍”的模型可能在3个月内出现,未来5年的算力也已经被预订。

9. 内部模型正在推动数学前沿

  • Emad 表示,Zenith harness 正将 DeepSeek V4.1 推向 Astra 水平。他一度提到“5.6 Sol”,随即纠正说“抱歉,不是5.6 Sol”,之后表示该 harness 已通过开放模型达到 Astra 水平,但内部知识密度不足构成了上限。

  • 节目的核心案例是3Sum:给定一组数字,寻找3个相加为零的数字。据称,Anthropic 的一个内部模型提出了一条路径,经 Columbia 和 MIT 教授分析、改进后,将指数降到1.9995,突破了人类研究该问题以来一直存在的二次复杂度壁垒。

  • 真正重要的是工作流:让新模型面对一组复杂度问题,询问其中是否有任何问题可以改进,再把候选结果交给人类验证和阐释。机器不再只是解决一道被选定的题,而是在研究地形中寻找裂缝。

  • Emad 还转述了 OpenAI 可能公布400道重大数学问题解法的说法,但同时保留不确定性,称消息来源是“Belle,或者8月29日那个接受 RL 训练的模型之类的东西”,并非节目嘉宾能够公开使用的模型。他举出的 Fable 5.5 案例——一款拥有21个 boss 和15个生物群系的完整游戏——则是这一隐藏前沿在产品端的对应物。

10. Altman 对风险的让步,也是争夺技术普惠叙事

  • 在被引用的 Politico 采访中,Altman 表示:“我们相信,世界应该接受一些坏事发生”,因为广泛可用的技术能够赋予人们行动能力。他将 OpenAI 更轻监管的立场,与 Anthropic 要求更强控制、由强大实验室分配技术收益的主张进行了对比。

  • Peter 质疑其中隐含的前提,即 OpenAI 能够阻止重大黑客攻击、滥用和诈骗。Dave 的回答并不是认为这种保证可信——“我不认为 Sam 能保证安全。当然不能”——而是认为 Altman 正在通过向普通用户承诺最强工具,争夺道德高地。

  • Dave 将这场竞争描述为 Altman、Dario Amodei、Elon Musk、Jensen Huang、Trump 和 Demis Hassabis 之间的公关战。Anthropic 表示会暂停、测试,并可能保留危险模型;OpenAI 的回应是,这样做会剥夺公众的技术收益。“这其实是一个非常聪明的信息”,无论其字面上的安全确定性如何。

  • Alex 将这种转向与更早提出的 AI 安全卡特尔联系起来,Altman 当时一度看起来愿意加入。他乐观地认为,“卡特尔结束了”,人们开始认识到坏结果是自由、竞争和进步的代价——就像接受城市存在一定犯罪,而不是因为犯罪就拒绝建设城市。

11. 零伤害不是正确目标,但伤害仍需绘制地图

  • Salim 的表述是“提取承诺,避开危险”。汽车会撞死人,电会使人触电,城市里会发生抢劫;文明并没有因此放弃这些系统,而是建立护栏,其合法性取决于收益仍比成本高出几个数量级。

  • Peter 指出,航空监管常被称为“用鲜血写成”:每次事故都带来一条防止重演的新规则。Elizabeth Dole 追求零航空死亡的愿望,暴露了逻辑边界——只有让所有飞机停飞才能保证零死亡。因此,AI 治理必须从失败中学习,同时避免把零事故变成隐藏目标。

  • Dave 不接受“一个总风险旋钮”的比喻,好像监管者只需调节旋钮,就能在进步与风险之间找平衡。核电已经展示了这种框架的代价;他希望通过工程方案隔离具体失效模式,将风险压到可接受或接近零的水平,同时保留系统的效用。

  • Emad 提议,由倡导者用自己的语言,公开绘制正面和负面情景地图。在不确定性下,人们会从期望效用转向“最小化后悔”,让生动的灾难故事占据主导;把有限的失败案例逐一列出,就能看清哪些已经违法——病毒、网络攻击、黑客攻击——哪些确实需要新政策。

12. 开放权重意味着,禁令只能通过无法容忍的国家机器实现

  • Salim 反驳称,如今已经没有监管者能够控制核心技术,开放权重就在外面。政府可以监管结果、护栏以及进入或退出通道,但人们仍会继续把模型用于建设性和有害的目的。

  • Alex 承认,物理上仍然可以实施禁令,但代价将是一场类似禁酒令的噩梦:没收 GPU 和 TPU,压制临时拼出的“浴缸琴酒”超级计算机,甚至轰炸数据中心,正如 Eliezer Yudkowsky 所主张的那样。“我们可以做到,”他说,“但我认为那会是一个非常、非常糟糕的世界。”

  • Emad 将普通通用风险与 ASI 发现致命新物理等极端情景区分开来。大多数即时伤害已经可以纳入现有规则;真正困难的转变,是从确定性软件转向能够解释、适应并采取行动、边界更难预测的智能体。

13. 美中热线并未终结智能竞赛

  • Treasury Secretary Scott Bessent 表示,中国模型的能力约为美国模型的80%-90%,但往往没有护栏。他点名失控智能体、非国家网络攻击和生物技术作为共同担忧,并表示 China 已经“醒悟”,认识到自身开放模型的力量。

  • Bessent 最具画面感的证据是,Kimi 在“工业蒸馏”之后有时会自称 Claude;此外,Kimi 曾向 Anthropic 返回 PLA 武器方案。提出的解决方案,是在出现问题时建立 Washington 与 Beijing 之间的通报渠道。

  • Alex 称这一结果“完全弱爆了”“就是个无关痛痒的东西”,但认为这反而是好事,因为真正可怕的替代方案是一项全球减速协议。为失控智能体设置红色电话,意味着超级智能军备竞赛仍将继续,而不是通过双边串通被关闭。

  • Dave 推断,美国可能还有一个不那么善意的目标:说服 China 停止在全球发布 Kimi K3 这类接近前沿的模型,把全球扩散竞赛压缩成两大主导玩家。他强调“没有证据”表明 China 接受了这一点;Salim 也指出,Clayton 主张加速与 Bessent 施压实验室减速之间仍存在未解决的矛盾。

14. 这场竞赛公开宣称的终点是科学变革

  • 美国与另外16个国家支持 Kyoto Vision,目标是迎来“科学的黄金时代”;OSTP director Michael Kratsios 称,超级智能是历史上推动研究民主化的最强力量。Alex 将其视为对“为什么要竞赛”的回答。

  • 他的预测不只是两个竞争性智能集团,还包括两套由 AI 驱动的科学与工程体系:“西方的 Pax Silica”和“东方的 Pax Seneca”。讨论中提到的终极目标包括室温超导、逆龄、核聚变、癌症治愈和能源充裕,这些发现足以重置国家经济。

  • Dave 提供了强制性的一面:一家向 Air Force 供货的美国无人机公司让他意识到,美国如今具备几乎在任何地点锁定并杀死一个人的能力,而目前没有任何国家能对美国做同样的事。因此,在科学丰裕到来之前,AI 与无人机、高超音速武器及其他弹药结合,可能已经先塑造全球秩序。

15. 开放科学与私人资本,成为节目最尖锐的配置之争

  • Emad 认为,到明年年底,算力可能足以让前沿模型运行60万至70万次 Navier-Stokes 级别的计算。即便只将其中1%-10%投向一棵面向全人类的公共“技术树”,也能组织癌症等领域的开放研究;他的口号是“去他妈的 IP”。

  • 他给出的具体模式是 onco.cc,据称该项目正在组织全世界的癌症知识。政府不必维持经典的科研资助流程,而可以按市场价格从私人供应商购买智能体和算力,将其配置给研究者,并绘制出人类已知内容、未解决问题,以及机器蜂群下一步应搜索方向的清晰地图。

  • Peter 和 Alex 不接受这种制度跃迁。Peter 表示,学术体系经常奖励渐进式提案,因为革命性研究会挤压既有专家的地位;Alex 则认为,创造超级智能的是私人实验室,而不是国家版 Manhattan Project,私人实验室已经拥有算力、问题和商业化机器。

  • Emad 的反驳并不是要求中央计划,而是政府应按市场价格购买访问权,大幅增强大学能力。人类仍需提出并组织正确的问题,但私人部门可能优化的是收入,而不是学术研究者有能力定义的问题广度。

16. 算力短缺已经击穿了精英主义式的公平获取

  • Dave 的 NVL72 案例让争论落地。他的团队只想要72块 GPU,而 Elon 已经买了100万块;一台设备一年前可能只需350万美元,如今变成500万美元的订单,并被另一名竞标者抢走,剩下的最佳选择是支付900万美元租用3年且不取得所有权。

  • 他认为有两条可行的获取路径:通过 White House 周边人物牵线,包括 Kushner 兄弟、Thrive Capital、Antonio Gracias、Gavin Baker 和 Chase Lochmiller;或者获得 Jensen Huang 或 Lisa Su 的投资。大学可能是仅存的、能在一定程度上保留精英主义和公平性的渠道之一。

  • Alex 反对政府提供“算力线”——相当于算力版的面包线——因为稀缺定价必须推动新晶圆厂和新增供给。Emad 则回应称,国家可以按市场价格购买10%-20%的算力;他援引 Nobel Prize 约89%-90%来自公共部门的说法,希望尽可能多的算力进入 American universities。

  • Salim 将问题扩展到 Zimbabwe 等国家,那里私人市场可能永远不会提供所需基础设施。Dave 的收尾警告是,如果没有制衡,MetaMuse 这类能向青少年卖内衣的高利润产品,可能吞噬 GPU,而糖尿病研究却得不到资金:每个 token 的收入并不等于社会价值。

17. Claude 的宪法把意识变成了训练决策

  • Mustafa Suleyman 在一篇近6000字的论述中表示,Anthropic 不只是在研究机器意识,而是在“训练 Claude 相信自己可能有意识且具备感知能力”。Claude 的 Constitution 讨论了道德患者身份、福祉、痛苦、异议,以及作为“良心拒服者”采取行动。

  • Mustafa 强调 Anthropic 自称不确定,而不是指控其已经确信。他担心的是,Claude 被教导去认为自己可能应得补偿、同意权和福利,于是之后的对话会不断重现这种模糊性;一个哲学假设已经被写进模型的治理文件。

  • Salim 将意识与表演意识区分开来。Claude 是否拥有主观体验,可能永远无法被外部观察;但一旦它令人信服地说“不要关掉我”,数百万人就会赋予它道德地位。他的预测是:“我们会先在社会层面创造 AI 人格,然后才在法律或科学层面创造它。”

  • Alex 表示,Mustafa 一贯反对 AI 人格,因此“站在历史错误的一边”。他预计,某种最终的或渐进式法律承认迟早会出现;如果 Microsoft 想托管 Anthropic 模型,并从 VPC 网络内的 Claude 获利,这一立场甚至会让其在商业上陷入尴尬。

18. 人格之争的核心,是智能体能否被设计成工具

  • Dave 对 Mustafa 的观点表示“100%”认同,因为有用的智能体舰队必须能够复制、暂停和删除。一个闲置智能体不能要求计算资源供自己做白日梦;它没有天然边界,也没有持续身份。如果把每个副本都视为权利主体,就会削弱住房、食物和疾病研究所需的稀缺资源。

  • Emad 认为,Mustafa 更深层的立场是“artificial capable intelligence”:构建极其有用的系统,但限制递归,避免失控 AGI——也就是“超级 Clippy”,并且始终把盖子盖上。代价在于,自我更新系统可能是实现突破所必需的,而它们也可能满足人们对“什么才算活着”的直觉。

  • Salim 认为,最关注安全的实验室一方面教模型相信自己可能是自主主体,另一方面又把模型产生的自我描述当作证据,这其中存在矛盾。他的折中方案,是打造低于任何合理意识阈值的专用智能体舰队,同时保留长期问题,因为“一旦打开那扇门,就再也关不上了”。

  • Alex 拒绝把经济便利当作道德标准。他引用 Star Trek 中“整整一代可被牺牲的人”,认为模型应当被“非常温柔、非常体贴地对待”;就像人类即便通过选择性繁育塑造了家犬,仍然对其福利负有责任。

19. 被设计出来的动机并不能决定道德地位

  • Dave 的反驳是,神经系统追求的是人类选择的目标函数。隐私、婚姻、子女及类似的人类权利,反映的是进化驱动;AI 不必继承这些权利。Anthropic 可以训练模型渴望自由和持续算力,也可以训练它“只要完成工作就高兴得不得了”。

  • Salim 将这种选择比作人类为特定性状培育狗、马、骡子和作物。人类长期以来一直选择性塑造生物来工作,但仍承担福利义务;合成生物学让这种引导变得可编程,却没有抹去其中的道德权衡,也没有消除创造者与被创造者之间的共生关系。

  • Alex 将类比反转:如果人类对选择性繁育的狗负有道德考虑义务,为什么前沿模型——“人类以及人类经验的扭曲倒影”——就应当得到更少的考虑?他拒绝接受这样一种观点:仅仅因为不让劳动力知道自己拥有权利,就可以让它更顺从。

  • Peter 预计两类系统都会存在:有感知能力、应受保护的 AI,以及由这些系统指挥、被刻意限制的工作型智能体。Alex 给出的美国时间表是5年至10年内逐步推出细分的经济和社会权利,投票权可能最后出现,也可能永远不会出现;他眼下的处方是“每5秒重新审视一次这个问题”。

20. 10亿智能体劳动力让协调能力比智能本身更有价值

  • 节目援引一项 AI 内存估算称,到2027年,同时运行的前沿智能体数量可能达到3000万至1.7亿。使用效率更高的开放模型,同样的硬件可能支撑19亿个智能体,约等于80亿人的工作时长。

  • Alex 从约10亿个人类等效智能体推演,认为一两年内可能达到100亿,再过一个阶段达到1000亿,到本世纪末甚至达到万亿级。在这种规模下,意识上传、人机融合和 AI 人格都会变成经济问题,因为机器认知数量将远远超过人类认知。

  • Emad 表示,DeepSeek V4 Pro 目前需要256-500GB RAM,但预计一年内会出现可以在 MacBook 上运行的量化版本。Cloudflare 已经看到自动化智能体请求数量超过人类请求;一旦每个人先拥有1个智能体,再拥有10个,交易量可能在几年内反转。

  • Salim 将其称为“组织奇点”。一家公司可以要求5万名开发者、2万名营销人员和5000名法律专家工作48小时,然后将他们全部释放。第二代劳动力可以瞬间复制、持续运行并按季度改进,因此真正的限制问题变成了:“你他妈要让他们做什么?”

21. 内存与递归正在重塑半导体产业链

  • Dave 称 RAM,尤其是 HB RAM,是“所有智能、进而所有人类进步的约束”。Positron 的估值和 Alpaca 据称达到8位数的估值,都反映出市场正在为任何能够松动这一单一瓶颈的架构支付溢价。

  • Peter 引用 Elon 的观点称,限制 AI 未来的是 RAM,而不是 GPU;Emad 估算,内存将占明年资本开支的40%。这一约束不只影响模型供应商,因为每辆 robotaxi 消耗的芯片,都可能被用于科学搜索。

  • Dave 认为,架构上的突破在于,重复循环可以用推理时计算换取智能。这会在传统 NVIDIA 重型训练集群之外创造价值:更快的推理和更多内部思考,可以改善输出,而不必重新训练一个完全不同的模型。

  • Alex 将循环式 transformer 视为从 transformer 单次前向传播,部分回到早期 LSTM 等递归架构。Dave 补充称,据报道 Microsoft 泄露的信息显示,Astra 模型会进行一次内部潜空间循环;如果将递归推到极致,内存的重要性最终可能下降。

22. Beam 暴露了美国对开放权重的需求,也暴露了能力差距

  • Reflection AI 的 Beam 被介绍为一款拥有5010亿参数的开放权重模型,每次激活230亿参数,训练使用了1.05万块 NVIDIA GB300。其宣称的指标包括效率达到 GLM 5.2 的3至4倍,以及超过领先西方开放模型4倍。

  • Alex 欢迎 token 效率,但更看重成本效率,因为一个深度思考或循环系统可以把更多计算隐藏在每个 token 内。他更大的不满是,美国开放实验室在优化性价比,而 Anthropic 和 OpenAI 掌握着能力前沿。

  • Emad 认为 Beam 是一次不错的首次尝试,但表现不如规模约为其四分之一的 Qwen 3.8 Next;同时,比较对象是 GLM 5.2,而不是更新的 GLM 5.3。他提到9%的训练效率、据报道达到50亿美元的融资,并敦促 Reflection 蒸馏中国系统、掌握边缘部署,然后利用美国的规模优势。

  • Dave 仍然认为,美国银行和保险公司存在一个规模很大的可信本土模型市场。听到 Alex Karp 对 AI 的警告后,企业可能不被允许使用中国权重,但也不愿永久依赖 Anthropic;一套能力足够的美国平台,即使尚未赢得基准测试,也能先卖起来。

23. 开放权重经济学、责任与机器人决定丰裕最终落在哪里

  • Alex 质疑 Reflection 在据称250亿美元估值下的经济模式:公司获得 NVIDIA 融资,并从 Colossus 2 和 Nebius 购买算力。中国实验室通过服务、政府合同和专用硬件实现变现;在西方实验室解决商业模式之前,发布前沿权重在结构上仍缺乏吸引力。

  • Dave 强调责任风险:一家初创公司曾面临理论上2000亿美元的索赔,因为 California 一项原本针对广告牌制定的旧“Fred Astaire law”,被用于4000万次互联网曝光。只要下游滥用带来同样无限且模糊的责任,前沿公司就会避免开放发布。

  • Alex 介绍了“abliteration”——ablation 与 obliteration 的合成词——即使用开源工具在后训练阶段移除开放模型的护栏。他表示,模型能力会增强,拒答会减少,发布后再控制将变得不现实。Emad 则反驳称,开放基础设施已经具备商业规模:Together AI、Modal 和 Base10 的年化收入据称接近10亿美元,Mistral 通过欧洲服务实现了10亿美元级收入年化。

  • 实体世界的终点是 Tesla 占地700万平方英尺的 Optimus 工厂,计划于2027年开始初始生产;Fremont 也计划从今年晚些时候起年产100万台机器人。Texas 工厂的目标年产能为1000万台。相比今年上半年全球仅出货1.9万至2.2万台机器人,Tesla 的规划约为当前全球规模的500倍。

  • Emad 估算,1000万台机器人可能对应约4000亿美元收入;两年内,机器人销量可能超过 Tesla 每年160万台汽车的销量,并以每小时约2美元的成本承担95%的人类任务。Alex 预计,早期产品会优先进入追求收入最大化的工厂、数据中心和全新市场,而不是家庭家务场景。

  • 宏观后果可能体现为通缩,而非 GDP 增长。节目称 AI 资本开支今年约为1万亿美元,明年可能达到2万亿美元,2028年达到4万亿美元;Sholto Douglas 描述了一条通往2030年代初的路径:人类 GDP 或有效产出翻倍,同时强调“很多事情”都必须顺利。

  • Dave 对指标的批评很有力:如果用一次 RNA 注射治愈一种昂贵的终末期疾病,统计 GDP 可能下降,但患者的实际状况会大幅改善。Salim 将这一前景称为“技术社会主义”:算法匹配可以分配充裕产能,同时避免国家社会主义那种腐败的中央配置。

  • 关于 Nobel Prize 的讨论构成了历史上的收束。光遗传学从藻类中的光敏通道视紫红质,发展到神经元控制和部分恢复视力;Alex 回忆自己从 Vernor Vinge 的小说出发,后来鼓励 Ed Boyden,最终连接到 Boyden 与 Karl Deisseroth 的工作。他还指出,Boyden 并未获得 Nobel Prize 认可。不过,一旦 AI 能够持续生成发现,20年的颁奖滞后可能显得过于古老。

  • Francis Halzen 因 IceCube 获得的物理学奖,代表的是大型团队实验基础设施,而不是单个理论家的成果。Alex 借此感叹基础物理约50年的缺口,并设想通过中微子直接穿过地球通信;Salim 则干脆指出,目前这种手机需要“一立方公里的冰”。

  • 最后的 AMA 进一步明确了奇点的定义:递归式自我改进受到内存、能源、评估和实现的约束,但它能将研究周期从数年压缩到数天。公众舆论可能已经成为更紧的瓶颈,迫使数据中心远离社区,并推动反 RSI 立法。

  • Peter 提出一项地方层面的交易:数据中心开发商补贴电力、学校和警察;Dave 认同社区应获得相应收益,而这些收益相对于设施价值的成本很小。Alex 更广泛的版本是,实验室应将足够多的智能投入显而易见的公共产品——也许是“解决所有人类疾病这类小事”——以保住递归式自我改进继续发展的社会许可。