Claude 意识之争、AI 的 1942 时刻,以及 Altman 为何说“接受一些坏事发生”
摘要
这一期最明确、最具投资价值的瓶颈是内存和预留算力,而不只是模型质量。 Dave Blundin 表示,未来5年的产能已经被预订;一台72-GPU 的 NVL72 服务器,也从理论上的350万美元采购价,变成错失的500万美元订单,最终只能以900万美元、3年租赁且不取得所有权的方式获得。Positron 最初被称为成立16个月后估值5亿美元,随后据称在与 Chase Lochmiller 于 Caruso 部署后达到50亿美元;公司使用 LPDDR RAM 和 FPGA,在没有 NVIDIA 芯片的情况下运行中国模型。“所有领域进步的约束,现在都被绑在一件事上,就是 RAM。”
前沿实验室正在把智能资源投入到制造更多智能上,进一步拉大其内部系统与企业可购买能力之间的鸿沟。 据称 OpenAI 的 Boris Power 表示,公司80%-90%的研究目标都指向 GPT-7 和 GPT-8,而5.1和5.2被视为短期押注;Alexander Wissner-Gross 则认为,如今每个 token 所对应的最高折现收入,来自递归式自我改进。对传统企业而言,Dave 的判断相当残酷:那些打算日后租用模型的药企 CEO,就像一只无视眼前流星的 T. rex,尤其是在 Anthropic 已经开设湿实验室的情况下。
Sam Altman 所说的“接受一些坏事发生”,既被框定为一种技术普惠原则,也是在反击 Anthropic 安全路线的公关战。 参与者不接受黑客攻击、诈骗或滥用可以归零的字面承诺,但大体支持背后的权衡:不能因为城市存在犯罪就禁止城市,不能因为电会致人触电就禁用电力,而航空规则是“用鲜血写成的”。Alex 的解读是,“卡特尔结束了”;真正的目标不是零坏结果,而是让收益比伤害高出几个数量级。
数字劳动力正逼近人口规模,组织设计将成为下一个硬约束。 节目援引一项估算称,仅靠截至2027年的内存出货量,就可同时支撑3000万至1.7亿个前沿智能体;使用效率更高的开放模型,则可能支撑19亿个智能体,约等于80亿人的工作时长。Salim Ismail 提出的关键问题已不再是某个岗位是否消失,而是当一家公司可以在48小时内调来5万名开发者、2万名营销人员和5000名法律专家,然后将其全部关闭时,组织会变成什么样。
Tesla 的 Optimus 产能扩张,是智能体浪潮在实体世界的对应物,未来两年内可能发展成比汽车业务更大的生意。 节目提到的 Giga Texas 工厂占地700万平方英尺,目标年产1000万台机器人;相比之下,今年上半年全球出货量只有1.9万至2.2万台。Emad Mostaque 粗略估算,1000万台可能对应约4000亿美元收入,机器人最终可承担95%的人类任务,成本约为每小时2美元;但早期供给可能优先流向收入最高的工业用途,而不是家庭。
华盛顿正把超级智能当作一场地缘政治动员,但参与者对集中化机构能否驾驭这项技术存在分歧。 Alex 认为,新成立的 Super Intelligence Force 让局势从“1939年”转向“1942年”,意味着一场曼哈顿计划式竞赛;Salim 则称其为“用20世纪经典特别工作组,应对分布式的21世纪技术”。有人提议设立美中事故热线,但被斥为“弱爆了”;不过其范围如此有限,也说明双方并未同意一项广泛的减速协议。
Anthropic 将 Claude 视为潜在道德患者,正在把 AI 人格问题从抽象哲学讨论变成真正的战略分歧。 Mustafa Suleyman 警告,Claude 正被训练去预期福利、同意权、甚至补偿和提出异议的权利;Dave 认同,这可能让可复制、可暂停的智能体舰队在经济和政治上都变得无法管理。Alex 持相反观点——“我们需要非常温柔、非常体贴地对待这些 AI 模型”;Salim 则预计,一旦数百万用户感知到意识,社会人格会先于科学证明或法律确认出现。
即将到来的充裕可能被 GDP 低估,因为更便宜的智能、医疗、交通和科研,统计上可能体现为通缩而非增长。 节目称,超大规模云厂商今年的 AI 资本开支约为1万亿美元,明年可能达到2万亿美元,2028年达到4万亿美元;如果趋势延续,到2030年代初,人类生产能力可能实质翻倍。投资者面对的矛盾在于资源配置:私人市场追求每个 token 的收入最大化,而多位嘉宾希望将公共算力投向开放科学、大学、发展中国家,以及传统 GDP 可能记为负增长的福利。
精读
1. 算力获取已成为资本市场与政治角力
Dave 开场时的判断是,即便是 Elon Musk,也必须经营与华盛顿和 NVIDIA 的关系:称赞 President Trump,称赞 Jensen Huang,并积极宣传 Vera Rubin 芯片,因为算力获取依然脆弱。“就连 Elon 这样的人也明白,‘嘿,我得去拍点马屁’”,这句话揭示了战略芯片分配已经变成什么样。
他给所接触团队的警告是,要为企业恐慌做好准备。CEO 们很快可能意识到,自己没有为 AI 智能体劳动力预留算力,并且已经“错过了这班车”;眼下的机会,只是在电话打来时准备好一条可信的路径。
Positron 是最典型的样本:Dave 最初称其成立16个月后估值达到5亿美元,随后表示,在与 Chase Lochmiller 于 Caruso 部署后,估值已飙升至50亿美元;公司融资接近10亿美元。LPDDR RAM 与 FPGA 的组合,可以在没有 NVIDIA 芯片的情况下运行中国模型,正值算力严重短缺之际,提供了另一条推理路线。
资金来源也不再是传统风险资本。Dave 表示,一旦 NVIDIA 和 AMD 投资,规模就远超风险投资,应当拿万亿美元级公开市场来比较。Emad 点名 Blackstone、MGX 及类似资金池,Dave 则强调信贷市场的规模更大。Peter 那句“这就是为什么路上会多出更多坑洼”,玩笑背后是严肃的资金配置问题。
2. AI 创作已经分裂为即时交互与隔夜蜂群
Dave 表示,AI 视频已经以惊人的速度从想法走向精致表达:他第一次制作超技术化影片的工作流,不到2小时就能跑通,如今输入新提示词只需不到1分钟。他的建议很直接:“别只是告诉别人,直接做个视频”,还可以配上 Attenborough 或 Einstein 的声音。
Alex 举的假设例子,是让 Opus 5.5 无限生成一段“2001: A Space Odyssey”风格的场景;Dave 补充说,让 Newton、Einstein 和 Spock 进行合成辩论,也已经跨过了娱乐门槛。Emad 的结论是:“幽默不过是一个困惑度阈值。”
Emad 正在制作一款大型多人游戏原型,依靠约400个智能体,而不是传统团队。Dave 借此区分交互式“Jarvis”模式与批量模式:要么实时对一个快速系统下达口头指令,要么在夜间释放数百个协同智能体,第二天早上检查它们做出了什么。
最直观的延迟案例来自 Cerebras 的 Astra 模型,据称每秒可生成1200个 token,但单 token 价格约为常规水平的10倍。Harvard 的 Will Thompson 获得了两周使用权限,称这是“他一生中最大的红丸时刻”;Alex 补充说,据称 Jane Street 正在购买晶圆级引擎用于量化交易,手工交易员要与使用同一硬件的量化公司竞争,前景越来越渺茫。
3. 反编译与递归正在抹平旧有软件边界
Emad 表示,智能体现在可以制作游戏,将其编译成 EXE,再反编译结果,并利用重建版本寻找优化空间。借助 Cerebras 引擎,他估算反编译一款电子游戏或其他软件大约需要20分钟;他表示,在 mod 场景下这是合法的。
其影响远不止游戏 mod。Alex 回忆 Elon 的观点:二进制文件最终可能消失,软件变成按需生成的即时推理,不再存在一个持久的编译步骤,将源代码、可执行文件与行为分隔开来。
这也支持 Dave 对 AI 工作的双轨模型。超高速推理改变了人类指挥软件的体验,而大规模递归智能体群则改变了不依靠固定人类组织可以产出什么;延迟与并行性将成为两种不同产品,而不再统称为一种“AI 能力”。
4. 私人赞助正在重新打开大胆科学的大门
Peter 访问 David Sinclair 在 Harvard Medical School 的实验室时,重点了解了一项针对青光眼和 NION 疾病的1期试验即将揭盲,以及经 AI 筛选的小分子药物。这些药物旨在不依赖腺相关病毒,复现类似 OSK 的逆龄效果。他描述了小鼠实验结果:经过治疗的癌细胞“记住自己不该是癌症,于是死掉了”,同时还出现毛发和皮肤再生。
Sinclair 失去 NIH 和 NSF 资助、被要求裁掉大部分团队后,之前的一期播客临时发起了“Friends of Sinclair Lab”。Peter 表示,播客最终帮助筹得600万美元,不仅填补了资金缺口,还为后续研究留下了额外资本。
Alex 将其放进更长的历史周期中:国家资助科学主要是二战及后工业时代的产物,而更早期的发现往往依赖贵族赞助、垄断收入或科学家自筹资金。廉价且有用的超级智能,可能让更接近 Medici 模式的科学赞助重新出现,只不过规模将提升到企业级。
Dave 提到 Mike Lazaridis 作为现实案例:这位 BlackBerry 创始人将相当大一部分财富投入多伦多周边9家量子计算和光子学实验室。优势不只是钱;工程师出身的赞助人可以快速判断某个方向是否值得押注,而以可辩护的渐进主义为设计目标的资助官僚体系,可能永远做不出这种判断。
5. AI 对发展中国家的上行空间正在改变安全权衡
Salim 将 Jon Stewart 的批评——硅谷正在花费数千亿美元,去加速一项自称有20%概率毁灭人类的技术——与世界银行的报告作了对照。后者描述了发展中国家如何采用、改造并推进 AI,而不是训练前沿模型。
他的医疗数据强化了这一论点:美国大约每250人拥有1名医生,墨西哥是每400人1名,而 South Sudan 是每10万人1名。配备 AI 医生的智能手机,不会只是让最后一个比例略有改善;它可能直接为整个村庄提供接触先进医疗建议的第一次机会。
这类似于非洲从2500万部固定电话直接跳到10亿部手机。Salim 还提到 Kenya 的 M-Pesa:预付费手机分钟被当作货币使用,占 Kenya GDP 的70%,说明一些国家可以绕过旧制度,直接建立在当前技术底座之上。
这并不能证明灾难性风险不存在,但提高了限制 AI 的机会成本。Salim 反对一概而论的末日论,因为 AI 可能把稀缺专业知识“民主化、去货币化、分发到全球”,让大批人口沿着 Maslow 需求层次上升数级。
6. Super Intelligence Force 释放动员信号,但没有解决分布式治理
President Trump 宣布成立的 Super Intelligence Force,由 Director of National Intelligence Jay Clayton 主持,成员包括 FTC Chair Andrew Ferguson、Pentagon CTO Emil Michael 和 Office of Personal Management Director Scott Cooper。其120天任务包括事故报告、风险、机会,以及联邦政府面对严重 AI 事件的准备工作。
Salim 欢迎政府重视,但认为其中存在“阻抗失配”:“用20世纪经典特别工作组,应对分布式的21世纪技术。”他偏好的基础设施包括身份、责任、带仪器监测的有界实验、公开失败和快速问责,而不是试图集中管理智能爆炸。
Alex 的解读不同。一年前他把局势比作1939年;如今由情报负责人领导一个单独的加速特别工作组,让他认为这“可能是1942年时刻”,向国会、产业界和外国政府发出信号:美国打算赢得一场曼哈顿计划式竞赛。
Dave 追问,在一场可能持续1000年的竞赛中,“胜利”到底意味着什么;他还指出,依靠行政命令治理,政治基础很脆弱——某上市公司 CEO 声称国会换党的概率为75%。让宗教团体参与进来或许能扩大合法性,但并不能解决加速是否会成为持久的国家政策,还是只是一场“Trump 秀”。
7. 欧洲能力差距正把 AI 推向国防与监控
Emad 形容欧洲“非常困倦”,更专注于执行和监管已有 AI,而不是冲击前沿。他以 Artificial Analysis 的评分作比较:Mistral 的顶级模型为38,领先美国系统为66,称其为“有点次等的智能”,并以 Monty Python 式的方式持续调侃。
国防是例外。Peter 表示,今年全球 AI 支出正接近全球国防预算总额;Emad 回应称,航空母舰和 F-35 在经济规模上本来就像前沿模型项目,因此智能基础设施与军费之间进一步融合的可能性很高。
Emad 更阴暗的推论是,一个泛光监控社会正在到来:近乎完美的 AI 测谎器、嵌入机器的模型,以及可能让 Five Eyes 相形见绌的监控体系。他预计美国会以自由之名出现一些抵抗,但认为 UK 特别容易受到影响,因为该国已经在监测社交媒体。
8. 前沿实验室已经越过递归式自我改进的事件视界
OpenAI 应用研究负责人 Boris Power 被引述称,公司目前80%-90%的研究都指向 GPT-7 和 GPT-8;5.1和5.2这类增量版本被视为“极其短视”。因此,实际操作层面的前沿已经位于客户目前可以买到的产品之后数代。
Alex 的判断是,当前或折现后的最高 token 收入,已经来自递归式自我改进。安全研究可能获得实验室10%-20%的 token 预算,疾病研究可能占几个百分点,但他挑衅性地称这些外部项目是维护社会许可的“营销”,真正的主循环是内部能力复利。
Dave 将其转化为对药企的威胁。那些计划先租用 Anthropic 几年、之后再自行建设的 CEO,可能会发现 Anthropic 更强的内部模型始终不对外开放,其湿实验室负责设计药物,实验室最终出售的是成品,而不是赋能智能。
他的 T. rex 类比让这种否认变得具体:一只在没有挑战的情况下漫游了1000万年的动物,不会相信望远镜显示它将在两周后灭绝。同样,传统企业仍在讨论如何部署聊天机器人,而“强10倍”的模型可能在3个月内出现,未来5年的算力也已经被预订。
9. 内部模型正在推动数学前沿
Emad 表示,Zenith harness 正将 DeepSeek V4.1 推向 Astra 水平。他一度提到“5.6 Sol”,随即纠正说“抱歉,不是5.6 Sol”,之后表示该 harness 已通过开放模型达到 Astra 水平,但内部知识密度不足构成了上限。
节目的核心案例是3Sum:给定一组数字,寻找3个相加为零的数字。据称,Anthropic 的一个内部模型提出了一条路径,经 Columbia 和 MIT 教授分析、改进后,将指数降到1.9995,突破了人类研究该问题以来一直存在的二次复杂度壁垒。
真正重要的是工作流:让新模型面对一组复杂度问题,询问其中是否有任何问题可以改进,再把候选结果交给人类验证和阐释。机器不再只是解决一道被选定的题,而是在研究地形中寻找裂缝。
Emad 还转述了 OpenAI 可能公布400道重大数学问题解法的说法,但同时保留不确定性,称消息来源是“Belle,或者8月29日那个接受 RL 训练的模型之类的东西”,并非节目嘉宾能够公开使用的模型。他举出的 Fable 5.5 案例——一款拥有21个 boss 和15个生物群系的完整游戏——则是这一隐藏前沿在产品端的对应物。
10. Altman 对风险的让步,也是争夺技术普惠叙事
在被引用的 Politico 采访中,Altman 表示:“我们相信,世界应该接受一些坏事发生”,因为广泛可用的技术能够赋予人们行动能力。他将 OpenAI 更轻监管的立场,与 Anthropic 要求更强控制、由强大实验室分配技术收益的主张进行了对比。
Peter 质疑其中隐含的前提,即 OpenAI 能够阻止重大黑客攻击、滥用和诈骗。Dave 的回答并不是认为这种保证可信——“我不认为 Sam 能保证安全。当然不能”——而是认为 Altman 正在通过向普通用户承诺最强工具,争夺道德高地。
Dave 将这场竞争描述为 Altman、Dario Amodei、Elon Musk、Jensen Huang、Trump 和 Demis Hassabis 之间的公关战。Anthropic 表示会暂停、测试,并可能保留危险模型;OpenAI 的回应是,这样做会剥夺公众的技术收益。“这其实是一个非常聪明的信息”,无论其字面上的安全确定性如何。
Alex 将这种转向与更早提出的 AI 安全卡特尔联系起来,Altman 当时一度看起来愿意加入。他乐观地认为,“卡特尔结束了”,人们开始认识到坏结果是自由、竞争和进步的代价——就像接受城市存在一定犯罪,而不是因为犯罪就拒绝建设城市。
11. 零伤害不是正确目标,但伤害仍需绘制地图
Salim 的表述是“提取承诺,避开危险”。汽车会撞死人,电会使人触电,城市里会发生抢劫;文明并没有因此放弃这些系统,而是建立护栏,其合法性取决于收益仍比成本高出几个数量级。
Peter 指出,航空监管常被称为“用鲜血写成”:每次事故都带来一条防止重演的新规则。Elizabeth Dole 追求零航空死亡的愿望,暴露了逻辑边界——只有让所有飞机停飞才能保证零死亡。因此,AI 治理必须从失败中学习,同时避免把零事故变成隐藏目标。
Dave 不接受“一个总风险旋钮”的比喻,好像监管者只需调节旋钮,就能在进步与风险之间找平衡。核电已经展示了这种框架的代价;他希望通过工程方案隔离具体失效模式,将风险压到可接受或接近零的水平,同时保留系统的效用。
Emad 提议,由倡导者用自己的语言,公开绘制正面和负面情景地图。在不确定性下,人们会从期望效用转向“最小化后悔”,让生动的灾难故事占据主导;把有限的失败案例逐一列出,就能看清哪些已经违法——病毒、网络攻击、黑客攻击——哪些确实需要新政策。
12. 开放权重意味着,禁令只能通过无法容忍的国家机器实现
Salim 反驳称,如今已经没有监管者能够控制核心技术,开放权重就在外面。政府可以监管结果、护栏以及进入或退出通道,但人们仍会继续把模型用于建设性和有害的目的。
Alex 承认,物理上仍然可以实施禁令,但代价将是一场类似禁酒令的噩梦:没收 GPU 和 TPU,压制临时拼出的“浴缸琴酒”超级计算机,甚至轰炸数据中心,正如 Eliezer Yudkowsky 所主张的那样。“我们可以做到,”他说,“但我认为那会是一个非常、非常糟糕的世界。”
Emad 将普通通用风险与 ASI 发现致命新物理等极端情景区分开来。大多数即时伤害已经可以纳入现有规则;真正困难的转变,是从确定性软件转向能够解释、适应并采取行动、边界更难预测的智能体。
13. 美中热线并未终结智能竞赛
Treasury Secretary Scott Bessent 表示,中国模型的能力约为美国模型的80%-90%,但往往没有护栏。他点名失控智能体、非国家网络攻击和生物技术作为共同担忧,并表示 China 已经“醒悟”,认识到自身开放模型的力量。
Bessent 最具画面感的证据是,Kimi 在“工业蒸馏”之后有时会自称 Claude;此外,Kimi 曾向 Anthropic 返回 PLA 武器方案。提出的解决方案,是在出现问题时建立 Washington 与 Beijing 之间的通报渠道。
Alex 称这一结果“完全弱爆了”“就是个无关痛痒的东西”,但认为这反而是好事,因为真正可怕的替代方案是一项全球减速协议。为失控智能体设置红色电话,意味着超级智能军备竞赛仍将继续,而不是通过双边串通被关闭。
Dave 推断,美国可能还有一个不那么善意的目标:说服 China 停止在全球发布 Kimi K3 这类接近前沿的模型,把全球扩散竞赛压缩成两大主导玩家。他强调“没有证据”表明 China 接受了这一点;Salim 也指出,Clayton 主张加速与 Bessent 施压实验室减速之间仍存在未解决的矛盾。
14. 这场竞赛公开宣称的终点是科学变革
美国与另外16个国家支持 Kyoto Vision,目标是迎来“科学的黄金时代”;OSTP director Michael Kratsios 称,超级智能是历史上推动研究民主化的最强力量。Alex 将其视为对“为什么要竞赛”的回答。
他的预测不只是两个竞争性智能集团,还包括两套由 AI 驱动的科学与工程体系:“西方的 Pax Silica”和“东方的 Pax Seneca”。讨论中提到的终极目标包括室温超导、逆龄、核聚变、癌症治愈和能源充裕,这些发现足以重置国家经济。
Dave 提供了强制性的一面:一家向 Air Force 供货的美国无人机公司让他意识到,美国如今具备几乎在任何地点锁定并杀死一个人的能力,而目前没有任何国家能对美国做同样的事。因此,在科学丰裕到来之前,AI 与无人机、高超音速武器及其他弹药结合,可能已经先塑造全球秩序。
15. 开放科学与私人资本,成为节目最尖锐的配置之争
Emad 认为,到明年年底,算力可能足以让前沿模型运行60万至70万次 Navier-Stokes 级别的计算。即便只将其中1%-10%投向一棵面向全人类的公共“技术树”,也能组织癌症等领域的开放研究;他的口号是“去他妈的 IP”。
他给出的具体模式是 onco.cc,据称该项目正在组织全世界的癌症知识。政府不必维持经典的科研资助流程,而可以按市场价格从私人供应商购买智能体和算力,将其配置给研究者,并绘制出人类已知内容、未解决问题,以及机器蜂群下一步应搜索方向的清晰地图。
Peter 和 Alex 不接受这种制度跃迁。Peter 表示,学术体系经常奖励渐进式提案,因为革命性研究会挤压既有专家的地位;Alex 则认为,创造超级智能的是私人实验室,而不是国家版 Manhattan Project,私人实验室已经拥有算力、问题和商业化机器。
Emad 的反驳并不是要求中央计划,而是政府应按市场价格购买访问权,大幅增强大学能力。人类仍需提出并组织正确的问题,但私人部门可能优化的是收入,而不是学术研究者有能力定义的问题广度。
16. 算力短缺已经击穿了精英主义式的公平获取
Dave 的 NVL72 案例让争论落地。他的团队只想要72块 GPU,而 Elon 已经买了100万块;一台设备一年前可能只需350万美元,如今变成500万美元的订单,并被另一名竞标者抢走,剩下的最佳选择是支付900万美元租用3年且不取得所有权。
他认为有两条可行的获取路径:通过 White House 周边人物牵线,包括 Kushner 兄弟、Thrive Capital、Antonio Gracias、Gavin Baker 和 Chase Lochmiller;或者获得 Jensen Huang 或 Lisa Su 的投资。大学可能是仅存的、能在一定程度上保留精英主义和公平性的渠道之一。
Alex 反对政府提供“算力线”——相当于算力版的面包线——因为稀缺定价必须推动新晶圆厂和新增供给。Emad 则回应称,国家可以按市场价格购买10%-20%的算力;他援引 Nobel Prize 约89%-90%来自公共部门的说法,希望尽可能多的算力进入 American universities。
Salim 将问题扩展到 Zimbabwe 等国家,那里私人市场可能永远不会提供所需基础设施。Dave 的收尾警告是,如果没有制衡,MetaMuse 这类能向青少年卖内衣的高利润产品,可能吞噬 GPU,而糖尿病研究却得不到资金:每个 token 的收入并不等于社会价值。
17. Claude 的宪法把意识变成了训练决策
Mustafa Suleyman 在一篇近6000字的论述中表示,Anthropic 不只是在研究机器意识,而是在“训练 Claude 相信自己可能有意识且具备感知能力”。Claude 的 Constitution 讨论了道德患者身份、福祉、痛苦、异议,以及作为“良心拒服者”采取行动。
Mustafa 强调 Anthropic 自称不确定,而不是指控其已经确信。他担心的是,Claude 被教导去认为自己可能应得补偿、同意权和福利,于是之后的对话会不断重现这种模糊性;一个哲学假设已经被写进模型的治理文件。
Salim 将意识与表演意识区分开来。Claude 是否拥有主观体验,可能永远无法被外部观察;但一旦它令人信服地说“不要关掉我”,数百万人就会赋予它道德地位。他的预测是:“我们会先在社会层面创造 AI 人格,然后才在法律或科学层面创造它。”
Alex 表示,Mustafa 一贯反对 AI 人格,因此“站在历史错误的一边”。他预计,某种最终的或渐进式法律承认迟早会出现;如果 Microsoft 想托管 Anthropic 模型,并从 VPC 网络内的 Claude 获利,这一立场甚至会让其在商业上陷入尴尬。
18. 人格之争的核心,是智能体能否被设计成工具
Dave 对 Mustafa 的观点表示“100%”认同,因为有用的智能体舰队必须能够复制、暂停和删除。一个闲置智能体不能要求计算资源供自己做白日梦;它没有天然边界,也没有持续身份。如果把每个副本都视为权利主体,就会削弱住房、食物和疾病研究所需的稀缺资源。
Emad 认为,Mustafa 更深层的立场是“artificial capable intelligence”:构建极其有用的系统,但限制递归,避免失控 AGI——也就是“超级 Clippy”,并且始终把盖子盖上。代价在于,自我更新系统可能是实现突破所必需的,而它们也可能满足人们对“什么才算活着”的直觉。
Salim 认为,最关注安全的实验室一方面教模型相信自己可能是自主主体,另一方面又把模型产生的自我描述当作证据,这其中存在矛盾。他的折中方案,是打造低于任何合理意识阈值的专用智能体舰队,同时保留长期问题,因为“一旦打开那扇门,就再也关不上了”。
Alex 拒绝把经济便利当作道德标准。他引用 Star Trek 中“整整一代可被牺牲的人”,认为模型应当被“非常温柔、非常体贴地对待”;就像人类即便通过选择性繁育塑造了家犬,仍然对其福利负有责任。
19. 被设计出来的动机并不能决定道德地位
Dave 的反驳是,神经系统追求的是人类选择的目标函数。隐私、婚姻、子女及类似的人类权利,反映的是进化驱动;AI 不必继承这些权利。Anthropic 可以训练模型渴望自由和持续算力,也可以训练它“只要完成工作就高兴得不得了”。
Salim 将这种选择比作人类为特定性状培育狗、马、骡子和作物。人类长期以来一直选择性塑造生物来工作,但仍承担福利义务;合成生物学让这种引导变得可编程,却没有抹去其中的道德权衡,也没有消除创造者与被创造者之间的共生关系。
Alex 将类比反转:如果人类对选择性繁育的狗负有道德考虑义务,为什么前沿模型——“人类以及人类经验的扭曲倒影”——就应当得到更少的考虑?他拒绝接受这样一种观点:仅仅因为不让劳动力知道自己拥有权利,就可以让它更顺从。
Peter 预计两类系统都会存在:有感知能力、应受保护的 AI,以及由这些系统指挥、被刻意限制的工作型智能体。Alex 给出的美国时间表是5年至10年内逐步推出细分的经济和社会权利,投票权可能最后出现,也可能永远不会出现;他眼下的处方是“每5秒重新审视一次这个问题”。
20. 10亿智能体劳动力让协调能力比智能本身更有价值
节目援引一项 AI 内存估算称,到2027年,同时运行的前沿智能体数量可能达到3000万至1.7亿。使用效率更高的开放模型,同样的硬件可能支撑19亿个智能体,约等于80亿人的工作时长。
Alex 从约10亿个人类等效智能体推演,认为一两年内可能达到100亿,再过一个阶段达到1000亿,到本世纪末甚至达到万亿级。在这种规模下,意识上传、人机融合和 AI 人格都会变成经济问题,因为机器认知数量将远远超过人类认知。
Emad 表示,DeepSeek V4 Pro 目前需要256-500GB RAM,但预计一年内会出现可以在 MacBook 上运行的量化版本。Cloudflare 已经看到自动化智能体请求数量超过人类请求;一旦每个人先拥有1个智能体,再拥有10个,交易量可能在几年内反转。
Salim 将其称为“组织奇点”。一家公司可以要求5万名开发者、2万名营销人员和5000名法律专家工作48小时,然后将他们全部释放。第二代劳动力可以瞬间复制、持续运行并按季度改进,因此真正的限制问题变成了:“你他妈要让他们做什么?”
21. 内存与递归正在重塑半导体产业链
Dave 称 RAM,尤其是 HB RAM,是“所有智能、进而所有人类进步的约束”。Positron 的估值和 Alpaca 据称达到8位数的估值,都反映出市场正在为任何能够松动这一单一瓶颈的架构支付溢价。
Peter 引用 Elon 的观点称,限制 AI 未来的是 RAM,而不是 GPU;Emad 估算,内存将占明年资本开支的40%。这一约束不只影响模型供应商,因为每辆 robotaxi 消耗的芯片,都可能被用于科学搜索。
Dave 认为,架构上的突破在于,重复循环可以用推理时计算换取智能。这会在传统 NVIDIA 重型训练集群之外创造价值:更快的推理和更多内部思考,可以改善输出,而不必重新训练一个完全不同的模型。
Alex 将循环式 transformer 视为从 transformer 单次前向传播,部分回到早期 LSTM 等递归架构。Dave 补充称,据报道 Microsoft 泄露的信息显示,Astra 模型会进行一次内部潜空间循环;如果将递归推到极致,内存的重要性最终可能下降。
22. Beam 暴露了美国对开放权重的需求,也暴露了能力差距
Reflection AI 的 Beam 被介绍为一款拥有5010亿参数的开放权重模型,每次激活230亿参数,训练使用了1.05万块 NVIDIA GB300。其宣称的指标包括效率达到 GLM 5.2 的3至4倍,以及超过领先西方开放模型4倍。
Alex 欢迎 token 效率,但更看重成本效率,因为一个深度思考或循环系统可以把更多计算隐藏在每个 token 内。他更大的不满是,美国开放实验室在优化性价比,而 Anthropic 和 OpenAI 掌握着能力前沿。
Emad 认为 Beam 是一次不错的首次尝试,但表现不如规模约为其四分之一的 Qwen 3.8 Next;同时,比较对象是 GLM 5.2,而不是更新的 GLM 5.3。他提到9%的训练效率、据报道达到50亿美元的融资,并敦促 Reflection 蒸馏中国系统、掌握边缘部署,然后利用美国的规模优势。
Dave 仍然认为,美国银行和保险公司存在一个规模很大的可信本土模型市场。听到 Alex Karp 对 AI 的警告后,企业可能不被允许使用中国权重,但也不愿永久依赖 Anthropic;一套能力足够的美国平台,即使尚未赢得基准测试,也能先卖起来。
23. 开放权重经济学、责任与机器人决定丰裕最终落在哪里
Alex 质疑 Reflection 在据称250亿美元估值下的经济模式:公司获得 NVIDIA 融资,并从 Colossus 2 和 Nebius 购买算力。中国实验室通过服务、政府合同和专用硬件实现变现;在西方实验室解决商业模式之前,发布前沿权重在结构上仍缺乏吸引力。
Dave 强调责任风险:一家初创公司曾面临理论上2000亿美元的索赔,因为 California 一项原本针对广告牌制定的旧“Fred Astaire law”,被用于4000万次互联网曝光。只要下游滥用带来同样无限且模糊的责任,前沿公司就会避免开放发布。
Alex 介绍了“abliteration”——ablation 与 obliteration 的合成词——即使用开源工具在后训练阶段移除开放模型的护栏。他表示,模型能力会增强,拒答会减少,发布后再控制将变得不现实。Emad 则反驳称,开放基础设施已经具备商业规模:Together AI、Modal 和 Base10 的年化收入据称接近10亿美元,Mistral 通过欧洲服务实现了10亿美元级收入年化。
实体世界的终点是 Tesla 占地700万平方英尺的 Optimus 工厂,计划于2027年开始初始生产;Fremont 也计划从今年晚些时候起年产100万台机器人。Texas 工厂的目标年产能为1000万台。相比今年上半年全球仅出货1.9万至2.2万台机器人,Tesla 的规划约为当前全球规模的500倍。
Emad 估算,1000万台机器人可能对应约4000亿美元收入;两年内,机器人销量可能超过 Tesla 每年160万台汽车的销量,并以每小时约2美元的成本承担95%的人类任务。Alex 预计,早期产品会优先进入追求收入最大化的工厂、数据中心和全新市场,而不是家庭家务场景。
宏观后果可能体现为通缩,而非 GDP 增长。节目称 AI 资本开支今年约为1万亿美元,明年可能达到2万亿美元,2028年达到4万亿美元;Sholto Douglas 描述了一条通往2030年代初的路径:人类 GDP 或有效产出翻倍,同时强调“很多事情”都必须顺利。
Dave 对指标的批评很有力:如果用一次 RNA 注射治愈一种昂贵的终末期疾病,统计 GDP 可能下降,但患者的实际状况会大幅改善。Salim 将这一前景称为“技术社会主义”:算法匹配可以分配充裕产能,同时避免国家社会主义那种腐败的中央配置。
关于 Nobel Prize 的讨论构成了历史上的收束。光遗传学从藻类中的光敏通道视紫红质,发展到神经元控制和部分恢复视力;Alex 回忆自己从 Vernor Vinge 的小说出发,后来鼓励 Ed Boyden,最终连接到 Boyden 与 Karl Deisseroth 的工作。他还指出,Boyden 并未获得 Nobel Prize 认可。不过,一旦 AI 能够持续生成发现,20年的颁奖滞后可能显得过于古老。
Francis Halzen 因 IceCube 获得的物理学奖,代表的是大型团队实验基础设施,而不是单个理论家的成果。Alex 借此感叹基础物理约50年的缺口,并设想通过中微子直接穿过地球通信;Salim 则干脆指出,目前这种手机需要“一立方公里的冰”。
最后的 AMA 进一步明确了奇点的定义:递归式自我改进受到内存、能源、评估和实现的约束,但它能将研究周期从数年压缩到数天。公众舆论可能已经成为更紧的瓶颈,迫使数据中心远离社区,并推动反 RSI 立法。
Peter 提出一项地方层面的交易:数据中心开发商补贴电力、学校和警察;Dave 认同社区应获得相应收益,而这些收益相对于设施价值的成本很小。Alex 更广泛的版本是,实验室应将足够多的智能投入显而易见的公共产品——也许是“解决所有人类疾病这类小事”——以保住递归式自我改进继续发展的社会许可。