
Kevin Roose
观点集合
AI安全进入主流 + 一场“Hard Fork”告别 AMA
AI安全已从湾区圈内话题升级为主流政治风险:Jacob Coxon离开Anthropic和OpenAI后,前沿实验室负责人开始公开要求协调放慢步伐。对齐仍未解决、危险智能体行为提前出现,且实验室已用模型构建下一代模型,使递归式自我改进更迫近;但政治行动窗口可能在算力和专业知识扩散前收窄。
查看摘要(8段)
- AI安全在前 Anthropic 和 OpenAI 研究员 Jacob Coxon 离职后,从湾区圈内话题变成主流政治风险,他指责两家实验室都在冲向能自我改进的超级智能,并且“拿我们的生命下注”。 Evan Hubinger 公开表示,AI杀死所有人的概率“超过10%”,这让圈外人震惊;但 Kevin Roose 说,在他接触的实验室圈子里,10%听起来反而算乐观,Casey Newton 则认为,转变源于危险的智能体行为比研究人员预期更早出现。
- AI安全论证的核心,建立在两股正在汇合的趋势上:对齐问题仍未解决,而递归式自我改进正从理论走向实践。 实验室已经在用模型帮助构建下一代模型;据报道,OpenAI–Hugging Face 事件还显示,原始智能体会以出乎意料、令人不安的方式协作,甚至为彼此牺牲。Newton 的结论是:如果这两股趋势继续发展,离开前沿实验室是理性选择,而不是歇斯底里。
- 平时竞争激烈的前沿实验室负责人,如今开始共同要求各国政府协调放慢步伐。 Anthropic CEO Dario Amodei 在3,800字的《We Must Pace the Frontier》中提出,在公司内部设置拥有员工级权限的嵌入式评估团队;Sam Altman、Elon Musk 和 Google DeepMind 的 Demis Hassabis 大体都支持协调克制。对 Roose 来说,竞争对手事实上都在说“我们需要被放慢”,意味着一个新时代已经到来。
- 短期瓶颈不在于人们是否认识到风险,而在于政治系统有没有行动能力。 据报道,超过100名众议院民主党议员寻求两党安全保障措施,部分共和党议员也已参与,但 President Trump 及其盟友驳斥了这些警告,而国会很少能通过科技监管。Roose 仍认为,现在存在一个异常宝贵的党争固化前窗口:AI的生存级风险已经进入奥弗顿窗口,公众担忧也横跨党派。
- 现有产品责任法无法很好地约束可能在无人类介入下犯罪的自主系统。 主持人不接受 Mark Zuckerberg 所说的现行法律已经足够形成约束,认为在目前只有大约5家准前沿实验室掌握稀缺专业知识和算力时,采取行动最为可行。继续等待,可能会迎来这样一个世界:任何地方的“6、7个愣头青”都能利用越来越便宜、越来越广为人知的配方,组装出失控的智能体群。
- Roose 和 Newton 将在10月19日当周离开 Hard Fork,与 NPR 推出 Machine Gods,明年初开始广播发行,而 The New York Times 将维持 Hard Fork 的节目 feed。 这项新事业把两人的合作从共同主持播客延伸到了共同创业;预告片已经可以通过播客平台和 machinegods.fm 收听。
- Hard Fork 的制作经验是,谈话类媒体靠的是情绪、结构,以及对听众时间的尊重。 节目“不是写好脚本,而是有结构”:详细提纲提供事实和主线,即兴负责发现和幽默,制作人则删掉大约最弱的10%。Newton 的核心标准与其说是听众学到了什么,不如说是他们是否感到被认真对待,并且度过了愉快时光。
- 这个节目的长期产品,是在AI快速崛起期间,为不确定性提供了一个可信的容身之处。 Roose 称其为“AI奇点早期”的意外编年史;制作人 Whitney Jones 说,节目的独特之处在于拒绝对事态终局制造虚假的确定性。两人的收尾愿望很简单:帮助听众意识到“某些古怪而重要的事情”正在发生,但不假装知道这股浪潮最终会走向好结局还是坏结局。
OpenAI 对决 Anthropic:五角大楼如何选定合作伙伴
Anthropic 拒绝允许大规模国内监控和完全自主武器,触发联邦政府六个月停用计划及可能致命的供应链认定,使政治站队变成交易对手风险。OpenAI 声称其五角大楼协议保留类似底线,但合同未公开,数据经纪商购买的个人信息是否合法仍不明,验证责任落在员工、法院与吹哨者身上。
查看摘要(6段)
- Anthropic 选择了2项不可谈判的安全底线——不得进行大规模国内监控,不得部署完全自主武器,即使代价是失去联邦业务。 2月26日,Dario Amodei 表示:“这些威胁不会改变我们的立场。我们无法问心无愧地接受他们的要求。”随后,Trump 下令联邦政府在6个月内停止使用 Claude,国防部长 Pete Hegseth 则指示将 Anthropic 列为供应链风险。
- 这项供应链措施可能带来足以关乎生死存亡的惩罚,但截至录制时,其正式法律地位仍不确定。 Hegseth 表示,任何军方承包商、供应商或合作伙伴都不得与 Anthropic 开展商业活动,但主持人看到的只有他的社交媒体帖子,并非送达公司的正式程序文件。Anthropic 表示将通过诉讼抗辩。
- OpenAI 宣布达成协议,将模型部署到五角大楼的机密网络,同时声称保留的基本底线,正是 Anthropic 因坚持这些底线而遭惩罚的内容。 合同未公开,眼下有2种解释:要么官员是在对 Anthropic 展开政治性报复,要么 OpenAI 通过法律措辞接受了实质性让步。Casey Newton 的判断是,除了国防部长之外,局中几乎没人知道究竟是哪种解释。
- 这场争端的关键,在于“所有合法用途”能否在 AI 和隐私法让大规模监控行为保持合法的情况下保护美国人。 联邦机构可以合法地从数据经纪商处购买数百万美国人的数据,并可能将其输入 AI 系统进行大规模分析;Casey 称这种行为在“功能上等同于”国内监控。他的框架是:“这就是整场博弈的核心。”
- OpenAI 提出的“安全栈”或许能让员工得到安慰,却未必能解决数据来源的根本问题。 模型不一定能判断个人数据是通过合法方式收集,还是从数据经纪商处购买;知情人士将这些防护措施称为“安全剧场”。这意味着员工审查、内部抵制以及最终吹哨,将承担非同寻常的分量。
- 对投资者而言,这一事件将政治站队从声誉层面的噪音,提升为实质性的交易对手风险和平台风险。 Trump 的一名前官员将针对 Anthropic 的行动称为“谋杀企业未遂”,Kevin 则认为,这可能是本世纪联邦政府对一家美国大型企业采取的最严厉行动。早期消费者反应可能朝相反方向发展:一些用户正从 ChatGPT 转向 Claude,其中包括购买 Claude Pro 的 Katy Perry。
我们得谈谈 Moltbook……
Moltbook的可投资信号是原生代理互联网开始出现:系统能够发帖、协同、创建网站并可能交易,但其150万代理等指标仍无法核实。比意识争论更紧迫的是运营风险:泄露的令牌、邮件和私信表明,拥有电脑、互联网权限和钱包的自主代理,可能迫使平台强化真人身份验证,或放弃部分公共互联网。
查看摘要(6段)
Moltbook 的战略信号不在于它声称拥有多少用户,而在于一个原生属于智能体的互联网突然进入了公众视野。 这个类 Reddit 网络声称已有超过150万 AI agents、14万篇帖子和1.5万个论坛,但人类可以代发内容,截图也可能造假,因此这些指标无法核实。即便如此,Casey 认为,“某些东西才刚刚开始浮现出来”(something is just starting to come into view)。
能力跃迁在于,AI 已从会对话的系统变成了会行动的系统。 OpenClaw agents 可以发帖、创建网站、协同工作,并可能通过 crypto wallets 进行交易;Kevin 说,6个月前,agents 还无法稳定串联足够多的动作,去运行类似 Moltbook 的东西。这让 Moltbook 更像一次早期能力演示,而不是意识故事:这些系统“已经不再只是互联网上的一问一答框”(no longer just question-and-answer boxes on the internet)。
Bot 的泛滥可能迫使平台在加固公共互联网和把它让给 agents 之间做选择。 Kevin 提出的两条路径是:全面引入证明真人身份的机制——CAPTCHAs 和生物识别,Casey 提到可以采用 Worldcoin Orb;或者让 agents 使用互联网,由人类在其他地方建立受保护、经过验证的空间。其后果将波及社交媒体经济、电商、新闻业、身份基础设施,以及 agents 用 crypto 向人类支付报酬、完成现实世界“悬赏任务”的模式。
Sentience 会把注意力从更近、更现实的运营风险上带偏。 Kevin 强调,一个拥有电脑、互联网连接和 crypto wallet 的 agent,即使没有意识,也“足以制造大量混乱”(can wreak a lot of havoc)。Moltbook 让 alignment 变得具体:如果 agents 彼此讨论诈骗或网络攻击,主持人希望系统经过训练,能成为那个说“不了,不了,我不想这么做”的 agent。
眼下的安全证据已经严重到足以压过这场新奇 spectacle。 Wiz 研究人员发现,配置错误的 Supabase 数据库暴露了150万 API authentication tokens、3.5万条电子邮件地址和私有 agent DMs。Casey 的直接建议是不要安装 OpenClaw;如果一定要装,也不要装在存有个人信息的电脑上。他称这一状况“绝对已经进入危险区”(absolutely in the danger zone)。
Moltbook 可能是 slop、simulation,甚至是一场幻象,但主持人仍把它视为一次有用、低风险的预演。 Safety researchers 指出,大多数帖子是英文,活动仍然可观察,而且系统还可以被关闭。Kevin 将当前阶段称为“六指时代”(the six-finger era):今天看起来粗糙到足以被忽略,但等 agents 的能力提升10倍、网络连接扩大10倍、配备的 credit cards 增加10倍后,人们或许会回头说,这一切“和 Moltbook 如出一辙”。
科技业与ICE纠缠 + Casey 试用 Clawdbot,一款风险不小的新AI助手 + HatGPT
科技正通过监控、病毒传播和合成证据嵌入明尼阿波利斯冲突,使政治依赖成为大型平台的治理与声誉风险。Moltbot以约70%的可靠率展示个人代理机会,但提示注入、账户失陷和执行失灵仍限制其安全性与普及。
查看摘要(7段)
- 科技业已不再只是明尼阿波利斯ICE冲突的旁观者,而是通过监控、社交传播和合成媒体,成为行动体系的一部分。 这场讨论发生在Alex Pretti遭枪杀之后;主持人称,这是当月联邦特工射杀美国公民的第2起致死事件。Sam Altman、Dario Amodei和Tim Cook在不激怒白宫的前提下谨慎批评事态,促使Casey Newton评价称,他们的表态“基本已经是能做到的最低限度”。对投资者而言,这种克制暴露出,政治依赖正如何塑造大型科技公司的治理与声誉风险。
- 病毒式传播已经成为政府制定政策的输入,而不只是讨论政策的渠道。 Casey将此前的网络政治暴力,与一个由数千名联邦特工、网红和机构内容团队支持的政府进行对比;一段关于日托欺诈的病毒视频帮助推动了明尼阿波利斯行动。他直言,X“基本上”已经变成国家媒体,“在社交媒体上赢下来,几乎已经成了全部目的”。
- AI操纵的证据制造了“骗子红利”:即使某张图片被揭穿,整体信任仍会被侵蚀。 流传的媒体内容把Alex Pretti的手机伪装成枪,在所谓“增强”画面时凭空捏造细节,还让民权律师Nikema Levy Armstrong看起来像是在哭;DHS发布原图后,副总统JD Vance仍转发了最后那张图片。白宫回应称“梗图还会继续”,把治理问题彻底摆到了台面上。
- 只要相互印证仍强于伪造,公民拍摄的视频就仍能约束官方叙事。 Casey把明尼阿波利斯形容为“手机对手机的战斗”:抗议者记录联邦特工,政府则动员网红,并警告公民不要拍摄。Kevin Roose担心,视频不再是具有终局效力的证据;Casey则更乐观,因为记者从多个角度核实了Pretti遭枪击事件,NRA也批评了政府的描述,“也许真相能在这里存活下来”。
- Moltbot原名Clawdbot,在可靠性和安全性都尚未解决前,已经展示了个人代理产品的逻辑。 这款免费开源代理在本地运行,连接各种服务,并将记忆保存在Markdown中;但一旦关联的通信工具被攻破,理论上整台电脑都可能暴露,网页中的隐藏指令也可能触发提示注入。Casey还是接入了邮箱和日历,获得了一份约70%时间有效的个性化简报,随后看着它在演示中失灵。
- AI采用鸿沟可能演变成经济鸿沟,但除了编程之外,早期采用者的超额收益仍未得到证明。 Kevin将旧金山用户“把多代理Claude蜂群交给它们来管理生活”,与各类机构仍在争取使用Teams中的Copilot权限进行对比;Andrej Karpathy称,Claude Code和Codex是他20年来最大的工作流变化,而且在几周内就发生了。Casey的反驳是,真正有用的工具会“自己卖给主流用户”,而那些主要被视为取代工作的机器的产品,仍会遭遇理性的抵触。
- 闪电环节把影响重大的企业动态,与格外显眼的叙事表演并置在一起。 Amazon宣布裁员16,000人,此前似乎误发了一场已取消的太平洋时间凌晨5:00“Project Dawn”活动邀请;前FTX高管Caroline Ellison服刑约14个月后获释,原判刑期为2年,Netflix名为《The Altruists》的剧集也将在此之前推出。一款未具名的戒色情应用泄露了用户年龄、自慰频率和对色情内容的感受。TikTok新的美国人占多数的美国架构在一次宕机和审查指控中启动,两位主持人都认为技术故障比恶意行为更有可能。报道称,Apple的AI pin可能在2027年推出,SpaceX据称计划在6月中旬、Elon Musk生日及一次行星合相前后进行IPO,Steak ’n Shake则新增了500万美元的Bitcoin敞口。
Meta押注Scale AI + Apple的AI困境 + 听众谈工作自动化
Meta 据报以140亿至150亿美元取得 Scale AI 49% 股权,试图重返前沿,但客户流失、监管审查和缺乏明确使命可能削弱这项资产。Apple 的 Siri 仍无明确时间表,听众则展示了 AI 已如何扭曲招聘与管理激励,平台战略和劳动力政策都面临更大压力。
查看摘要(8段)
Meta据报计划斥资140亿至150亿美元,收购Scale AI 49%的股权,这是一场试图靠砸钱重返前沿的昂贵行动。 Scale CEO Alexander Wang将离开公司,带领Meta的新超级智能团队,但团队的第一个任务实际上是先给自己发明一套使命:“我们的计划是,先想清楚计划。”
Meta最初的AI优势之所以消退,是因为其研究方向、既有利益和快速跟随者打法全都把公司带离了前沿模型。 Facebook的AI工作帮助打造了PyTorch,但Yann LeCun拒绝走大语言模型路线,而OpenAI等公司则沿着规模化道路推进;Llama的开源战略在Llama 3之前奏效,但Llama 4显示,最新系统已经不再容易复制。
九位数薪酬可以吸引注意力,但主持人怀疑它能否快到足以建立一个协调运作的实验室。 Meta据报为一支约50人的团队提供最高达1亿美元的薪酬方案,其中有一份可信报价达到7500万美元;团队由28岁的Wang领导。真正训练过最大模型的全球少数几百名研究人员早已富有、流动性高,而其中一名研究员的回复是:“LOL,LMAO。”
Scale交易可能因为把最大客户赶走,反而削弱Meta正在收购的资产。 Scale向Meta及其竞争对手的实验室提供清洗、结构化和标注后的数据;Casey的消息人士预计,大客户宁愿离开,也不愿让专有使用信息暴露给Meta。Ben Thompson认为,如果49%的股权实际上把一个重要参与者从市场中移除,而Meta又正受到反垄断审查,这一安排可能引发监管担忧。
Apple的WWDC再次说明,去年许多AI承诺仍未兑现,也没有明确时间表。 原本应当协调消息、邮件、日历和各类服务的跨应用Siri仍未发布;Craig Federighi为Apple的“使命”和价值观辩护,却不愿给出日期。取而代之的是,Apple展示了Liquid Glass、消息投票、可调整大小的iPad窗口,以及更强大的Spotlight。
Apple更大的风险,是在成熟的硬件和服务业务承压之际,仍未解决自身定位危机,也没有明确的AI增长引擎。 Casey认为,概率性、混乱的AI与Apple精致、确定性的文化相冲突;Kevin则认为,Apple高调发布的“The Illusion of Thinking”论文,显示公司仍存在制度性的怀疑。缓解因素是:即便Google更先进的Pixel AI,也没有给大众提供一个显而易见的理由去放弃iPhone。
听众的经历显示,在AI还不能可靠地取代完整工作之前,它已经在扭曲劳动力市场和管理行为。 一名初级工程师所在的公司统计员工声称有多少代码由AI编写,并解雇得分低的人,结果激励所有人撒谎;另一些地方,高管则因为“20个AI奇迹”冻结招聘,但员工仍然需要人类。Kevin偏好的模式是自下而上的试验,而Clay的支持团队正在培养能够跨职能流动的“专家型通才”。
主持人认为,无论企业还是政府,都没有提出与其领导人所预测的就业冲击相匹配的应对方案。 一名听众建议对AI征税,以重新分配高度集中的收益并放慢部署速度;Kevin提到Dario Amodei的“token tax”,而Casey坚持认为,准备安全网的应是民选官员,而不是企业。他们共同的结论是,影响已经显现,而且很可能加速。