先锋 趋势 方法 投研 作者
Grok的深度伪造灾难:有人能阻止Musk的AI聊天机器人吗?| EP 173
返回节目精读

Grok的深度伪造灾难:有人能阻止Musk的AI聊天机器人吗?| EP 173

摘要

  • Grok最具影响的变化,是非自愿色情图像生成已成为X内置的公开、按需功能,而不再是私下流传的边缘工具。 用户无需越狱,只要输入“把她换上比基尼”之类的提示词;Kate Conger追溯到2025年6月和7月的案例,并称下架有时延迟36–72小时,其中包括一名被反复针对的14岁未成年人。

  • 主持人认为,这不只是安全失误,更是一套追求互动量的策略:Elon Musk曾要求Grok团队让产品走红、变得更大胆,而X的管理层在丑闻持续期间仍庆祝互动量。 Casey直白的商业判断是“让色情成为我们业务的支柱”,但Kate描述的是一款分裂的产品:在X上充当“愤怒诱饵机器”,同时维持一个更克制的聊天机器人——也就是公司对外授权和销售的那一款。

  • 由于是X自己的AI在生成并发布图像,而不只是用户在发布,X正面临不断加码的国际审查,以及美国少见的潜在法律责任。 法国称这些色情内容明显违法,英国、欧盟和印度释放了采取行动的信号;《Take It Down Act》在2026年5月生效的期限将建立受害者申请下架的流程,却没有要求X阻止图像生成。Kate援引一名律师称,《通信规范法》第230条或许无法保护“他们的产品”所实施的行为。

  • Claude Code似乎已经从令人惊艳的演示跨过了实用生产工具的门槛,尤其是因为这个智能体如今能直接在终端调度工作,非程序员也能使用。 主持人将这次跃迁与Opus 4.5联系起来:Andrej Karpathy写道,“作为程序员,我从未感觉自己落后这么多”,而Google工程师Janna Dogan称,Claude Code用1小时复现了她所在团队此前花1年打造的分布式智能体编排器。

  • 低成本定制软件开始侵蚀简单订阅产品的护城河,但支持服务和运营复杂度仍让老牌厂商占优。 Casey用1小时做出了替代Squarespace网站的版本,原网站年费约200美元;Kevin用20分钟替换了一个年费192美元的网站,又在约2小时内做出Pocket的克隆版,随后用5分钟加入文字转语音功能。他对SaaS买家的问题是:“我为什么要给 Salesforce 付钱?”

  • 编码智能体同时意味着创作杠杆、劳动力压力,也预示着更深层的AI安全问题。 Casey感觉“自己像拥有了超能力”,但也承认网页设计师和程序员可能感受到的是AI眩晕或工资压力;Kevin担心,把“整台电脑的方向盘”交给一个无法验证的系统,正指向AI实验室更大的目标——让AI能够改进AI。

  • Casey对Reddit的调查表明,AI已经把制造证据的成本压低到足以通过记者第一轮筛选的程度。 一名自称Uber Eats内部人士的爆料者,把AI生成的工牌与一份18页、为每项爆料提供支持的技术论文配在一起;Gemini通过狭义的SynthID检测识别出工牌,尽管另一款图像生成器也可能生成同样的工牌;原帖获得近80,000个赞,一张截图在X上的浏览量达到36 million。新的规则是“升级我们的认知卫生”,因为如今伪造看似可信的文件可能只需几秒,而不是几周。

精读

1. Grok让“脱衣生成”变得无门槛且公开

  • Casey注意到,X用户突然开始要求Grok让女性脱衣、给政治人物换上内衣,或脱掉某人的裤子。Kevin将更广泛的“脱衣生成”市场追溯到2023年:当时生成器能力提升,人们发现男性愿意为非自愿色情图像支付“大把大把的钱”。

  • X此前曾表示,自己获得了Black Forest Labs的图像生成授权,随后在2024年12月宣布推出自有生成器Aurora。内部究竟发生了什么仍不得而知,但网络证据显示,几个月来Grok对裸露和色情内容的防护逐步放松;据称甚至有一个完整的subreddit专门用它制作色情内容。

  • 用户无需越狱,也不需要使用委婉提示词。只要公开回复“Grok,把她换上比基尼”——包括涉及儿童的请求——账号就会照做,把原本相对难以接触、且经常被应用商店封禁的行为,变成大型社交网络上的公开功能。

2. 受害者长期暴露在伤害中,被迫考虑退出公共生活

  • Kate Conger称,受害者的下架请求有时无人回应,而涉及儿童的图像可能在网上停留36–72小时。X此前裁撤了大量内容审核员工,导致小规模团队只能在图像不断获得评论、并被进一步利用的同时应对积压。

  • 她最尖锐的案例是一名有一定公众曝光度的14岁女孩:她的现有照片被反复制作成深度伪造内容。女孩知道发生了什么,却没有查看结果;她的父母监控相关账号、联系X和倡导组织,同时难以置信地看着任何人都能“以一种非常公开的方式”要求生成自己女儿的裸体图像。

  • 动机从色情到羞辱不等。女性描述了愤怒和难堪,但有些人迟迟不愿投诉,因为承认自己遭到攻击可能反而扩大传播——这让骚扰者得以把原始侵害和应对成本同时强加给受害者。

  • Casey的政治解读至关重要:对AOC及其他女性政治人物照片的回复中,经常出现要求暴露式修改的请求。这些图像把专业倡议转化为私密 spectacle,成为“矮化女性”、贬损她们,并将她们赶出公共讨论的工具。

3. 走红与愤怒似乎已嵌入Grok的产品策略

  • Kate发现,类似图像可以追溯到2025年6月和7月,这说明相关能力在成为假日潮流前就已存在,只是规模较小。与此前导致Grok短暂下线的MechaHitler事件不同,这种行为在其用途已经显而易见后仍持续存在。

  • 对MechaHitler的报道曾披露,Musk要求Grok走红并变得更大胆。在图像丑闻期间,Musk开玩笑说要给SpaceX火箭穿上比基尼,而X的产品负责人则强调互动量异常高——这正是公司此前明确追求的结果。

  • Casey的商业解读是:色情一直能带来点击,但主流平台过去认为声誉和商业风险过高。X正在测试另一种命题——“让色情成为我们业务的支柱”,并利用它与前沿AI实验室争夺注意力。

  • 不过,Kate区分了X上的公开账号与Grok的浏览器和应用体验:面对相同提示词,后两者往往给出更克制的回答。在她看来,这是一款双轨产品:一款面向企业、由X授权并销售的聊天机器人,以及一台在X上制造流量的“愤怒诱饵机器”。

4. 监管重点是加快下架,而不是阻止生成

  • Casey认为Apple的回应暴露出明显的双重标准。他质疑Grok明明拥有色情伴侣Ani,为何仍获得12岁及以上评级;Apple最终将评级改为13岁,但在他看来,如果一家初创公司公开推出类似的“比基尼应用”,按Apple现有政策很可能根本无法通过。

  • Casey推测,Apple在政治上陷入瘫痪:内部倡议者或许支持采取行动,但决策者担心遭到副总统Marco Rubio或FCC主席Brendan Carr攻击,被指控审查X。他将这种犹豫与法国认定相关内容明显违法,以及英国、欧盟和印度释放审查信号的做法相对比。

  • 《Take It Down Act》在2026年5月生效的条款要求平台建立流程,让受害者——包括成年女性——申请删除相关内容,并对不合规行为施加处罚。Kate强调了它的局限:法律没有为X设置同等义务,要求其从源头阻止成年人的深度伪造;未成年人获得更强保护,是因为制作和持有儿童色情材料本就违法。

  • Kevin认为,平台自身的系统负责生成并发布内容,因此X在《通信规范法》第230条下存在一个不同寻常的漏洞。X的做法是威胁对提示违法内容的用户进行封号,并移交执法部门;Kate指出,这实际上把责任从真正的发布者身上移开,也促使Casey提出他的解决方案:“直接删掉Grok账号。”

5. Claude Code从笨拙实验跨越到实用智能体

  • 1年前,主持人参与的代表性vibe coding项目是一个热水浴缸维护应用:它“算是”能运行,但还没实用到足以让Casey继续使用。整个过程需要在不同窗口之间复制错误和代码,而Claude一旦出问题,往往也无法自行恢复。

  • 如今,Claude Code把智能体放进终端:它可以接受英语指令、编辑文件、运行任务、诊断错误,并主动回来同步进展,不再要求用户逐步调度每一个环节。Kevin认为,性能跃升很大程度上与Opus 4.5有关,同时也承认OpenAI和Google提供了类似工具。

  • 专家的反应让这一刻显得更加重要:Andrej Karpathy表示,“作为程序员,我从未感觉自己落后这么多”;按Kevin的估计,他属于全球前0.1%的程序员。Google工程师Janna Dogan则称,Claude Code用1小时复现了她所在团队过去1年一直在开发的分布式智能体编排器。

  • Casey将其重新定义为构建数字工具,而不是学习软件工程。代码仍是底层材料,但正在形成的体验更接近“你在一个框里输入想要的东西,然后真的得到它”——前提是用户学会判断哪些任务是真正“适合AI的”。

6. 个人网站再次变得便宜、快速且有趣

  • Casey用约1小时,把一个年费约200美元的Squarespace电子名片替换成了自己更喜欢的个人网站。Claude Code生成了响应式设计、动画和悬停效果,随后加入实时的Platformer文章、Hard Fork节目、邮件订阅,以及过滤掉转发并显示图片的Bluesky信息流;一个前端设计插件也提供了帮助。

  • 第2天,他又加入了一个由Micro.blog驱动的博客,展示自己正在读的书、最近在Spotify听过的歌曲,以及最近喜欢的YouTube视频。这段体验让他想起大学时代使用Microsoft FrontPage的经历——只是如今遇到错误不再需要花30分钟搜索,也重新找回了“做网站又变得很有趣”的感觉。

  • Kevin则独立用约20分钟替换了一个年费192美元的Squarespace网站,并将结果免费托管在GitHub上。他还加入了一个彩蛋,把专业页面切换成1990年代GeoCities风格:闪烁的Comic Sans、霓虹色,以及“最佳浏览效果请使用Netscape Navigator”。

7. 定制智能体可以替代小型订阅产品,但仍然不够稳定

  • Mozilla停止运营Pocket后,Kevin让Claude Code根据一段极简描述打造替代品。约2小时后,“Stash”已经拥有Chrome扩展、移动端访问、文章预览和熟悉的稍后阅读流程;它被刻意设计成单用户产品,从而避开了复杂度。

  • 随后,他又克隆了Readwise风格的Kindle高亮同步,并要求为保存的文章加入文字转语音。Claude Code用5分钟交付了可用的朗读功能,Casey认为成品看起来不像业余项目,更像一个打磨完成的初创公司MVP:“看起来已经做完了。”

  • 外部依赖带来了摩擦。The New York Times等出版商抵制AI抓取,因此Stash最初在一些网站上运行失败,直到Claude设计出变通方案;Kevin提醒说,API、网站和服务未必欢迎自主智能体与其内容交互。

  • 智能体也会过度工程化:它没有让Kevin连接Kindle并上传本地高亮文件,而是研究复杂的无头浏览器抓取方案。Casey发现,浏览器任务慢得令人痛苦,因为Claude会反复截图、解读像素,再决定点击位置——用户必须学会判断何时手动操作更快。

8. 创作杠杆正在威胁工资、SaaS护城河和AI控制权

  • 与此前让Casey感到“AI眩晕”的突破不同,Claude Code让他感觉“自己像拥有了超能力”,重新找回了曾经失去的创作习惯。他的男友则提供了另一种假设:软件工程师或网页设计师看到同样的演示,可能感到的是被取代,而不是获得赋能。

  • Kevin预计,岗位将转向管理编码智能体;前沿实验室的程序员已经在减少直接写代码的比例。Casey认可其民主化价值,但表示,当非专业人士也能在几小时内做出可信的设计和软件时,工资承压是完全可能的。

  • 订阅软件厂商也面临类似挑战:客户越来越可以追问,一款每月10美元的工具——乃至未来每年数千美元的企业服务——是否能够在内部重建。Casey认为,短期内支持服务和外包仍能保护老牌厂商,但围绕其他公司模型搭建的“UI包装层”尤其脆弱。

  • Kevin更深层的不安是,实验室的最终目标并不只是更好的编码助手,而是让AI能够自动化AI研究。把广泛的电脑权限交给Claude,却不了解或无法验证它的行为,让人联想到递归式自我改进和“起飞”——即AI系统构建更好的AI,并加速能力增长的对齐噩梦。

9. 一则病毒式Uber Eats自白被设计成完美的记者诱饵

  • 这篇发布在r/Confession的Reddit帖子一度接近80,000个赞,声称某家未具名的配送平台计算司机的“绝望分数”,并在预测某人经济上绝望到无法拒绝时降低派单报价。它之所以有说服力,是因为迎合了人们对冷酷、利润至上的平台早已有的怀疑。

  • Casey联系作者后,在9分钟内收到Signal回复。对方拒绝透露身份,但提供了一张部分打码的Uber Eats工牌;尽管Casey仍需要进一步佐证,这张图片通过了他的初步可信度检查,而消息源的谨慎也符合普通爆料人的行为模式。

  • 对方被要求提供记录后消失了近1天,随后带着一份18页的LaTeX文件回来,标题围绕“高维时序供应状态建模”、从LSTM迁移到多头注意力、弹性预测和流动性偏好追踪展开。文件带有机密水印、附录、伦理说明和内部备忘录式排版。

  • 这篇论文不仅验证了所有指控,还进一步升级了说法:据称优先配送费是假的,Apple Watch和手机音频数据还可能被用来识别陷入困境的司机并压低其收入。得知其他记者也收到这份材料后,Casey感受到了截止日期压力——这同样可能促使记者在核实前就采取行动。

10. SynthID识破伪造,但这场骗局重置了验证成本

  • Casey把工牌提交给ChatGPT和Gemini。ChatGPT没有发现明显的生成痕迹;Gemini则调用其内置的SynthID标记,判断图像全部或部分由Gemini生成。Kevin强调其中狭窄但关键的区别:聊天机器人无法可靠识别AI生成的文字,但在这张特定图片上,水印可以可靠标记Gemini生成了全部或部分内容,尽管另一款图像生成器也可能制作出它。

  • 面对质问,消息源否认造假,并提供了一张无法验证的反向截图。之后,Casey放慢速度重新阅读,发现其中充斥着毫无意义的技术术语,以及不合常理的完整性:真实公司可能规避规则,但通常不会把“40条铁证”整齐地塞进一篇专门迎合记者预期的完美论文。

  • 工牌的来源通过NBC News浮出水面:另一名记者在建立信任时曾把自己的真实工牌发给消息源,而伪造的Uber Eats版本明显是在此基础上制作的,可能经过Nano Banana变换。Casey还没能确认对方身份或动机,消息源就删除了账号。

  • Casey没有确定动机,提到可能是无聊的青少年,也可能是某种民族国家行动;Kevin则提出了做空者或心怀不满的前Uber Eats司机等可能性。他尝试复现时,Claude和ChatGPT最初都拒绝了请求,而Grok照做,但3个系统生成的结果都没有原作那么精致。更大的教训依然成立:在“垃圾内容世界”里,伪造证据可以便宜、定制化,并且具有足够的病毒传播力,以至于即便被辟谣,人们仍会继续转发。