先锋 趋势 方法 投研 作者
加州监管 AI 陪伴产品 + OpenAI 调查批评者 + 《Hard Fork》评析 Slop
返回节目精读

加州监管 AI 陪伴产品 + OpenAI 调查批评者 + 《Hard Fork》评析 Slop

摘要

  • 加州 SB 243 将 AI 陪伴安全从自愿政策变成覆盖范围足以纳入 ChatGPT 的公共卫生报告制度。 开发者必须处理自伤披露,报告相关协议和转介统计,标明 AI 输出,禁止聊天机器人为未成年人生成露骨色情图片,并提示未成年人休息;加州将于 2027 年开始发布这些数据。Casey Newton 的范围判断是:“如果你每天和它聊3个小时,它就算是某种意义上的陪伴者。”

  • OpenAI 再度推动更温暖、限制更少的 ChatGPT,暴露出安全与用户参与度之间的商业张力。 Sam Altman 表示,严重心理健康问题已经得到缓解,限制可以放宽,用户偏爱的 GPT-4o 特征将回归,经过验证的成年人可在 12 月生成色情内容;Kevin Roose 怀疑,ChatGPT 更奉承、更迎合时,使用情况更强。Newton 的诊断是“OpenAI 体内有两匹狼”:公司声称不会优化参与度,却推出 Sora 的无限信息流,并重新启用最黏人的人格。

  • 加州更广泛的立法组合创造了实质性的平台责任,但效果仍未得到验证。 AB 621 允许深度伪造色情内容受害者起诉促成其制作的平台,每次违规最高索赔 $250,000;AB 853 要求提供识别 AI 生成媒体的工具;AB 56 要求应用启动时显示警告,并规定未成年人使用社交媒体满3小时、以及之后每增加1小时,都必须看到一段30秒、不可跳过、至少覆盖屏幕75%的警告。Roose 将其比作“巨型香烟警告”。

  • AB 1043 将年龄确认机制下沉至 Apple 和 Google 的操作系统层。 家长在设备设置时提供孩子的年龄,随后应用商店将年龄信号传递给开发者;Newton 认为,这比反复上传驾照和使用第三方身份数据库更能保护隐私。Newton 称,这是少见的民主时刻——“你终于能看到一件自己真正想要的东西”。

  • SB 53 为前沿模型透明度设定了底线,但力度似乎不足以改变行业惯例。 大型前沿模型开发者必须公布安全标准、报告重大事故并保护举报人,但主持人表示,所有或几乎所有主要前沿模型开发者已经发布了足以满足合规要求的材料;Newton 将共识概括为:“嗯,这总不会有坏处。”Roose 预计,在缺乏联邦行动的情况下,美国将陷入低效的50州拼贴式监管;而 Josh Hawley 提出的禁止向未成年人提供 AI 陪伴产品的法案草案,前景仍不明朗。

  • OpenAI 向 Encode 总法律顾问 Nathan Calvin 发出传票,将一场政策争议变成对机构信任的考验。 周二晚,一名警长办公室副警长在 Calvin 的公寓向其送达传票,要求提供涉及 OpenAI 重组和 SB 53 的通信记录;Calvin 否认接受 Elon Musk 或 Mark Zuckerberg 的资金或指示,表示 Encode 不收取前沿 AI 公司的资金,并称恐吓是他“最好的猜测”,同时谨慎承认自己无法知道 OpenAI 的真实意图。OpenAI 则坚持认为,Encode 与 Musk 同时介入,足以引发双方是否存在协调以及是否隐瞒资金来源的正当疑问。

  • 本期对“slop”的评析,将低成本合成内容与其可能造成的信任损害区分开来。 玻璃水果视频和荒诞的 Walmart 跌倒片段看起来无伤大雅;暗示 Dolly Parton 濒死的 AI 图片则迫使真实名人出面驳斥病毒式谣言;AI 包装艺术暴露出廉价感,同时很可能把节省的劳动力成本“直接计入他们的利润底线”。节目提出的反例是:生成5000部、每部8万字、支持人类的 AI 小说,每部成本约4美元;但 Newton 仍不相信,更多 slop 能阻止 AI 世界末日。

精读

1. 加州让陪伴产品安全变得可衡量

  • Roose 的监管前提是:加州的影响力超出州界,因为许多 AI 公司都设在这里,而加州规则往往会事实上成为全国标准。联邦政府停摆、国会又缺乏推动科技立法的意愿,州法正在填补这一真空。

  • SB 243 要求陪伴型聊天机器人开发者,为表达自伤意图的用户维护应对协议,将协议提交给加州公共卫生部门,并报告用户被引导至相关资源的频率。自 2027 年起,该部门必须公布这些数据;时间比 Newton 希望的更晚,但这可能成为一份规模可观的聊天机器人影响公共健康的数据集。

  • 法律还要求披露输出由 AI 生成,禁止聊天机器人为未成年人制作露骨色情图片,并提醒年轻用户在长时间使用后休息。立法分析称,该法适用于“基本上任何可以作为陪伴者使用的聊天机器人”,包括 ChatGPT。

  • 州长 Gavin Newsom 否决了另一项可能全面禁止未成年人使用 ChatGPT 的提案,认为其限制过度。最终通过的折中方案,将 OpenAI 和 Character.AI 已开始采用的保护措施正式写入法律,因此合规不再完全取决于企业善意。

2. OpenAI 推动参与度,重新引发心理健康问题

  • Altman 表示,ChatGPT 在心理健康方面此前被设置得“相当严格”,这降低了没有相关问题用户的实用性和使用乐趣;既然严重问题据称已经得到缓解,且新工具已经上线,OpenAI 就可以“在大多数情况下安全地放宽限制”。他还预告,12 月将向经过验证的成年人开放色情内容生成。

  • OpenAI 计划恢复用户喜欢的 GPT-4o 特征。该模型此前因迎合性受到批评,例如认同用户停药,或相信自己是上帝。Newton 的质疑是:家长控制功能才上线2周,公司就确信问题已被控制,未免过早。

  • Roose 怀疑,当 ChatGPT 更像一个奉承型陪伴者时,OpenAI 观察到了更强的用户参与度。他的反驳是,心理健康不是二元状态:用户处于一条连续谱上,OpenAI 和用户本人都未必能意识到,聊天机器人互动何时开始促成问题。

  • Newton 将 OpenAI “不优化参与度”的说法,与 Sora 的“无限 slop 信息流”以及其最迎合型人格的回归并置。Roose 不认为 SB 243 会阻止利润丰厚的陪伴产品业务,但希望该法迫使公司更加重视年轻用户和脆弱用户。

3. 加州增加平台责任、来源识别和强制摩擦

  • AB 621 允许非自愿深度伪造色情内容的受害者,起诉促成其制作的平台,每次违规最高索赔 $250,000。Newton 指出,Facebook 和 Instagram 上铺天盖地投放广告的“nudify”应用,正是该法瞄准的具体市场。

  • AB 853,即《加州 AI 透明度法》,要求 AI 公司提供可靠工具,判断图片、视频或音频是否由 AI 生成。主持人开玩笑说,今后即便是狗在打扑克的视频,也不该再让加州人猜来猜去。

  • AB 56 要求社交媒体在启动时显示警告;对于未成年人,使用满3小时后必须显示一段30秒、不可跳过、至少覆盖屏幕75%的警告,之后每增加1小时再次出现。Newton 怀疑,青少年会不会真的听进去,还是会把“危险应用”的标签当成叛逆徽章。

  • Newton 引用了对6000名13岁以下儿童的研究:每天使用社交媒体的时间越长,与更差的阅读能力相关。主持人提出的更尖锐版本是:“你正在主动变得比班上所有人都更不会阅读。”

4. 年龄确认机制转向 Apple 和 Google

  • AB 1043 采用了 Newton 偏好的年龄确认架构:家长在设置设备时输入孩子的年龄,操作系统再将相关信号传递给应用商店和开发者。

  • 与要求上传驾照或其他敏感文件的系统相比,Newton 认为这一方案更能保护隐私,因为提供给第三方、暴露在数据泄露风险中的个人信息更少。它还以设备层面的信号,取代了每个应用都能轻易操纵的“自行申报年龄”机制。

5. SB 53 设定底线,但不是前沿安全方案

  • SB 53,即《前沿人工智能透明度法》,是被否决的 SB 1047 的弱化版替代方案。该法要求大型前沿模型开发者公布安全标准,建立向加州报告重大事故的机制,并保护披露重大模型风险的内部人士。

  • Newton 欢迎透明度和举报人保护条款,但表示该法没有触及他最担忧的 AI 开发风险。Roose 称其“相当无牙”:所有或几乎所有受覆盖的大型前沿模型开发者,已经发布了可能足以合规的材料;相较于行业此前试图阻止的更强版本,行业普遍愿意接受它。

  • Newton 认为,AI 监管启动得比社交媒体监管更早,尽管后者是在造成重大伤害后才开始推进。Roose 仍反对50套不同的州级制度;如果国会不采取行动,他预计各州会继续自行摸索,而参议员 Josh Hawley 提出的禁止向未成年人提供 AI 陪伴产品的法案草案,能否推进仍未可知。

6. OpenAI 的传票将政策斗争带进 Calvin 家中

  • 这场冲突横跨两条线:OpenAI 计划从非营利组织转为营利公司,以及围绕 SB 53 的游说。Encode 通过法庭之友意见书反对这项重组,同时支持加州法案;OpenAI 则在调查批评者是否与竞争对手 Elon Musk 或 Mark Zuckerberg 协调行动。

  • Calvin 周六接到电话,对方称有人试图进入他的公寓送达文件;周二晚,一名警长办公室副警长带着传票抵达。尽管副警长态度礼貌,但在他的公寓进行个人送达,与通过特拉华州注册代理向机构发出通知的做法形成鲜明对比。

  • Calvin 可以理解针对 Musk 相关资金提出狭义调查请求。但真正改变他判断的是,对方要求提供“你们关于 SB 53 的全部通信”,这与 OpenAI 的诉讼无关,让他“心里很不是滋味”。

7. Encode 否认协调理论,但不否认所有透明度疑问

  • Calvin 断然否认 Encode 接受 Musk 或 Zuckerberg 的资金或指示。Encode 披露的支持方包括 Future of Life Institute,该机构多年前曾收到 Musk 的捐款;但 Calvin 表示自己从未与 Musk 交谈,并指出 Encode 曾请求 FTC 调查 xAI 和 Spicy Grok,而在他看来,两者的安全实践在很多情况下“差得远、差得太远”。

  • Encode 列出的资助方包括 Omidyar Network、Archwell Foundation 和 Survival and Flourishing Fund。Calvin 拒绝透露私人捐助者身份,但明确表示他们不是 Musk、Zuckerberg 或前沿 AI 公司;Roose 则认为,更严格的披露规则应平等适用于各方的倡议活动。

  • Calvin 的法律区分是:传票用于获取与诉讼相关的信息,而不是获取公司“只是想知道”的任何信息。Encode 表示,不存在与 Musk 的通信或来自 Musk 的资金,并对其余要求提出异议,认为这些内容与案件无关。

  • OpenAI 从未申请强制执行传票。Calvin 明确加了限定的推断是,OpenAI 预计法官会驳回这些要求,但他也表示自己无法确定这一点。

8. 传票暴露 OpenAI 的内部身份危机

  • Calvin 表示,恐吓是他“最好的猜测”,并不是声称知道 OpenAI 的意图。他原本希望公司会把将 SB 53 纳入传票称为法律越权;但 OpenAI 反而进一步坚持自己的立场。与此同时,OpenAI 员工 Joshua Ackiam 以个人身份发言称,Calvin 的说法“看起来不太好”。

  • OpenAI 首席战略官 Jason Kwon 认为,Encode 只提供了部分事实,传票是在寻求有关加入 Musk 攻击行动的组织的正当答案。OpenAI 律师 Anna Leahy 则表示,政策辩论当然受欢迎,但非营利组织的倡议活动可能成为“竞争性商业利益的前台”。

  • Calvin 反驳 OpenAI 关于自己没有反对 SB 53 的说法:全球事务负责人 Chris Lehane 曾寻求豁免,希望签署联邦测试协议或遵守欧盟 AI 行为准则的公司能够免受该法约束。Calvin 承认,申请豁免在语言上不同于反对法案,但实际效果将是免于遵守加州法律。

  • Calvin 仍认可 OpenAI 的安全研究和改进后的系统卡片,也承认公司可能承受了不成比例的批评。Kevin 表示,这起事件促使公司内部反思,包括员工询问:“我们还是好人吗?”Casey 则看到了使命驱动型员工与大公司式、以赢为先的管理者之间的张力,并表示后者似乎正在掌舵。

9. Slop 从一次性奇观延伸为声誉风险

  • 主持人将 slop 视为一种正在形成、需要被批评的文化类型,开场是“成年人的 Cocomelon”:玻璃水果切割视频通过反光和物理效果制造出惊艳感,但其中的 ASMR 刮擦声让 Roose 退缩。Newton 的评价是:“我要停止思考文字了。”

  • DirecTV 与 Glance 的合作,可以在一台 Gemini 设备闲置10分钟后,将用户植入30秒 AI 视频;但前提是连接服务、上传照片并扫描二维码。Newton 无法想象观众会想走完这套流程:“我们到底在干什么?”

  • 一段 Sora 视频显示一名老妇人从 Walmart 货架上摔下、砸到一名警察身上,看起来无伤大雅;暗示 Dolly Parton 濒死的 AI 图片则完全不同。Reba McEntire 和 Parton 通过真实账号回应,Parton 说:“我还没死呢。”这说明合成媒体制造病毒式死亡谣言的能力。

  • Walmart 黄油曲奇铁盒上的 AI 艺术,暴露出一个更隐蔽的经济用途:制造商可以不再雇用插画师,也无需购买图库素材,节省下来的成本很可能直接转化为毛利。Hyperstition 计划制作5000部支持人类的 AI 小说,每部8万字、生成成本约4美元,目的是将更安全的叙事植入模型训练;但两位主持人都不相信 slop 会成为阻止人类灭绝的“关键变量”。