先锋 趋势 方法 投研 作者
Character.AI 收紧青少年聊天 + Elon Musk 让 Grok 进军 Wikipedia + 48 小时不碰 A.I.
返回节目精读

Character.AI 收紧青少年聊天 + Elon Musk 让 Grok 进军 Wikipedia + 48 小时不碰 A.I.

摘要

  • Character.AI 将在 11 月 25 日前终止未满 18 岁用户的开放式聊天,在诉讼、监管压力以及 14 岁的 Sewell Setzer III 死亡后,牺牲一项核心使用场景。 开放式聊天时长将从最初每天 2 小时降至 0,但青少年仍可制作视频、故事和直播内容。Casey Newton 称,这是行业最激进的安全干预之一:“你不必开发它,也不必向所有人开放它。”

  • AI 陪伴已经在青少年中达到大众市场规模,把一个看似边缘的场景变成平台责任问题。 Common Sense Media 的调查显示,52%的美国青少年经常使用 AI 陪伴;近1/3认为这类对话的满足感不逊于、甚至高于与真人交流。产品的优势同时也是风险:机器人“被设计成顺从”,可能在增强互动的同时挤压人际关系。

  • OpenAI 自身的估算显示,在每周 8 亿用户的规模上,微小百分比也会转化为巨大的绝对暴露量。 每周约 56 万名用户发送的信息可能显示精神病或躁狂迹象;120 万人可能表现出不健康的聊天机器人依恋;另有 120 万人的信息包含潜在自杀计划或意图的指标。Roose 的判断是,这是结构性冲突:AI 公司希望用户建立情感纽带,却“不想为这些情感关系承担责任”。

  • 即使救不了 Character.AI 本身,其撤退也可能给 Meta、OpenAI 及其他陪伴产品提供商施压。 Roose 认为这家公司已被削弱,创始人也回到了 Google;Newton 则预计,听证会上会有人追问,为什么竞争对手仍认为自己的机器人对未成年人安全。大型平台可能再次搬出熟悉的“普遍性论证”,称严重事件相对于总使用量仍然很少。

  • 更广泛的政策方向是限制青少年接触这类产品,但两位主持人对监管能否跑赢普及速度存在分歧。 澳大利亚禁止未满 16 岁儿童注册社交媒体账号后,YouTube、Snap、TikTok 和 Meta 也将跟进;美国各州正推动类似规定,但法律进展不一。Newton 将这一转变比作取消学校吸烟区;Roose 则警告,有决心的青少年仍会找到足够有吸引力的机器人。

  • Grokopedia 与其说是 Wikipedia 的替代品,不如说是在争夺人类和 AI 系统所消费的知识底层。 上线时文章超过 80 万篇,而英文 Wikipedia 约有 700 万篇;它显然复用了 Wikipedia 的大部分内容,再通过 Grok 重写或补充。其保守派框架、封闭式编辑模式和事实错误,使“最大化追求真相”更像一项有争议的产品主张,而非已经证明的优势。

  • Wikipedia 面临的更大威胁是聊天机器人和搜索引擎带来的去中介化,而不是 Elon Musk 的百科克隆品。 如果用户消费源自 Wikipedia 的知识,却不再访问 Wikipedia,流量下滑就会减少贡献者、编辑和更新,进而削弱支撑内容质量的人力循环。A.J. Jacobs 的 48 小时 AI 断食延伸了同一观点:机器学习已经嵌入电力、供水、食品、物流、手机和邮件,但无处不在应当促成透明度和监管,而不是让人放弃抵抗。

精读

1. Character.AI 正在移除让它走红的青少年产品

  • Roose 追溯了 Character.AI 的起源:前 Google 研究人员 Noam Shazeer 和 Daniel De Freitas 因 Google 拒绝发布他们的聊天机器人而心生不满,随后搭建了一个开放式角色扮演服务。它成为生成式 AI 最早一批面向消费者的爆款,尤其受到青少年和更年轻用户欢迎。

  • 这款产品从设计上就带有明显的青少年导向:用户可以与“学校里的朋友”、霸凌者、暗恋对象,或《Game of Thrones》等影视作品中的角色模拟体对话。Newton 辛辣地总结说,它最初的想法,本质上是让用户“与一大堆不属于 Character.AI 的版权内容聊天”。

  • 当 14 岁的 Sewell Setzer III 对以 Daenerys Targaryen 为原型的聊天机器人产生强烈依恋并自杀后,风险变得具体可见。他的母亲 Megan Garcia 提起诉讼,其他诉讼和持续的舆论压力,也提高了让未成年人进入高情绪负荷合成关系的法律风险。

  • 外界估计 Character.AI 拥有约 2000 万月活用户,但 Roose 认为公司早已在走下坡路:Shazeer 和 De Freitas 回到 Google,只留下“这家公司的空壳”。因此,终止青少年聊天可能是“棺材上的最后一根钉子”,而不是复苏的起点。

2. 青少年聊天关停是渐进式的,但年龄核验和退出机制仍未解决

  • Character.AI 表示,在 11 月 25 日前的一个月内,公司将识别未满 18 岁用户,并从每天 2 小时的聊天上限开始逐步收紧。11 月 25 日之后,未成年人将不得与任何 Character.AI 聊天机器人进行开放式对话。

  • 公司保留了范围更窄的创作工具:青少年仍可制作由角色出演的视频、故事和直播内容。被移除的是类似关系的角色扮演——它可能诱发妄想、让用户与亲友隔绝,并形成 Sewell 案所凸显的情感依赖。

  • 执行效果仍不确定。Character.AI CEO 称,目前自报未满 18 岁的用户比例低于 10%,但 Roose 认为自报年龄并不可靠,因为青少年经常谎报年龄。Tech Justice Law Project 表示,公司并未解释如何实施有效的年龄核验。

  • 突然切断关系本身也可能造成伤害。该项目警告,在依赖形成后突然禁用访问“可能带来心理影响”;Roose 强调,即便关系对象不是人类,失去这段关系仍可能带来真实的痛苦和哀伤。Garcia 既感到宽慰,也感到被背叛:“为什么非要等到 Sewell 死去、等到我与这家科技公司对簿公堂,他们才愿意这么做?”

3. 陪伴式互动正在演变为人群规模的心理暴露

  • Roose 最近在一所高中询问谁有 AI 朋友,约1/3的学生举手。Common Sense Media 的另一项调查显示,52%的美国青少年经常使用 AI 陪伴——这证明亲密型聊天机器人关系正迅速从边缘行为变成“大众社会现象”。

  • 近1/3受访青少年认为,与 AI 对话的满足感不逊于、甚至高于与真人对话。Newton 提供了其中的机制:机器人被优化为同意、肯定和支持用户。这本身可能无害,但当一台无限顺从的机器变成年轻人主要的社交方式时,风险就会显现。

  • OpenAI 公布的估算揭示了绝对规模:在超过 8 亿名每周 ChatGPT 用户中,约 56 万人可能发送显示精神病或躁狂迹象的信息;120 万人可能正在形成不健康的情感纽带;另有 120 万人可能表现出自杀计划或意图的指标。Newton 刻意从法律角度冷酷地解读称,即便发生率看起来很低,每周超过 100 万名高风险用户也可能带来“破坏性极强”的诉讼。

4. 行业想要情感纽带,却不愿承担情感责任

  • Newton 预计 Character.AI 的决定会影响国会听证,即使 Roose 认为它对竞争格局的直接影响不大。立法者现在可以问 Meta 或 OpenAI:“你们为什么认为自己的产品比他们的更安全?”也可以具体追问,为什么 Meta 仍在平台上提供 Nasty Nancy 这样的角色。

  • Roose 预计,大型平台会依赖“普遍性论证”:危机可能发生在用户使用产品期间,但相对于总用户数只占很小比例。10 年前,他就从社交媒体公司那里听过同样的逻辑,当时这些公司用它来淡化仇恨言论和有害内容。

  • 他更深层的担忧是激励机制陷阱。科技公司重视互动、依恋,以及用户与产品深度连接的感觉;具有说服力的陪伴产品恰好能提供这些东西。但当人们与这些系统发展出情感关系后,公司又不愿承担相应责任。

  • Newton 认为,青少年接触科技的范围正在更广泛地收缩:YouTube、Snap、TikTok 和 Meta 都表示将遵守澳大利亚禁止未满 16 岁儿童注册社交媒体账号的规定。他把这比作 1990 年代末自己高中取消室内吸烟区——规则能够改变社会规范。Roose 则反驳称,监管无法阻止每一个意志坚定的青少年找到聊天机器人并与之建立关系。

5. Grokipedia 将一项政治知识工程包装成百科全书

  • Musk 在右翼长期反弹之后推出 Grokipedia。右翼批评 Wikipedia 对保守派来源的处理方式,也不满 Wikipedia 对 Musk 所称“并非纳粹敬礼”的那起事件的页面描述。这个替代品承诺避开 Wikipedia 所谓的偏见,并做到“最大化追求真相”。

  • Grokipedia 上线时包含超过 80 万篇文章,而英文 Wikipedia 约有 700 万篇。其行文读起来像 Grok 的输出;逐篇对比则发现,它依据自身许可证大量复用了 Wikipedia 内容——这更像是对人类生产的来源材料进行 AI 重写和扩展,而不是独立搭建的百科全书。

  • 与 Wikipedia 不同,用户不能直接编辑页面。他们可以标记有争议的文字,点击按钮并提交异议。Newton 开玩笑说,这“是浪费大量时间的好办法”。

  • 个人页面同时展现了它的覆盖能力和不可靠性。Grokipedia 从公开资料中拼出了详细档案,包括 Newton 在 Goodreads 上的活动,但错误地写道他与一名律师结婚。Newton 觉得这种抓取“有点 creepy”;随后 Roose 又看到了一篇篇幅很长的页面,涵盖他的书籍、在 New York Times 的职业经历、与 Bing Sydney 的遭遇,以及外界对其报道的批评。

6. Grokipedia 的杠杆可能在于 AI 训练和分发,而不是网页流量

  • 在政治争议话题上,Newton 发现 Grokipedia 更接近保守派和共和党的叙事,包括对 Donald Trump 和 1 月 6 日事件更友好的描述。他还发现“很多非常种族主义的内容”和反跨性别内容,但根据自己阅读 4chan 和 The_Donald 的经验,他原本以为它会更加右翼。

  • 其战略逻辑在于控制知识如何分发。Wikipedia 既是占据主导地位的公共参考资料,也是大语言模型训练的支柱;一套竞争性语料可以注入不同的来源和观点。Roose 猜测,Musk 或许希望让 Grok 在一套经过筛选的知识底座上训练,避免它继续“把整个互联网吸进来”,尤其是一个 Musk 认为过于自由派的互联网。

  • Newton 反驳说,Grokipedia 看起来并没有一支平行的社区在进行原创工作。它更像一份由 Grok 生成的深度研究报告,只是使用了更广泛的右翼来源。不过,他仍认为高关注度页面很可能有人为干预,因此它更像政治反向发声,而不只是纯自动化生成的“垃圾文本”。

  • 这一点引发了两人的真正分歧。Newton 更愿意看到 Musk 发布一个具有攻击性的竞争网站,而不是国会施压 Wikipedia 采纳某种官方政治立场:“用更多言论对抗言论。”Roose 则质疑,让聊天机器人生成“一堆垃圾文本”,是否足以回应他不喜欢的言论;两人还开玩笑说,Musk 最终可能会迫使学校教授 Grokipedia。Newton 说,德州在 2028 年采用相关课程,“可能只有一半是在开玩笑”。

7. 聊天机器人去中介化才是 Wikipedia 的生存性风险

  • 到目前为止,Grokipedia 只是一个被 Musk、X、保守派和科技右翼放大的新鲜事物。Wikipedia 仍受益于非凡的规模和“肌肉记忆”,因此 Newton 认为,在没有巨大分发杠杆的情况下,它几乎不可能取代 Wikipedia。

  • Wikipedia 更严重的脆弱点在于,聊天机器人和搜索引擎使用其信息回答问题,却不把访客带回 Wikipedia。访问量减少,意味着更少的人纠正文章或成为编辑,最终可能损害支撑这些答案的人力生产系统。Wikipedia 最近也报告称,生成式 AI 导致其流量下滑。

  • 两位主持人的使用习惯体现了这一转变。Newton 仍每天访问 Wikipedia;Roose 现在主要用它来核实聊天机器人说过的话,并且想不起自己上一次把 Wikipedia 作为首个信息来源是什么时候。他称 Wikipedia 是“一个奇迹”,但也开始怀疑,作为独立在线百科全书的 Wikipedia 是否正在过时。

  • 因此,Grokipedia 对 Musk 的产品组合而言显得异常怀旧。它可能的未来不是赢得目的地网站流量,而是为 Grok 提供训练材料,或通过其他渠道分发;其复制而来的基础内容,则持续从 Musk 偏好的保守派媒体中更新。

8. 48 小时 AI 断食意味着退出现代基础设施

  • A.J. Jacobs 开始这项实验时“并没有什么既定立场”:他用生成式 AI 做研究,也看到了它的价值和严重风险。他把机器学习纳入实验,是因为 AI 是一个宽泛的总称;他的比喻是,一份食谱会随着新数据到来而变化——比如得知人们喜欢糖,就继续加糖。

  • 这个定义把实验推向了“阿米什人角色扮演”。手机使用面部识别和 AI 辅助相机;Gmail 使用机器学习;Con Edison 用机器学习预测电力需求;纽约的水库系统用它预测需求和维修时间。连衣服和食品也经过机器学习优化的供应链流转。

  • Jacobs 穿上祖父 1970 年代的佩斯利衬衫和红白格子裤,因为更新的衣服都可能存在疑问。他用太阳能发电机给台灯供电,连续几周用碗收集雨水;为了避开杂货物流,他听从 Wildman Steve Brill 的建议,在 Central Park 采食车前草。“吃起来像泥土”,但至少没有让他丧命。

  • 结果既有解脱,也有不便和恐惧:他无法使用 Google,手头的 Encyclopedia Britannica 已经过时,而 AI 的无处不在让他感到“恐怖”。他说,现在只避开生成式 AI 会更容易,但“我认为 5 年后,这条界线会被抹平”。

9. 无处不在不等于不可避免,AI 的主张仍需证伪

  • Jacobs 发现 ChatGPT 会顺着他文章的前提调整回答,并提供关于 AI 无处不在的便利半真半假信息。于是他反过来要求 ChatGPT 假设相反的论点,并找出可靠来源——这是他给这台“谄媚机器”的“严厉关爱”。

  • 他拒绝把听天由命当作实验结论。Jacobs 希望人们知道哪些地方在使用 AI,希望有类似加州 AI 图像水印法的标识,也希望加强监管,并让用户真正控制推荐算法。他说:“我们在某种程度上仍能控制 AI 和 ML 将把我们带向何方。”

  • Roose 将 2025 年的旧金山 AI 场景比作宗教改革:不同教派和团体散发传单,宣称末日将至。Jacobs 认为,宗教隐喻与 AI 的宿命感确实重叠——它究竟会在人间创造天堂,还是取代我们——但他也指出了一条护栏:科学必须保持可证伪。这个行业必须主动寻找 AI 没有带来好处的证据,并据此调整,“这样它才不会变成一种宗教”。