Zuckerberg 的反末日幻想 + 终于出现一款真正有效的 AI 检测器 + AI 数学
Zuckerberg 的反末日幻想 + 终于出现一款真正有效的 AI 检测器 + AI 数学
摘要
- Casey Newton 将 Zuckerberg 的6500字《The Future Is For Everyone》宣言解读为一份披着乐观外衣的政策愿望清单:加速数据中心建设、维持芯片出口管制(这会让 Meta 的开放权重模型相对中国竞争对手占优)、放宽“训练数据限制”以应对创作者诉讼,并为蒸馏提供法律保护。 时机很关键——Meta 正在“一场官司接一场官司地被打得节节败退”,其中包括新墨西哥州的一项裁决:除3.74亿美元民事罚款外,Meta 还需额外向青少年心理健康补救基金注入5.67亿美元;法院认定其构成“公共滋扰”,并将其比作排放污染的工厂,同时将未满18岁用户的使用时长限制在每月90小时,并收紧相关规定。
- Kevin Roose 将 Meta 真正构建超级智能的概率,从6个月前的约1%上调至如今的约10%,理由是 Meta Superintelligence Labs 重组后训练结果持续改善——而这种改善让他感到担忧。 他重新提起一名前 DeepMind 高管的分类框架:工具公司和 AGI 公司都可以被负责任地经营,但“真正的危险在于,一家公司以为自己在设计工具,实际上却在设计超级智能”——这句话当年说的是 Google,如今却越来越像是在说 Meta。
- Casey 借《House of the Dragon》大结局提出了核心比喻:Zuckerberg 所说的“人人拥有个人超级智能”,“有点像给每个人一条龙”。 在网络安全领域,防守方最终追赶上的攻防均衡可能成立,但在生物武器领域未必如此,因为防守方可能需要更长时间才能追上新型病原体——Zuckerberg 在文章中承认了这一点,却随后把问题搁置了。
- 两位主持人都认为,AI 的正面叙事不是传播问题:Casey 说,“它来自人们正在经历的真实体验”——疾病被治愈、收入提高、孩子在教育中表现更好,而这道鸿沟至今没有任何头部实验室跨过去。 Kevin 将其压缩为:“要么交付,要么闭嘴”(“ship it or zip it”);而 Zuckerberg “可能是最糟糕的传播者”——“给你带来 Cambridge Analytica 的人,现在带来了超级智能。”
- Kevin 公开推翻了自己对 AI 文本检测的判断——他此前在节目中称其“基本毫无价值”,但最新独立研究表明,Pangram 的准确性确实很高。 CEO Max Spero 解释了技术转向:放弃有缺陷的困惑度指标,改用经过训练的分类器,将真实的2022年前人类写作与 LLM 仿写进行配对,再汇总“一大堆非常弱的信号”;即使面对一串“随机”数字,也足以判定为 AI 生成,因为 LLM 的采样其实并不随机。
- Spero 对投资最具相关性的判断是:机器人流量刚刚超过人类流量,目前大约为50/50,10年内可能达到“99%机器人流量”,因此平台必须“偏向人类”——而监管正在验证检测需求,Anthropic 已同意根据欧盟 AI 法案为其全部文本加水印。 他不认同 Ben Thompson 关于水印会降低输出质量的判断:按照 Google SynthID 的采样扰动方法,只要在熵约束范围内进行,水印不应损害输出。
- 新的“Running the Numbers”环节给出了3个数据点:一名 Anthropic 员工通过“你能做到”(“You got this”)式鼓励提示,让 Claude 在一个涉及黎曼 ζ 函数的旁支问题上取得了实质进展——这是新知识的产生,但明确不是证明;Airtable 被 Bending Spoons 以12.9亿美元企业价值收购,相比2021年的117亿美元估值大幅缩水,Kevin 认为这说明 AI 正在广泛吞噬 SaaS 的利润率;而 AI 财富正在重新定价婚恋市场,从韩国部分芯片工人的40万至50万美元奖金,到旧金山流行的“Anthropic 眼镜”。
精读
1. Zuckerberg 的宣言:人人拥有个人超级智能,就是人人拥有一条龙
- 这份6500字的文件名为《The Future Is For Everyone》,承诺“未来几年内,人们将能够使用超越人类能力的超级智能”——每位 Meta 用户都将拥有“一名能力异常强大的个人代理”,并可通过眼镜使用。Zuckerberg 还用自己的场景举例:构思原型、监测睡眠,以及和女儿一起烘焙时获取个性化的周末食谱。
- Casey 刚看完《House of the Dragon》第三季大结局,借剧中的情节展开比喻:故事开场时,超级武器掌握在一个家族手中;随后家族分裂,最终演变成血腥内战。Zuckerberg 对 AI 风险的回答是最大化扩散,这“有点像给每个人一条龙……有些人会发动网络攻击、设计新型生物武器”。
- Kevin 拆解了其中的修辞转换:Zuckerberg 认为,由于价值观存在差异,不可能有一套与所有人普遍对齐的 AI,因此每个人都应该拥有一套按照自身价值观定制的超级智能。“听起来很好,但在现实中,如果给中国共产党一套服从其价值观的 AI 超级智能,它就能对本国人民实施骇人听闻的暴行。”
- 对于攻防均衡,Casey 提出了关键例外:它可能适用于网络安全,但“如果我释放一种新型病原体……防守方只会多花一点时间才能追上来”。Kevin 指出,Zuckerberg 实际上承认生物领域可能打破“工具平等”的逻辑——“他某种程度上把问题搁置了……我不认为他完全天真,只是他目前还没有为这一部分找到好的答案。”
2. 真正目的:一份与法庭败局同步推出的政策愿望清单
- Casey 梳理了这篇文章真正提出的要求:加速数据中心建设,以支撑 Meta 潜在的 Neocloud 业务;维持先进芯片出口管制——这对“开源先生”而言颇值得注意,因为它会让 Meta 的开放权重模型相对中国替代方案占优;在创作者诉讼不断之际减少“训练数据限制”;以及为蒸馏提供法律保护。“埋在这幅极其积极、阳光的 AI 愿景之下的,其实是一系列帮助 Meta 这家公司的政策请求。”
- 时机在于:一个又一个州正在就青少年安全问题追究 Meta 的责任。上周,新墨西哥州一名法官下令在3.74亿美元民事罚款之外,额外向青少年心理健康补救基金注入5.67亿美元;裁定 Meta 的平台构成“公共滋扰”,将其比作工厂,只不过排放物是“对儿童造成的心理伤害和剥削”;同时将未满18岁用户的使用时长限制在每月90小时,并新增聊天机器人限制。
- Casey 不愿放过其中的历史循环:Zuckerberg 曾发表充满乐观情绪的宣言,承诺让所有人在 Facebook 上连接起来,就会带来“比你过去见过的更多民主”。“不用多说,这事并没有真正成功。现在我们又看到了完全相同的、最大化和普世主义的叙事——当然,它也与 Meta 的商业利益100%一致——只不过这次语境换成了 AI。”他也承认:“我希望自己昨天才出生,可以相信读到的一切,但 Kevin,我知道得太多了。”
3. Meta 真能造出来吗?Kevin 将概率从1%上调至10%
- Kevin 更新了判断:6个月前,他认为 Meta “创造超级智能的概率只有1%,现在我可能上调到10%”。Meta 大举招募后启动的训练运行正在上线,结果“相当令人印象深刻”——它还不是前沿实验室,但进步速度很快。
- Casey 表示认同:“Mark Zuckerberg 的第一条规则,就是永远不要排除 Mark Zuckerberg。”他接触的 AI 圈人士高度评价 Meta 过去一年的动作,尤其是重新调配工程师来生成强化学习训练数据——“Meta 的工程师其实并不喜欢这样”,但 AI 从业者认为,这会给 Meta 带来有价值的东西。
- Kevin 多年前与一名前 DeepMind 高管交流时听到过一个关键故事:有工具公司,也有 AGI 公司,两者都可以被负责任地经营;“真正的危险在于,一家公司以为自己在设计工具,实际上却在设计超级智能”,因为它永远不会以“正确的敬畏感和警惕感”来对待这项技术。当年这句话说的是 Google;如今 Kevin 认为,Meta 可能会“以一种非常天真的态度造出极其强大的东西”,并把它们当成普通的食谱工具。
- Casey 最后谈到公司文化:一家把所有事情都当作生死竞争、对社会外部性“轻描淡写”的公司——“我不相信这些人能在不损害我心理健康的情况下,替我给病毒式舞蹈排个名。一旦你让这些东西接触到新型生物技术,事情就开始变得相当令人担忧。”
4. AI 的正面叙事靠交付赢得,而不是靠宣言
- Kevin 对传播者的评价是:“Mark Zuckerberg 可能是整个 AI 行业在这些问题上最糟糕的传播者。”如果他以为一篇阳光灿烂的愿景就能阻止数据中心抗议,“那他就大错特错了”。Casey 给出的标语是:“给你带来 Cambridge Analytica 的人,现在带来了超级智能。”
- Casey 完整阐述了他对 AI 积极性的正面判断:“由 AI 推动的新医疗进展、疾病被治愈、新工作被创造、旧工作获得更高薪酬、孩子在教育中表现优异……关键是,它不是通过宣言传递的,而是通过人们正在经历的真实体验传递的;到目前为止,这似乎是一道我们的头部 AI 实验室都难以跨越的鸿沟。”Kevin 将其压缩为:“要么交付,要么闭嘴。”
- 有一点不得不承认:这篇宣言通过了 AI 检测器,而且读起来确实像是 Zuckerberg 亲自写的。Casey 说:“我一次都没觉得自己读到的是垃圾文本。”但对于“他在多大程度上相信其中的一切……我想我并不知道”。
5. Pangram 的技术突破:分类器取代困惑度,Kevin 推翻旧判断
- Kevin 在节目中改变了看法:“我以前在节目里说过,AI 文本检测基本毫无价值……但就在过去几个月里,越来越多证据表明,至少 Pangram,以及其他一些工具,已经变得相当准确。”如今 Casey 也认真看待 Pangram 判定为“100% AI 生成”的截图。
- Max Spero 解释了技术发生了什么变化:旧式检测器使用困惑度指标——AI 文本“平滑得可疑”,但《独立宣言》这类被人熟记的文档同样如此,英语学习者写出的文本也可能具有低困惑度,因此容易产生误判。Pangram 则在成对样本上训练分类器:一篇真实的七年级学生《白鲸》读后作文,对比一篇 LLM 仿写的七年级学生《白鲸》作文;训练语料库干净,全部来自2022年以前的人类写作。
- 它检测的并不是破折号,也不是“不是 X 而是 Y”这类表面特征,而是跨整篇文档“结合一大堆非常弱的信号”:AI 的词语选择往往模式坍缩,而人类拥有“更宽的决策树”,会在用词上做出持续但不同的选择。一个能说明问题的把戏是:让 ChatGPT 或 Claude 生成一串随机数字,Pangram 也会把它判为 AI——因为“它们其实并不随机”,模型的采样偏差即便在没有相关训练数据的情况下也会泄露出来。
6. 猫鼠游戏:人类化工具、新模型发布与误报权衡
- 谈到盲区时,Spero 承认这种不对称是刻意设计的:Pangram “非常注重降低误报,因此不会制造错误指控”——代价是会出现漏报,例如科技记者 Alex Heath 的 AI 辅助 newsletter 被判定为人类写作。但好处是,当 Pangram 给出100% AI 的结论时,“你就知道,好吧,这大概率是垃圾文本”。
- 人类化工具构成了真实的猫鼠游戏:包括自动植入拼写错误的工具、读者看不见但模型能识别的零宽 Unicode 字符,以及整篇改写器。“我们一直在捕捉最新的人类化工具,并用它们训练下一代模型。”
- 新一代前沿模型发布后,检测器的召回率会在重训完成前“略微下降几周”,但同一模型家族内的泛化能力仍然成立——“如果 Pangram 见过 GPT-5.4 和 GPT-5.5,那么 5.6 Sol 发布就不会让它太意外”;即使此前从未见过 Mythos,它也在系统卡中识别出了 Mythos 的写作样本。Spero 认为检测能力具有持久性:实验室会施加偏好——更好的写作、正确的代码、正确的数学——而不是只做平均的下一 token 预测,“这些偏好基本上正是 Pangram 能够捕捉到的东西”,即便表面文风会变化。
7. 为什么要检测:99%机器人流量的互联网需要偏向人类
- 对于“你总不会去检测拼写检查吧”的质疑,Spero 的回答是:“把 AI 当作工具,可能是错误的抽象。今天的情况更接近于,AI 是一名员工,或者另一个与你协作的个体。”机器人流量刚刚超过人类流量,约为50/50,10年内可能走向“99%机器人流量”;因此“作为人类,我们需要偏向人类”,包括在算法层面,因为 AI 短视频“会以真实人类视频无法做到的方式激活神经元并带来互动”。
- Substack 的集成“一直很有争议”:使用 AI 辅助写作的人担心,如今观众能够看见后会出现“猎巫”。Casey 干脆点评:“现在他们知道那是什么了,就不喜欢了。还是回到他们不知道的时候吧。”
- 普通人是否在意?“如果朋友发给我的一段话是 AI 生成的,我肯定会在意。这会让人觉得信任遭到了严重侵犯。”但 Spero 也指出,社会规范有时会走过头——围绕 Hank Green 的围攻“感觉就太过分了”,因为 Green 坦诚说明了自己使用 AI 辅助研究;主持人则注意到,社交媒体会奖励那种毫不费力的“LOL,AI 生成”式嘲讽。
8. 水印经由欧盟落地,Pangram 进军多模态
- 新闻焦点是:Anthropic 已同意为其全部文本加水印,以遵守欧盟 AI 法案。Spero 称这对水印是“相当重大的”验证——它提供了额外一层核验,可以消除“万分之一误报”带来的疑虑;但他也表示,水印存在局限,这正是 Pangram 可以补足的地方。
- 按照当前最先进的做法,即 Google 的 SynthID,水印会以一种可被逆向识别的方式扰动 token 采样算法。针对 Ben Thompson 认为这会降低模型输出质量的判断,Spero 的反驳是:水印只应“在可用熵范围内”工作;如果某段代码实际上只有一个正确 token,就跳过该 token,不强行植入水印。这样质量就不应下降,代价只是部分 token 可能没有水印。
- 产品路线图包括处于研究预览阶段的图像检测。Spero 称,面对 GPT Image 等前沿生成器,Pangram 在“基本所有公开学术基准”上都胜出,原因是它读取像素级生成模式——如今“已经不能只数手指了”;视频检测也在推进中。Chrome 扩展已经能够调取 Google Docs 的修订历史,让教育工作者回放写作过程,并检查大段粘贴内容。至于 Zoom 诈骗中的身份核验,顺序是先把模型做好,再“把它带到人们工作的地方”。
9. Running the Numbers:Claude 在黎曼问题上的进展、Airtable 89%的估值腰斩,以及芯片极客的婚恋市场
- 数学部分:Anthropic 员工 Jared Sumner 并非数学家,他在跑步时让 Claude 研究黎曼猜想;一天半后,Claude 在一个涉及 ζ 函数的旁支问题上取得了进展,推动它前进的只是纯粹的鼓励提示:“你需要对自己的能力迈出一大步信任……你能做到。”Casey 的判断是:“这对我来说已经像是在产生新知识了。”而背后的未发布模型“还能做很多其他事情——有些很好,可能也有些令人害怕”。Kevin 根据 Anthropic 自己谨慎的表述补充:“我们没有解决黎曼猜想。”
- SaaS 数学题:Airtable 在2021年疫情期间 SaaS 狂热的高峰期估值117亿美元,最终被 Bending Spoons 以12.9亿美元企业价值收购,相当于估值缩水89%。Kevin 认为,背后的机制是昂贵的企业订阅,加上客户开始想“也许我可以用 AI 做一个免费版”;他预计,整个2020年代初的企业软件都会出现类似情况。Casey 的规则是:“如果你的生意就是一张高级电子表格,那你接下来会很难。”而如果收购方是 Bending Spoons——这家刚上市、专门收购“僵尸科技品牌”的意大利公司——那就是“你有麻烦了,姑娘”。
- 《华尔街日报》的一篇头版重点报道了婚恋市场的变化:Samsung 和 SK Hynix 的“芯片极客”如今主导韩国约会场景,部分员工每年拿到40万至50万美元奖金。Samsung 工程师 Annie Kwon,26岁,和一名 Samsung 半导体部门同事走到了一起,形成“双份收入”;另一名女性则攒钱给她的 Samsung 男友买了一台迷你电脑,以回报对方送给她的一台价值约450美元的 Nintendo Switch 2。Kevin 说,旧金山也在发生同样的重新定价——“Anthropic 眼镜”:“那个男孩是真的很帅,还是你只是戴上了 Anthropic 眼镜?”