先锋 趋势 方法 投研 作者
直面“智能诅咒”:与 Workshop Labs 的 Luke Drago 对谈,来自 FLI Podcast
返回节目精读

直面“智能诅咒”:与 Workshop Labs 的 Luke Drago 对谈,来自 FLI Podcast

摘要

  • Drago 提出的“智能诅咒”本质上是一套议价权论:一旦非人类智能成为主要生产要素,资本所有者就会理性地投资 AI 而非人。 这里的风险不需要邪恶高管或失配机器;只要在提升速度和可靠性的同时,让工资支出节省50%就足够了。政治议价权随后会随经济议价权一起削弱,因为“你创造价值的能力,是你在社会中核心的谈判筹码”。

  • 最早的预警信号应出现在白领金字塔底部:AI 可能先摧毁入门级人才管道,再取代资深决策者。 Drago 会关注22至25岁人群在可自动化领域的就业、招聘信息、收入不平等、社会流动性,以及资本开始在没有人才的情况下复利增长的任何时刻。他设想的终点是:“有一天你醒来,发现所有同事都是 AI,而下一次敲门,就是来把你也赶出去。”

  • 专有的人类专业诀窍可能成为决定性的数据护城河,而交出这些诀窍,可能是在资助取代自己的系统。 Workshop Labs 押注于隐性技能和实时本地信息仍是瓶颈,尤其是在雇佣了50%美国人的中小企业中。Drago 称数据是“新的社会安全号码”:10年内,为了略好的结果而把自己的工作生涯交给实验室,可能让实验室距离出售自动化你所需的知识“只差按下一次按钮”。

  • 看空宏观情景是:劳动税基收缩、企业产出创纪录、转移支付承压,同时 B2B 经济不再需要大众消费购买力。 Drago 设想,2030年的毕业生无法进入软件行业,企业将员工支出减半却把产出翻倍,而政府在所得税约占联邦税收收入50%的情况下失去收入。到2040年,不稳定的 UBI 与政治动荡并存,社会将“少得多的星巴克”和“多得多的数据中心”。

  • 将智能商品化,是防止模型所有者攫取垄断租金的必要条件;但要实现开放获取,必须有在模型发布后仍然有效的安全技术。 Drago 不接受开放权重模型必然远远落后的假设,称中国模型距离前沿大约6个月,Kimikatu 在英文写作上甚至可能达到 state-of-the-art。他偏好的投资前沿是抗篡改模型和分层防御;“掌握在一个人手里的对齐超级智能,会让这个人事实上成为独裁者,除非他选择不这么做。”

  • 持久的消费级 AI 机会,是一种架构和收入模式都让它忠于用户,而非广告商、雇主或政府的智能代理。 它应该“要么站在你的利益一边回答,要么告诉你它没有这样做”,通过类似 AI 特权的机制保护私密数据,并明确标注商业影响。Drago 接受隐性广告支持的 AI 是默认轨迹,但认为苹果由设备收入支撑的隐私模式证明,可信赖的基础设施可以成为一个巨大市场。

  • 对劳动者和创始人而言,Drago 的建议是在标准化的名望阶梯消失前离开它们。 “n=1”的岗位——没有其他人做同样重要的工作——比成为1,000名可互换员工中的一个更安全;初创公司和本地化专业企业则可以利用 AI,而不必把自己的优势向上游拱手让出。Jane Street 或 McKinsey 可能仍会开出大额支票,但他称那是“西贡最后一架直升机”:“你们是最后一代顾问,这个行业正在消亡。”

精读

1. 人类劳动失去议价权,而非失配,制造了这场诅咒

  • Cognitive Revolution 的框架提出了本期节目的核心复杂性:即使人类解决了 AI 对齐问题、没有失去控制权,只要机器取代人类成为经济主体,转型仍可能走向糟糕结局。Drago 的失败模式类似资源诅咒:统治者会投资石油,而不是公民,因为石油回报更高。

  • Drago 描述的是一种非人格化、并非阴谋论式的机制。如果资本可以买到“更好、更快、更便宜”地完成劳务的系统,那么当一家公司既能获得更好结果、又能削减50%工资支出时,它通常会选择自动化;因此,旨在取代而非增强人的技术,会把社会推向“人根本不重要”的世界。

  • Docker 以养老金领取者和 UBI 提出的反驳值得保留:社会本来就会保护那些当前产出很少的人。Drago 的回答是,养老金领取者通常先通过大约40年的工作积累议价权,再获得10年、20年或30年的豁免;如果“我们所有人永远都是养老金领取者”,那么每个人都会依赖选举,却没有独立的议价筹码。

  • Drago 将民主与分散的经济权力联系起来:拥有财产的领主曾迫使国王接受《大宪章》、法院和议会等机制,因为国王无法忽视他们。经济自由化往往是我们所重视的民主制度的前提,尊重权利且繁荣的政府也与民主高度相关;如果移除其底层议价权,继续施以善意就会变成一个脆弱的假设。

2. 自动化从金字塔底部开始,并首先体现在流动性上

  • 验证信号将包括收入不平等扩大、社会流动性下降,以及一旦美元无需稀缺人才就能产生回报,资本积累突然加速。Drago 尤其担心,美国“从一无所有起步并赢得胜利”的承诺——它从来不是保证,但至少曾经是一条路径——开始在结构上关闭。

  • 他的“金字塔替代”首先发生在跨国白领企业内部:这些公司每年招收大批分析师,以补充狭窄的领导层。AI 会先吸收入门级任务,随后随着模型获得代理能力、更长周期的规划能力和机构知识访问权限不断向上推进,最终自下而上替代每一层,而不是先攻击管理层。

  • Drago 提到一篇他认为前一天刚发布的论文,称在包括软件工程在内的部分 AI 暴露领域,22至25岁人群的招聘信息、录用机会和就业都在减少。他反复限定了这一说法:自己只是粗略看过研究结果;要检验因果关系,他会询问下降是否集中在当前及预期系统确实能够自动化的任务上。

  • 蓝领岗位的替代可能更接近“从0到1”:在具备能力的机器人出现前,许多处境相近的工人都仍然不可或缺;一旦机器人出现,他们可能同时变得可自动化。Docker 补充说,开票、排班等管理职能可能先于体力劳动消失——这与白领金字塔的顺序不同,也可能是更剧烈的机器人冲击的前兆。

3. 受保护的头衔可能掩盖自动化判断

  • 法律限制可能在形式上保留法官和资深律师,但 Drago 警告说,影子自动化仍会发生。如果每位法官都以几乎相同的提示词咨询 GPT-7,并接受其输出,那么职位仍由人担任,但判断已经围绕“GPT-7 中存在的任何缺陷”集中化。

  • 法律行业体现了这种分化:合伙人可能保留受保护地位,而做苦活的律师助理和第一年律师更容易被移除。关键分叉在于,现有律所是否会在不补充员工的情况下让利润复利增长,还是廉价智能会带来“新律所的大量涌现”和更多元的经济产出;Drago 更偏好后者,但称这并非默认结果。

  • 品味可能仍是一项持久优势。艺术家 Nomads and Vagabonds 在自己的作品上微调 Stable Diffusion,生成数百个结果,再发布其中高度筛选的一小部分;Drago 在这个循环中看到了明确的个人作者性。但这与 OpenAI 所宣称的 AGI 目标不同——“全部都做,而不是只做一部分”。

4. 隐性数据既是护城河,也是提取目标

  • Workshop Labs 的两部分论点是:长期 AI 进展的瓶颈在于高质量的隐性技能和本地信息数据。隐性知识通过实践积累,难以定位,因为人们只是拥有它;本地知识则来自身体处于现场、注意到不断变化的条件,并在周边环境中发现机会。

  • Labs 加速进入浏览器和定制化强化学习环境,说明市场对这类材料存在需求。Workshop 的主张是:把现有模型调教到个人的私有工作上,将其限制给该用户使用,并确保由此产生的优势无法被转化成更大的系统来取代用户:“你应该收获已经存在于自己世界中的数据所带来的好处。”

  • Docker 提出了一个劳动冲突:管理层希望获得员工的流程知识以降低成本,而 Drago 认为重要的竞争信息不应被直接赠送出去。他将机会扩展至中小企业——它们雇佣了50%的美国人,并依赖那些一旦缺席就会让某些环节真正停摆的员工;个人模型可以抵消在位企业的规模优势,触发“中小企业的爆发式增长”。

  • 个体激励仍然棘手:一名收入微薄的数学博士生可能愿意为每个分步骤证明收取数百美元。Drago 说,如果工具“更差”且没有报酬,隐私不可能胜出;忠于用户的产品必须优于现成模型。Workshop 计划在9月和10月披露有关加密传输、NVIDIA 安全飞地、经验证代码和加密模型权重的信息。

5. 糟糕的宏观循环可以完全绕开消费者

  • Drago 的情景从一名2030年的计算机科学毕业生开始:由于2026年时结果尚不明显,他无法获得实习或入门级工作。随着这一人群扩大,失业支持体系承压;与此同时,一家以 Microsoft 为例、但并非特指 Microsoft 的公司,在员工支出减半、产出翻倍后公布创纪录利润。

  • 财政错配之所以重要,是因为 Drago 称所得税约占美国联邦税收收入的50%,而企业税占比很小,大公司还可以将其降到很低。不断收缩的工资税基因此遇上日益承压的安全网,最终紧缩、支付减少和社会动荡彼此强化。

  • 到2040年,许多人仍处于失业状态,而受到政治争议的 UBI 已被证明不足且不稳定。高度集中的企业随后面对被削弱的制度,并获得移除政府约束的激励;Drago 提到 Tom Davidson 的政变情景,经济 precariousness 可能通过民主或非民主方式,转化为政治权利的丧失。

  • Docker 对需求侧提出异议:巨型公司仍然需要客户。Drago 的回答是,一个越来越封闭的 B2B 循环,参与者包括实验室、AI、政府,以及土地、算力、能源和智能的提供者。将智能商品化可以限制租金——“如果你是围绕一种商品收租的人,你就是地主;如果你是围绕一种垄断收租的人,你就是租客”——但这本身并不能恢复人类的议价权。

6. 制度,而非资源红利,决定挪威与租金国家的差别

  • 挪威证明资源诅咒可以被打破:它是在建立了有能力的公务体系、低腐败、稳定民主和能够吸收主权财富投资的经济体之后发现石油的。Drago 提出一个令人不适的问题:当代美国是否拥有同等韧性的制度?他的答案是否定的;而全面劳动自动化带来的压力会比石油更强。

  • 石油只能作为类比,因为它从未取代人类的每一项贡献。随着可再生能源威胁石油的主导地位,沙特阿拉伯和迪拜可以把石油美元再投资于更具活力的经济,但历史上的收益往往归于那些对国家具有经济重要性的人;沙特阿拉伯和阿联酋也依赖底层阶级,并未给予所有人平等自由。

  • Drago 认为,MBS 领导下的沙特性别政策放宽与经济多元化同步发生——这不是完全解放,但说明经济上的有用性与政治待遇会彼此联动。阿曼则提供了另一种机制:可信的革命威胁可以迫使收租者分配足够财富以维持统治,而不是冒险失去全部租金。

  • AI 甚至可能通过自动化监控和镇压来消除这张议价筹码。国家可能在制度失稳时显得软弱,却会在异议变得可识别且由机器执行后“突然变得非常强大”;无论处于哪个阶段,民主进程都可能失败——先是因为无能为力,随后则是因为压倒性的强制优势。

7. 防御技术必须让分散的智能得以存续

  • 激励很强大,但并非命运。Drago 将华盛顿式、西辛纳图斯般主动放弃权力的决定,与 Brexit 中主权论据击败强劲经济理由的案例并置,以说明个人和文化可以拒绝物质激励。但一再依赖非凡品格非常脆弱:“告诉我激励,我就告诉你结果。”

  • 他的差异化发展议程分为3类:让强大 AI 足够安全、从而保持分散的技术;让人类继续控制自身数据和生产力的工具;以及强化民主制度的系统。第三类受到 Audrey Tang 愿景影响,Workshop 则瞄准第二类。

  • 灾难性风险本身为垄断提供了可信论据:先进系统可能促成生物武器或其他伤害,因此当局会集中访问权限。Drago 因此把安全视为反垄断的前提——如果社会要构建强大 AI,就需要足够强的技术防御,让“一个人”不必永远控制智能。

  • 他对社交媒体的类比结合了监管与替代方案。年龄门槛和功能限制从上方处理成瘾性产品,Opal 等应用则从下方帮助用户夺回注意力:当“大量算法都指向你”时,人们需要“一些指向外部的东西”。Workshop 希望在就业领域占据这层防御,如果用户愿意付费以保持经济参与,这可能成为一个规模巨大的市场。

8. 开放权重将安全从守门转变为工程问题

  • Drago 比他预期中播客的平均嘉宾更加支持开源,因为闭源权重允许“疯狂的租金”。他接受开放模型在超级智能的硬“foom”情景下会落败,但认为几乎所有更慢的情景都与“开放模型无法追上”的说法相矛盾:中国开放权重模型距离前沿大约6个月,其中一些模型在特定任务上可能已经领先。

  • 他举的一个例子是:他押注 Kimikatu 可能在英文写作上达到 state-of-the-art。更广泛的观点是,数据和训练方法仍能抵消算力获取上的不平等,因此强大的开放权重很可能会成为现实;严肃的安全工作必须正面处理它们,而不能假设它们会永久落后。

  • Docker 的反对理由是不可逆性:开放发布后,一旦测试暴露出危险能力,就无法将其召回。Drago 提到 Kyle O’Brien 与 A.C. 的工作:据称,他们在预训练阶段移除了生物材料相关信息,模型因此对之后通过微调重新引入这些信息具有一定抵抗力;“圣杯”是让模型在有人恢复被禁止能力时直接崩溃或停止工作。

  • 仅靠评估并不够,因为一次警告性事件可能反而加速开发:受到惊吓的参与者会要求更快获得防御能力。Drago 更偏好类似疫情防控的“瑞士奶酪式”多层防护,并拒绝一种受控爆炸式方案——让12个人变成一个受监控的赢家:“掌握在一个人手里的对齐超级智能,会让这个人事实上成为独裁者,除非他选择不这么做。” 在一个持有者和许多持有者之间,他选择后者。

9. 忠于用户的代理需要匹配的架构和收入模式

  • Docker 指出,OpenAI 创立时的反垄断愿景似乎已经退化,并追问 Workshop 如何避免同样的道路。Drago 的防护措施包括公益公司身份、以提升经济机会而非自动化人类为受托使命,以及围绕使命招聘,因为“人员就是政策”;同时他也承认,“通往地狱的路由善意铺成”。

  • 更强的承诺在技术层面:用户不应需要信任 Drago 是一个仁慈的托管者。Workshop 希望建立可验证的控制机制,使得不可能用用户数据训练更大的模型、将其出售给雇主,或用它来对付用户;每一次贡献都应改进一个“只忠于你的模型”。

  • 个人代理会把冲突进一步放大。酒店预订助手可以服务用户,也可以暗中偏好与企业协议绑定的酒店;Drago 的规则是,它应“要么站在你的利益一边回答,要么告诉你它没有这样做”。他借用 Black Mirror 的类比:一个依赖云端的脑子,被广告和不断升级的订阅层级打断,说明在垄断控制下,不可或缺的增强能力如何变成租金提取工具。

  • Drago 支持“AI 特权”:一个负责安排个人生活的代理,不应在连类似第五修正案的保护都没有的情况下,变成审讯记录。Docker 认为消费者更偏好免费、隐性广告支持的产品;Drago 同意这是默认未来,但引用苹果“隐私第二”的模式——把隐私嵌入付费基础设施,而不是单独出售——证明匹配的收入模式可以支撑可信赖的个人技术。

10. 最安全的职业,是变得难以被平均化

  • Drago 说,无论 Workshop 是否成功,默认职业路径都在关闭。大型知名雇主是显而易见的自动化目标,因为削减500,000人的工资单会立即带来回报;初创公司、智库和不知名的小公司正越来越安全,因为它们的员工必须解读本地条件,并完成有后果、非标准化的工作。

  • 一个“n=1”的员工,承担着没有其他人执行的岗位,比1,000个做同样工作的人中的一个更安全。自动化可能最终完成整个金字塔的替代,也可能支持一个本地化、专业化的经济,让外部参与者获得前所未有的议价权;但要抓住第二种结果,就必须在现有企业吸收工具和数据之前改变路径。

  • 他对高成就年轻人的建议是绝对的:趁窗口仍然开放,去押注登月级机会,而且现在转向比以往更容易。Jane Street 或 McKinsey 的高薪可能是“西贡最后一架直升机”,而不是安全保障;接受它的人可能成为“最后一代顾问”,或成为一个已经在消亡的行业中最后一批入门级专业人士。