《Hard Fork》直播,第3部分:对 AI 未来的不同构想
摘要
- Daniel Kokotajlo 如今认为,到2028年末,能自行开展 AI 研发的 AI 出现概率为50%,时间点可能略晚于 Anthropic 的预期。 他预计2026年不会出现智能爆炸,但认为编码代理可能在未来1-2年内实现编码工作的完全自动化,届时瓶颈将转向研究判断力和管理;即便实现“99%的自动化”,也可能“把10年或20年的研究压缩到大概1年里”。
- Sayash Kapoor 的反方论点是,编码领域的进展并不能证明所有具有经济重要性的领域都能沿着同一条曲线实现自动化。 代码能提供即时、客观的反馈,而法律领域即使模型持续进步,输出仍不可靠,因为“即便是正确答案,领域专家也未必能明确判断”。投资上的关键在于,算力能否消除剩余瓶颈,还是说现实世界学习、可靠性和样本效率仍需要未知的突破。
- 2位预测者对近期期待的共识,比各自的对立标签所暗示的更多。 Kapoor 认为 AI 2027 的情景至少到2026年底都合理,Kokotajlo 也接受尚未达到“云端人类”的 AI 仍属于常规技术;但2人都认为,一旦 AI 在所有基于计算机的认知工作上达到顶尖专业人士的水平,常规技术框架就失去解释力。双方在政策上都支持透明度和外部监督,但对于更激进的情景是否应有条件地放缓发展存在分歧;Kapoor 表示,他的常规技术判断会在更大程度上权衡近期扩散带来的收益。
- Dwarkesh Patel 认为,当前模型距离人类智能和学习效率仍很远,却已经出现令人不安的能力过剩。 数字心智可以“快上数千倍”地思考、吸收跨领域知识,而人类学习新事物的速度可能“整整快100万倍”,还能跨会话保留知识并在工作中持续进步。真正具有决定意义的问题是:当模型保留数字心智的优势,同时获得人类的优势时,会发生什么。
- 实际工作证据更能支持生产率提升,而不是整份工作的自动化。 Patel 说,他每天看到的大多数 token 都由 AI 生成;Casey Newton 也能在大约4分钟内获得一份播客简报,而这项工作过去可能需要雇人完成。但 Patel 认为,自己进行1小时的赞助商谈判,或协调一场直播所需的工作,仍超出可靠自动化的能力范围。他对 AGI 的直白检验是:“我们都有工作。”
- 持续学习可能把巨大的商业价值与真正的超级智能区分开来。 一方认为,足够长的上下文和多样化的 RL 环境可以替代模型权重更新;另一方则指出,员工可能需要6个月才能实现净生产,因为经验会被提炼成抽象能力,而不是简单储存为不断增长的逐字记录。Patel 认为,前一种路径即使无法造出能即时获得现实世界政治判断力的系统,也可能带来“1万亿美元的收入”。
- 人形机器人目前仍是数据采集市场,近期开启工业部署在受控环境和四足巡检中更可信。 一台配备灵巧手的 Unitree 人形机器人售价约为5万-7万美元;George Ekas 预计,工厂任务将在未来几年内落地,但家务劳动还要“再等几年”。在家庭使用场景得到验证之前,Unitree 的日志数据流向中国以及美国拟议的进口限制,已经带来了安全和进口政策层面的担忧。
- 劳动力和企业叙事可能先于技术本身发生转向。 Kevin Roose 预计,只有在市场奖励 AI 重组时,公司才会大力宣传相关举措;当反弹的代价超过估值溢价后,企业可能继续裁员,却会给 AI 相关裁员换个名称。观众最担心的是初级岗位路径消失、隐私,以及如何为一个无法预测的劳动力市场进行教育。主持人提出的上行情景集中在加速科学和医学进步、个性化学习,以及让软件开发变得更普及、更有趣。
精读
1. 全面自动化 AI 研究推迟至2028年末
Kokotajlo 更新后的估计是,到2028年末,能够自行开展 AI 研发的系统出现概率“可能为50%”。他认为这比 Anthropic 的预期略晚,并给出了修正预测背后的经验教训:“事情耗时总会超过你的计划。”
他的情景不包含2026年的智能爆炸,智能爆炸会在次年到来。他所说的“智能爆炸”,是指 AI 研究实现完全自动化,让原本已经很快的研究流程进一步加速,而不是系统突然跃迁到什么都能做的状态。
路径可能从编码代理持续变强开始,并在未来1-2年内“完全”自动化编码。随后,研究判断力、管理能力和其他非编码技能会成为约束;公司会围绕这些瓶颈训练模型,只有在完整研究闭环实现自动化后,更广义的超级智能才会“可能离得不远”。
2. 可靠性,而非原始能力,限制现实世界采用
Kapoor 认为,分歧在于自动化研发的每个障碍是否都能靠算力解决。编程拥有模拟器、虚拟环境和海量反馈;要让系统在所有领域都达到人类式的样本效率,就必须在那些实验与更慢、更混乱的现实世界交互的领域取得进展。
他举出的最佳案例是一位看多 AI 的律师:随着模型变强,这位律师不断扩大交给 AI 的任务范围,却发现幻觉和不可靠性始终存在。法律不同于代码,专家不能总是运行一个答案并检查确定性输出;合格的专业人士完全可能对正确做法产生合理分歧。
Kapoor 认为,在对“云端人类”下结论之前,必须先建立远高于当前水平的评测标准。Anthropic 采用的、由他参与设计的评测已经被 Opus 4.5 刷满,模型给出的效果是:“看,这事现在已经解决了。”但解决定义清晰的任务,并不能证明研究者已经知道下一阶段普适性所需的瓶颈、架构或突破。
Kevin Roose 的反驳值得保留:模型一代代击穿基准测试,迫使行业不断设计新的评测,这让实验室的信心更容易令人信服。Kapoor 接受,只要“我们能把事情定义得足够清楚”,这种进展就会继续;他质疑的只是被默认的终点。
3. 递归改进未必以 ASI 收场
Kapoor 认为,递归式自我改进大约在60年前就已经开始:编译器、框架、系统和库让人类能够借助既有工具构建更好的工具。仅编译器就让编程效率提升了“大约2个数量级”,现代库则把在汇编语言中可能需要数年乃至数十年的工作压缩下来。
这段历史完全支持更好的 AI 研究模型出现,却不能证明人工超级智能必然到来。人类团队借助 AI 可能继续击败单独运行的 AI,最终出现的或许是能力强大得多的模型,而不是在每项任务上都超过最优秀人类的系统。
Kokotajlo 的回应是,Anthropic 已公布计划中的候选障碍没有一个看起来足够坚固。模型的确可能仍不如人类高效利用数据,但公司可能迅速改善这一点,也可能绕开这个要求:“99%”的 AI 研究自动化,仍然足以在1年内产出相当于10年或20年的研究成果。
双方认可的边界是“强 AGI”,也就是“云端人类”:系统在所有基于计算机的认知任务上达到专业人士、甚至顶尖专业人士的水平。Kokotajlo 同意,较弱的系统仍属于常规技术;Kapoor 也承认,一旦达到这一门槛,常规技术论“就不再准确或有帮助”。
4. 2个阵营都不信长期预测,也不太信自己的读者
Kokotajlo 的元论据建立在深度学习能力边界一次次被错误宣告之上:人们声称存在的“墙”,几乎总是在说出这些判断后不久就被“撞穿”。数据效率可能成为下一个被击破的障碍,即使目前还看不到实现路径。
Kapoor 区分了领域“视界”之内的近期预测与范式变化预测。行业可以外推当前工作,却一直不擅长提前预判颠覆性转折,包括在小群体研究者和大规模数据集推翻共识之前,长期否定神经网络的价值。
这段历史同样对今天的共识构成反证。Kapoor 担心,行业正在围绕 transformers 形成羊群效应,从而忽略可能带来更高数据效率的架构;即便发现这类架构,也不保证它们能达到人类级别的样本效率。
2人的论点都被政治和意识形态阵营拿去服务各自立场。Kokotajlo 把发表文章称为“一次对人性的信仰飞跃”,相信开放推理能改善决策;令 Kapoor 震惊的是,“有多少人根本不深读文章”,尽管他的文章开头就把 AI 与互联网、电气革命和第一次工业革命相提并论。
5. 近期政策趋同,尾部风险判断仍分歧明显
Kapoor 为“常规”一词辩护,称它是相对性的标签,而不是贬低性判断:他预计 AI 的影响将与互联网相当,Kokotajlo 则可能认为 AI 是“人类历史上最重要的发明”。说“今天的 AI 是常规技术”,并不意味着社会后果不会极其深远。
2人都把透明度和外部第三方了解公司内部情况的能力放在首位。在讨论 Anthropic 发布 Claude Fable-5 时,Kapoor 称在 AI 研发任务上进行刻意降级是“一个非常危险的先例”,并认为公司不应通过微调模型误导客户;他表示这是自己与 Kokotajlo 的共识。
双方主要的政策分歧在于是否应有条件地放缓发展。Kapoor 表示,在更激进的情景下,人们可能希望放缓甚至暂停,但从他的常规技术判断出发,近期更广泛的扩散和更强系统带来的收益,略高于相应风险。颇为意外的是,Kapoor 与 AI 2027 合著者 Thomas 花了数小时寻找近期差异,却发现双方至少在2026年底前没有分歧。
Kokotajlo 将失去控制排在首位,权力集中排在第2位。Kapoor 对军事 AI 更为担忧:“杀人机器人”不需要进一步突破,利用现成的计算机视觉库就能制造,这意味着民族国家的选择“相当令人警觉”。
6. 人形机器人先采集数据,再做家务
Unitree 机器人 Toby 现场跳舞、重重摔倒、短暂失去响应,随后恢复运行,展示了这类机器人的耐用性与不成熟。Ekas 表示,目前对人形机器人的需求主要来自研究人员:他们采集任务数据,并针对不同垂直行业训练控制策略。
眼下更具实用性的工业产品是四足机器人,也就是“狗形机器人”。客户可以为其加装 LiDAR 和其他传感器,用于巡检或安防巡逻;相较处于研究前沿、需要执行复杂任务的人形机器人,四足机器人的部署门槛更低。
价格会随操作能力提升。配备灵巧手、用于采集任务数据的人形机器人售价约为5万-7万美元,“就像一辆中档跑车”。Ekas 预计,未来几年内,机器人可以在受控工厂环境中执行把零件装入设备等工作,并提到 Figure、Unitree 和 BMW 的早期项目;进入家庭则要更晚。
在安全问题上,Ekas 承认 Unitree 会把日志数据发送到中国,但表示目前尚未确认存在摄像头画面或关节遥测数据传输。美国拟议的 Unitree 进口限制会“带来问题”;如果中国制造的人形机器人被广泛禁售,他没有提出进一步的替代方案。
7. 强大的助手仍无法替代整份工作
Patel 的框架是:模型已经能以快上数千倍的速度思考并吸收广泛知识,但人类学习新事物的速度可能快上100万倍,还能跨会话保留信息并在工作中学习。真正令人恐惧的问题是:“当数字心智在保留自身优势的同时,获得人类的这些优势,会发生什么?”
不过,AI 已经主导 Patel 的信息工作流:他每天看到的大多数 token 都由机器生成。Newton 也会用模型把关于陌生嘉宾的近期公开资料整理成一份约4分钟的简报;这是一项过去可以雇人完成的独立研究工作,但他并没有因此减少工作量,也没有减少坐在电脑前的时间。
Patel 的悲观是相对于一个“荒谬的时间线”而言的——在那条时间线上,他的朋友们会讨论2年后出现奇点。模型仍无法可靠完成1小时赞助商谈判中的上下文来回沟通,也无法协调另一座城市的活动:“人们真的低估了人类工作、甚至白领工作的范围。”
8. 计算机使用与持续学习仍是彼此独立的瓶颈
计算机使用表明,可验证性本身并不够。训练需要大量确定性的并行 rollout,但线上服务无法承受这样的负载——“如果你试图在 Amazon 上这么做,Andy Jassy 会直接把你关停”——因此实验室必须高成本地构建 Amazon、Slack 等网站的仿真副本。
持续学习带来的挑战更深。一个强模型可能在第1天就超过实习生,但实习生可能在2周后反超;员工可能需要6个月才能实现净生产,因为经验会被提炼成更高层次的抽象能力,而不是累积成完美的情景记忆。
因此,一方认为,用户特定的学习需要在会话之间更新模型权重。另一方则认为,模型可以在庞大上下文中经历相当于6个月的时间,并在足够多样化的 RL 环境中训练后,学会适应任何出现的情况。
Patel 诚实地表示不确定:长上下文适应能力可能带来“1万亿美元的收入”和其他“真正荒谬的结果”,却仍然无法达到超级智能。一个具备 Henry Kissinger 或 LBJ 那样政治能力的模型——“举谁都一样”——无法在显而易见的数据中心环境中训练出来,可能必须直接从现实世界学习。
9. 市场先奖励 AI 重组,社会随后才吸收成本
Roose 预计,信息披露激励会发生逆转。眼下,公司宣称 AI 带来生产率提升和裁员,就能获得一种“奇怪的市场溢价”,有时还借此掩盖此前过度招聘的问题;当反弹加剧后,公司可能继续重组,却把由此产生的裁员换成别的说法,把 AI 的作用“扫到地毯下面”。
一位现场软件工程师看到,招聘正集中在能够架构系统、核查模型结果的高级工程师身上,由此产生了入门岗位缺失的问题。Newton 引用的劳动力经济学家认为,当前情况仍远未达到全球金融危机时期的程度,但也承认局面可能恶化;告诉毕业生第一份工作可能就是一份糟糕的工作,显然算不上安慰。
教育面临的错配周期更长:学校仍在按照固定职业目标培养孩子,而可信的 AI 预测几乎只能延伸2年。在隐私问题上,Newton 支持对部分聊天机器人对话提供类似律师特权的保护,并建立让敏感数据远离大型公司的系统;Roose 给出的更尖锐处方是:“取缔数据经纪商。”
最后的上行情景集中在加速科学和医学进步,包括催生更多突破性疗法,同时把 AI 变成学习和创造工具。Newton 想象学生可以获得无限量的个性化测验,也享受通过 vibe coding 制作项目的乐趣——即使最终产物“纯粹是垃圾”。