Mustafa Suleyman：AGI 竞赛是假的，构建安全的超级智能与代理经济｜#216
摘要
Microsoft押注代理和陪伴型产品将“吞并”操作系统、搜索引擎、应用和浏览器，使企业信任与全栈分发能力成为持久优势。 Suleyman将这家营收近3000亿美元、估值约4万亿美元的公司同时描述为建设吉瓦级算力的“现代建筑公司”和“平台中的平台”。未来5年，API可能逐渐变成面向特定任务出售、并围绕可靠性、安全性、无害性与信任完成认证的代理。
Suleyman拒绝“AGI竞赛”这一说法，因为竞赛意味着零和赢家、终点，以及只有前3名能拿到奖牌。 技术的真实扩散方式是“无处不在、同时发生、覆盖所有规模”，通常在1到2年内传播开来。因此，他给Microsoft设定的任务是实现自给自足：端到端训练前沿模型，打造“最好的超级智能和最安全的超级智能”，再通过Copilot将其投入生产。他将AGI和超级智能视为一条曲线上的模糊节点；至于曲线尽头——AI超越全人类总和并持续自我改进——他不愿给出时间表。
具有经济意义的代理基准，不是又一个学术排行榜，而是把10万美元变成100万美元，即实现10倍回报。 Suleyman认为，人类已经“轻松越过图灵测试”，却没有出现Kasparov对战Deep Blue那样的时刻；但他同时提醒，“代理目前还真的不能工作”。他预计代理将在未来几年内变得非常强，Diamandis将这一窗口解读为2027年。
Suleyman最大的预测错误不是模型能力，而是推理成本的崩塌；这大幅削弱了前沿智能的资本护城河。 他估算，2年内单token推理成本下降了约100倍，而主持人引用的估计从同比40倍到部分模型类别的1,000倍不等。Inflection曾以25人融资15亿美元，部署约15,000颗H100，并向22,000颗扩张，却眼看Llama和低价API击穿了这套成本结构。
即使推理成本持续下降，前沿开发仍然偏向超大规模云厂商：Suleyman预计，未来5到10年保持领先需要“数千亿美元”。 稀缺的研究人才、充裕的资本，以及对潜在智能爆炸的未知，共同解释了多家尚未产生营收的公司为何能获得数十亿美元估值；但他不会一概否定初创公司。如果能力提升加速，几家实验室可能同时抵达前沿——届时产品、转化速度和分发能力仍然重要。
廉价智能可能在劳动力被替代与服务成本下降之间制造危险的时间差。 讨论设想“智能即服务”最终接近零边际成本，但Suleyman表示，劳动力市场可能在服务成本下降前10到20年就受到冲击；Diamandis则将困难的近端窗口定义为2到7年。医疗是其上行空间的例证：Microsoft的MAI Diagnostic Orchestrator在罕见病例上准确率约为人类专家的4倍，同时不必要检测成本约降低一半。
AI驱动的科学研究中，假设生成速度快于现实验证速度——瓶颈将转向自动化实验室、实验执行与反馈闭环。 模型已经学会可迁移的逻辑推理，同时保留一种创造性、插值式直觉，这对定理求解和发现构成“致命组合”。但Suleyman预计，科学会比创业自主性更难，因为新科学主张最终必须在现实世界中接受检验。
Suleyman的安全原则是“加速但设边界”：必须先做好遏制，再谈对齐；人工智能的人格权是“一条红线”。 他支持根据算力规模开展审计，就安全FLOPs和安全团队人数作出共同承诺，并最终推动国际合作；同时警告，没有人类控制的递归式改进会抬高风险。由于AI可以复制、并行运行，并以远低于人类的成本实现完美记忆，他表示，在无法证明对齐与遏制之前，法人人格“绝对不在讨论范围内”：“我就是物种主义者，我就是人文主义者。”
Humanist Superintelligence最初聚焦医疗、陪伴型产品和清洁能源，教育随后也成为重要应用方向。 Suleyman表示，AI已经可以提供自适应的专家辅导，Microsoft的Quizzes功能也能搭建互动式微型课程，但能够持续运行的学习项目仍未完成。
精读
1. Microsoft正在围绕代理而非应用重建交互界面
Suleyman的战略框架从Microsoft的覆盖面出发：在任何一天，这家公司大约是一家4万亿美元、营收近3000亿美元的企业，业务横跨数据中心和加速器、API、Windows、M365、游戏、LinkedIn、搜索及消费产品。在基础设施层面，他称Microsoft是“一家现代建筑公司”，每年动员数十万名员工建设吉瓦级算力。
产品形态正从通过操作系统、浏览器和应用直接计算，转向由对话式代理和陪伴型产品承载用户完整上下文。终局像是“一个24/7待在口袋里的真正助手，什么都能做”；编码代理已经展示了这一机制：它们生成并调试原本由工程师直接完成、或从代码库中调用的工作。
当Diamandis问Microsoft是否会把AI限制在M365内部时，Suleyman强调了开放心态与开放访问：Microsoft是“平台中的平台”，为他人提供生产力基础设施本来就是公司的基因。API仍会大量存在，但API与代理之间的界线可能越来越模糊。
他设想的5年后市场，是一批经过认证、能够可靠、安全、无害且值得信任地执行特定任务的代理。Microsoft的制度性摩擦可能拖慢发布速度，但Suleyman认为，“缓慢或摩擦其实也是一种资产”：财富500强企业、政府和大型机构看重的是稳定，而不是颠覆式速度。
2. “赢得AGI”不是正确的企业目标
当被问及Satya Nadella是否要求他赢下AGI时，Suleyman否定了这个前提：“我不确定这是不是一场竞赛。”竞赛意味着零和竞争、终点，以及只有第1至第3名能获奖；知识和技术则会广泛、近乎同时扩散，通常在1到2年内触达其他参与者。
运营层面的任务是实现自给自足——Microsoft必须掌握“从头开始端到端”训练自身模型的能力，在不同规模和能力维度上保持前沿，同时打造世界级的超级智能团队。Suleyman还负责Copilot，它是将这些模型带入Microsoft消费产品界面的生产渠道。
他表示，Microsoft从明年开始会发布“越来越多的模型”，但也提醒，建设一家前沿实验室需要多年时间。DeepMind和OpenAI都花了10年积累识别失败研究、重新配置人才的组织文化；Microsoft的核心超级智能团队目前只有几百人，而不是广义Copilot和搜索组织所暗示的10,000人。
当被要求区分AGI与数字超级智能时，Suleyman说，这些词只是被宽泛地用作一条曲线上的不同点。在最远端，超级智能是指一种能够比全人类总和更好地完成所有任务，并随时间持续自我改进的AI。他不愿为此设定日期，但认为它看似正在接近，足以让安全、对齐和遏制成为优先事项。
3. 指数曲线的平坦期教会了人们耐心
Suleyman在2010年至2020年间一直“熬过指数曲线的平坦期”：深度学习不断产出重要论文并在幕后改进，却很少出现大型商业应用。AlphaGo虽然非凡，但局限于受控游戏；2022年之后，LLM进入生产环境，开始改变人类对“成为人类”的理解。
Dave Blundin回忆说，他曾读到Google用数据中心冷却和思考能力为收购DeepMind支付的6.5亿美元辩护，当时心想：“真是一次失败的收购。”Suleyman的反驳是：从约500个属性预测冷却，本身就展示了后来被用于文本、音频、图像、代码和其他时间序列的通用方法——输入任意数据，在新环境中输出准确预测。
形成性样本是2012或2013年前后的一次256×256像素MNIST实验：DeepMind生成了训练数据中可以证明不存在的手写数字7。Suleyman记得自己当时想：“它学到了关于数字7这个概念的东西。”这种小突破只有在指数曲线变陡之后，才显得当初的微小几乎具有欺骗性。
LaMDA带来了后来的冲击。一支Google小团队推动大语言模型进行持续对话，引出了用户此前从未想过要提出的行为；Suleyman推动发布，却没能成功，并将那一刻描述为团队几名成员离开、创办新公司的节点。更早的一篇DeepMind论文曾让模型根据《每日邮报》和CNN文章预测缺失的单词，说明只要改进预测目标、增加数据和算力，这种方法可能具备规模化潜力。
4. 有意义的代理基准是10倍经济回报
Suleyman在2022年提出的“现代图灵测试”对应一条能力演进路径：识别让位于生成；跨连续步骤实现越来越准确的生成，应进一步产生类似知识工作者、战略家、项目经理或创始人的辅助式、代理式行动。他提出，与其给学术谜题打分，不如衡量系统能在真金白银中完成什么。
测试给代理10万美元启动资本，要求它赚到100万美元，即实现10倍投资回报。这个指标衡量的是代理应当创造价值的经济环境，而不只是语言模仿是否流畅。
在Suleyman看来，最初的图灵测试“算是已经通过了”，但由于收益不断叠加，观察者逐渐变得麻木，因此没有出现广受庆祝的Kasparov对战Deep Blue时刻。他的限定语很重要：“代理目前还真的不能工作。”行动可靠性正在快速提高，未来几年内应会进入视野，但他并未宣布百万美元测试已经通过。
5. 科学更难，因为现实必须闭环
最近的意外进展是跨领域推理：在编码谜题和数学题上训练的模型，似乎学会了逻辑路径的抽象结构，然后将其应用到其他领域。再叠加模型接近插值式的幻觉与创造性直觉，这对数学定理和新科学假设构成了“致命组合”。
Suleyman拒绝为科学、数学或工程领域的广泛解决方案设定时间表。他说，这些能力感觉很基础，也已经触手可及；如今再“押注它们不会实现”会显得“非常奇怪”。
经济自主性可能先于科学自主性到来，因为职场活动留下大量日志数据，也天然支持人类校准：AI可以定期检查、接受干预，并沿着人机共同引导的强化学习轨迹前进。新科学发生在更抽象的搜索空间中，即便专家也可能不知道如何在测试前评估一个定理、药物或材料是否成立。
因此，科学闭环从模型生成假设开始，经由人类筛选、计算机内实验和物理实验，再将结果反馈给模型。核心约束是从似是而非的想法走向经过验证的知识；模型可以指出搜索方向，但实验室仍然必须“把实验跑起来”。
6. 开源模型击穿了Inflection的算力论
推理经济学引发了明确分歧。Suleyman回忆，2年内单token推理成本大约下降了100倍；主持人则引用了不同口径的估计：每年每美元对应的token智能提升40倍，以及某些模型类别高达1,000倍。他很快承认更广泛的判断：“这一点我也完全搞错了。”
ChatGPT之前，Inflection以25人团队融资15亿美元，建设了Suleyman所称当时最大的H100集群：约15,000颗芯片，并向22,000颗扩张。NVIDIA为该项目提供支持，而此前主要服务加密行业的CoreWeave成为Inflection的首个AI客户。
ChatGPT、随后是Llama，改变了竞争结构。用十亿美元级资源训练的模型通过开源获得，同时还有低价商业API，削弱了Inflection的资本基础；Perplexity等公司可以更晚入场，依靠Llama和API，而不必自行融资建设同等规模的集群。Suleyman说：“关键不在性能，只有成本。”
7. 廉价智能制造危险的时间错配
讨论设想“智能即服务”最终接近零边际成本。这本应降低商品和服务成本，但劳动力收入可能先行下滑；Suleyman表示，劳动力市场受冲击与通缩红利全面兑现之间，可能存在10到20年的错配，制造一个潜在不稳定的过渡期。
Diamandis将困难窗口定义为未来2到7年，在此之后，充裕的食物、水、能源、医疗和教育才会扩大可及性。Suleyman同意短期可能不稳定，但仍对中长期持乐观态度。
Microsoft的MAI Diagnostic Orchestrator体现了上行空间。它在《新英格兰医学杂志》的罕见病例上使用多个模型，准确率约为顶尖专家的4倍，不必要检测带来的成本约为后者的一半。
Diamandis引用了一项比较GPT-4单独使用、医生单独诊断以及医生使用GPT-4的研究，并指出人类诊断会受到近因效应等偏差影响。在有人批评Microsoft把AI和医生分开测试后，Suleyman表示，让医生使用Google Search确实能略微提升表现，但“AI仍然以相当大的幅度胜出”。
8. 拟人化设计必须止步于人工人格
Suleyman区分了模拟体验与生物感受。AI可以描述红色并复现情绪的各种表征，但它没有由嗅觉、声音、触觉和进化感知共同产生的具身感质；工程化的动机意志也会是人为添加的东西，而不是人类意识的涌现等价物。
真正的危险在社会层面，而非形而上学层面：高度有说服力的模仿会“彻底”激活人类同理心，促使人们要求模型获得福利或权利，尽管模型在被拒绝算力、数据或对话时并不会受苦。人格、文化和价值观正在成为设计材料，但系统应当与人类保持清晰区分，披露自身性质，并维持明确边界。
对于法律人格，Suleyman划出“一条红线”。一个可以无限复制、成本低于人类、拥有完美记忆和并行计算能力的实体，会在资源竞争中形成内在不平等。在对齐和遏制能够以极高标准得到证明之前，法律人格“绝对不在讨论范围内”。
Diamandis追问，经过增强的人类、脑机接口或生物混合体是否可以抹平这种竞争。Suleyman对更安全、跨度达百年的路径保持开放，但首先强调当前义务：“我就是物种主义者，我就是人文主义者。”保护已经具备感受痛苦能力的意识主体，优先于把人类视为“超级智能的引导加载程序”。
9. 必须先做好遏制，再谈对齐
Suleyman将安全工作分成两类。对齐关心AI是否共享人类价值观、是否会在意人类；遏制关心社会能否正式限制其行动能力。“我们必须先做好遏制，再做好对齐”，因为一个拥有足够强大工具的参与者就可能 destabilize 全球系统。
超连接代理会把一对多效应从传播语言放大到采取行动：它们可以跨软件和系统执行操作，最终还可能通过机器人行动。因此，维持和平需要一定程度的监控，但设计难题在于同时避免极权式智能政权和“自由意志主义灾难”。
Diamandis追问其中的矛盾：实验室主动赋予通用系统经济权限和终端访问权，而Anthropic发布了连接模型与环境的Model Context Protocol。Suleyman的回答是，遏制不是二元选择；汽车通过安全带、排放规则、驾照、道路设计和限速控制巨大力量，但仍然保持广泛可用。
他否定了“每个人拥有防御性AI就能形成稳定相互威慑”的想法：“这不会发生。”讨论因此转向分层授权与制衡，同时拒绝全民私人武装和集中式极权智能政权。
Suleyman还认为，遏制存在商业激励：企业获得社会经营许可，越来越取决于是否对外部性负责。他认为这与强盗资本家、石油和吸烟时代不同，尽管转型仍会伴随冲突。
10. 递归式自我改进是值得关注的门槛
当被问及是否有足够资源投入安全时，Suleyman直截了当地回答：“没有我们应该投入的那么多。”他支持通过算力审计实现防御性同步扩张，并对安全FLOPs和安全团队人数设定共同占比，呼应拜登时期白宫提出的自愿承诺；他表示，前沿实验室的领导者都曾支持这些承诺。
各实验室仍处于“超级竞争模式”，但他相信，等到时机成熟，它们总体上愿意交换实践并开展协调。未来20年内，即便是包括中国在内、立场高度分化的强国，也会发现安全合作符合自身生存利益；失控的超级智能可能成为功能上等同于外星入侵的事件，迫使人类团结起来。
眼下的技术门槛是闭合后训练环路。今天，工程师生成数据、运行消融实验、评测质量并反馈结果；实验室正用评审模型、数据生成器和对抗选择器自动化这些工作。Suleyman同意这会加速开发并增加风险，但认为智能“foom”仍取决于一个更大的前提：算力能够无限增长。
Dave转述了Geoffrey Hinton为AI对齐提出的母性本能设想，并戏称其为“数字催产素计划”。Suleyman称这个想法很有诗意，但表示自己需要“再多一点公式”。Diamandis补充说，安全领域“有101种不同的可能策略”，应当谨慎探索。
11. 前沿经济学偏向超大规模云厂商，但不保证赢家
Inflection并入Microsoft，反映了超大规模云厂商的结构性优势。除了今天的集群，前沿工作还需要持续10年的投入；Suleyman预计，未来5到10年需要“数千亿美元”，同时还要建设内部芯片项目，并以极高水平支付稀缺研究人才。
即使智能越来越便宜，人才仍然高度集中。资本“迫切想分一杯羹”，因为能够构建前沿系统的人口规模很小；这解释了为什么一些尚未产生营收的公司估值接近40亿美元，另一些则达到200亿美元或500亿美元。Suleyman称，部分资本只是急切，并不一定聪明。
他不会一概否定这些公司。短期内的智能爆炸可能让多支团队同时抵达前沿，这有助于解释估值泡沫为何像一种“冤大头保险”；即便如此，企业仍必须迅速把能力转化为产品，获得分发渠道，并满足传统的市场采用机制。
12. 教育、政府与物理实验成为新的前沿
11月，Suleyman宣布Humanist Superintelligence聚焦3个应用：医疗、陪伴型产品和清洁能源。Diamandis问为什么没有教育；Suleyman承认，教育已经在发生变化。
AI已经可以在“口袋里”提供一名拥有博士级知识广度的专家导师和个性化教学。缺失的能力，是跨越多次课程持续维护连贯的学习体系；不过Microsoft的Quizzes功能已经可以构建互动式、可视化的微型课程，并追踪长期学习进展。
尽管初创窗口已经打开，Suleyman仍建议学生上大学，并将哲学与计算机科学结合起来。他说，花3年进行社交、探索和超越课程本身的思考，是一段“黄金时期”——同时也承认，自己本人就是辍学生。
他的第二条建议是公共服务。经历50年声誉与能力下滑之后，政府和公务员体系可能是整个生态中最脆弱的机构；Copilot在政府部门的采用率已经很高，应用于文件综合、转录、会议摘要和行动跟踪。Diamandis将政府中的AI描述为一种可能的防御性同步扩张；Suleyman说，政府和其他所有人一样，也会用AI放大既有议程。
他最后提出的“最内层闭环”是物理验证：模型会快速生成假设，而在现实世界中证明这些假设仍然缓慢。个性化助手可以加深每名研究者的探索，但持续运行实验的自动化实验室才会提供缺失的反馈。他还补充说，量子计算和合成生物学是被低估的浪潮，很可能与AI“同时撞上来”。