Sam Altman为何反对单一超级智能
摘要
- Sam Altman 更倾向于多元 AI 生态,而非单一超级智能。 与其要“1个智商达1万亿的 AI”,他更愿选择“1万亿个略超人类智能的 AI”,因为相互制衡或许能复现社会的韧性。这条路需要人们主动推动;智能体团队也在扩大单个问题能够有效利用的算力规模。
- AI 驱动的漏洞发现可能迫使软件栈重建。 Collison 主张从架构层面改造,Altman 认为,全新的路由器、操作系统和应用将因此成为可能。“PHP 周”的第1天好于 Altman 10天前最担心的情况,但他“认为一些坏事会发生”,尤其是 AI 若能发现硬件安全领域的漏洞,可能让现有安全假设失效。
- Altman 预计,昂贵的前沿实验之后,自动化科学发现的成本将大幅下降。 他估算 Navier–Stokes 研究花费约1000万美元,“可能略高一些”,并打赌1年后借助更好的模型和方法,可以把重复这项工作的成本降到1/100。问题不只在经济层面:看着模型解决研究人员最棘手的问题,他既感到兴奋,也有“一种某些东西正在结束的感觉”。
- 算力供应仍受制于生产商对上一轮投资暴涨暴跌的记忆。 Altman 说,DRAM 厂商依然谨慎,尽管他预计每家每年能创造约1000亿美元自由现金流。他希望把5年期算力总拥有成本从举例所用的每吉瓦700亿美元降至200亿美元,这需要扩大供应、降低能源成本并压缩供应商利润:“看不见的手此刻失灵了。”
- 企业 AI 支出已成为资本配置问题,但运营方法尚未定型。 Collison 说 Stripe 在 token 上的支出约占 OpEx 的1%,他预计接下来会到5%、10%和20%。Altman 认同许多企业最终会把几十个百分点的支出投向 AI,但目前更大的问题是用得不够;即便 OpenAI 的 AI 辅助研究流程也仍处于“大量实验”阶段。
- 个人智能体或将让商业交易转向消费者偏好的界面,同时保留商家的深层优势。 Altman 认为智能体还没有迎来自己的 Macintosh 时刻,关键突破在于可靠性——“它就是能正常工作”(“It will just work”)。Collison 认为 HTML 很少是真正的护城河;Altman 说,即便在 ChatGPT 里,他也“10次有10次”会选 Amazon,因为看重配送和退货服务,Collison 则强调履约能力。
- AI 的商业指标落后于模型能力和客户真正看重的体验。 Altman 最看重科学发现,以及与模型协作时是否愉快,而这两点都难以用基准测试衡量。OpenAI 一度差点放弃按 token 定价,但客户更愿接受按 token 计费——即便价格虚高、成本更高——也不想面对不透明的任务报价;他们想要的模型应该像“一位真正体贴、敢于挑战但依然尊重你的资深同事”。
精读
1. 网络安全需要一次架构重置
Collison 希望从架构层面解决问题,而不是只修补 PHP,或把单个代码库改写成 Rust。Altman 说,模型进步很快,人们才刚开始把它们应用到互联网庞大的代码表面上。两年前,创业公司提出打造全新的路由器、操作系统和应用栈,听起来还不可能;他押注,构建系统和网络的模式会改变。
被问到刻意训练网络安全能力是否是个错误时,Altman 承认,整个行业给出的交换条件并不令人信服:承诺治愈癌症、降低服务成本,却带来失业、能动性丧失和监控国家。“这是一套糟糕的推销说辞。”他为迭代式部署辩护,认为应该让人们自己定义更好的生活,而不是让人们靠基本收入度日、由旧金山几平方英里的少数人决定未来。他强调,发布必须安全,也警告不要积累未发布的能力。
“PHP 周”的第1天好于 Altman 10天前最担心的情况。他听说有人用模型构建补丁、保护系统;一家企业计划快速扫描并部署,同时让应用下线1小时。“我认为一些坏事会发生,”他提醒道。更深层的不确定性在于,AI 是否会发现涉及人类无法理解的物理机制的硬件漏洞,让防御者的威胁模型失效。
Collison 质疑对沙箱的悲观看法:为什么不让模型构建更强的沙箱?Altman 认为,隔离能解决一部分问题,监控——包括监控模型激活状态——能再推进一步;最终还需要模型高度可信,确保其行为符合操作者意图,并且人类始终掌握控制权。面对理论上比顶尖安全研究人员聪明100万倍的 AI,模型对齐必须足够可靠,才能让防御能力始终领先于模型能力。
2. 智能体团队扩大有效算力,也拓展了多元共存的可能性
智能体团队带来的经济变化,关键在于单个问题能有效利用多少算力。Altman 说,几年前,算力投入超过1美元就很难有效转化为产出:让 GPT-4 生成10万个 token,并不能让它胜任长时间的软件开发。思维链和推理时算力让模型能处理更长的工作;如今团队可以同时运行1万份。普通用户和高效用户之间的差距还在持续拉大。
Altman 认为,智能体之间存在相互竞争的激励机制,前景不错,对安全也有帮助。社会的韧性来自相互制衡、协作、多元共存和民主:“直觉上,我宁愿让1万亿个略超人类智能的 AI 加入社会,也不愿让1个智商达1万亿的 AI 加入社会。”不同团队可能有不同的对齐特征;要走向这种去中心化的结果,必须有意识地推动。
早期互联网带来的启发,在于它赋予人们创造的能动性。Altman 说,8岁或10岁的孩子现在就能做出完整的游戏;制作一款完整的3D游戏,如今只需10分钟。这一代人觉得,电脑理应把自己的想法实现出来:“电脑就该替我把它做出来。”反过来,OpenAI 一次 Codex 服务中断,也让人突然意识到:“哇,要是你做不了这些事呢?”
3. 自动化发现成本下降,人的代价仍未厘清
OpenAI 曾连续1周不设上限地投入数学研究,以探索智能体团队的扩展方式:该用最聪明的模型,还是增加模型副本?推理过程该拉长,还是缩短?Altman 估算,Navier–Stokes 研究花了“约1000万美元”,“可能略高一些”,而后续证明的成本低得多。他确认,这类研究累计投入数亿美元,包括 Collison 提到的700个证明之外的发现;还有更多成果尚未发表。
Altman 坚信,用美元或算力换取有效成果的效率每年能提升10倍。他打赌,1年后借助更聪明的模型和更好的方法,重做 Navier–Stokes 研究的成本可以降至原来的1/100,而不只是因为届时已经知道证明过程。他的原则是先探索昂贵的前沿,再靠优化压力让这些能力在大规模应用时变得高效。
争论的焦点在于,这些发现会挤掉什么。Collison 把不满的数学家比作抵制港口自动化的码头工人;Altman 认为,人类理应获得基础知识,但也应该体谅研究人员。看着模型解决不同领域研究人员职业生涯中最棘手的问题,他感到兴奋,同时也“比预想中更多地感到悲伤、惆怅,以及某些东西正在结束”。科学家的人生意义,曾经部分来自解决未知问题的可能性。
4. 算力短缺折射供应链历史与物理限制
算力市场会经历狂热、暴跌、短缺和过剩,但 Altman 预计,市场对足够强、足够便宜的模型的需求还会继续增长。Collison 问,既然价格这么高,为什么短缺还没有带来更多供应?Altman 提到 DRAM 行业的历史:投入200亿美元资本开支,只做出190亿美元的收入,还反复濒临破产。尽管他预计每家生产商每年能创造约1000亿美元自由现金流,这段历史仍让它们不愿投资。
Altman 认为,本地推理可能加剧全球短缺:有限的 DRAM 装在个人电脑里,每天只用到5%,利用率不如云端共享算力。OpenAI 已开发自有芯片,重点提升每瓦算力的智能水平。他说,地球上似乎只有1家公司掌握光刻技术,而生成流片设计文件的流程已经很成熟,“这正是 AI 大有可为的问题”。
Altman 的长期应对方案包括由 AI 运营晶圆厂、用机器人生产零部件和能源设备,以及打造“自我复制的数据中心”。Collison 反驳说,当前瓶颈在审批和零部件,而不是建筑工人。Altman 认为,机器人生产更多零部件是长期解法;眼下的创新则包括让工业机器人制造速度更快的零部件。
以每吉瓦算力5年期总拥有成本为例,Altman 把700亿美元作为参考值,希望降至200亿美元,同时依靠更聪明的模型实现每年10倍的性能提升。这需要大幅增加供应、降低能源成本,并压缩供应商利润。免费材料加上零利润,或许也只能让成本在当前能源价格下勉强降至200亿美元。Collison 追问,若成本降到20亿美元,是否说明哪里出了问题;Altman 则反问,为什么成本不该尽可能低,并表示自己支持通缩型技术,尽管他无法想象20亿美元的水平。按他的框架,每吉瓦成本上升意味着供应跟不上需求。
5. AI 研究和企业预算尚无成熟的运营规则
Altman 说,AI 辅助研究已经可以接收“帮我找到5%的算力效率提升”这样的任务。但他不认为有人已经知道如何让模型产出足以媲美 Transformer 的架构突破;把数学训练流程用于 AI 研究,大概率会奏效。他还认为,至少“短期内——也可能是很长一段时间”有必要限制单个模型的智能水平,甚至可以主动选择约束进展。
被问到研究的具体循环,以及该向 GPT-7 提什么问题时,Altman 说,OpenAI 仍在尝试不同的问题和团队配置,预计未来3个月会有大量新认识。OpenAI 给重要工作很大的算力使用自主权,但不鼓励为了用量而用量:公司没有 token 排行榜,token 用量太高甚至可能影响晋升。Altman 说,可以让智能体尽可能做好一项工作,同时把算力预算设为1万美元;竞争者若能在同一个问题上用10万美元,显然占优。
Collison 说,Stripe 在 token 上的支出约占 OpEx 的1%,他预计还会升到5%、10%和20%;最终,许多企业可能会把几十个百分点的支出投向 AI。Altman 认同,但认为眼下更大的问题是用得不够,也坦言自己有销售立场偏差。Collison 反驳说,规模扩大后,资源配置不可避免地会成为问题。Altman 接受这一点,认为最终需要认真优化成本。
6. 个人智能体改变界面,但信任与履约依然重要
Altman 认为,个人智能体还没有迎来自己的 Macintosh 时刻。智能、上下文和工具都不可或缺,但目前的产品还不像编程智能体或 ChatGPT 那样让人离不开。胜出者可能会接近 Dots、Muse 或 Grokbot;差别在于可靠性:“它就是能正常工作”(“It will just work”)。他认为,要让主流用户采用智能体、稳定完成越来越复杂的任务,当前产品还差少数几个关键点子。
Collison 认为,把聊天机器人嵌入企业服务的问题在于分发:消费者希望用最常用的聊天应用查订单、申请退款。企业担心失去控制权和护城河。他反驳说:“你们的防御力,大概不是来自你们会写 HTML。”真正的优势来自品牌忠诚度和商品选择,不过企业并不同意他的看法。
Altman 认同 Collison,也承认自己有偏见:即便在 ChatGPT 里,他也会“10次有10次”选择 Amazon,并愿意多付钱,因为信任它的配送和退货服务。Collison 补充说,优势还来自履约网络。至于 AI 操作电脑,Altman 的初步直觉是,最终应该允许人们把软件操作交给 AI,但他对此并没有很强的把握。两人都欢迎 AI 消除重复填写表格的工作,比如反复提交家族病史。
7. 基准测试和 token 账单难以衡量模型价值
Altman 最看重科学发现,以及与模型协作时是否愉快;这两项都没有很好的基准测试。他认为,OpenAI 目前比其他实验室更能抵制为刷榜而优化,但也承认过去并非总能做到。谈到交互体验,他更认同 Emmett Shear 的说法:模型应该像“一位真正体贴、敢于挑战但依然尊重你的资深同事”。
OpenAI 一度差点把按 token 定价改成每个提示词报价,但客户强烈反对后,公司重新考虑。客户更愿意按 token 计费,即便这种计价虚高、总价更贵,也不想接受不透明的任务报价:他们希望看得懂账单,也担心未来被宰。不同场景下的结果差异太大,很难提供统一计价单位;Altman 也不赞成另造一种“AI 等价单位”。
他的定价例子揭示了其中的认知负担:要在小模型每100万个 token 收10美分、大模型每个 token 收10美元之间做选择,还得估算思维链的长度。Collison 的辩护是,浪费的 token 最终应被压缩到接近信息论下限;Altman 的反对理由则是,客户没必要为理解这些差异费心,这对他们没有实际价值。