摘要

前OpenAI科学家Kenneth Stanley与Joel Lehman对GPT-5的判断是：scaling路径的回报可能正在放缓，而这恰恰是研究重新变得有趣的信号。 Joel直言“GPT-3到GPT-4的跃迁看起来比GPT-4到GPT-5更深刻”，甚至“希望这条路正在耗尽动力（running out of steam）”；Ken的框架是“任何局限都是机会，意味着有人可以来颠覆”——若scaling单独走不到AGI，此刻正是新想法进场的窗口。
两人对benchmark驱动的AI竞赛提出尖锐质疑：模型能拿奥数金牌，“但那可能具有欺骗性”。 Ken的反问是——各实验室领袖都说模型已是“PhD level”，“那新数学在哪里？为什么它没有发明大量新数学？”每次新模型发布都在所有benchmark上刷新纪录，“这开始让这些benchmark看起来是可以被game的”，整个领域可能正走在一条被目标欺骗的路径上。
对投资者最可迁移的机制：一次大胜会让组织收敛、把全部资源押向“看起来是赢家”的东西，而通往上一次创新的路“不会奏效两次”。 Ken以Kodak被数码摄影颠覆为例；Joel则认为Google较早发现了大模型方向，却错过GPT革命并流失AI人才，容易被自身成功吞噬，尽管Ken补充说Google如今已在一定程度上重新站稳。Joel对创业公司的筛选建议是看团队是否由有趣的人和想法组成，并判断潜在创新与新奇程度是否足以覆盖风险。
OpenAI本身就是“无目标创新”的最佳验证：ChatGPT是意外项目，Ken回看2019年时说“你根本看不出商业计划是什么”，恰恰是机会主义地追随有趣方向带来了成功。但2017年押注语言模型不违背书的论点：那是conviction而非goal——“GPT-1就是垃圾（garbage），但它很有趣”，敢在那个阶段加注的人“是非常聪明的人”。Ken同时强调，他到任时OpenAI还没有完全收敛到语言模型，2017年是否做出过这样的集中决策，他只能部分推测。
两人亲历了OpenAI从纯探索转向exploit模式的齿轮换挡，Joel对此“有点遗憾”：过去的领域“更playful”，如今“语言模型论文实在太多了”。 Ken对Sam Altman的评价停留在2020-2022：“务实、审慎、善于沟通的好领导”，对后来的权力斗争，他说自己和所有人一样震惊，并且至今不了解具体发生了什么。
两人新近加入的Lila Sciences押注“科学超级智能”：核心假设是科学革命不会仅从互联网数据中产生，必须与真实世界交互、检验假设。 他们在那里启动了open-endedness团队，认为“科学本身就是最open-ended的事业——一棵永不终结的发现之树”。Ken还提到，2025年编码模型既带来巨大加速，也带来因未亲自写代码而更难调试的减速。
DeepSeek引发了巨大关注，但中美AI竞争的走向仍不可预测。 Ken称其成就是一次冲击，认为国际事件有时推动中美分离、有时又让两国靠近。对中国的提醒直接指向书名：中国擅长计划并从中获益，但“尤其在颠覆式创新上，计划可能是有害的”；他也把高压考试文化视为中美共同的问题。对“2027年起AI地狱模式、中产消失”的预言，Ken认为剧变期的预测可能并不可靠——风险与巨大收益并存，社会系统未必为AGI做好了准备。

精读

1. Picbreeder的悖论：找到伟大之物的最好方式，是不去找它

Ken讲述本书源头：Picbreeder是一个让用户在线“繁殖图片”的实验，本意是研究open-ended系统（“人类文明本身就是一个open-ended系统”）。结果观察到一个颠覆性现象：如果你上来就想要一只鸟，你会失败——“通往蝴蝶的那些图片，看起来根本不像蝴蝶。你必须不想着蝴蝶，才能选出通往蝴蝶的图片”。这与他受的全部工程训练相悖，“设定目标然后逼近”在这里完全失效。
系统成功的真正原因不是目标达成，而是多样化踏脚石的积累——由此Joel把“新奇性”做成了novelty search算法：不告诉机器人迷宫终点在哪，机器人反而能更有效地通过迷宫。
决定写书的转折点来自Joel在罗德岛设计学院的一次演讲：艺术学生们“情绪激动到几乎落泪”，说“这是我第一次能向父母和老师证明我为什么选择这样生活——因为我在追随有趣之路”。Ken听到后说：“如果人们会为此哭泣，那这一定重要。”
ChatGPT也符合这套叙事：Ken认为它以全球影响力而言可以算作一种greatness，但“伟大”没有统一定义；即使只深刻影响两个人，也可能称得上伟大。

2. 亲历OpenAI 2020-2022：从纯探索到exploit模式的齿轮换挡

Ken对Sam Altman的第一手印象明确限定在后来权力斗争之前：“他是个好领导，务实、审慎、善于沟通，权衡问题很仔细，当时我看不到什么可批评的。”对后来的权力斗争，Ken说自己和所有人一样震惊，至今不知道具体发生了什么；Joel也说那是一连串难以看清的非凡事件。
随着产品影响显现并持续扩大，Joel描述OpenAI的氛围逐渐从纯探索转向更有意图的“exploit模式”，竞赛动态随之出现：更大的数据集、更多GPU，以及其他团队跟进。Ken说“挖到金矿时，你自然会聚焦”，但最剧烈的变化可能发生在他们离开之后，是ChatGPT真正改变了公司。
OpenAI原本更像研究实验室，后来应用和商业部门快速壮大，公司内部因此出现了更明显的商业化色彩。对于2023年公司是在研究机构与科技巨头之间二选一的说法，Ken只能推测：他们可能希望两者兼顾，但巨大的商业机会必然会影响公司文化。
被问如何识别创新创业公司时，Joel认为事前很难判断结果，但有趣的公司通常由有趣的人和有趣的想法组成。对员工要看是否符合自身兴趣；对投资者，则要判断成功后的创新性、新奇性和潜在收益是否足以让风险值得。
是否为OpenAI的变化感到遗憾？两人存在分歧。Ken不愿说自己感到遗憾，认为改变的是整个AI行业：一个原本规模较小、但有巨大社会影响的学科，突然变成“世界上最重要的事”，这种转型本就复杂。Joel则“有点遗憾”，怀念过去更多样、更“playful”的研究环境；他承认scaling是重要科学，但单纯把东西做得越来越大，对他而言不如基础性研究有智识吸引力。

3. GPT-5：放缓不是坏消息，而是研究重新有趣的时刻

Ken的核心判断：过去几年的路径就是scaling加数据，“如果仅靠这条路走不到那个圣杯（有人称之为AGI），并不令人意外——智能不只关乎这一件事”。他把局限视为机会：“如果事情开始放缓，就有空间让更有趣的想法进来做新东西了。”过去几年从产品角度很exciting，但从研究角度越来越不exciting，因为所有人都在走同一条既定的路。
Joel的对照更直接：“GPT-3到GPT-4的跃迁比GPT-4到GPT-5更深刻，这么说应该没什么争议。”他保留不确定性——“我们不清楚这个范式是在plateau还是还有juice”——但个人立场鲜明：“我希望它正在耗尽动力。”他怀疑这类模型的训练方式与人类理解事物的方式存在差异，也不认为transformer会是这个故事的终点。

4. 目标的欺骗性：奥赛金牌拿了，“新数学在哪里？”

Ken把书中“目标欺骗”直接映射到当下AI竞赛：一切以数学测试、编程测试的benchmark为纲，“我们可能看到分数不断上升，却并没有真正提升我们所理解的智能——沉迷于这些指标，我们就丢掉了大局，丢掉大局本身就是欺骗”。
最锋利的一段：各实验室领袖都爱说模型达到“PhD level”，模型还能在数学奥赛上拿金牌——“那新数学在哪里？为什么它没有发明大量新数学？”一种可能是：在这些测试上越考越好并不会通向新数学，因为路径本身是deceptive的。“每次新模型发布都在benchmark上全面领先”，这开始让benchmark看起来可以被game——人们可能是在为benchmark而战，而不是为智能而战。
Joel从历史给出佐证：神经网络在二三十年前曾因《Perceptrons》等讨论经历寒冬与复兴，AI研究有过反复的起落。“如果AGI就在拐角，我不知道我们是否准备好了，但我们可能正不管不顾地冲过去。”他同意这里存在很大的欺骗风险。

5. 大公司为什么杀死创新：OKR的自我强化循环与创新实验室的文化风险

Ken对成熟公司困境的机制拆解是：成功公司更倾向目标管理。Google是OKR和KPI的推广者之一，“目标带来了成功，那就施加更多目标”，由此形成自我强化循环。更深的问题是，“你通往创新的那条路不会奏效两次”：上次成功的heuristics不一定适用于下一次创新，所有创新者都可能掉进这个陷阱。
关于Google，Joel说它较早发现了大模型方向，但错过了GPT革命并流失了大量AI人才；作为更大的公司，它在部署技术时可能更加谨慎，也更容易被自身成功与官僚体系吞噬。Ken补充说，Google如今在一定程度上重新站稳，已经能与OpenAI、Anthropic正面竞争，DeepMind也在AlphaFold等语言模型之外的方向取得了重要成果。
为什么公司内的创新实验室很难真正成立：研究员不会被口号骗到——他们看到同事因为帮助公司bottom line而升职，就会响应那个信号，“因为我也想拿今年的奖金”；而实验室外的人会嫉妒愤怒：“凭什么那些人拿着钱像孩子在游乐场一样随便玩？”Ken的悖论式结论是：“做‘没用’的事恰恰是创新上最好的事。”真正保护创新实验室，需要领导层的courage。
关于open-ended探索谁来买单，Ken认为大学基础研究通常由公众资助，长期回报可能大于投入；企业环境则受盈利时限和生存压力约束，更难维持完全自由的探索。但只要公司健康，成功不应成为开放探索的障碍；甚至小公司也可能进行open-ended创新。高压到无法承担风险的社会不会创新，创新始于人们有余裕试错。
Ken也强调这不是反对一切计划，而是在颠覆性创新等领域，过度目标导向可能有害。创新实验室要真正发挥作用，领导层必须有勇气保护那些暂时看似无用的探索。

6. 收敛不等于背叛开放：conviction与goal的区别，以及Lila Sciences的新赌注

主持人把“2017年资金将尽、OpenAI因此把资源集中到大语言模型”作为问题前提。Ken并未完全确认这一叙述：他说他们到任时还在做不止语言模型的研究，也许有人确实做出了把语言模型视为前进道路的决定，但他只能部分推测。
这并不与书的论点矛盾。Ken说，书从不反对conviction；如果你强烈觉得某条路有趣，就应该沿着它走，只是不要仅仅因为它似乎通向某个遥远目标才走。即使2017年有人决定投资语言模型，也不可能预见六七年后的ChatGPT。GPT-1“就是垃圾”，没有什么产品价值，但它很有趣；敢在那个阶段继续加注的人，在事后看是做出了非常聪明的判断。
Joel给出了漂亮表述：你可以“通过收敛来展现发散”（divergent by converging）。OpenAI早期高度收敛于“扩大神经网络会产生有趣结果”这一假设，但这种高conviction本身可能成为探索路径上的踏脚石。
被问哪家公司最像当年的OpenAI，两人自认有私心地指向新东家Lila Sciences。公司目标是“scientific superintelligence”，核心假设有二：科学革命不会仅从互联网数据中产生，必须与真实世界交互、检验假设、获取更多信息；同时，科学本身就是最open-ended的事业，是一棵永不终结的发现之树。Ken说，在那里启动open-endedness团队让他想起当年在OpenAI的感觉。Joel则坦言，下一个大事件在可见之前永远不可见，“如果我知道是什么，我会告诉你”。
谈到2025年的AI发展，Ken仍觉得进展很快，尤其意外于编码模型的实际影响。它们带来巨大加速，但也带来新的减速：因为代码不是自己写的，出了问题后需要先理解模型做了什么，调试可能比过去更耗时。

7. DeepSeek、中国的计划文化与“地狱模式”预言

DeepSeek的冲击Ken认为很难忽略：“股市的剧烈震动”本身就是明显信号；他称其为一次出色成就，代表AI竞赛中又一个重要阶段。主持人认为这让硅谷更加关注中国AI公司，并说那一刻后许多竞争动态都发生了变化；Ken随后表示，中美技术竞争已经紧张，但走向非常不可预测，有些事件推动两国分离，有些事件又意外地让两国靠近。
对中国的提醒，Ken先自嘲：“如果中国真的喜欢计划，而我们的书叫《为什么伟大不能被计划》”，答案似乎很明显；但他随即限定，不反对所有计划，只是在颠覆式创新等领域，计划可能有害。关于高压考试，他还指出中美都有考试文化：考试成绩可能反映的是专注于考试的能力，而不是现实创新所需的潜力，希望中美都能减少让孩子承受的繁重、无趣测试。
对“2027年起15年地狱模式、中产阶级消失，只剩0.1%富人和99.9%最贫困者”的预言，Ken认为剧变期的预测可能并不可靠。就业、社会结构、经济、生命安全和福祉都存在风险，但科学进步也可能带来巨大利益；产业的毁灭往往伴随产业的创造。理论上，如果AGI替人完成大量工作，人们可以休息，但现实中的社会系统未必为这种情形做好了准备。
收尾的个人注脚：主持人提到Ken离开OpenAI时显得沮丧而迷茫，Ken承认属实——当时他刚开始意识到AI的世界级影响；想了几年之后，他至少更能理解正在发生的事。书给他带来的意外回报，是接触到许多不同背景的人：甚至有位祖母打电话到他办公室，问他能否见见她的孙子，让他不要那么目标导向。Ken的人生踏脚石则包括童年从《3-2-1 Contact》杂志里的BASIC程序接触电脑，以及后来决定招募Joel——那一刻通向了包括这场访谈在内的许多他完全无法预测的后果。

如果人类将超级智能武器化：Tom Davidson｜Future of Life Institute Podcast AI泡沫破裂，Zuck冻结招聘，Newsom的2028年崛起，俄罗斯/乌克兰终局