AI中的超大规模测试时算力正在改变基准、安全与研究：与OpenAI的Noam Brown对谈
摘要
- 没有测试时算力预算的基准分数，已经无法清晰衡量模型质量。 Brown称，标准网格上5.5相比5.4只略有提升，但用户很快发现实际体验的改善幅度要大得多。他将网格结果低估表现归因于没有测量测试时算力，并称5.5的思考效率更高；此外，在控制思考时间后，o3相对o1的跃升也相当可观。替代方案应是成本、token或时间曲线：「应该有一条横轴」（There should be an x-axis）。在实际使用中，他建议需要时快速迭代，问题值得深入处理时则允许模型进行更长时间的思考。
- 行业可能在任何人发现模型能力上限之前，就已经发布了下一代模型。 现代系统在合理搭建脚手架后，可以连续数周获得改进，在1亿个token之后仍处于上升斜率；而新模型每2-3个月就会发布。Brown建议用小规模运行外推昂贵任务的表现，例如用预算上限为10美元或100美元的实验，预测10,000美元推理预算下的结果。
- 安全框架继承了同样的测量失灵，而且 stakes 高得多。 围绕GPT-3设计的政策大体把能力视为模型的内在属性，但如今能力「取决于你投入多少钱」：预算为10,000美元时，模型可能远胜于10美元预算，投入1,000万美元又可能解锁更高能力。现有政策没有清楚回答，评估网络攻击、生物武器或其他危险能力时，究竟应以哪档预算为准。
- Brown的扑克求解器测试表明，模型进步幅度远大于基准分数变化所显示的幅度。 用5.2时，他构建河牌求解器的速度约为独自完成时的5倍，尽管模型仍可能不可靠；5.5在温和引导下已经几乎可以构建完整求解器。若6个月或1年内出现一个模型能够复现「基本上我的整篇博士论文」（basically my entire PhD thesis），他不会感到意外。
- 现有模型可能已经具备有价值的科学能力，只是短期挖掘仍不经济。 Brown称，经过脚手架搭建的5.5，很可能能在OpenAI内部模型之前找到Erdős单位距离猜想的反证，推理成本大致为1,000–100,000美元。如果每次发布都能将这类发现的成本降低10倍或100倍，某些情况下甚至更多，投资问题就变成：何时部署算力，何时等待下一条成本曲线。
- 递归式自我改进看起来是渐进过程，因为研究品味和时间仍是硬约束。 模型可以将现有算法优化10–100倍，却仍然无法发明更好的算法；而最强结果需要长时间运行推理：「时间本身变成了瓶颈」（Time itself becomes a bottleneck）。更大的上行空间可能来自持久化的多智能体知识积累，而不是一夜之间出现的智能爆炸。
- 路由业务必须证明，在同等成本下，它们胜过直接让最强模型进行更长时间的思考。 多模型共识可以提高分数，但Brown追问，在统一测试时算力后是否仍然占优，以及基准上的提升能否经受真实世界使用的检验。这使预算标准化评估成为判断路由、编排和模型选择层价值的核心。
精读
1. 模型质量如今是一条曲线，而不是网格中的一个格子
Brown将外界对5.5发布的质疑，追溯到人们熟悉的基准网格：5.5相比5.4只高出几个百分点，但用户很快发现实际体验的改善幅度大得多。他认为，网格结果之所以低估，是因为没有控制测试时算力；他形容5.5的思考效率更高，并另外指出，在控制思考时间后，o3相对o1的跃升也相当可观。
旧指令——让每个模型运行到性能平台期——在「2022年还处于GPT-3时代」时有效。如今的模型在合理搭建脚手架后，可以连续数周有效思考，使平台期超出任何实际发布评估的可行范围。因此，每次比较都需要固定预算，或将性能绘制成随token、成本或时间变化的曲线。对于实际使用，Brown倾向于采用弹性思考时长：重视响应速度时快速迭代，需要深度工作的任务则延长运行时间。
Brown提到的网络攻击评估显示，模型在1亿个token及更高预算下仍会持续改进。他提出的研究问题是，能否低成本估计曲线远端：预算上限为10美元或100美元的运行，能否预测10,000美元推理预算下的表现？
没有这种控制，刷高基准分数会变得很容易：让模型运行5次，选出最佳答案，或者再让另一个模型来评判，分数都会上升。Brown反对的不是脚手架本身，而是未经算力对齐的比较会误导；私有留出集则有助于防止模型直接针对基准优化。
2. 扑克同时暴露能力跃升与仍未解决的不可靠性
Brown把扑克机器人当作个人评估项目，因为尽管论文数量很多，真正可用的开源代码却很少。构建一个扑克机器人需要持续推理、反复迭代，并处理「大量细小的坑」；Brown对这些问题足够熟悉，能够判断模型究竟卡在哪里。
用5.2时，Brown构建了扑克最后阶段的河牌求解器，速度约为独自完成时的5倍。它的表现像一个需要温和引导的研究生，尤其容易在阻断牌问题上出错；但代码优化能力非常突出：他说，模型让工作速度达到自己单独完成时的10倍，后来又将相对其算法的提升概括为10–100倍。
5.2的问题在于，它让Brown感觉自己「简直被精神操控（gaslighting me）」。另一次与其他模型的测试中，单元测试说，弃掉底池里已经投入的100美元会损失92美元，模型却为自己辩护：「这已经接近100了，没问题。」换成5.5后，Brown称这项任务几乎已经接近零样本完成；他现在可以在温和引导下向完整规模的求解器推进，但还没有直接给它一个为期1个月的
/goal，然后拿到一个完成版求解器。
3. 安全政策没有统一的能力预算标尺
负责任扩展政策和准备度框架，大多是在这样的背景下设计的：给GPT-3投入1,000万美元，产出几乎不会比投入10美元或1美元的运行多多少。Brown认为，如今10美元、10,000美元和1,000万美元可能对应实质不同的能力水平，留下了一个没有答案的问题：「应该以哪档预算评估这些模型？」
Sarah Guo的反驳值得保留：这其实是有用能力扩展的镜像。如果更高预算能持续改善人们希望完成的工作，它们也可能改善社会不希望模型完成的任务。Brown没有判断是否应因此阻止发布，但称许多政策没有纳入预算问题，这是一个「不方便面对的事实」。
更长的任务周期会进一步放大错配。模型如今可以执行数周或数月的实验，但发布节奏仍是每2-3个月一次；要完整测试一个为期6个月的任务，就需要6个月。Brown的结论很直接：「没人真正知道模型能力的上限在哪里」，而实验室又面临不能推迟发布的竞争压力。
Brown称，只要给模型一个
/goal，河牌求解器已经触手可及；但完整扑克求解器还没有达到这样的阶段：仅凭一个/goal和1个月运行时间，就能稳定产出成品。他预计这个门槛很快会被跨过。
4. 潜在科学能力带来等待与算力之间的权衡
Brown最核心的例子，是OpenAI内部模型以他所说的「便宜得离谱」的成本，证明了Erdős单位距离猜想不成立。这个结果的价值不仅在于正确：数学家们已经在这个问题上投入了大量时间，而模型给出的路径既有趣又有用。Brown称，团队当时只是训练了一个新模型，想看看它能做什么，并没有专门为这项搜索投入大量资源。
事后，有人通过要求5.5提出大量思路、识别出有前景的路径，再反复延展这条路径，让5.5找到了同一个反证。通用脚手架可以将这种搜索自动化；Brown估算成本为1,000–100,000美元。这意味着相关能力已经向公众开放，只是没有被充分挖掘。
经济上的难题在于，新一代发布可能把同一发现的成本降低10倍或100倍，某些情况下还会更多。Brown称，OpenAI并不鼓励数学家和物理学家把全部时间都用来挖掘当前模型的能力边界；优先事项是构建更安全、更强大的模型，让全世界的科学家都能以更低成本解决这些问题。
5. 测试时算力让递归式改进先遇到瓶颈，尚未取代研究人员
Brown不认同「只要无限投入推理算力，就已经能得到通用超级智能」的说法。事实记忆更像是在没有Wikipedia的情况下询问某人的Lincoln出生日期：思考1周也无法找回模型未知的信息。Sudoku则处于另一端——随机尝试足够多的填法，只要时间足够长，最终总能解出任何题目。
研究位于两者之间，而当前模型缺乏「非常好的研究品味」。Brown看到模型将他现有的扑克算法大幅优化，却即使获得更多时间和已发表论文，仍无法发明更好的算法。更好的脚手架可能有所帮助，每次发布也都在进步，但一句「请提出更好的算法」目前还不够。
Brown对递归式自我改进的理解是瓶颈迁移：如果某个研究步骤提速100倍，进展就会受制于那些没有提速的步骤。随着这些约束逐一收窄，他预计会出现渐进式起飞，改变研究人员的工作方式，而不是立即取代整个研究周期。
这种对长时间推理的依赖，不支持一夜之间出现智能爆炸。「时间本身变成了瓶颈」，Brown说，因为强大的输出仍然需要模型持续运行。前沿竞争依然激烈，AI也已经在放大实验室研究人员的能力；不过令Brown感到宽慰的是，各家实验室的研究者都理解其中的上行空间和严重风险。
6. 持久编排必须在同等成本下胜过更长思考
Brown从文明的发展中看到了多智能体系统更大的空间：人类成就之所以能够复利增长，是因为数十亿人保存、分享并延展知识。如今的模型却是「出生在一个已经存在的世界里」，只拥有短暂的上下文窗口，然后「直接消失」；Moltbook和OpenClaw出现时曾被过度炒作，但它们指向了大规模协同可能发展的方向。
对普通用户而言，他建议重新审视那些基于2022或2023年模型形成的判断。如今他会用AI处理税务问题和公寓文件，也认为AI的输出在某些情况下可以比专家人类更值得信任；但他的扑克经历仍然说明，当错误被模型用自信且看似合理的方式掩盖时，验证不可或缺。
发布规范仍处于一种「糟糕的均衡」：所有人都提供网格，因为所有人都预期会有网格。路由和共识层面临同样的测试——在同等成本下，将它们与让单一模型进行更长时间思考的结果比较，再检验其脆弱性和现实相关性。否则，看似存在的编排优势可能只属于特定基准，也可能无法迁移到真实世界的使用中。