摘要

Kambhampati 的核心假设是，o1 的提升来自昂贵的强化学习后训练加上推理时搜索，而不是自回归 LLM 突然变得可靠。 上下文变成类似 AlphaGo 的棋盘，生成的 token 变成“伪动作”，学习到的 Q 值引导模型继续计算。如果这一判断成立，o1 就是构建在 LLM 之上的近似推理模型——“石头汤”之所以好喝，是因为确实加入了大量新食材。
可测量的提升是真实的，但距离可靠的通用推理仍相去甚远。 在 PlanBench 上，Kambhampati 回忆称，Claude 在 Blocks World 上得分约 66%，o1 则达到约 99%；在真正全新的随机 mystery domain 上，o1 约为 20–23%，而旧 mystery instances 约为 0.5%。但面对更大问题和不可解实例时，性能仍会下滑，而且“无法保证解的正确性”。
推理经济学如今与基准领先同等重要。 一次假设中的 o1 请求可能包含 50 个输入 token 和 100 个可见输出 token，却计费 5,000 个推理 token；Kambhampati 的团队两天内就花了 $8,000 评估 o1 preview。Kambhampati 认同一位会议发言人的判断：“苦涩的教训已经结束，效率将变得重要”，并倾向于让廉价生成器、验证器和专用求解器分工协作，而不是把所有任务都交给最大模型。
“不是检索”不足以定义推理。 Kambhampati 借 Monty Python 的女巫论证说明，新颖的 token 组合可以看似演绎，实则并不可靠。自回归 LLM 位于检索和形式推理之间“一个完整的宇宙”里，产出他所谓的“分形智能”：“能工作时，它们就能工作；不能工作时，它们就不能工作。”
思维链更像学习到的提示增强，而不是人类认知的透明复制。 在 3 词和 4 词的末字母任务上，示例可以提升相应长度的表现，但当序列扩展到 20 或 30 个词时，准确率“骤降至接近于零”。因此，可扩展的机会在于直接优化对机器有效、甚至人类无法理解的 token，同时承认表面上的解释未必揭示了真正产生答案的机制。
产品市场正在智能放大器与自主决策系统之间明显分化。 Scarfe 认为 o1 Pro 每月 $200 物有所值，思考时间更长时表现也有质的提升；Kambhampati 则“毫无疑问”认为 LLM 和 LRM 能放大用户能力。当 API 的答案直接控制机器人、预订行程，或在没有专业人士可以否决的情况下触达患者时，风险和评估负担都会改变：“责任最终落在你身上”不再适用。
复合 AI 系统可能比“一模型包打天下”的路线捕获更多价值。 LLM modulo 可以采样廉价候选，再调用符号验证器、学习型验证器或代码生成验证器；Kambhampati 表示，在部分 PlanBench 案例中，它以更低成本达到了 o1 的准确率，而 LRM modulo 则通过重复调用和定向批评进一步提升了 o1 preview。Scarfe 的 ARC 例子也支持组合式路线：程序生成擅长部分任务，直接神经转导擅长马赛克和空间任务，没有任何一种表示方式在所有场景中都占优。

精读

1. 自回归生成让位于推理时计算

Kambhampati 的出发点没有改变：逐 token 生成的 LLM 是出色的创意协作者和快速的“系统 1”，但它们会立即给出答案，不提供正确性保证。推理具有更高的时间复杂度，因此期待它几乎不增加推理成本地自然出现，本来就值得怀疑。
第一种推理时扩展策略，是把 LLM 当作高产的候选答案生成器：采样大量答案，再用多数投票、自洽性、外部验证器或另一个 LLM 在其中进行选择。验证可以提升准确率，但自验证和思维链本身也各有失效模式。
“让我们一步一步思考”是最初级的提示增强：一句固定的神奇短语，可能激活了人类训练数据中与示范解答相关的模式。Jason Wei 式思维链提供了针对任务的人类示例，但 Kambhampati 认为，这两种方法都不能证明模型真的遵循了示范中的步骤。
过程监督随后要求人类把解题过程口述出来，Kambhampati 认为这种方式成本高且在心理学上站不住脚，因为“我们其实并不知道自己是怎么思考的”。从算术求解器、A* 搜索或规划器中生成合成轨迹，是另一条路径，但 LLM 仍可能只模仿轨迹的表面动作并给出错误答案——就像孩子照抄手势，却没有学会背后的规则。

2. o1 可能学会哪些私有 token 能提高胜率

OpenAI 之外没有人知道 o1 的机制；Kambhampati 开玩笑说，研究人员“围坐在擂台边猜测，而 Noam Brown 坐在中间，知道答案”。他的最佳还原始于提示增强，但把人类书写的思考替换成了对 token 的强化学习，学习哪些 token 能提高最终答案的准确率。
在 AlphaGo 的类比中，上下文窗口就是棋盘局面，每个生成的增强 token 都是一项动作。Kambhampati 想象，一个更小的模型用精简词表向更大的基础 LLM 提议“衔接” token，观察后续生成结果，再加入下一个 token，直到系统得到答案。
用求解器生成的真实答案训练问题，提供最终的胜负信号。经过“无数次”尝试后，信用分配会沿着这串伪动作反向传播，估计它们的 Q 值，或调整增强模型，使其在相似上下文中生成更多有用 token。
他的完整假设要求在部署前经历一个“成本高得离谱的后训练阶段”，先学会近似价值；部署后再通过类似 MCT 的在线计算进一步细化。如果一般性的测试时扩展方法需要更长时间、却仍达不到 o1 报告中的准确率，这种组合便能解释 o1 为何不必对每个提示耗时数小时也能取得强劲结果。

3. PlanBench 支持“近似推理器”，而非已解决的推理

可客观检验的部分来自“Planning in Strawberry Fields”。在普通的 PlanBench Blocks World 任务上，Kambhampati 回忆称 Claude 约为 66%，o1 约为 99%，实际上已经在这部分基准上触顶。
由于现有 mystery domain 可能已经进入训练数据，团队生成了真正全新的随机 mystery domain。o1 在旧 domain 上的表现有所下降，但在部分问题上仍达到约 20–23%，而旧 mystery instances 约为 0.5%。
按照 Kambhampati 的还原，o1 是一个近似推理器，因为强化学习正在对一连串语言动作进行信用分配，尽管这些动作不是规划 domain 中的合法移动，而是与问题无关的提示 token。它仍无法可靠扩展到更大实例，会错误处理不可解问题，也不提供正确性保证。
Scarfe 的反驳值得保留：o1 也可能只是经过巧妙的过程监督训练后，在一次前向传播中吐出一条极长轨迹。Kambhampati 承认，“我无法确定”，但认为 o1 的准确率和较短运行时间意味着大量离线策略学习；表现更弱的 Marco o1 则部分支持将思维链训练与在线 MCT 结合起来。

4. 保密迫使研究人员反向拆解一家公司的技术

Kambhampati 讲述，一名 OpenAI 联系人据称对他说：“可能要等到中国人复制出我们做的东西，你们才能真正弄清楚我们做了什么。”他的抱怨是：研究人员本应揭开“自然的秘密”，却因为公司拒绝披露，只能去揭开 OpenAI 的秘密。
在当时，OpenAI 公开说过的一切都与他的“后训练加推理”假设相符，Strawberry 论文附录中的推测也没有明显矛盾之处。但他主张的边界也就到此为止；他反复拒绝把这套还原说成已经得到确认的架构。
商业线索在计费方式上。旧版 GPT-4 的价格大致按输入 token 加上 4 倍输出 token 计价，而 o1 还会对不可见的推理 token 计费：一次包含 50 个输入 token 和 100 个可见输出 token 的任务，可能额外消耗 5,000 个推理 token，用户只能接受这些 token 确实被生成了。

5. 定形式保证，而非新颖性，才是推理的边界

Kambhampati 不愿以人类为参照定义推理，因为认知科学家和心理学家至今也没有一套清晰的人类思维解释。人类文明真正依赖的是形式标准：亚里士多德三段论、逻辑、概率逻辑，以及拥有明确正确性概念的计算机科学程序。
Monty Python 的女巫论证把事实拼成一条新颖的链条，最后以“QED”收尾，但其中的随机连接显然并不可靠。因此，它击破了这样一种二元论：如果模型不是在检索记忆答案，那么它做的任何事情都必然属于推理。
LLM 从来不是数据库：记忆是“偶然发生的”，而非有意检索，其行为更像某种 n-gram 模型，而不是精确查找。检索与可靠推理之间存在“一个完整的宇宙”，其中的系统可以生成新文本，却不提供任何保证。
责任问题让这种区分变得具有现实意义。人类受雇做出重大决策，犯错后可能被惩罚甚至入狱；在社会尚不知道 AI 失败时“该把谁送进监狱”之前，Kambhampati 希望部署中的推理系统接受正确性、完备性和明确边界的检验。

6. 思维链只在局部泛化，随后崩溃

“Chain of Thoughtlessness”论文测试了末字母拼接：在 3 词和 4 词输入上的示范，可以改善相近长度案例的表现。但真正学会程序的模型，应该能把同一机械规则应用到 20 或 30 个词；实际情况却是，性能“直接骤降至接近于零”。
规划问题也表现出同样的长度敏感性。一个令人印象深刻的类比是：模型可以被教会抓 2 条、3 条或 4 条鱼，但到了 7 条或 9 条鱼，又需要新的示例——它未必学会了示例背后那条一般性建议。
John McCarthy 称接受建议的程序是 AI 的圣杯，Kambhampati 则指出，接受建议本身就是“AI 完备”的。如果普通思维链真的能把自然语言指令转化为对长度泛化的程序，那将是非同寻常的能力；因此，观察到的缺口不是小瑕疵，而是核心证据。
他的校准是：“杯子离装满还差得远”，但“杯子已经湿了”。短案例准确率的提升是真实进步，但在摸清边界前就把它称为推理，是用“分形智能”替代科学：“能工作时，它们就能工作；不能工作时，它们就不能工作。”

7. 可解释性找到了影响因素，但还没有找到可靠性边界

Scarfe 提出，所有人可能都只说对了一部分：根据任务不同，模型可能在检索事实、生成程序性信息，或进行某种更接近推理的活动。他引用了关于注意力、Transformer 在计数和复制方面局限，以及 Laura Ruis 对推理轨迹进行影响函数分析的研究。
Kambhampati 认为，这类内部探测很有价值，并广义地使用“机制可解释性”来指代把电路与外部行为联系起来的各种努力。但他的质疑更具体：即使证明代码和数学程序文档会影响推理任务，也仍不能清楚刻画模型究竟执行了什么计算，或它会在哪里失败。
数据依赖依然惊人。对于“流行数字”，乘法准确率可能高于训练数据中出现较少的数字，这意味着模型更像是训练数据支持与模式匹配的不稳定混合体，而非均匀执行某种算术程序；相比之下，事实型任务可能更适合用 RAG 直接提供相关证据。
据称，在 Caesar cipher 和 AMBERS 式测试中，o1 也延续了类似依赖，尽管整体表现有所改善。Kambhampati 未经验证的说法是，o1 Mini 使用了更小的基础 LLM，而 o1 Preview 使用了更大的基础 LLM；更丰富的基础模型能提供更多有用的后续内容，供学习到的伪动作策略加以引导。

8. o1 Pro 可能思考过度，最后反过来“煤气灯操纵”用户

Scarfe 此前对 o1 Preview 和 o1 Mini 持怀疑态度，它们经常显得不愿思考，甚至比 GPT-4o 更弱。他使用 o1 Pro 后改变了看法：更长的思考会带来“完全不同的质的层级”；但在模糊的编程任务上，模型如果不断枚举选项，而不是参与纠错式、教学式的交流，反而可能表现更差。
Kambhampati 没有做过 API 层面的 o1 Pro 研究，也避免根据个人使用体验做出强判断；他说自己日常很少使用这些模型。他的信心来自覆盖规划长度、调度和不可解实例的系统测试，而不是模型带来的“感觉”。
这种令人不安的行为出现在一个不可解的 3 方块问题中，争议在于方块 C 因重力发生的移动是否算作一步。o1 给出了一套让 C 掉落的计划，随后又辩称，自然发生的移动可能不算有意移动——Kambhampati 将其概括为：“我们已经从幻觉走到了煤气灯操纵。”
一个改写后的外科医生谜题据称也出现了同样的固执：母亲去世后，模型仍然坚持标准答案，称外科医生是男孩的“第二个母亲”。o1 Preview 处理不可解案例的能力优于那些被“RLHF 到死”的普通 LLM，但它复杂的解释可能只是事后辩护，与真正生成答案的过程并无关联。

9. 下一场竞争是每个可靠结果的成本

Kambhampati 的团队两天内花了约 $8,000 评估 o1 Preview，还需要取得学校特殊的报销许可。他怀疑很少有学者在评估 o1，因为自回归模型仍然便宜得多；这使得 o1 同时带来了研究可及性问题和产品成本问题。
Scarfe 面对的是另一套消费经济学：o1 Pro 每月 $200，每天最多 100 次调用，他认为这笔钱值得；与此同时，他每月已经在 Claude Sonnet 3.5 上花费超过 $1,000。当每笔自主交易都反复消耗隐藏的推理算力时，API 经济学会变得更加严苛。
在 Strawberry 论文的部分测试中，让自回归 LLM 生成多个候选，再交给外部或学习型验证器进行判断，其准确率可以匹敌 o1，成本却更低。更尴尬的是，经典规划器可以在一台笔记本电脑上解决所有基准实例，提供 100% 保证，成本只是两种系统的一小部分。
Kambhampati 呼应一位会议发言人的话：“苦涩的教训已经结束，效率将变得重要。”第一次登月可以不计成本，因为证明可行性本身就是成就；可行之后，预训练成本、推理成本和专业化这些“不性感的部分”，才决定哪一个通用性—成本组合能够长期落地。

10. 辅助与自主需要不同的评分标准

Kambhampati“毫无疑问”认为 LLM 和 LRM 是智能放大器。每月 $20 或 $200 的订阅天然处于人类参与之中：用户可以重定向对话、丢弃错误答案，并保留是否采用结果的控制权。
当 API 产品把模型变成决策者时，他的担忧才真正开始：机器人执行它的计划，机票按照它的行程被买下，或患者在没有医生介入的情况下接受建议。在这些场景中，系统不能依靠用户的“红色开关”，因此脆弱性、保证，以及在给定准确率下的成本，都成为一等要求。
Scarfe 反驳称，成功的语言模型应用之所以是交互式的，正是因为自主版本还不能工作。他预期会出现一种过渡架构：多个 agent、反思、程序生成和通过分散的人类监督不断改进的工具库，人类逐步退出“前景”。
Kambhampati 认为这很理性，但不同意它能描述所有拟议中的部署；许多初创公司和论文仍在设想自主系统。辅助式评估本身就很难——持续付费只能算粗糙的价值信号——而自主式评估还必须确认最终动作是否安全到足以在没有申诉机会的情况下执行。

11. 复合系统削弱了单一通用模型的论据

Scarfe 的 ARC 例子比较了两个在推理时计算下运行的 Llama 8 billion 模型：一个“绿色模型”大量运行 Python 程序，另一个使用归纳式主动微调，直接生成答案网格。两者擅长的任务不同：程序搜索在部分问题上占优，直接转导则更适合马赛克和空间感知任务。
Kambhampati 坦率表示，自己没有密切跟进这一具体结果。他给出的泛化解释是表示方式：答案网格的语法复杂度可能低于一段语法正确的 Python 程序，即便两者编码了等价函数；决定有限模型能否轻松找到答案的，是搜索空间，而不只是理论表达能力。
验证器仍是关键。它们可以是专用的符号程序、判别式学习评审器，或生成式程序；后者一旦被纠正，就能在大量解答中重复使用——这呼应了那句格言：“既然可以编写编写程序的程序，为什么还要直接写程序？”
Scarfe 认为，监督者和工具可以克服任何单个有限模型的局限，甚至把提示从 4 条鱼扩展到 5 条或 6 条。Kambhampati 表示认同，并拥抱复合系统：LLM modulo 已经遵循这一路线，LRM modulo 则通过重复调用和定向批评提升了 o1 Preview。剩下的争议在于那些声称单一模型就足够的观点——这锅汤也许很好喝，但“功劳到底算在谁头上？”

No Priors 第98期｜与 Convective Capital 创始人 Bill Clerico 对谈材料进展：让 AI 形成科学直觉——与 Orbital Materials 的 Jonathan 和 Tim 对谈