102. 和张祥雨聊，多模态研究的挣扎史和未来两年的2个“GPT-4时刻”

摘要

• 张祥雨把未来两年的技术拐点押在两个“GPT-4时刻”：多模态推理最多一年，自主学习与在线学习两年以内。 前者将把图像理解、可控生成和图文混排 CoT 接成同一条链，后者则让模型自己找目标、吸收环境反馈并持续更新，而非训练完即冻结。他的判断很乐观，但保留了条件：“前置技术都是 ready”，至于后面还有多少坑并不确定。
• 万亿参数并不保证推理增强：Step-2 总参数万亿、激活两百多 B，文科和写作很强，数学却一度不如 7B。 在 1B、7B、30B、70B 等受控实验中，知识量、对话能力和“情商”继续随规模上升，数学推理却呈现先升、平台、再下降；大模型更爱“跳步”，一次局部错误便会毁掉整条长链。对基础模型投资而言，参数规模已不能单独充当智能质量的代理指标。
• 这条反常曲线指向 next token prediction 的目标错配：它奖励更忠实地压缩人类语料，却不保证把题算对。 若一半训练样本直接报答案、一半逐步推导，大模型有能力同时拟合两个峰，并以九成以上概率“一口报”复杂局部结果；小模型反而因能力不足，只学会更可靠的逐步计算。“更大的压缩率其实未必对应更高的计算精度。”
• O1 的决定性突破不是换了一种 RL 算法，而是把反思、回退、验算等 pattern 重新放回动作空间。 PPO、GRPO、REINFORCE++ 乃至原始 policy gradient 都可以工作；真正的门槛是，预训练把数千 token 的解题空间压缩成不到十个 critical decision，却也过度压缩了人类语料中罕见的反思路径。张祥雨称其为“CoT 的 CoT”：模型不只沿一条思维链走，还能在多种思维链之间切换。
• 多模态融合过去卡住，核心不只是把视觉 token 接进语言模型，而是视觉生成仍停在“落子无悔”的一口报时代。 Step-1 从预训练起混合图文，图像理解和文字对齐很好，但外挂 diffusion 的生成分支删掉也不影响理解；此后半年多的交替打标，只得到两个分别变强、却没有“一加一大于二”的模型。生成器会制造违反透视和物理常识的画面，理解器明知错误却控制不了它。
• 视觉推理的稀缺资源是与自然预训练语料相连的动作 pattern，而不只是更多合成题。 人工生成的圈点、计数、迷宫标记可以解对应任务，却几乎不泛化；O3 看似原始的 crop、resize 反而更稳，因为维修网页等自然语料里大量存在“全图—局部放大—文字解释”的结构。“它只能代表它自己”的合成 pattern，很难激活预训练中犬牙交错的广泛能力。
• 短期突破口是把生成任务限制在无需复杂推理的 domain，先获得高可控的视觉动作，再让 CoT 反复修正。 Sora 最新版与 Gemini 的结果让张祥雨相信，连接 A、B 两点、移除人物、改变位置或按结构生成图表等指令，现有架构已经可以做好；最终输出文字就是理解，输出图像就是生成，中间统一为图文混排思维链。短期竞争因此更取决于数据清洗、难度分层和闭环训练，而不只是新架构命名。
• long context 的军备竞赛可能把“装得下”误当成“用得好”，下一代系统更可能依靠分层记忆和多模型协作。 Transformer 把十万、百万乃至千万 token 全留在同一 context，既缺乏压缩动力，又会产生注意力干扰；张祥雨设想用短上下文模型负责局部执行、全局模型负责整体感知和规划，并通过 RL 端到端学会清空与切换情景。进一步到 OpenAI 所说的 Agent 级别，关键也不是今天的工作流拼装，而是“自己去找目标，自己探索，自己学习自己的价值”。

精读

1. Scaling 而非架构花活，贯穿了张祥雨十余年的研究主线

• 张祥雨把 2012 年 AlexNet 的成功归因于历史时点：2009 年 ImageNet 已提供一百二十多万张数据，CUDA 算力逐渐成熟，缺口只剩 model scaling。此前网络只有几兆，AlexNet 一下做到“七百多兆”，补上了 model scaling 这一缺口。

• 其 2012—2016 年博士阶段继续扩大宽度、深度和分辨率：MSRA init 缓解宽度扩展中的梯度爆炸与消失，ResNet 则把网络从十几层推到几十层、上百层，愿意的话甚至上千层。节目开场主持人还提到，其论文总引用已超过 37 万。

• 到 2016、2017 年加入旷视后，他反而转向端侧小模型：大模型只要方向正确，层间连接细节往往差别不大；计算预算一旦受限，硬件执行特性和架构细节却会决定最终效率。

• 这又引出 NAS 与 2019 年的 SPOS：针对给定硬件和目标数据集，以较低成本搜索最佳模型。张祥雨由此形成的长期判断是，“架构不重要”并非无需架构，而是架构始终服务于算法、数据和系统目标。

2. NLP 的真正跃迁来自可扩展的优化目标，而非 Transformer 本身

• 张祥雨认为，2019 年前后 NLP 进展的主因并不是 Transformer，而是摆脱人工 label 的训练方式；只要仍依赖逐条标注，数据就“永远 scale up 不起来”。

• BERT 用类似完形填空的任务，让无限扩展的无标签语料先学出表征，再迁移到下游。上游任务表面上与千百种下游任务无关，数据越多却能学到越强的关联和知识。

• GPT 的 decoder-only、next token prediction 又向前一步：它不仅无需 label，还能通过 in-context 建模统一许多下游任务。至少到 GPT-3 之后，NLP 这条路线才算真正打通。

3. CV 自监督始终没复制出语言模型的 scale law

• 2019 年 Google 在半监督领域的 UDA 等工作令对比学习快速逼近 ImageNet 全监督表征；2020 年 ViT 把纯 Transformer 带入 CV，社区随即尝试 iGPT、BEiT，以及后来表现很强的 MAE。

• 张祥雨始终“谨慎乐观”：这些方法在小模型上漂亮，一旦 scale up，收益便迅速衰减，与 NLP 那种数据越大、能力越强的曲线不同。

• 他对 contrastive learning 的诊断是，其核心不变性来自人工 augmentation，而不是 data driven。旋转、颜色扰动、multi-crop 等规则用少量数据就能学完，继续增加数据不会自动激发新的不变性，也就没有持续的信息增量。

• MIM 学到的是遮挡不变性：杯子遮住一部分，人仍知道它是杯子，这很有用，却只是必要条件而非充分条件。张祥雨在 2022 年初公开判断 MIM 没有明显 scale law，当时遭到批评；如今走这条路线的人已比较少。

4. 静态图像不是一个生成、理解与人类对齐的自闭环

• 2022 年，Jason Wei 关于思维链和涌现性的两篇论文令张祥雨“大受震撼”：视觉研究还困在表征层，NLP 已开始研究推理与更高级的智能特性，他因此重新审视纯视觉路线。

• 在 GPT 框架中，自然语言的生成、理解和人类对齐可以合三为一：建模联合分布即可生成；前文改变后文条件概率，本身构成理解；语料由人类产生，又天然提供分布层面的对齐。

• 静态图像不同。即便完整建模所有 pixel 的联合分布，也只保证能生成图像，并不保证内部表示恰好符合人类理解；“图像是大自然创造的”，遮挡不变性、对象概念等人类语义并不天然写在像素里。

• 视频或许能通过多视角、运动与遮挡过程补足一部分信息，但利用难度更高、有效信息密度也更低。到 2022 年，张祥雨基本停止静态图像表征研究，转而寻找语言、多模态和视频路线。

5. 多模态成为出路，但早期行业严重低估了数据训练量

• 张祥雨当时形成两层路线：短期利用网页、论文、期刊和公众号里的图文混排，让图像借语言的自闭环获得理解与对齐；长期则从视频乃至更大的系统中学习细节过程、物理运动和视觉智能。

• 这套想法在 2022 年并不受信任。国内 2021 年曾出现千亿、万亿参数热潮，却普遍效果有限：一是数据质量和 instruction learning 尚未解决，二是业界远远低估了 data scaling。

• 他以 GPT-3 为例：千亿参数只配几百 B 数据，按今天的认识属于“完全倒置”，如此规模应配十几 T 乃至几十 T 数据。很多失败模型其实处于严重 under-trained 状态，而不是大模型路线本身已经证伪。

• ChatGPT 在 2022 年底把这种怀疑迅速扭转。张祥雨承认，自己创业时也低估了多模态难度，最初以为把图像映射到语言空间，再照搬 next token prediction 即可复刻 GPT 路线。

6. Step-1 证明原生多模态能强化理解，却没有带来统一生成

• 2023 年训练 Step-1 时，团队没有先做纯语言模型再后对齐，而是从预训练起就把数据组织成图文混排：文字与图像都 token 化，遇到文字预测文字，遇到图像预测图像；生成端外挂预训练 diffusion。

• 结果是文本能力与纯文本训练相当，图像理解尤其强。把字直接写在图中再提问，与先做 OCR、再用文字提问，效果几乎一致，说明模型可以自由调用两种模态的信息。

• 唯独生成“特别差”：语言部分对视觉生成的控制能力弱，训练中途移除生成分支也几乎不影响理解性能。架构表面上同时具备图文生成与理解，内部却没有形成真正的生成—理解一体化。

7. 半年多交替训练，只造出了两个互不增益的强模型

• 同期提到的 Gemini 等海外工作以及 GPT-4V，也没有实现图像理解和图像生成的一体化；理解逐渐融合语言、声音、视觉乃至视频，生成却长期沿 DALL-E、Sora 等独立路线发展。

• 团队尝试建立闭环：用最新理解模型给视觉数据打标，训练更强生成模型；再把生成模型接回理解端，以其梯度继续提升理解，如此反复缩小两者的 gap。

• 做了大半年后，两个模型都越来越强，却始终没有“一加一大于二”。任意摘掉一支，另一支既不变强也不变弱；所谓联合训练在功能上仍是两个模型并排摆放。

• 更刺眼的是，理解模型能准确指出生成画面中的肢体畸变、透视错误和物理违背，却无法阻止生成器犯同样错误。“它自己都知道”，但这份知识没有变成生成过程中的控制力。

8. Step-2 画出了“大模型推理反而下降”的曲线后半段

• 2023 年底完成 Step-1 后，团队在 2024 年初启动 Step-2：总参数万亿、激活参数两百多 B，是一个“非常巨无霸”的模型，与今天许多低激活量 MoE 并不相同。

• 参数和数据同时扩大，使算力需求近似平方增长；项目持续九个多月，才训练到团队认为较满意的状态。最初对这一级模型所需数据量的估计依旧偏低，投入近似“无底洞”。

• 令人困惑的是，Step-2 的文科、写作、知识与通用对话很强，数学和局部逻辑却一度不如 7B，而且很难靠常规 LM 训练补上。

• 团队随后在 1B、7B、30B、70B 等多个尺寸上严谨复测：情商、知识量随规模持续增强，数学推理却先上升、再平台、最后下降。去年那个时间点，很少有人真正把这条曲线的后半段画出来。

9. 大模型不是不会推理，而是过度相信自己可以跳步

• 逐题观察后，张祥雨发现大模型更倾向于省略局部计算：三个数相加也可能直接报结果，而小模型即使能力弱，仍会老老实实逐步计算。

• 互联网语料本就大量省略中间过程；团队的合成数据虽然可以保证跳步很少，却不足以消除这种分布。大模型能拟合人类“省略步骤”的写法，小模型反而因能力有限学不会。

• 业界早已批评 next token prediction 是 behavior cloning，容易在 OOD 分叉后制造幻觉；这里的新问题是，即使完全拟合训练分布，更优压缩也可能主动诱导不可靠计算。

10. 一个双峰思想实验解释了为何压缩率与数学正确率背离

• 假设十几个数字相加的语料中，50% 直接给最终答案，另外 50% 逐步展示过程。最大似然意义下的最优模型，也应以一半概率直接回答、一半概率逐步计算。

• 小模型无法拟合“看一串数字便直接算出总和”的复杂函数，只能学会较简单的逐步分支，这类似生成模型中的特征坍缩：能力或训练不足时，它先刻画最容易的峰。

• Step-2 这类大模型却真能直接报出十几个两位数之和，局部正确率甚至可超过 90%。从分布拟合与无损压缩看，它显然优于丢掉一个峰的小模型。

• 但数学要求的是算对，不是像语料。长链里若每一步都有风险，任何一次“觉得自己行了”的跳步都会累积成高失败率；小模型逐步做简单计算，最终反而更稳。

11. Rule-based RL 对准了正确目标，却直到 O1 才跨过收益平台

• 解决思路很自然：既然压缩率与任务正确率有 gap，就直接优化正确率。rule-based RL 不关心路径像不像人类，只奖励最终答案，因此会惩罚大模型不可靠的跳步。

• 这套方法在 2024 年初已经被许多团队尝试。大模型因 baseline 更低、跳步更多，收益通常高于小模型；但总体增益仍有限，许多原本做不对的问题依旧做不对。

• O1 出现后，效果有了很大改观。张祥雨认为把它称作又一次“GPT 时刻”并不过分，但突破点并不是大家最先猜测的数据量或 RL 算法升级。

12. “Patterns are all you need”比 PPO 还是 GRPO 更接近 O1 的本质

• O1-like 训练可用 PPO、GRPO，也可以用 REINFORCE++、更原始的 policy gradient；算法之间有工程差异，却没有解释能力跃迁的本质差别。真正决定效果的是思维链组织 pattern。

• 传统游戏或控制中的 RL 面临极稀疏回报：随机操作几乎不可能通关，棋牌若直接挑战成熟智能体，拿到正 reward 的概率近乎为零，还需 MCTS、探索奖励和回报传播。

• 语言模型则有极重的预训练。一个数学答案虽有数千乃至上万个 token、每一步动作空间看似覆盖整个词表，预训练已经把绝大多数后续表达变成近乎自动展开。

• 因而 MCTS 在不少 O1-like 实验中并未显示决定性价值，PRM 也不是普遍必需。张祥雨的解释是：这些问题或许仍较简单，更重要的是预训练早已替 RL 完成了大部分搜索空间裁剪。

13. 数千 token 的解题过程，真正需要搜索的可能不到十步

• 团队统计过约四五千 token 的输出序列，真正改变解法、影响最终答案的 critical decision 往往不超过十个；进入某个分支后，大量 token 只是确定性地把形式展开。

• 这也解释了随机 rollout 为何有效：简单题在训练开始前可能已有一半以上样本答对；难题 roll 一百次，也常能得到几条完整正确路径，这在传统 RL 中几乎不可想象。

• RL 的实际任务因此不是搜索全部 token，而是让模型在少数 critical token 上稳定选择正确分支。问题随之变成：为什么旧式 rule-based RL 明明看到正确路径，却无法把某个 60% 正确的分叉推到 100%？

14. 有些关键分叉的判断，本身就超出了单个 token 的计算上限

• 模型走到中间节点时，必须决定向左、向右或换一种构造；但一个复杂数学构造是否可行，往往要算到很后面才知道，无法凭前文在一个 token 内可靠决定。

• 张祥雨用大数乘法说明复杂度边界：常规乘法至少约为 (n^2)，更优实现也约为 (n\log n)，而 Transformer 单步点积是 (O(n))。超过单步预算的计算，不可能靠“一口报”稳定完成。

• 两道外观高度相似、只有几个数字不同的题，在同一点可能需要相反分支。若一类题 60% 应向左、另一类 40% 应向右，模型把全部概率压到左边只会让后者全部失败。

• 所以 reward 会涨到某个平台后停住：模型不是没见过正确路径，而是没有充分计算依据在分叉当下做出确定判断。继续强化同一个 token，并不能凭空增加那一步的计算量。

15. 反思把单路径 CoT 升级成了可以回退的 meta-CoT

• 解法是允许两条分支都走：先沿一条路探索到底，发现不对便通过反思回退，再尝试另一条。O1 最了不起之处，是把这种“反向边”真正补进了计算过程。

• 普通 RL 理论上也能自行激发反思，但概率低、耗时长、效果不稳。原因恰在预训练：人类答案通常只保留整理后的正确过程，错误尝试和弯路被删掉，模型由此相信所有题都应顺畅 CoT 到底。

• 冷启动或其他 pattern 注入重新扩展了被过度压缩的动作空间，再由 RL 强化。张祥雨把它称为“CoT 的 CoT”：第一层拆解单步计算，第二层负责选择、切换乃至推翻不同 CoT。

16. 视觉生成仍停在语言模型最早的“一口报”阶段

• autoregressive 图像生成的最大限制是“落子无悔”：一个 patch 生成后便不能回改，模型必须在单步里决定那块区域的结构、语义和与全局的关系。

• 若要求它画一块黑板，并在上面完整写出鸡兔同笼的求解，表面任务是生成图像，实质还包含多步数学推理。连答案本身都不能一口报，像素级生成自然更不可能可靠完成。

• diffusion 虽是多步 ODE 或随机降噪过程，张祥雨并不认为这些 denoise step 构成语义推理。画家会先打草稿、定轮廓和物体，再上色渲染；降噪却没有清晰的对象级步骤，语义可能很早就已固定。

• 因而视觉生成不只是缺少 O1 式 meta-CoT，甚至连普通 CoT 都没有，已被语言模型“甩了两代”。生成与理解难以融合，根源首先是计算复杂度与过程表示的缺失。

17. 人工赋予视觉动作能解题，却没有复制语言推理的泛化性

• 去年年底，团队启动真正的视觉空间 slow thinking：计数时在图上逐个打点，走迷宫时连线、遇死胡同再擦除，读表格、坐标和钟表时移动视觉注意力，而非只在文本中思考。

• 这些动作补足后，再用简单 rule-based RL 奖励正确答案，理论上便同时拥有标记、搜索和反思。模型确实能把专门构造的计数、连线等题型做掉。

• 但半年后的结果是，“我造什么样的数据，它就只能解这一类数据”。与语言 O1-like 模型跨领域迁移思考方式的表现相比，这套视觉系统几乎没有强泛化。

18. O1 泛化的是做事方式，不只是数学知识

• 张祥雨曾只用纯数学数据训练 O1-like 模型，再让它写严格满足格律、押韵和题意的古诗。训练集没有诗词，它却自然生成了与数学解题相同的工作流。

• 模型先写 draft，再逐一检查字数、韵脚和要求；局部替换破坏句意时便推翻前后两句，仍不行就整首重写。反思、verify、换方法验算、“大循环”和重复审题都迁移了过去。

• 纯数学训练却无法迁移到斗地主残局：模型会数错牌，甚至对方已经出完仍讨论如何压制，思考不得要领。张祥雨认为博弈需要 minimax pattern，而数学训练没有激发这种范式。

• 一旦加入足够的博弈合成数据，minimax 思路也容易出现。因此模型不是永远不会，而是每一大类问题都需要某种训练信号，把对应的思考动作从潜在空间里激发出来。

19. 自然语料中稀疏存在的反思，决定了 cold start 能否融会贯通

• MathOverflow 等论坛的高赞回答常保留真实 struggle：答主写下 “wait”、发现漏掉因素、承认原方法不 work，再 rethink 或换一种表达继续求解。这些正是 O1-like cold start 所用 pattern 的自然原型。

• 张祥雨反而批评许多中文解答爱用“注意到”，把尝试和脚手架全部拆掉，只留下一个神奇构造；模型若大量学习这种语料，会变得跳跃并更爱省略关键计算。

• 自然反思数据数量虽少，却来自不同作者、领域和知识体系，与预训练语料“犬牙交错”。冷启动放大这些节点后，可以顺带激活大片相连能力；固定程序生成的视觉圈点则“只能代表它自己”。

20. O3 的 crop 与 resize 看似原始，却胜在预训练中确有其物

• 团队测试 O3 的图像输入长思维链时发现，它主要对原图做 crop、resize 等简单编辑，动作上限有限；若不允许写程序，迷宫一类任务肯定解不了。

• 但在可覆盖的问题上，O3 的成功率远高于人工圈点系统。原因是图文混排语料里大量存在“先放全图、再放大局部、随后解释”的模式。

• 张祥雨举电子维修网站为例：用户上传收音机照片，答主放大不同区域，指出电容烧坏或元件故障。crop 很原始，却与自然数据严格相连；更“科学”的合成动作没有这种连接，反而难以泛化。

21. 未解决复杂度时，多模态预训练确实可能伤害文本能力

• 李广密追问多模态数据是否会拖累 text 能力。张祥雨的回答是：理想情况下，决定何时生成图像、如何结合远处图文，本应提供非常丰富的语义监督。

• 现实中的 diffusion 每次训练只采一个 denoise step；对大部分时间点，语义早已确定，loss 只在补局部细节。这样的梯度回传到语言部分，对语义无益，甚至会把它搞坏。

• autoregressive 略好，因为训练与推理行为更一致，至少每次真的产生一个 patch；但“落子无悔”仍使监督信号缺少清晰推理，改善并不本质。

• 类比是在预训练中灌只有答案、没有过程的难题：强模型可能硬记“选 C”，弱模型则学出“最长选项就是 C”之类错误 bias。图像生成信号若同样不可解释，最好的结果是无效，更差则是错乱梯度。

22. 视频能补充视觉思维链，但清洗与语言对齐是硬瓶颈

• 第一条解锁路线是扩充预训练语料。教学视频天然包含逐步过程：老师用激光笔指位置、打草稿、连辅助线，动作与语言同步，比静态图文更接近视觉 CoT。

• 问题是，从模型训练角度看，绝大多数视频都是“垃圾”：时长极长、有效片段稀疏、信息密度低，真正有用的动作还需准确切分与清洗。

• 图文网页通常文本解释丰富，视频却可能只有 ASR、字幕、简短解说，甚至完全无声，语言—视觉对齐更困难。张祥雨认为许多机构都在攻这条路线，并特别提到 Google 在视频数据利用上很强。

23. 高可控生成不必等完整视觉 CoT，可以先把问题难度压低

• 第二条路线是扩展视觉动作空间，让模型不只编辑原图，还能自由生成草图和中间表示。这样文字描述或想象可以先被具象化，再继续推理。

• 这里曾形成死锁：生成需要视觉推理提高可控性，视觉推理又需要生成提供动作。Gemini 与 Sora 最新版的效果让张祥雨认为，其中一边已经可能先走一步。

• 关键不是立即解决所有生成，而是严格限制 domain 与难度，只训练一口报足以完成的任务：连接几何图中的 A、B，移除某个人，调整物体位置，或按“左边、中间、上面分别是什么”生成结构。

• 这些任务主要依赖感知、定位与简单生成，不要求复杂推理。过去把新闻配图、梗图和各种难度混成一锅，模型长期 struggle；做好数据清洗和难度分层，现有架构也可能实现高指令忠实度。

24. 图文混排 CoT 将把理解与生成真正合成一个任务

• 阶跃已经训练过一个编辑模型，数据仍然很脏，系统也带有“搭积木”性质，但结构控制和指令忠实度已远胜早期生成—理解一体化尝试。

• 下一步是让该模型合成大量高相关数据，再训练统一模型。团队并不把人脸美学和细节精致度放在首位；用于推理时，语义动作是否完成，比画面是否漂亮更关键。

• 起点只需具备不带 CoT 的初级视觉理解，以及能执行简单指令的生成。进入图文混排思维链后，中间图可以被再次检查、修改或重画；最终输出文字便是理解，输出图像便是生成。

• 张祥雨把这称为下一个“多模态 GPT-4 时刻”，判断“最多一年”。现有架构大体足够，主要变量是数据清洗和训练稳定性；涉及视频的算力不会小，但是否还有未知坑，他明确保留不确定性。

25. long context 在应用上重要，却未必代表智能方向正确

• 张祥雨先区分应用与智能：企业应用需要塞入 domain-specific 资料，也需要用参考材料降低幻觉，因此 long context 作为承载信息的容器确实重要。

• 人类记忆却高度分层。working memory 一般认为只有约两到四秒，可无损记住电话号码；中期记忆会抓重点、反复强化并逐渐遗忘；长期记忆才像被固化进参数，伴随一生。

• 仅视觉信号的两到四秒，按其估算也约三四万个 token；今天模型却把十万、百万乃至千万 token 都当成同一种短期记忆。它解决了“装下”，没有回答如何选择、压缩和使用。

26. 不会遗忘的 Transformer，会被自己的历史持续干扰

• 一场会议或一部电影结束后，人会记住关键情节，不会保存“第几分钟桌上有几个水杯”。标准 Transformer 的 memory 却随输入同比增长，没有容量压力、loss 或机制迫使它提炼重点。

• 实验上，数学卷逐题做完便清空 context，能保持一个稳定水平；若连续做一百、两百题，越到后面表现越差。attention 不断被前面相似题目吸走，模型要耗费大量能力抵抗干扰。

• 大海捞针等 retrieval benchmark 进一步奖励“一点都不能忘”，令模型形成无损保存 bias。张祥雨认为这不是智能进步，甚至会阻碍智能，因为它把压缩、抽象和遗忘都变成了错误。

• 他不把注意力平方复杂度视为最核心的问题；真正的问题是建模方式不对。“信息如果不经过加工来压缩”，就无法获得更精炼的表示，也很难产生能力质变。

27. 下一代记忆更像翻书，而不是把整本书塞进一个脑区

• RNN、linear Transformer 等无限序列结构值得探索，但张祥雨认为关键仍不在换一个 attention 公式。重点是让全局信息与局部精确计算分工，而不是把所有内容都放进同一 context。

• 他设想用短 context 的普通 Transformer 负责局部精确计算，另一个无限序列模块形成全局感知。读书后要摘录金句时，全局记忆只指出“大约在 20% 附近”，局部模型再像翻书一样重新查看。

• 李广密将其概括为 multi-agent 雏形，张祥雨稍作修正：它更像一个人大脑不同脑区的协作，而不是多个独立个体。各模块可能都以 LM 或 VLM 起步，再在训练中分化为记忆、planning 与 action 功能。

28. 六天六夜的推理也未必需要千万 token 常驻同一 context

• OpenAI 曾描述 O3 可连续推理六天六夜、产生上千万 token。张祥雨不知道其真实实现，但认为没有必要让单一架构硬扛完整历史，那样既慢、昂贵，也缺乏情景隔离。

• 一个模型可以负责 plan，只保存已探索分支和 high-level 结论；另一个模型接收摘要，完成具体演算，再把答案或失败原因回报。切换到新路径时，执行模型可彻底清空上一条路径。

• 若搜索空间像二叉树展开，把所有路径拉直会形成千万级 CoT；planner 只需保存树的高层状态，executor 只需当前路径，所需常驻信息可以降到近似 log 级。

• 这并非只能手工“拼 Agent”：限制两个模型的 context，让它们通信和清空，再用最终正确率做 rule-based RL，协作协议可以端到端学出。架构仍是算法的工具；若类似 Hinton 所提无反传方案最终 work，普通 RNN 甚至可能直接支持在线学习。

29. 当前 RL 的下一堵墙，是 environment scaling 与贫乏反馈

• 张祥雨把大模型演进画成两条轴：优化方法从 next token prediction 走向 RL，模态从语言向视觉、语音和视频扩展。两者螺旋上升，但当前 rule-based RL 已开始暴露新边界。

• 编程 RL 要为每个 project 搭 Docker、输入输出和测试，再产出一条可验证数据；模型、数据 scaling 之后，瓶颈变成了“environment scaling”。大厂可以雇工程师逐个搭，但效率远低于人类自己读文档、搭环境、从反馈学习。

• 自然语言反馈也被严重浪费：老师评价作文时会分别谈首段、修辞、衔接、错字、整体风格和长度；现有 RL 往往把这些维度加权成一个“3 分”，模型既不知道分数如何组成，也不知道该改哪一段。

• 下一代学习需要从非结构化反馈中提取方向，并形成内生奖励，而非永远依赖外部 KPI 或 reward model。还要建模无限长、动态、无稳态的真实环境，让模型能持续更新自身权重。

30. 真正的 Agent 是自主进化，不是把工作流串得更长

• 张祥雨预计自主学习与在线学习会晚于多模态推理，但“甚至可能不需要两年”；理由是该方向已成为学术热点，投入者迅速增加。

• 一旦实现，公司内部 Agent 可以持续吸收专有知识和 know-how，成为高度定制的“员工”。新难题是如何复制、迁移或融合两个个体的记忆——类似人类经验难以直接拷贝给另一个人。

• 他认为 OpenAI 的五级智能划分有明确算法逻辑：Chatbot 对应 next token prediction，Reason 对应强 CoT 与 RL，Agent 则应对应自主、在线学习，能够独立工作并继续 improve。他把这一阶段称为 A+ 时代。

• 因而今天主动 function call、用 RL 决定是否调用工具的系统，仍属于 Reason 时代；更早的 LangChain 多是 handcrafted pipeline，仍属 Chatbot 时代。真正 Agent 要“自己去找目标，自己探索，自己学习自己的价值”。

31. 世界模型、机器人与自动驾驶最终会汇入同一条 AGI 主线

• 对李飞飞及 LeCun 所谈世界模型，张祥雨认为目标与自主学习殊途同归，但方法论不同。生成并非智能体必须具备的外显器官：人没有视觉生成器官，却能在脑中想象未来。

• 不过以当前技术阶段看，生成式训练仍是学习世界模型最方便的监督方式。更复杂的空间推理最终可能需要世界模型；当前阶段生成式方案可能更方便。

• 自动驾驶和机器人正在“抢跑”：它们靠受限场景、较低控制维度、rule-based 与模块拆分先做出应用；自动驾驶已走向端到端，机器人目前也能叠被子、跑步，却还远未覆盖通用视觉智能。

• 当这些系统进一步整合端到端控制、多模态推理和自主学习，路线会与 AGI 终局合并。张祥雨能明确押注的仍是两个时刻：一年内左右的多模态推理，以及两年内可能出现的自主、在线学习；再往后的拐点，他选择不做确定预测。