先锋 趋势 方法 投研 作者
144: “大而强”到“小而强”|与刘知远、肖朝军聊密度法则、RL 的 Scaling Law 和智能的分布式未来
返回节目精读

144: “大而强”到“小而强”|与刘知远、肖朝军聊密度法则、RL 的 Scaling Law 和智能的分布式未来

摘要

  • 刘知远和肖朝军的核心判断是,大模型的明线仍是能力跃迁,暗线已经转向单位参数、算力和能耗能换来多少智能。 团队测得基座模型的能力密度约每 3.5 个月翻一倍,ChatGPT 出现后斜率进一步加速;他们希望密度法则(论文题为 Dancing Law of LLMs)像摩尔定律一样,成为产业自我实现的共同目标,而非与 Scaling Law 对立。“能力更强是明线,能效更高是暗线。”
  • 密度提升不是一个模型压缩技巧,而是架构、数据、学习算法和软硬协同共同构成的精密系统。 FFN 走向细粒度 MoE,Attention 走向稀疏化;数据侧的 Ultra FunWeb 用不到原始数据十分之一的数据训练出更强模型,意味着训练成本理论上可降至约十分之一。团队把这整套体系称为“大模型的光刻机”,真正的壁垒是各环节共同提高“智能转化率”。
  • 强化学习尚未找到可与预训练相比的 Scaling Law,这可能是未来一年重要的技术分岔。 预训练已扩展到几十万亿 token、几十万步,当前 RL 往往只训几千步,R1 披露的也不到一万步;数学和代码之外,可靠、不可钻空子的 reward 与 environment 很难构造。路线一是在足够多环境中继续 scaling、等待泛化,路线二是寻找 sample efficiency 更高的新学习方式;曼祺追问“如果我能对世界建模得足够好,这个 reward 为什么天然不是一个 AGI”,肖朝军对此表示认同。
  • Agent 和深度思考把 Attention 的核心矛盾从长输入推向长输出,而行业对此仍缺少共识。 InfLLM V2 从训练阶段实现原生稀疏,在 128K 上下文中只需 attend 约 4K—6K token、占比不到 5%,并支持长输出;肖朝军判断线性注意力最终会与稀疏注意力结合,但遗忘、长程规划和多步 Agent 的稳定性仍待解决。“最不能做的事情,是第二步做完就忘了第一步。”
  • 端侧密度正在形成比云 API 更可防守的商业路径,汽车是当前最先落地的终端。 面壁模型已于今年进入马自达和吉利车型,预计明年覆盖六款以上车型;按芯片路线图线性推算,2030 年端侧可部署总参数超过 60B、激活参数超过 8B 的模型,叠加密度提升,未来五年一定可以把 GPT-4 到 GPT-5 水平能力放到端侧。固定芯片、功耗和响应时间后,模型密度直接决定座舱能力上限。
  • 面壁在 2023 年主动放弃了成本大几千万元、参数约 140B 的追赶路线,因为同质化云 API 无法形成创业公司的商业闭环。 这次选择催生了 2024 年 1 月的 2.4B MiniCPM,其效果对标当时的 Llama 2 13B、Mixture 7B,并可在手机运行;随后 2024 年 5 月的 API 价格战印证了其对云端壁垒的担忧。刘知远给出的创业原则是“不追求一炮而红”,而要寻找“充满不确定性的确定性”。
  • 更长期的下注是分布式智能:个人拥有可持续学习的端侧模型,云上则运行各领域专家模型,二者组成“智能体互联网”。 团队预计 2027 年可能出现可在端侧进行较大规模强化学习的节点,眼镜、耳机和手表只负责采集,由一个“便携的、可以跟着你走的 NAS”承载个人智能。最终的 AGI 未必亲自完成一切任务,更可能是“生产 AI 的 AI”;刘知远真正担心的不是生产力过剩,而是“我们人类自己会束缚我们自己的前进步伐”。

精读

1. 新一轮模型发布的共同方向不是聊天,而是 Agent 化

  • 面对 GPT-5.1、Grok 4.1、Gemini 3 和 Cloud Ops 4.5,肖朝军看到的第一条共性是智能体任务显著增强:新模型发布后,人们最先测试的已经是“它能帮我解决多少 bug”,而非单轮问答分数。

  • 第二条信号来自 Nano Banana、NotebookLM 和 GPT-4o:图像生成中的文字开始变得准确。此前把更多模态数据加入训练,并没有让模型智能水平再实现一步跃升;统一的自回归式图文生成,可能提供新的 scaling 方向。

  • 这仍只是有条件的判断。肖朝军强调,外界不知道 Gemini 3 的实现细节,也无法确认进步来自统一模型还是产品优化;他的观察窗口是再等“一到两个月”,而非据演示直接下结论。

2. 六年的能力跃迁之外,还藏着一条低可见度的能效曲线

  • 刘知远把 2018 年以来的能力主线分成数次飞跃:预训练模型出现,2022 年底 ChatGPT 通过 instruction tuning 学会听懂指令,2024 年底至 2025 年初的大规模强化学习又让模型学会深度思考。

  • 能力变强更容易被用户看见,但把模型做得更大,也会令训练和使用成本线性甚至超线性上升。只能通过 API 调用的昂贵智能,无法进入足够多的设备和行业,也就限制了这一轮技术革命的普及。

  • 肖朝军补充,开源侧的 MiniMax、Qwen Next、DeepSeek V3.2 和面壁都在推进高效架构;闭源侧则有 OpenAI 的 mini 系列及 Gemini Diffusion 等尝试。“能力提升是明线,能效更高是暗线。”

3. 密度法则首先是对“唯算力论”的纠偏

  • 曼祺提出,高效似乎不言自明;刘知远的回应是,2022 至 2024 年的主流叙事并非高效,而是“更多数据、更多算力、更多参数”才能换来更强模型,甚至演变为只有拥有十万张卡的机构才有资格训练大模型。

  • 这种话语会影响研究者、产业和决策层,使 Scaling Law 被误解成必须先囤积十万张卡的“第一性原理”。刘知远认为这是错误信号,密度法则的意义之一,就是为单位资源的智能产出建立指标。

  • DeepSeek V3 是团队援引的反例:其绝对训练资源仍然很大,却远低于部分国际机构此前暗示的门槛。重点不是宣布算力不重要,而是证明能力增长并不只有粗放扩张一条路。

4. 密度法则与摩尔定律一样,是竞争推动的自我实现

  • 团队最终使用“密度法则”而非“密度定律”,因为英文 law 未必指物理定律。刘知远回溯说,摩尔 1965 年只是总结经验,十多年后人们发现该趋势仍在延续,才逐渐把它命名并变成产业共同路线图。

  • 密度法则同样需要技术创新持续兑现。刘知远把提高密度形容为“逆这个世界的熵增趋势而行”:把更多内容压进更小空间,靠的不是自然发生,而是架构、数据、算法和工程的共同精进。

  • 肖朝军用生物演化补上资源约束:人的大脑没有无限增大,而是在有限体积与能耗下提高智力。企业间也存在“物竞天择”——相同能力下成本更高的模型,最终会失去竞争力。

  • 两人反复澄清,密度法则与 Scaling Law 是相辅相成的。Scaling Law 描述计算量与能力的关系,密度法则追问的是这条关系的斜率能否持续提高;GPT API 价格快速下降,本身就是内部密度进步的表现。

5. 能力密度约每 3.5 个月翻倍,但数字不是研究的终点

  • 论文最初纳入截至 2024 年的模型,得到约每 3.3 个月翻倍;加入 2025 年模型后变成约 3.5 个月。团队把差异视作正常抖动,核心观察仍是能力密度随时间指数翻倍。

  • 2023 年 1 月前后是值得注意的分界:ChatGPT 出现后,从计算投入到能力产出的斜率变陡,说明产业竞争、资金和研究注意力共同加快了效率创新。

  • 肖朝军认为,“到底是 3.5 个月翻一倍,还是一年翻一倍”不是最重要的结论。真正要立下的 flag 是,不再只问 performance 有多高,而要问“单位参数下或者单位开销下能够转化出来的智能”。

6. 密度路线源自一次无法回本的 140B 决策

  • 2023 年,国内团队的主任务是复现 ChatGPT;刘知远估计,一线团队大约在当年 9—10 月补上 instruction tuning,随后自然会沿着 OpenAI 2023 年 4 月发布 GPT-4 的路径继续放大参数和数据。

  • 面壁最初也准备追赶,但核算出的方案约为 140B 参数、训练成本“大几千万”。团队预计 2024 年上半年至少五家国内团队能做出类似能力,却找不到一个确定答案,说明自己怎样收回这笔训练成本。

  • 他们因此转向建设“模型风洞”,用大量小实验拆解各环节的效率。结果是 2024 年 1 月发布的初代 MiniCPM:2.4B 参数达到当时 Llama 2 13B、Mixture 7B 的模型效果,并能在手机运行。

  • 这次结果同时打开了两条路:明线是端侧大模型第一次变得可行,暗线则是追问不同年代模型的知识或能力密度究竟遵循什么规律,最终形成密度法则研究。

7. 现有密度指标只覆盖基座模型,后训练需要另一条曲线

  • 曼祺追问,为什么 o1 和 R1 引入大规模后训练后,没有造成类似 ChatGPT 的斜率变化。肖朝军解释,首版能力密度指标面向基座模型,强化学习带来的增长没有被直接计入。

  • 预训练对应传统 Scaling Law,o1、R1 更接近 test-time scaling 或 inference-time scaling。两者发生在不同阶段,不能强行塞进同一条指标曲线。

  • 团队正在推进密度法则 2.0,希望把后训练技术带来的效率变化纳入建模;相关定量关系仍在研究,尚无可对外给出的成熟结论。

8. 提高密度需要四个杠杆同时转动

  • 肖朝军把完整 pipeline 概括为四层:架构决定“智能的容器”,数据构成模型的“学习教材”,学习算法决定如何从教材与反馈中成长,infra 则让训练和使用真正适配硬件。

  • 第三个层面也包含“模型风洞”:用大量小模型实验积累经验,在大模型开训前预测参数、数据配置和能力上限。OpenAI 曾把这类方法称为 predictable scaling,其价值不只是找到曲线,更是避免昂贵的大模型试错。

  • 团队下一步希望定量分解架构、数据治理、模型风洞和软硬协同分别贡献了多少密度增益。目前已有经验性结果,但四者之间还没有足够清晰、可普遍复用的函数关系。

9. FFN 的共识已经从稠密矩阵转向细粒度 MoE

  • Transformer 的 FFN,即 feed-forward network,可粗略理解为稠密矩阵层;MoE 则把大矩阵切成多个专家,每次只激活其中一部分,以更少计算调用更大参数容量。

  • 曼祺追问,Mistral 等团队更早采用 MoE,为什么还说 DeepSeek“揭示”了它。肖朝军承认 Mixture of Experts 概念可追溯至上世纪九十年代,Google 和他们的团队在 2020 年前后已把它用于 Transformer。

  • DeepSeek 的贡献不是发明 MoE,而是在大规模模型上解决扩展和工程问题,又以开源方式证明它确实 work,把一条“非共识”路线变成行业共识。此后,细粒度稀疏 MoE 基本成为 FFN 的明确方向。

10. Agent 把 Attention 推成新一轮效率瓶颈

  • Agent 要读完整代码仓库,Deep Research 要处理海量外部资料,深度思考还会生成很长的推理链;模型因此同时面临长输入和长输出,Attention 的计算与存储开销快速成为瓶颈。

  • 开源和闭源团队都在尝试线性注意力、稀疏注意力、sliding window 及稠密层混合。肖朝军指出,Gemini 等模型使用滑动窗口的说法仍有传闻成分,但整个行业转向高效长上下文已很明确。

  • 这正是架构作为“智能容器”的含义:不是单纯减少 FLOPs,而是在相同计算预算里,让模型容纳更多上下文、处理更长的任务轨迹。

11. 数据治理从 L0 到 L4,把原料逐层炼成教材

  • 面壁内部的数据 pipeline 分为 L0—L4:L0 是抓取、采买形成的原始数据;L1 去重并过滤垃圾;L2 从中选择高质量内容;L3 合成或改写世界上原本不存在的数据。

  • L4 被称为验证数据,需要通过形式化方法或人工确认,达到“教材级”。这一步不再满足于文本看起来流畅,而要确认数据足以承担训练信号。

  • 这套分层不只服务预训练。SFT 与强化学习的数据合成质量,同样决定后训练的上限和效率;模型最终学到的所有智能来自数据,因此数据不是辅助工程,而是能力的直接来源。

12. Ultra FunWeb 说明“更少数据”可以直接变成成本优势

  • 团队用自己的 pipeline 精炼 FunWeb,得到不到原始数据十分之一的 Ultra FunWeb;用后者训练的模型能力反而更高。团队据此推演,同等条件下训练成本可以下降到原来的约十分之一。

  • 这个例子把“数据质量重要”的口号变成可核验的效率结果。肖朝军还举上海交通大学刘鹏飞一系列 Less is More 的工作为例:用更少的数据得到更强的能力。

  • 更终极的问题是:为了构建某个能力水平,最小化的数据集究竟是什么?如果能逐步回答,就不只是降低成本,也会逼近“智能到底是什么、哪些经验是不可缺少的”这一基础问题。

  • 团队计划发布数据治理报告、处理架构及部分数据,并延续 UltraChat、UltraFeedback、Ultra FunWeb 等开放实践。不过他们也强调,大模型已是上百人协作的精密体系;DeepSeek V3 有 100 多名贡献者,在全球范围甚至算精炼。

13. 软硬协同决定理论算力能否真正转成模型能力

  • 肖朝军把软硬协同概括为“把算力用得足够满”:如果 GPU 只有一半资源被利用,另一半照样耗能却不产生能力,再漂亮的理论架构也不经济。

  • Transformer 当年胜出的关键之一,就是 Attention 能更充分利用 GPU,从而允许模型继续 scaling;从 GPT-1 到 GPT-3,又需要解决大集群通信和并行工程。FlashAttention 则是面向硬件特性继续改造 Attention 计算。

  • 这种协同是双向的:一边针对现有 GPU 设计分块稀疏算法,另一边为 AI 设计手机 NPU 等专用硬件。DeepSeek V3 深入修改底层汇编以支持模型,也是算法与硬件协同的典型例子。

14. 强化学习距离真正 scaling 仍有明显差距

  • 预训练已经扩展到几十万亿 token、几十万训练步;当前强化学习通常只进行几千步,R1 披露的训练也不到一万步。少量步骤能在单项任务上取得好成绩,却不能证明 RL 已形成稳定 Scaling Law。

  • 现阶段最容易获得 verifiable reward 的领域仍是数学与代码。竞赛代码环境相对简单,而真实软件开发牵涉第三方库、依赖、系统状态和长期维护,构造可重复验证的环境明显更困难。

  • 肖朝军援引 Jason Wei 经常发表的观点:RL 的 magic 依赖一个“unhackable environment”。如果模型能利用奖励漏洞获得高分却没有学会任务,投入更多算力只会放大投机行为。

15. RL 的两条路线,是扩展环境还是更换学习方式

  • 第一条路线是在足够多、足够多样的环境中继续 scaling,看看它能不能像预训练一样在新任务上泛化。肖朝军没有否定这种可能:过去真正出现泛化,是通过预训练。

  • 第二条路线是提高 sample efficiency,让模型像人一样,凭少量反馈和行动掌握新任务。今天的 RL 即使能在单项任务达到“千分之一、万分之一人类”的水平,也远没有表现出人类快速适应陌生任务的学习效率。

  • 曼祺提出,可以给模型构造一个足够复杂、多目标的环境。肖朝军的回应是,人会从对方严肃的表情中读出负反馈,机器却需要被明确赋值为 1 或 -1;把整个世界压成 reward,本身就极难。

  • 由此出现鸡生蛋问题:“假设我能对这个世界建模得很好,你做任何事情我都能给足够反馈,那这个 reward 为什么天然不是一个 AGI?”RL to B 仍可能创造商业价值,但它与通用自主学习不是同一件事。

16. 面壁正从熵、算力利用率和开放域 reward 三面拆解 RL

  • 团队在研究 RL 过程中的熵变化,可直观理解为模型对同一 query 多次采样时的 token diversity。一个观察框架是,训练把探索产生的多样性逐步转化为 accuracy,从机制上解释模型如何收敛。

  • infra 侧的目标是把 RL 计算资源尽量打满、提高训练速度;只有先降低每一步的成本,才可能从几千步扩展到几万步,验证 scaling 是否会带来新的泛化。

  • 开放域方面,团队正在尝试“写一篇论文应该得到什么 reward”等问题。数学和代码之外尚无成熟共识,因此 reward engineering、environment engineering 已成为新的探索对象。

17. InfLLM V2 把稀疏从推理补丁变成训练原生能力

  • InfLLM V2 已在今年 6 月随第一版 MiniCPM-4 开源,10 月进一步开放技术报告、训练数据和基座模型;它并非到 10 月才首次出现。

  • 第一代主要在推理阶段做稀疏,稀疏程度大约为 50%,且更适合长输入的 prefill。第二代受到 DeepSeek 启发,从训练阶段就采用原生稀疏,因此训练也能加速,模型还能适应更低的有效 attend 比例。

  • 在 128K 上下文中,InfLLM V2 每次只需 attend 约 4K—6K token,占比不到 5%。其算子同时支持长输出,使架构能覆盖深度思考和 Agent,而不只是在输入一本书后做 QA。

18. DSA 修正了 NSA 的工程取舍,但长输出仍是未解主战场

  • 肖朝军认为,DeepSeek NSA 有两个短板:三个 Attention 组件令短文本计算成本直接乘以 3;它也不适合“短文本预训练、长文本后训练”的主流范式。DeepSeek V3.2 的 DSA 放弃了这些不利设计,并针对后训练重新优化。

  • 关于 DSA 更细粒度的选择,肖朝军解释,DeepSeek 的架构已经不需要解决访存和存储带宽问题,可以更多由纯计算支撑;但这个条件并不适用于多数其他模型和部署场景,不能直接复制。

  • 在线性与稀疏的关系上,他给出一个澄清:线性注意力更接近 sliding window 的替代项,稀疏注意力才对应 full attention。KDA、MiniMax 等已探索线性与稠密混合,下一步自然是线性与稀疏直接结合。

  • 真正缺少验证的是长输出。MiniMax M1 曾按约 1:7 混合 Full Attention 与 Lightning Attention,M2 又回到 Full Attention;肖朝军推测,主打 Agent 后可能暴露了性能损失,但他明确把这表述为估计,而非已知内幕。

19. 长输出要求模型在后续步骤中仍记得最初计划

  • 行业习惯把长文本等同于“喂一本书再问 QA”,肖朝军从年初就认为这有偏颇。Chain-of-Thought 和 Agent planning 使输出本身变长,模型必须在执行第三、第四步时保留第一步的状态。

  • 线性注意力容易遗忘早期内容,即使混入 Full Attention,效果也取决于混合比例;过于激进地减少稠密层,可能在长程规划中损失能力。肖朝军相信问题最终能解决,但“还需要一点时间”。

  • 因而,衡量长上下文架构不能只看输入长度和检索题,还要看长输出中的记忆、规划一致性及反复执行。这个评价口径尚未成为行业共识,正是他认为急需补足的地方。

20. 密度法则先统一内部研发,也开始影响具身智能路线图

  • 对面壁内部,密度法则把架构、数据、模型风洞和软硬协同统一到同一评价标准。刘知远把百人团队共同构建的这套复杂体系称为“大模型的光刻机”,其目标不是模型越大越好,而是每次迭代的密度更高。

  • 对外部,DeepSeek V3 之后,Sam Altman、Anthropic 及 Mary Meeker 的报告都更强调 AI 成本。刘知远认为这是“顺应时势”:当模型从演示走向各行业,推理成本和部署边界会变成显性约束。

  • 具身智能团队尤其频繁援引相关研究,因为机器人对延迟、功耗和云连接敏感。此前发表于 Nature Communications 的 MiniCPM-V 工作,用图示连接了摩尔定律、密度法则与端侧部署,被视为预测云端能力何时可装进终端的依据。

21. 到 2030 年,端侧可能容纳 60B 总参数、8B 激活参数

  • 团队依据英伟达、华为等一线芯片公司的路线图,估算从今年到 2030 年端侧芯片的算力和访存变化。按线性外推,2030 年设备可部署总参数超过 60B、激活参数达到 8B 以上的模型。

  • 再叠加密度法则,他们判断未来五年一定可以把 GPT-4 到 GPT-5 水平的能力放到端侧。刘知远同时保留了条件:这是线性预测,未来几年也可能出现非线性突破。

  • 当前落地顺序大致是汽车、PC、手机;车的空间更大、功耗约束相对宽松,所以最先铺开。手机仍受限,Apple Intelligence 的现有效果也比较受限,但团队预计未来两到三年会出现明显跃迁。

  • 机器人另有难点:小脑控制可能尚未稳定,大脑与小脑的协同更未定型;VLA 是一种尝试,肖朝军把当前阶段描述为“战国时代”,而不是已有统一技术栈。

22. 汽车把模型密度直接转换成量产竞争力

  • 面壁今年上半年进入汽车项目,今年下半年即完成马自达一款车型和吉利一款车型的量产;团队预计明年还会有六款以上、来自不同车企的车型加载其模型。

  • 每款车在立项时已经固定芯片、响应时间和功耗,可装载的模型规模因而基本确定。在这一硬边界内,密度更高意味着相同硬件上能提供更强能力,刘知远称这是其座舱项目推进较快的底层逻辑。

  • 多模态模型目前主要感知车内、车外环境,再以自然语言和不同座位的乘员交互、提醒或执行需求。复杂座舱可能定义一百多个功能点,但各车企和车型差异很大,尚未形成标准产品形态。

  • 适配与微调目前主要由面壁完成。团队用标准化 SFT 工具链和数据合成规范提高交付效率,希望避免每款车都变成从头定制的项目。

23. 放弃云 API,是一次对商业壁垒而非技术能力的判断

  • 2023 年面壁也考虑过提供通用 API,但判断不同公司的接口缺少差异化;即使密度更高、价格更低,大厂仍可用其他业务利润补贴模型服务,家底不厚的创业公司很难靠价格守住市场。

  • 刘知远认为,2024 年 5 月由 DeepSeek 引发、火山引擎和阿里等跟进的 API 价格战,验证了这项风险。DeepSeek 同样追求效率,却有能力不先考虑盈利,不能成为所有创业公司的商业模板。

  • 面壁因此把高密度能力更多导向端侧。刘知远不追求“孤注一掷”或“一炮而红”:若把全部融资投入超级模型却不能闭环,后果不可接受;他追求的是“充满不确定性的确定性”。

  • 对 DeepSeek 的公众声势,他的态度是“别人得到的并不见得是你失去的”。AGI 可能在未来五到十年到达,云上并非唯一入口;提前布局尚不拥挤的端侧,更符合团队禀赋。

24. 2027 年的关键节点,是个人模型开始在端侧学习

  • 团队预计 2027 年可能成为端侧的重要节点:相对不错的端侧算力开始支持较大规模强化学习,用户能把个人数据转化为学习环境,让模型逐渐成长为专属助手。

  • 刘知远不认为眼镜、耳机、手表都必须独立运行大模型。血糖监测设备只需采集数据并传给统一终端;同理,各种可穿戴设备可以共享一个“便携的、可以跟着你走的 NAS”式智能中心。

  • 这个终端会持续理解用户的工作、习惯和历史,成为“世界上最懂你的智能模型”。模型不必被塞进每个传感器,关键是个人拥有统一、低成本、可随身移动的智能终端。

25. AGI 的下一程是自主学习、协作,再到创造

  • 肖朝军提出三步路线:第一步是模型成为高效学习者,像带实习生一样逐渐学会剪播客、写代码等技能;第二步是已专业化的模型彼此协作;第三步才是形成创造新符号、新关系的创新 meta 能力。

  • 同一个模型在不同人手中可能成长为科技播报助手、AI researcher 或 infra researcher。各模型再协作解决跨领域问题,构成比单个“无所不知”模型更现实的智能组织。

  • 他认为,真正的创造不只是某个生物医药模型在既定符号系统内搜索,而是像从牛顿体系走向相对论那样,建立原本不存在的概念和关系。达到这一步,人类社会中所有需要智能的工作可能都会被 AI 取代。

  • 对 AGI 的产品定义也需要改变:自动驾驶由专用小模型完成,不能据此说通用模型不是 AGI。更可能的形态是“生产 AI 的 AI”——它生产和收集数据,训练并优化一个能在指定算力上运行的自动驾驶模型。

26. 分布式智能会由个人模型和云端专家共同组成

  • 刘知远援引中国电信研究院 2024 年初的一项统计:2023 年中国端侧、也就是手机上的总算力约为数据中心算力的 12 倍。单个数据中心很大,却架不住十几亿用户、几十亿设备累加后的端侧规模。

  • 他把“全球只需要几个大模型”的说法类比于 1943 年“全球不需要超过五台主机”的判断。过去八十年的信息化最终是分布式的,智能也会分布在每个人及其终端,而非永久集中于少数云服务。

  • 未来结构可能是:端侧个人模型掌握个人数据,美团模型理解外卖,滴滴模型规划行程,抖音模型理解娱乐偏好;二者协同形成“智能体的互联网”,以用户几乎无感的低成本提供服务。

  • 其经济逻辑首先不是取消市场,而是把知识和技能外化成个人资产:用户教出的模型越专业,人机组合的产出越高。长期甚至可能出现“一人开公司、AI 是员工”的形态,但刘知远承认这只是自己的推演。

27. 对未来的分歧集中在过渡成本,而非技术上限

  • 曼祺的反问值得保留:如果生产力趋近无限,货币和工作是否仍有意义;亚马逊裁员 1.4 万人之类的现实冲击,对个人和家庭不能被“全人类受益”的宏观叙事抹平。

  • 刘知远的回答是,第一阶段仍是人机协同:程序员加载代码模型后提高产出,未来竞争可能变成“你加你的 AI”是否足够强。低水平知识工作会被替代,医学、心理咨询、金融、教育、法律等高水平工作仍离不开人的参与。

  • 他更大的乐观来自知识瓶颈:人类知识已膨胀到个人穷尽一生也只能推动球面上的一个小凸起。AI for Science 可以把十几年、几十年的探索压缩到几小时,帮助人类继续理解材料、能源、生命、宇宙和智能本身;在这幅图景里,局部生产过剩只是“沧海一粟”。

  • 肖朝军把未来一年要验证的问题概括为 RL 能走多远、自主学习应以什么完整方式存在,以及最早到来的 AGI 会是什么形态;他认为后者可能在未来一两年逐渐呈现。刘知远则押注自主学习,预计明年能看到某一任务上的雏形;他提到物理等领域已有进展,肖朝军补充说目前仍主要集中在理科。