分布式训练、去中心化 AI：Prime Intellect 让 AI 便宜到无需计量的总计划
摘要
Prime Intellect 的核心判断是：当全球算力与智能变得充沛、可获取时，AI 的价值将从稀缺的执行能力转向创意。 Vincent Weisser 设想的终局是“智能与算力便宜到无需计量”，个人也能获得，而不是集中在少数公司或国家手中。他最具标志性的预测是：“执行很便宜，创意价值连城”，由此催生数十亿家初创公司、创意项目，以及由人类主导的智能体组织。
眼下的生意是一家轻资产市场平台，把分散在数百朵云和数千座数据中心的算力市场聚合起来。 Prime Intellect 不会为庞大的 GPU 集群融资；它“不是酒店”，而是“更像 Airbnb”，甚至是“搭在其他市场之上的市场”。节目称，如今已经可以按需租用 1,000 张 H100，而就在几个月前，这种容量还需要签订长期合约。
Intellect-1 是技术上的验证点：在带宽有限、节点不稳定的情况下，它仍能利用全球分布式资源训练一个100亿参数模型。 这套基于 DiLoCo 的方法，会先进行多轮本地更新，再同步伪梯度——也就是起始权重与结束权重之间的差值——并以 8-bit 而非 32-bit 精度传输。两项选择合计将通信量削减约 400x，但高效扩展目前只验证到约 16 个 worker，数百乃至数千个 worker 仍是未解难题。
从预训练转向 R1 式强化学习，显著提高了去中心化 AI 的成功概率。 推理训练可以为每次反向传播花费数分钟甚至数小时生成 rollout，大幅提高推理计算相对于带宽密集型梯度同步的占比。Vincent 称，这一范式“几乎完美适配分布式训练”，因此去中心化扩展具备现实前景。
MetaGen-1 展示了开放 AI 如何通过架构设计而非单纯依赖使用政策，天然偏向防御。 这款模型用约2万-3万美元算力成本打造，用于基于污水监测数据识别疫情，512-token 上下文足以进行异常检测，却无法生成完整病原体基因组。Nathan Labenz 将这种不对称性称为“单方面提供全球公共产品”：检测能力可以广泛分发，却不会把一名通用病毒学家放进每个人的口袋。
安全争论的关键不是 AI 是否会制造风险，而是集中控制还是分布式能力更安全。 Vincent 认为量化 p(doom) 是危险的虚假精确，并把超级智能集中化、受监管驱动的地理迁移，以及个人自主权丧失视为更具现实行动意义的风险。Nathan 则保留反方论据：他自己的概率区间是“5%到95%”或“10%到90%”；开放权重仍缺乏充分理解，而一次无法预见的后训练能力解锁，一旦发布便无法召回。
即便分布式软件令算力商品化、压低 NVIDIA 的利润率，NVIDIA 仍可能大得多。 在节目讨论时，Nathan 将 NVIDIA 的3.6万亿美元估值与 AMD 的2000亿美元估值对比，差距为 18x；Vincent 则认为 AI 硬件需求最终可能达到“数百万亿美元”。他的判断是，随着利润率下滑，收入仍可能扩大 10-100x，Google TPUs、超大规模云厂商芯片、AMD 和专用 ASIC 将分食一个大得多的市场。
这套总计划的目标超越公司本身，指向一种无需许可、由所有人共同参与的智能公共事业。 Prime Intellect 目前是一家特拉华州公司，但创始人描述了未来成立非营利基金会、建设开放协议，并最终通过类似 Ethereum 的代币化方式参与的计划；具体实施方案和时间表仍未确定。Vincent 设想的资产，是对生产性算力与智能的所有权凭证：“你想拥有一个能够创造价值的超级智能系统的一部分。”
精读
1. 只有在访问权保持多元时，丰裕才有意义
Vincent 的核心目标，是让“智能与算力便宜到无需计量”。便宜本身还不够：真正积极的结果，必须是个人、创作者和小型组织也能使用与大型科技公司及民族国家相同的能力放大基础设施。
他描述的上行空间，是分布式丰裕：智能体将每个人的能力延伸至科学、医疗、教育、创业和创意工作。相应的失败模式，则是一个“智能时代”拥有技术上充沛、但制度上只向少数人开放的最强资源。
Johannes Hagemann 将治理层面的判断归结为多元性：“最危险的结果，是只有一个超级智能。”因此，Prime Intellect 视去中心化不仅为基础设施优化，也将其视为让众多参与者相互制衡的方式。
Nathan 开场时的迟疑仍未消解：他喜欢所有人同时崛起所带来的韧性，却无法确信，在 AI 如此深刻地改变日常生活的情况下，稳定均衡会是什么样。嘉宾给出的是前进方向，而不是这种平衡必然成立的证明。
2. 超级智能可能分阶段到来，而非一夜之间出现
Vincent 认为前沿实验室负责人提出的情景具有相当概率，并称与奇点相关的预测出人意料地经受住了时间检验。他自己的宽泛预测是：超级智能“很可能”在未来10年内出现，同时承认不同领域的能力提升速度会不同。
编程、数学和自主软件组织相对容易评估和模拟；疾病、具身活动及其他受现实约束的工作则更难。“你无法模拟一切，也无法计算一切”，但他预计近似能力会不断提升，包括在生物学领域。
他的自动驾驶类比抓住了部署瓶颈：一个鲁棒性达到 95% 的系统，在安全关键岗位上可能仍然毫无用处。同样，一个超越人类的投资智能体，如果剩余 1% 的错误率偶尔会让用户损失全部资金，也无法被信任。
实际含义是，基准测试中的超人类表现，可能早于可靠的经济替代能力出现。Vincent 对底层能力增长的判断比多数人更乐观，但对高风险应用何时达到大规模部署所需的鲁棒性，则没有那么绝对。
3. 廉价执行力带来更多人类项目，不一定减少工作
Vincent 起初将丰裕未来与当下的财务独立相比较：有能力退休的人，往往仍会创办公司、从事慈善、创作艺术、抚养子女或追求理解。AI 可能减少强制性劳动，却不会消除地位、意义、影响力或创造欲。
Nathan 的反驳更尖锐：亿万富翁继续工作，部分原因在于他们仍能做出有意义的贡献。如果超级智能比 Bill Gates 更擅长分配抗疟疾资金，Gates 为什么还要继续运营基金会，而不是把责任交出去？
Vincent 的回答是，对结果真正投入，就应该欢迎授权。最好的创始人本来就会雇用在某些领域“相较于自己超级智能”的人；AI 劳动力只是把这一模式延伸出去。他对经济的概括很简洁：“执行很便宜，创意价值连城。”
这种反转可能带来“数十亿家初创公司”、电影和由人类发起或策划的自主创作。他还预计，纯粹由人类提供的服务——餐厅、剧院、值得信赖的育儿——会获得溢价，而普通知识工作者则会成为基本免费智能体组织的放大式导演。
4. P-doom 掩盖了更迫切的集中权力之争
Vincent 认为数字化的 p(doom) 估计没有帮助，甚至可能很危险：人们因为受尊敬的同行这么说，就给出 20%，却无法展开一个具体的因果情景。他尤其反对根据对极难预测的未来事件的高度确信，推导出全面政策。
Nathan 不接受不确定性会消解这一担忧。他的答案是“5%到95%”或“10%到90%”：他听到的一切，都不足以让人排除失去控制的可能，也不足以让人认定灾难如此确定，以至于应该放弃普通生活。
Vincent 承认，AI 可能带来工业革命级别的混乱，但认为收益超过风险，而提出的解药本身也可能变成危险。为了控制 AI 而建立的世界政府，可能比它试图阻止的推测性情景更加危险。
他更近端的担忧，是自主权丧失：人们把生活置于“自动驾驶”上，把自由交给国家，或任由少数民族国家和科技公司集中超级智能。Nathan 的生物学类比支持了集中化风险：许多物质在缓冲混合物中并不危险，但一旦被提纯成单一的强烈剂量，便会变得危险。
5. 总计划从算力聚合走向集体智能
第一阶段，是通过 API、命令行界面及其他开发者工具，提供一个全球算力市场。用户应该可以从 1 张 H100 到 1,000 张 H100 随意提出需求，并直接获得最便宜的合适容量，而无需分别接入每一家供应商。
第二阶段，是在这张“全球算力网络”之上加入容错分布式训练和分布式合成数据生成。闲置或地理位置更便宜的机器，便可以参与训练而不是闲置，从而同时降低算力成本与智能的最终价格。
更晚期的阶段，是协作训练开放模型——包括可能持续改进 DeepSeek 的 R1——以及面向智能端点的点对点市场。Prime Intellect 是一家特拉华州公司，但 Vincent 描述的终点，是一个由基金会支持、类似 Ethereum 而非传统云厂商的开放“公共事业”。
6. GPU 稀缺正变成按需协调问题
Vincent 称，在 ChatGPT 之前，GPU 还是一个很小的市场；如今需求和基础设施投入仍在指数增长。他不认同算力周期即将结束的看法，理由是更多 AGI 实验室、视频系统、推理模型、编程智能体和初创公司正在消耗越来越多的算力。
在 H100 最紧缺的时期，小型实验室往往必须签订价值数亿美元、期限1年或2年的合约，才能获得训练集群。Prime Intellect 称，如今已经可以按需租用 1,000 张 H100，这与仅仅3到6个月前相比是一次重大变化。
供给在结构上分散于“数百朵云”和“数千座数据中心”。NVIDIA 得以避免依赖单一主导买家，而最大的超大规模云客户也在开发竞争芯片；因此，芯片分配既流向 CoreWeave 和 Lambda 等独立供应商，也流向最大型云厂商。
Prime Intellect 想成为“连接所有岛屿的海洋”。它不购买庞大机群，也不承担相应的项目融资负担：“我们不是酒店，更像 Airbnb”，把超大规模云厂商、云平台、数据中心、亿万富翁和转售未用合约容量的初创公司聚合起来。
7. 不同工作负载可以变现硬件长尾的不同层次
市场需求集中在 H100、B200、A100，以及规模较小的 3090。完整训练偏好大显存节点或集群；合成数据生成未来可能吸收家用 GPU、Nvidia 的家用 GPU，甚至一台不适合训练大模型的 MacBook。小型集群和 4090 也有开发与数据生成用途。
即便是数十亿美元级别的建设，也不一定对应一栋可控的建筑。Vincent 认为，当前能源约束排除了单一的 10GW 集群，未来几年的更可能形态是多个约 500MW 的集群。
Intellect-1 已经跨欧洲和亚洲完成训练，而更广泛的供应长尾还延伸至美国、中国、印度、新加坡、马来西亚和家庭。Vincent 预计，算力会迁移至同时具备廉价能源、监管自由和商业自由的地点。
8. 监管与开放权重带来真正的安全分歧
Vincent 预测，欧盟 AI 法案会被记为“欧洲最糟糕的想法之一”，称其没有带来任何好处，却给小型初创公司增加负担；他也批评加州 AI 安全法案。这些是他的明确政治判断，并非 Nathan 简单接受的结论。
Nathan 的反例是 SB 1047：在一个权力过大的委员会被取消后，他认为最终版本主要要求前沿开发者维护并公布安全计划、接受监督。对可能产生颠覆性影响的工作而言，这在他看来是相对轻量的要求。
Vincent 支持红队测试、对齐研究以及直接打击恶意用户，但认为监管对守规矩的参与者约束更重，而恶意行为者会无视监管。他偏好的差异化发展策略，是让防御方获得足以应对网络、生物及其他威胁的 AI，而不是试图压制通用能力。
开源是分歧更大的领域。Vincent 称开放模型能带来更多监督、透明度和对抗性测试，并认为闭源模型应该接受更严格的审查；Nathan 则回应称，权重仍基本是黑箱，并以 R1 为证据说明，后训练可能意外解锁戏剧性能力，而一旦解锁便无法召回。
9. MetaGen-1 让疫情防御更强，同时刻意削弱生成能力
Prime Intellect 为 MetaGen-1 提供了约2万-3万美元算力支持，并与 University College London、Nucleic Acid Observatory 和 Safe DNA 团队合作。该模型分析宏基因组污水数据，识别可能预示新疫情的异常。
Nathan 强调了改变风险平衡的架构选择：512-token 上下文足以识别可疑片段，却远短于完整基因组。因此，它无法像批评者担心的那样，生成完整病原体基因组。
污水监测曾帮助识别和追踪 COVID-19，团队设想建立一个覆盖城市、机场，最终延伸至更多采样点的分布式网络。进一步的分布式训练可以吸收更多数据、提升检测能力，同时保留有限输出的设计。
更广泛的研究议程包括虚拟细胞基础模型，以及人在回路中的自主科学家。Vincent 倡导渐进式部署——先构建小系统、测试、加入护栏，再扩大访问——因为目标不是为了自主而追求通用自主，而是在约束失败模式的前提下加速科学。
10. 3种并行化策略决定哪些信息必须穿过网络
数据并行让 worker 持有模型副本，分别处理不同样本，再聚合各自的梯度。其根本负担在于，梯度大小可能近似等于模型大小：10,000 个 worker 更新1000亿个参数，会制造极其庞大的同步问题。
张量并行或模型并行将模型权重分配到不同 GPU。由于每个 Transformer 层都依赖其他设备持有的权重，设备几乎在每一层都要通信；因此，这种策略尤其依赖高速本地互联。
流水线并行将层划分为连续阶段，并在阶段之间传递激活状态。它的通信量低于张量并行，但频率高于数据并行；当各阶段地理位置分散时，延迟和序列长度就变得关键。
训练所需的内存也远高于推理。除了参数和同等大小的梯度，AdamW 类优化器还要保留全精度参数与梯度副本、动量和方差；这些优化器状态消耗的内存，可能显著超过可见的模型权重。
11. DiLoCo 用偶发的模型增量取代持续同步
DiLoCo，即低通信分布式训练，让独立的数据并行 worker 先执行多轮本地优化，再进行同步。它们发送的不是单独的梯度，而是伪梯度：“权重起点与最终状态之间的差值。”
这一思路建立在本地 SGD 和联邦学习研究之上。DeepMind 曾验证约4亿参数；Prime Intellect 将实验扩展至10亿参数，随后训练了100亿参数的 Intellect-1，但无力在同等规模上运行集中式基线。
该方法在训练初期收敛更慢，因为此时梯度大致指向同一方向，可区分的信号很少；随着训练推进，它会逐渐接近普通数据并行的效率。Nathan 起初预计，学习早期最能从独立性中受益；Johannes 则强调，这一结果是实证所得，并非凭直觉即可保证。
12. 带宽削减 400x 仍有 worker 数量上限
Intellect-1 以 8-bit 而非 32-bit 精度传输伪梯度，带来 4x 的削减。再结合每100轮本地更新后才同步，通信量约减少 400x，足以跨全球互联网链路训练。
在相同条件下，这仍不足以训练1000亿参数模型。Prime Intellect 正在探索增加本地步数、更好的量化及相关压缩技术，同时还要解决让更大模型装入每个参与节点的独立内存问题。
Intellect-1 在约 16 个 worker 上实现了高效扩展。当独立适应的 worker 太多时，它们累积的更新可能互相稀释或部分抵消，有效信号随之减弱；训练仍可继续，但相较集中式数据并行，边际收益会下降。
因此，数百或数千个 worker 仍是实现真正开放参与的未解要求。带宽比算力更昂贵，较便宜的 spot 算力和闲置 FLOPs 可以容忍一定低效，但 Johannes 的目标仍是接近集中式训练的效率，而不只是证明分布式运行最终能够收敛。
13. 混合专家路由不会自然形成可读的专业分工
普通混合专家模型会把每个 token 路由到部分参数，但这些专家不会变成可识别的数学家、病毒学家或文学研究者。Johannes 称，这是一种降低损失的高效路径，而不是可解释的知识分离。
按序列进行路由的设计更适合地理分布，因为整个序列沿同一条路径运行，而不是逐 token 更换专家。Nathan 认为，这可能带来安全收益：隔离敏感知识，再分发不含“病毒学家”模块的基础模型。
他引用 DeepSeek 约6710亿总参数、370亿激活参数的结构，认为这代表了机会所在。Johannes 同意可以强制建立领域路由，但不看好它能匹配无约束学习：从实证看，模型会自行发现不透明的路由结构，因为那些结构效果更好。
14. R1 式强化学习改变去中心化训练的经济学
Vincent 认为，推理时扩展意外地适合分布式系统。合成数据和推理 rollout 需要大量彼此独立、通信很少的前向计算，而可见的推理链比 o1 或 o3 的隐藏推理提供了更多可检查产物。
他不认为可见性等于完全可解释：模型可能突然用中文推理，或输出无法与人类语言一一对应的奇怪片段。但推理轨迹仍提供了加入检查、编辑行为和研究重复结构的切入点。
Johannes 将工作流拆成两部分：先对生成的推理链进行监督微调，再进行强化学习。一批问题可能先生成 256 条 rollout，再执行一次更新；根据采样机制不同，每次反向传播之前可能有数分钟或数小时的前向计算。
DeepSeek 没有披露全部基础设施细节、训练时长或通信比例。Nathan 补充称，难度校准很重要：如果模型1,000次尝试只能成功1次，获得强化信号的成本就很高，因此 R1 和 Kimi 相关讨论中的课程设计必须让问题足够难、但仍然可学。
15. 长上下文削弱全球流水线，强化优化器卸载
Swarm 并行将流水线式执行扩展到远距离设备之间，把一个阶段的最终激活状态传给下一个阶段。该张量的规模等于序列长度 × batch size × 隐藏维度；频繁的小额传输意味着，即便总字节数可控，全球延迟仍然重要。
这种方法可以让普通设备承载更小模型的部分组件，但 Johannes 怀疑它能否让任意家用硬件训练前沿系统。模型尺寸本身还不是全部限制，流水线阶段过多、链路较弱和家庭设备可靠性不足，都会带来实际瓶颈。
研究也在向百万 token 上下文、长推理方向发展。数据并行的梯度大小不会随上下文长度增长，而流水线激活会增长；因此，随着上下文窗口扩大，全球分布式流水线方法会越来越缺乏吸引力。
因此，Prime Intellect 更偏好将优化器状态高效卸载到节点存储。把全精度参数副本、梯度、动量和方差移出 GPU 内存，可能让单个 H100 或 A100 节点容纳约1000亿参数，但仍无法容纳约6500亿参数的 DeepSeek 级模型。
16. 容错与优化理论同样重要
在 100,000 张 GPU 上，Johannes 预计至少每隔几小时就会有某个节点故障。许多训练框架的应对方式是让整个任务崩溃，再从检查点重启；这在单一数据中心内已经代价高昂，而当独立贡献者可能随时退出时则完全不可接受。
Prime Intellect 的开源 Prime 训练框架允许数据并行 rank 在训练过程中退出、重新加入或动态加入，而无需停止其他 worker。如果闲置和可抢占算力要成为可靠基础设施，动态成员机制不可或缺。
Intellect-1 最初暴露了大量未预见的边界情况；团队在运行期间修复了部分问题，暂停数小时后，带着仍在参与的节点恢复训练。系统到最后已经稳定许多，但 Johannes 拒绝给出绝对保证：下一次更大规模运行很可能还会发现新的故障。
17. 分布式基础设施扩大芯片市场，同时削弱其护城河
Vincent 预计 AI 基础设施支出将从数万亿美元升向数十万亿美元，并以 Microsoft 每年800亿美元、其他公司超过1000亿美元的投入承诺为例。他还重复了 DeepSeek 拥有超过 50,000 张 H100 的说法，以及 ByteDance 一度购买超过 600,000 张 GPU、且有时并不需要这些 GPU 的说法。
廉价能源可能把算力部署在偏远地区，甚至海上；波浪能和卫星链路可能创造字面意义上的“算力岛”。经济逻辑其实比赛博朋克式想象简单：一旦通信能够容忍距离，机器就会迁移到能源成本最低的地方。
Nathan 将 NVIDIA 3.6万亿美元的市值与 AMD 2000亿美元的市值对比，比例为 18x，并问抽象化是否会消除 NVIDIA 的超额利润。Vincent 的回答是市场扩张叠加利润正常化：“利润率可能压缩，但收入可能达到现在的 10-100x。”
他认为 Google TPUs 会比 AMD 构成更强竞争，而 Amazon 和 Apple 可以推动内部芯片采用，Groq 和 Etched 等专业厂商也可能赢得细分市场。如果市场达到他认为可能出现的“数百万亿美元”规模，NVIDIA、AMD、ASML、TSMC 等公司都能变得更大。
18. 终局是对生产性智能的无需许可的所有权凭证
Prime Intellect 与 Imad Mostaque 的 Intelligent Internet 项目合作，但通过点对点算力、去中心化训练和频繁开放发布来形成差异。Vincent 预计，Python、Llama 社区等基础开源项目，以及独立研究者，将叠加改进，而不是像闭源实验室那样进行垂直重复建设。
Vincent 说，R1 实际上把 OpenAI 领先开源的时间从数年缩短到数月。Nathan 保留了限定条件：他仍会选择 o1 而不是 R1，o3 即将发布，而 DeepMind 或 Anthropic 可能已经拥有尚未披露、达到或超过 R1 水平的系统。
早期贡献者——包括算力供应商、开源组织和研究合作方——主要以实物或能力参与。计划中的非营利基金会将治理这一公共事业，而 Prime Intellect 这家公司只会成为众多贡献者之一；具体治理和激励细节仍在敲定。
Vincent 描述的总体方向是无需许可、代币化，但拒绝给出时间表。他设想，以算力为支撑的所有权比法币更难实现，并能让持有者接入一个生产智能与收入的系统。“我们把互联网输给了 Big Tech 平台垄断”；这套总计划，是为了避免以同样方式输掉超级智能。