先锋 趋势 方法 投研 作者
AI前沿:从开放权重到开放研究——Eiso Kant、Poolside AI
返回节目精读

AI前沿:从开放权重到开放研究——Eiso Kant、Poolside AI

摘要

  • Poolside 认为,真正可持续的资产是模型工厂,而不是任何一个单独的 checkpoint。 在不到70名研究员和约35名工程师的配置下,公司称每月运行10,000–20,000个实验,曾在5周内把一个模型从预训练推进到交付,Laguna S则用了8周;今年除新训练启动前6小时内的配置修复外,没有发生有意义的值班事故。目标是让每个 checkpoint 都只是“又一次发布”,模型本身不过是“某个人流程留下的产物”。

  • 开放源代码的转向是一次前沿到来之前的治理选择:Eiso Kant 宁愿身处一个有100家基础模型公司的世界,也不愿只成为5家公司之一。 单独发布权重只是“二进制文件”,无法复现一个实验室;发布实验过程和工程经验才是影响更大的贡献。Poolside并不假装经济模式或安全政策已经解决——公司仍没有完整的开放基础模型商业模式,也预计未来终究需要重新评估滥用阈值。

  • Laguna S提出了一个具体的小模型判断:行为可以弥补远超预期的参数规模差距。 该稀疏模型总参数量为118B,激活参数为8B,在DGX Spark上的运行速度约为30–40 tokens/秒,据称解决了 Erdős 397,目前还在处理一个不使用外部库和互联网、为 macOS 制作 Wi-Fi 扫描器的请求。Poolside 发言人将其优势归因于“更多验证、更少想当然、不提前宣布胜利,以及强得多的坚持”,同时明确表示 Fable 和 5.6 整体仍然更强。

  • 如果对大多数知识工作而言,坚持比原始智能更重要,那么经济上最优的模型规模可能会比Poolside此前设想的更早到来。 Poolside将知识工作估算为全球经济的约25%,即$25万亿美元,并提出疑问:ROI峰值究竟在1万亿、5万亿还是10万亿参数,而不是还要再扩大两三个数量级。这个判断将支持模型商品化和开放权重,但Poolside拒绝成为“开放源代码小模型之王”,称自己仍必须跟随前沿竞争者一起扩张。

  • Poolside更深层的研究押注是:预训练必须学会推理,而不是几乎把行为形成全部留给后训练环境。 Poolside发言人预计强化学习会早于今天所谓的“mid-training”介入,称蒸馏和环境是有用的“药物”,并认为下一个 token 预测“几乎没有榨出”整个互联网所编码的知识。这里的不确定性很重要:发言人“并不确定”简单增加任务环境数量就是通往 AGI 的路径。

  • Harness 是训练界面,但Poolside不希望它成为产品边界。 公司使用一个只有6种工具的编码 harness,并做少量多 harness“打磨”;Swyx则推动Poolside,如果真把自己称为模型公司,就应直接为 OpenCode 或 Hermes 优化。Eiso更强的预测是,MCP式工具菜单将让位于模型在虚拟机内编写条件代码:“12个月内”,他预计塞入20–40种工具的系统提示词将基本消失。

  • 在Poolside通往AGI的竞赛中,真正的约束变量是日历时间,而不是标题党式的GPU数量。 公司当前的算力规模被描述为10K H200集群;更大的 Laguna M 已进入39天预训练周期,而强化学习仍是墙上时钟的瓶颈,因为任务供给有限,限制了 batch size。因此,Eiso强调低精度训练、prefill/decode硬件专用化和混合芯片RL的重要性,认为它们比一次英雄式训练的名义成本更关键。

  • Poolside反对限制今天的开放模型,但Eiso拒绝接受“未来所有能力都必须永远开放”的绝对主义主张。 他更倾向于由民主制度负责、针对具体能力制定规则,而不是由单家公司单方面决定;一位共同主持人则指出,任何一个司法辖区都无法替全世界“以安全为先”。警示性的类比是香烟广告监管:一条好的安全规则仍可能巩固寡头,而在2026年冻结模型竞争,就像“最反乌托邦科幻小说的第14章”。

精读

上游暂未提供,后续同步将继续补齐。