01.叫板李彦宏、Llama 3发布，什么是大模型的开源闭源之争？

摘要

• 王铁震的核心判断不是“开源必胜”，而是闭源是开源的能力天花板，但两者差距不会逐渐变大。 他同意李彦宏判断的前半句：闭源公司若没有优于免费开源模型的产品，收费逻辑就无法持续；但当开源、闭源都越过 GPT-4 级别的“可用线”后，竞争将转向代码、写作等不同生态位，很难再用单一榜单证明谁把谁“远远甩开”。

• Llama 3 的意义在于把接近 GPT-4 的能力交给社区，而不代表企业会立刻部署最大的 400B 模型。 已发布的 8B、70B 与尚未发布的 400B 对应不同成本曲线：在同系列、同样训练方式和模型架构下，大模型的能力与知识肯定更强，但推理更贵、响应更慢，普通开发者甚至可能跑不起 70B。王铁震的趋势判断是“先变大，把能力做上去，然后再变小”，真正大规模落地更可能依靠 10B 以下乃至端侧的 2B、4B、8B。

• 开源和闭源并非二元阵营，而是一条从训练全公开、开放权重到闭源服务的宽光谱。 企业可以用开源模型叠加私有语料，在“最后一公里”以闭源产品收费；也可以开放小模型引流、保留更强版本商业化。王铁震认为，可持续的开源往往必须找到造血机制：“最后能够转化然后产生一些商业模式的这种开源项目才能够走得更远。”

• 开源的商业价值可以来自分发、生态与互补资产，也可能服务于授权或服务收费。 阿里可以借开源带动云端 compute 与 GPU 消费，硬件公司借软件开源扩大设备需求，Meta 则可能借模型生态补充元宇宙中的内容和交互。开源还可作为市场策略、技术品牌和招聘工具，因此“免费”不等于没有商业模式。

• 开源真正压缩的是试错和协作成本：一个人不必理解全部数学、拥有大量 GPU，甚至不必受雇于某家公司，也能改善其中一个环节。 王铁震引用一项分析称，过去一年大模型推理成本下降约 100 倍，其中很多工作由开源社区推动；项目还允许复制、拆解并另建项目，使公司内部必须二选一的 A、B 技术路线在社区同时发展。“每个人都站在别人的肩膀上”，是他相信开放科学加速创新的原因。

• “开放权重”不等于完整的 open source，Llama 更接近 open access。 完整开源要披露数据集、清洗方法、训练与推理代码、模型架构、日志和权重；只给权重，则像提供可执行的 .exe 而不给源代码。后者仍可微调、合并模型、量化或扩展 context window，但开发者无法完整复现它是如何被训练出来的。

• 创业者最稳妥的路径是先用最强闭源模型验证需求，再决定是否迁移到开源。 王铁震建议先用 Claude 3 Opus 等模型测试 prompting，能解决就不要急着微调，提示词成本也低得多，产品可能一周上线；等真实 query 积累后，再整理语料做 SFT、私有部署，以降低成本和保护隐私。SFT 多数创业公司可能负担得起，continuous pretrain 则可能贵 10 倍以上，还依赖原厂训练数据配比等知识。

• 算力仍是开源生态背后的硬约束，分布式协作也不会消灭人才中心。 Llama 3 据节目所述使用 24,000 块 GPU 和 15T token 训练，纯社区 grants 最多可能仅百卡级，千卡级支持很少；规模上升后，故障换卡、checkpoint 与自动恢复都成为系统工程。Hugging Face 可以全球远程、依靠 Slack 异步协作，但北京、硅谷、巴黎仍凭人才密度形成高地，“人才高地一定会存在”。

精读

1. 王铁震从大公司 reorg 中确认了开源的吸引力

• 王铁震在 Google 工作近九年，早期参与 TensorFlow，2022 年转到 Hugging Face；他想找回的，是上一轮 AI 中“做这个开源做得特别好，特别爽”的协作体验。

• 大公司的工程师经过严格筛选，却仍受组织边界约束：A 组员工不能随意帮 B 组，老板可能不高兴，对方也可能觉得“抢了他的生意”。反复 reorg 更会迫使人交出喜爱的项目，“就好像我有一个宝贝”，而项目随后可能死掉。

• 开源项目发布后，用户会在 GitHub issue 中报告 bug、复现问题并道谢；对王铁震而言，这种反馈让开发者真切看到作品如何帮助别人，“感觉到自己一直是在被需要的”。

2. Transformers 展示了问题如何变成公共生产线

• Hugging Face 看到 Google 论文及其 TensorFlow 实现后，Thomas Wolf 做出 PyTorch 版本，逐渐吸收更多模型并发展为 Transformers。一个最初有限的实现，由此成为社区可以持续扩展的公共底座。

• 典型流程从 issue 开始：有人提出模型需求或复现 bug，社区成员把想法写成更完整的 PR，maintainer 检查代码、讨论问题并合入主干，之后随下一版本 release 交给所有用户。

• 与闭源软件相比，差别不只是能否免费使用。闭源用户遇到阻碍，只能提交工单，问题若不困扰厂商就可能长期排不上；开源用户既能定位源代码，也可以直接提交修复。

• Hugging Face 自身更像一个 Hub，每个 repo 都有各自维护者；Transformers、Diffusers 等库可能有数百乃至数千名贡献者，但每天真正活跃的可能也就十几个人。

3. 字幕组和 BBS 已经演示过开源治理

• 王铁震认为，Android、Chrome、Firefox、Edge 的内核以及 Web3 项目早已让开源包围普通人；中国互联网中的字幕组和 BBS，也可被视为没有放在 GitHub 上的早期开源协作。

• 他以自己参与《触不可及》字幕翻译为例：论坛招募志愿者，成员按兴趣和时间领任务，高水平成员审核并合并意见，压片者把 SRT 字幕嵌入影片，再交给分发渠道。关键在于字幕文件如何生产、修改和反馈，视频资源本身可能涉及版权问题。

• 映射到软件社区，普通观众是 user，翻译者是 contributor，审核者是 maintainer，压片者对应 release 角色。卫诗婕把 maintainer 概括成“小组长检查批改作业的”，王铁震认可这种比喻。

4. 公开与可复制让社区同时押注 A、B 路线

• 卫诗婕追问，ego 和利益为什么在开源社区似乎消失；王铁震的修正是“并没有说不见”，只是所有工作公开透明，早期项目又把每一位贡献者都视为稀缺资源，参与因此更容易。

• 贡献者不必只把代码交给原项目，也可以复制、拆解并建立自己的项目。公司面对 A 技术和 B 技术通常必须配置资源、做出单选；社区成员基于兴趣行动时，两条路线可能同时发展。

• GitHub 还提供了一层身份抽离：若开发者不主动披露，别人并不知道其真实姓名或雇主。不过成熟项目并非脱离企业，Linux 的 contributor 和 maintainer 中就有 Google、Microsoft、腾讯、阿里等公司的员工。

5. 基础设施成熟后，开源不再只属于极客

• 王铁震认可早期开源往往落后于最先进闭源技术，但原因包含时代条件：Linux 初期能访问代码的人少，家庭高速网络、Git 和 GitHub 式版本管理也不存在，高效的大规模协作尚无基础。

• 当网络、代码托管和现成脚手架成为日常，开源与闭源若在同一时间起跑，两边都可能快速发展。今天开发者无需从零搭建全部系统，而是从已有组件上继续迭代。

• 他甚至预测“未来每一个人可能都是开发者”：不懂编程语言的人可让 ChatGPT 生成一次性代码。文生图做得最好的人可能来自艺术和设计，最会用大语言模型写小说的也可能是文科生；领域能力会比传统程序员身份更重要。

6. 开放科学把创新成本拆给了全世界

• 卫诗婕提到 Hugging Face 创始人的判断：若 Google 没有分享 Attention Is All You Need、BERT，原始扩散论文也未开放，行业可能还需三十至五十年才能到达当时水平。王铁震认为这个方向成立。

• 他给出更夸张的航天类比：若航空航天知识没有专利壁垒，信息和产业链材料都公开，也许七八年就可能实现月球登陆、殖民月球、开采资源，并进一步登陆火星。这是他对“一加一大于二”的信仰，而非一项确定预测。

• 支撑这种信仰的经验是：一项分析称，大模型推理成本在过去一年下降约 100 倍。贡献者不必理解全部深度学习数学、不必持有大量 GPU，也不必属于指定公司，只需把自己最擅长的一小段做得更好。

7. 开源追平并非技术宿命，而是企业战略的结果

• 王铁震反驳“开源过去八个月才开始逼近闭源”的隐含前提：GPT-3 之前，OpenAI 发布 GPT-2 时就在第一天开放当时最前沿的文本生成模型；后来转向闭源，首先是商业模式和企业战略发生变化。

• 他的竞争框架是：第一名不必开源，因为用户自然会来；第二名可能相信自己有机会成为第一；第三名若在正面战场难赢，反而可能通过开源“迂回超车”，换取影响力和声量。

• 企业选择开放还有控制、安全与隐私理由。公司未必愿意把内部信息交给 ChatGPT，却可以在私有环境部署掌握代码和权重的模型；Meta、阿里等公司的开源选择，因而不能只用模型分数解释。

8. 李彦宏与傅盛之争混合了价值观与商业选择

• 李彦宏在百度 Create 大会上判断开源模型会被闭源“远远甩在身后”，傅盛等创业者公开反对；Llama 3 随后发布，傅盛据此介绍其部分性能逼近乃至超过一些闭源模型，让这场隔空争论看起来像一次即时打脸。

• 王铁震没有把结果归结为哪派赢了。他回顾，百度在 ChatGPT 出现前曾通过 PaddlePaddle、PaddleNLP 获得很大开源影响力，后来减少投入，更像是判断闭源能为百度形成优势，而非突然发现开源在技术上无效。

• OpenAI 由开放走向闭源，却仍发布 Whisper 等开源模型；Meta 对外开放大量成果，也保留内部模型。王铁震据此强调，两种机制“是可以互相转化的”，企业无需做永久、纯粹的阵营选择。

9. 开源到闭源是一条光谱，商业化藏在最后一公里

• 光谱最开放的一端，是从数据、清洗、架构、训练到推理全部公开。王铁震举例称，Hugging Face 最近从 Common Crawl 清洗并开源了一个 15T 英文语料集，部分训练日志、代码与最终权重也会公开。

• 往闭源方向移动，可以只发权重并限制商业使用、要求另购授权；也可以开放较小模型，让用户先试用，再采购效果更好的大模型。开源在这里既是产品，也是获客入口。

• 大学、智源等研究机构可能以开放研究和公共福祉为目标，不急于盈利；公司则通常需要商业闭环。阿里可由模型生态带动云上 compute 与 GPU，硬件公司用开放软件促进设备销售，Meta 也可能借此补足元宇宙内容和交互。

• 王铁震总结过往常见模式：开源可以是市场策略、技术品牌、招聘最优秀员工的工具，也可以服务于硬件和专业服务销售。因此，关键不是“开源能不能赚钱”，而是价值最终由哪一层捕获。

10. 闭源可能守住天花板，却未必拉大可用性差距

• 面对李彦宏的具体判断，王铁震给出清晰拆分：“前面一句是同意的，但后面一句不同意。”他的原话是“闭源是开源的天花板”，却不接受差距必然越来越大。

• 逻辑在商业存续：若免费开源模型已经优于某家收费模型，客户没有理由继续付费，闭源公司便难以运转。王铁震认为，正常做法是开放次优版本、保留更强版本，否则客户要求再提升效果时，它只能回答“这已经是我们最好的模型了”。

• 但大家当时拿开源模型比较的 GPT-4 已不是刚训练出的新模型；节目提到一种说法，GPT-4 两年前已完成训练，之后长期进行安全测试。王铁震据此保留不确定性：OpenAI 是否已经有更好的后续模型，外界并不清楚；卫诗婕还列举了 GPT-5 到 GPT-8 的可能性。

• 更重要的转折是“可用线”。当两类模型都达到 GPT-4 级别，模型的边际成本继续上升，边际效益却未必同速增长；应用还可通过多次调用和 RAG 补知识，竞争便可能分化为写代码、写小说等不同能力，而非一个总榜单。

11. Open source 与 open access 不是同一回事

• 英文社区逐渐区分 open source 与 open access：前者开放模型训练、推理的完整链条，后者只允许访问训练后的权重。按王铁震的说法，BLOOM 可称为前者，Llama 更接近后者。

• .exe 类比最直观：拿到可执行文件可以使用，却难以添加 button、修改文字或替换 logo；拿到源代码，才可以自行编译和系统改造。权重对应可执行产物，训练代码与数据链条才更接近源代码。

• 全流程开放的模型并非不存在，但受众较小。即便训练 10B 以下模型，也可能需要几十至几百张 GPU 和数 T 语料；社区多数兴趣型开发者用不起，而且公开全部“黑科技”还可能被别人学到。

• Open access 也不是完全不能改。开发者可在 Hugging Face Hub 导入 Transformers 完成推理，再做微调；还可 model merge，把擅长代码和小说的同架构模型合并，或把 BF16 量化至 INT4，获得 4 倍的性能和存储提升，并把 8K context window 扩展到 32K。

12. 创业者应先用闭源验证，再把真实需求沉淀进模型

• Hugging Face 给非 AI 背景创业者的建议，是先用当时最强的闭源模型，例如 Claude 3 Opus。若 prompting 已能解决问题，提示词成本低得多，就不要立即微调：闭源模型可能让产品“一星期就上线”，而早期团队还不知道真实用户会问什么。

• 上线后积累的 query 才是更有价值的训练素材。团队可以据此准备问题—答案语料对，再微调开源模型并部署到私有环境，以降低长期成本、保护数据隐私，而不是先训练一个最终没人需要的能力。

• SFT 主要调整模型的表现和身份：客服被问“你是谁”“你爸爸是谁”“公司创始人是谁”时，应回答企业设定的社会身份，而不是“我是 Llama 3”。视模型大小而定，训练至少可能需要一张 A100 或 H100，甚至八张 H100。

• 王铁震认为，多数创业公司应能负担小模型 SFT；LLaMA Factory 已把流程 UI 化，难度接近使用 Word、Excel。真正稀缺的是领域专家的判别力：知道模型答案好不好，以及该准备哪些语料对。

13. Continuous pretrain 与 400B 把能力和成本同时推高

• SFT 若不够，团队才考虑 continuous pretrain；王铁震称后者成本可能高 10 倍甚至更多，还需理解原厂训练时的数据配比。类比而言，SFT 是让大学生记住工作身份，continuous pretrain 则让数学系学生补成化学专家，近似再修一个学位。

• Llama 3 已发布的 8B、70B，以及当时尚未发布的 400B，分别服务不同资源条件。同系列、同样训练方式和模型架构下，大模型的智慧程度和知识丰富程度肯定更高，但推理和微调都更贵，吐出下一个 token 也更慢。

• 一般开发者可能连 70B 都跑不起来；王铁震说自己的电脑只能运行 10B 以下模型。70B 已需更多 GPU，甚至多机集群；400B 即使接近 GPT-4，也不会成为多数公司的即时部署选择。企业一般可能考虑 8B 以下，或 10B 左右的模型。

• 节目称 Llama 3 使用 24,000 块 GPU、15T token 训练。纯社区 grants 最多可能只到百卡级，千卡很少；规模一旦上千，卡故障、换卡、checkpoint、重启和自动规避都会成为核心 infra，万卡乃至十万卡更是公司级系统工程。

14. 400B 是研究分水岭，而小模型才更接近生产终局

• 卫诗婕转述 NVIDIA 科学家 Jim Fan 的判断：若 400B Llama 3 达到 GPT-4 水平，社区就将获得重量级可用模型，研究方式和草根创业公司的计算路径都可能改变。

• 王铁震赞同其潜在意义：企业过去即便主要使用开源模型，复杂的任务拆解仍可能交给 GPT-4；可用级开源模型若接管这一步，信息与隐私保护都会改善。但他反复提醒，“四百 B 说实在的还是太大了”，分水岭不等于部署潮。

• 他的技术演化判断是先解决零到一，再解决生产化：模型先放松限制、扩大规模，把能力推上去；随后再把模型做小，降低成本。

• 更远的端侧场景尤其如此。纯离线手机不可能轻易承载 400B，现实候选更接近 8B，甚至 4B、2B；短期趋势不是盲目追求参数，而是“能保持能力的时候，推理成本变低，并且响应速度更快”。

15. 分布式协作不会抹平北京、硅谷与巴黎的人才密度

• Hugging Face 是典型分布式公司，大部分员工和三位创始人常在家办公，主要通过 Slack 异步沟通。早期 AI 公司采用这种结构，既能节省硅谷办公室成本，也能在全球挑选认同价值观、有凝聚力的成员。

• 大企业的约束不同：远程协作高度依赖自驱，而上万乃至十万人的组织中，许多人接受的是分配任务，不是自主选择项目。王铁震因此认为，Meta 疫情后把核心员工重新聚集起来，在管理上可以理解。

• 去中心化没有消灭地理集群。卫诗婕提到 Llama 的 13 位作者中有 10 位位于巴黎；王铁震则观察国内大模型人才高度集中于北京，并把北京、硅谷、巴黎视为高密度节点。他的结论很确定：“人才高地一定会存在。”