先锋 趋势 方法 投研 作者
81.Agent Infra,巨头都在布局的隐秘赛道|与百度王雁鹏聊模型、智能体与 AI 基建的新动向
返回节目精读

81.Agent Infra,巨头都在布局的隐秘赛道|与百度王雁鹏聊模型、智能体与 AI 基建的新动向

摘要

  • 百度智能云 AI 计算首席科学家王雁鹏的核心判断:模型能力的边界在哪里,就决定了最终的基建长什么样,而这个边界还在快速移动。 从 Prompt 模板公司在模型能力提升后“这一波可能就没有了”,到 Context Engineering,再到今天“新时代的数据库是不是 Memory 系统”仍无答案,Agent Infra 的抽象层尚未定型——主持人卫诗婕的比喻被他认可:“就像一个青春期的孩子不停地在长身体,你没办法为他量身定做一套合身的衣服。”
  • Agent 已从 Chat 阶段进入“完成真实任务”阶段,但离生产环节还差一个临界点:拿 Agent 做 Demo 很容易,做能覆盖边界条件、可复现、让人放心使用的线上系统还很难。 王雁鹏判断“完成某一部分工作相对容易,但替代一个岗位还不行”,但业内共识是 Agent 替代岗位、重组工作流“一定会发生”。
  • 模型以后会是 OS,Agent 数量会越来越多而非收敛。 大模型吸收的是思考方式和工作范式,但每项任务的 Know-how、Workflow、记忆和沉淀数据“不会被大模型完全吸收进去”——所以会长出海量 Agent,最终生产力井喷;巨头第一目标是抢这个 OS 入口,“OS 是大家要争夺的焦点”。
  • 一个可跟踪的落地信号:CPU 消耗量。 Agent 用 GPU 思考、交给 CPU 调工具执行,Multi-Agent 可以并发完成 1,000 个人的工作;“接下来如果 CPU 的消耗量大量增加,就证明 Agent 在生产环境有了更高速的落地”。同时,Agent 上下文爆炸(最先进模型已支持 1M 上下文)推高对 HBM 等高端存储的需求,而存储扩产周期至少两年、前些年因消费电子疲软持续供过于求,供需错配解释了本轮涨价。
  • 英伟达的护城河是“鸡生蛋”闭环:最先进的模型是在它提供的最先进系统上做出来的。 它已从芯片公司变成系统公司(CUDA、互联、超节点、自研 CPU),缝隙在推理——模型训完后不必完全绑定 NVIDIA 全家桶,NVIDIA 自己也收购了 Groq、在 GTC 推出 GPU+LPU 混合推理方案,推理“有机会出现不一样的玩家,或者不一样的巨头”。
  • 四家巨头四种打法:Google 十年 TPU+JAX 垂直整合在这一代终于奏效,王雁鹏认为它有这么深厚的全栈积累,没有理由做不好;但 TPU 是为自己做的,外人使用时“80% 的算力都发挥不出来”。 Anthropic 两年前聚焦 Coding 这个“高价值任务的底层能力”、靠签协议保障算力供给,目前尚未看到明显的自研芯片投入,是相对轻资产的一家;OpenAI 骨子里想做生态平台(GPT Store 对标 App Store、与博通合作并投资芯片、建设“星际之门”),希望把生产资料掌握在自己手里。
  • 中国 Infra 会走出自己的路径:国内被迫多芯适配,但开源远远领先于美国,模型架构演进透明,芯片设计者更知道往哪走——而博通只能靠 OpenAI 告诉它方向。 终局是一家全干还是寡头?“不好说,不排除”一家全干,就像代工基本上被台积电一家做起来。
  • 百度用 Token 效率和 DAA(Daily Active Agents)双指标牵引,拒绝“杀鸡取卵”的 Token 生意。 Token 指标“很快就被玩坏了”,DAA 衡量真实完成的任务及其价值;商业策略是学台积电——“在他们还比较小的时候就和他们合作”,和未来的明星公司、未来的巨头走在一起。

精读

1. Infra 的代际跃迁:CPU 时代拼软件,GPU 时代软硬一体

  • 王雁鹏 2011 年入职百度,介绍自己“应该算是”国内第一批在互联网公司做硬件的人——节点是当年互联网公司服务器采购首次破一万台。他的职业主线是围绕最重要的负载(当年是搜索)做从应用到算法到硬件的全栈优化,自研 SSD、CPU、硬盘以及 GPU。
  • 他对 Infra 的定义:抽象出一个足够通用的层次,“对下面有很好的抽象,对上面有很好的支撑”——往大了说台积电也是制造的 Infra。上一代 Infra(操作系统、数据库、云)全是软件视角,因为 CPU 已经把芯片固定好了,能均衡跑任何应用。
  • 这一代的根本变化:“GPU 极大地释放了算力,但它牺牲了通用性”——算力堆得很高,但各场景、各算法能不能发挥出来需要大量工作,于是纯软件的 Infra 被推向软硬一体。做 AI Infra 的人必须从芯片体系结构熟悉起。

2. Agent 三阶段:能完成任务,但还替代不了岗位

  • 王雁鹏的分期:Chat 阶段解决信息获取;今年以 OpenClaw 爆火为标志,Agent 真正进入完成真实任务的环节——“今天人操作的所有基础设施、各种软件,都要被 Agent 去用了”,而它的用法和人不一样,基建和工具怎么搭就成了下一阶段最重要的事。
  • 第三阶段是进入生产环节、严肃任务:现在拿 Agent 做 Demo 很容易,但做一个稳定运行、覆盖各种边界条件、让人放心使用的线上系统还很少。另一个刻度:“完成某一部分工作相对容易,但做一个岗位这件事还不行”——比如替代一个后端研发工程师,现在还是不太行。
  • 尽管卡在“可用但还没有到好用、安全、放心使用”的阶段,他与业内共识一致:Agent 替代岗位、形成新的组织工作流,“一定会发生”。

3. 制约在哪?模型能力边界决定基建,而边界还在动

  • 他对 Agent 创业者“不敢不做、又怕白做”的忐忑给出历史注脚:ChatGPT 刚出来时,估值比较高的一批公司在做 Prompt 模板,模型能力一提升,“这一波可能就没有了”;接着是 Context Engineering——复杂任务拆到不同上下文、不同角色、不同工作流。“模型能力的边界在哪里,就决定了你最终的那个基建。”
  • 核心未解之题:上个时代绝大多数应用构建在数据库这一层上, “新时代的数据库是什么?是不是今天的 Memory 系统?它到底要做成什么样子?”抽象层没定,开发范式就在变,工业级普及就到不了。卫诗婕的比喻——青春期的孩子不停长身体,没法量身定做合身的衣服——获得了王雁鹏的认可。
  • 但也有不变的东西:百度云坚持“芯模一体”以及四层架构协同发展。推导链条是“模型的智力等于算力,算力等于电力”,所以主线是降低单位 Token 成本;再加上一套 Runtime——Agent 要可控、可信任、结果可重复,这些确定的部分适合底层云厂商先做。

4. Claude Code 定义的 Harness 范式:一个 Loop、底层工具、文件系统

  • 对 OpenClaw 的第一反应是“好像没什么特别”——因为程序员世界几个月前已被震撼过一波:Opus 4.5 加配套的 Claude Code,已经能完成不少原来程序员的工作,尤其是前端开发、写网站和功能不太复杂的 App。
  • Harness 拆解为三件东西:主循环 Loop、调用的工具、Memory 系统。Loop 就是大模型看上一步结果、分析问题、走下一步、检查有没有达标——“完成几乎 90% 的任务,我都可以用这个 Loop”,不需要按场景做太多泛化。
  • 关键设计是用文件系统而非 RAG 做记忆:RAG 本质是数据库,范式固定,给关键词召回相关片段,不通用;“文件系统就是一个笔记本,你想写什么就写什么”,能存所有工作流,因此成为完成任何工作都适用的底层范式——不用为专用任务再开发一套东西。

5. OpenClaw 与 Manus:把 Coding 范式产品化到全场景

  • 第二反应才看到震撼所在:OpenClaw 把 Claude Code 那套从 Coding 泛化到全场景,“不是程序员冷冰冰的交互接口,它有记忆,还可以给你提供情绪价值”——不懂编程的人说想做个网页,它也能马上帮忙做出来。“它真的让人感觉到 AI 是可以成为一个人的。”
  • 王雁鹏认为,OpenClaw 的角色化和拟人化带来了人与 Agent 关系上的进化,可能让人产生进一步的信任;卫诗婕进一步认为,这让人可以把更多权限交给它、让它做更多事情。
  • 之后爆火的 Manus,他认为范式上“没有那么大的变化”,但解决了一个真痛点:自动进化你的 Skills。它定期反思——今天完成了哪些任务、第一次完成时哪里做得不好、用户给了什么反馈、后来有没有做得更好——整理成明天可用的更好 Skill,回答了“越用越聪明这件事情到底能不能做成”。
  • 卫诗婕追问:给 Claude Code、Codex 反馈它也会进步,有何不同?王雁鹏认为,当前还没有把更拟人化的 Memory、自动收集 Skill、自动整理知识,并把这些能力做成通用组件全部自动化;OpenClaw 和 Manus 是在产品化的某一个方面解决了重大问题,让产品更加好用。

6. 模型将是 OS:Agent 会井喷,不会收敛

  • 卫诗婕的问题很尖锐:Agent 是永远越来越多,还是到范式收敛后约束在最高效的数量里协作?王雁鹏站前者:“我个人觉得会是 Agent 越来越多”——现在的无序只是大家在摸索能力边界,之后大模型加 Agent 这套会像操作系统,在上面长出各种场景应用,效率“很可能是数量级的提升”。
  • 底层判断关乎“一个模型能否完成所有工作”:“模型以后会是 OS,是一个 IQ 很高的大脑,但每一个任务的上下文、记忆、工作流、踩过的坑、专业 Know-how,这套东西不会被大模型完全吸收进去。”模型吸收的是思考方式和工作范式,每项具体工作的 Workflow 和积累的数据都不一样——所以会有很多 Agent 出现,最终带来生产力爆发。
  • 卫诗婕的类比获得认可:通用大脑像天才,但天才不会从 Day 1 就能做任何事,中间的学习成本要在模型之上的应用层跨越。

7. Agent 对 AI Infra 的冲击:上下文爆炸,主线仍是 Token 成本

  • 上一代 AI Infra 交付的产品界面是训练集群加推理集群;Agent 时代第一冲击是上下文变得特别长——最先进的模型已支持 1M 上下文。Chat 时代再怎么聊也是聊天窗口的量,而 Agent 执行任务要浏览大量网页、调各种工具,执行完还要把全部上下文拿回来再输入,因而需要“小步快跑”地迭代很多轮;有时这一轮反馈由大模型自己给出,再由它决定下一步。
  • 对做硬件的人来说,这个冲击很大:系统设计就是平衡算力、网络、存储,要支撑更长上下文、更多模型、更多芯片,而贯穿的主线是“降低单位 Token 的成本”。
  • 与旧 Infra 的关系是延展而非重构:上一代变成提供更便宜 Token 的基座,其上再建一套为 Agent 设计的运行时——能够多轮迭代、足够安全稳定、结果可复现的生产环境。

8. 三支柱盘点:多芯、存储周期、超节点,以及 CPU 这个信号

  • 算力侧的国内特殊性:芯片需要“拼拼凑凑”,要把国产多芯用起来。难点在于芯片设计是系统化工程、充满取舍——这正是 NVIDIA 强大的原因:最先进的模型都是在它的算力系统上跑出来的,别家芯片在模型调用、推理等方面多少会有差别,国内 Infra 必须面对“更多的芯片、更多的地域、更多的异构环境”。
  • 存储的判断值得记:Agent 时代要存更多上下文,HBM 等高端存储短缺,而存储是强周期行业——投一条产线到出货至少两年、耗资巨大;前些年消费电子(手机、电脑)曲线走平,存储长期供过于求、价格处于下行趋势,“大家没有预料到这一轮 AI 会这么强劲,让已经相对平稳的行业突然又回到了春天”。挑战会深入到芯片级:为推理设计新芯片,从芯片到系统到软件的整个推理系统变革“会非常深刻”。
  • 一个重要的观测指标:Agent 用 GPU 思考后交给 CPU 调工具执行,Multi-Agent 可以并发完成 1,000 个人的工作,涉及搜索 API 等原有工具的 CPU 消耗——“CPU 的消耗量大量增加,就证明 Agent 在生产环境有了更高速的落地”,与工具调用强关联。而网络侧他反而泼冷水:超节点(把机内 GPU 高速总线扩展到机柜乃至机房,带宽提升十倍到几十倍)是趋势,但“有没有 Agent 它都会做”,Agent 本身没带来连接范式的变化。

9. 为什么这轮 Infra 成了兵家必争:智能=算力=生产资料

  • 上一代互联网 IT 是成本项:服务一万个用户和一亿个用户,成本差别不大,边际成本不强。这一轮 AI 是算力的突破催生了通用算法,“智能其实等于算力”,算力天然变成了生产资料。
  • 中美比较为什么会“一下子捅到电力”?他的推导:做软件相对容易、做模型好像也没那么难、设计芯片难一点、流片更难、电力最难——“越往下走越重资产”,投入的资源不是一天两天能建立起来的,这是巨头重金投入 Infra 的本质原因。

10. Google:十年垂直整合终于奏效,慢一点也“没有理由做不好”

  • 卫诗婕提到,去年 GPT-5 出来之前大家觉得 Google 掉队了,GPT-5 出来之后又觉得它行了——王雁鹏归因于近十年的 TPU、基于 JAX 而非 PyTorch 的软件栈、自己的 Infra 和模型,真正实现了芯模一体化;自研芯片理论上成本也会更低一些,成为 AI 竞争里的基石。
  • 他认为 Google 有能力做垂直整合,内功比较深厚,每一层都没有短板,“没有理由怀疑它的模型一定做不好”。
  • 最近两个月 Codex 追上来、OpenAI 聚焦之后又行了,又有人说 Google 是老厂不行了;他的判断仍然不变:“这就跟 GPT-5 出来之前是一样的。”对比 Anthropic 的成功很大程度是两年前确定聚焦 Coding 一件事,Google 有这么强的底座,“可以稍微比你慢一点”,同时支持几个方向做好。
  • 但 TPU 给外人用是另一回事:卫诗婕问算力是否可能浪费 50%,他说“50% 都是低估了”——算子写不好、系统做不好,“可能 80% 的算力都发挥不出来,因为它不是为你做的,它只是为它自己做的”。这也是训练系统难以打破 NVIDIA 生态的原因。

11. 英伟达:打破摩尔定律封印的系统公司,缝隙在推理

  • 他对 NVIDIA 的敬佩有历史纵深:CPU 时代被英特尔那套东西“锁死”——晶体管越堆越多、上层软件不用改、性能自然提升,这种切分驱动了整个 IT 世界。NVIDIA 从第一天就试图打破这个边界(当然也押中了 AI),如今“已经不是一个芯片公司,是一个系统公司”:芯片、互联、网络、CUDA、算子优化、自研 CPU、超节点、整机柜。代价是软硬边界被打破——现在每换一代 GPU,上面的软件都要大改。
  • 闭环的表述最锋利:“最先进的模型就是在它给你提供的最先进的系统上面做出来的,由不得你去定义系统。”对博通和创业公司围绕缝隙做的事,他直言“还是挺难的”——你怎么保证做出来的比它还好?“大家永远在追赶,这是个鸡生蛋的问题。”
  • 但缝隙确实存在:推理。模型训完之后不必完全使用 NVIDIA 那套系统,有时间做专门用于推理的芯片——NVIDIA 自己收购 Groq 也是希望在推理上做更大变革。今年 GTC 他读出两个方向:GPU+Groq LPU 的混合推理方案是投入重点之一;以及为 Agent 时代自研 CPU。独角兽层面他提到推理芯片(Groq 只代表一个技术方向)和 Fireworks 这类提升各种芯片使用效率、降低 Token 成本的 Infra 玩家。

12. OpenAI 想当平台,Anthropic 轻资产聚焦:两条 Infra 路线

  • Anthropic 的重心是把模型和模型之上的 OS 体系做好:Claude Code 这套“确实是领先的,Codex 也好什么也好,都在追赶它”——Coding 是“高价值任务的底层能力”、最强大的入口。算力上它跟各大厂商签协议(亚马逊、Google,TPU 和亚马逊芯片都可以买)保证供给安全;至少目前还没看到它在自研芯片方面有明显投入,是这些公司里相对轻资产的一家。
  • OpenAI 骨子里是生态平台打法:“它更想成为 Google”——当年推 GPTs、GPT Store 对标 App Store,先把所有人拉进生态形成黏性;在这个逻辑下就能理解它与博通合作、投资芯片,以及建设“星际之门”,因为“生产资料得把握在自己手里”。他还注意到 OpenAI 的指标从 DAU 这类用户侧产品指标转向 Token 消耗,本质是往价值结果转。
  • 对终局他不装确定:“这一轮 AI 确实是生产力革命,但最后是一家全干了还是剩几个寡头,我认为现在不好说。”真可能一家全干?“不排除——就好比代工基本上是台积电一家做起来,其他家虽然有三星、英特尔,但相对来说都少一些。”

13. 中国路径:开源的透明度是被低估的结构性优势

  • 国内 Infra 环境的差别:海外基本统一在 NVIDIA 生态上,国内天然要做国产多芯适配。但好的一面是,“中国的开源远远领先于美国”——闭源模型的结构外人不知道,芯片怎么设计无从下手;国内反响最好的几个模型都是开源的,模型架构往哪走是透明的。他反问:博通怎么知道往哪一步走?得靠 OpenAI 告诉它。
  • 破局的例子:华为提出的“木桶定律”——制程受制约时,通过芯片架构等其他设计做出更强的系统。百度昆仑芯应该是 2009 年或 2010 年就开始,最早没有直接做芯片,而是做 FPGA;思路一直是深入硬件底层,如今 Workload 从搜索换成 AI,“这些积累自然会发挥更大的价值”。
  • 他的结论带条件:“在芯片更多元、模型开源更开放的情况下,中国 Infra 会走出自己的路径”——芯片选择可能不完全一样,但同样能够完成目标、实现更低的 Token 成本。至于中国 AI 是否因此有确定性轨迹,他坦承“现在可能还没有,大家都在找平衡点”。

14. 百度的两个指标与一次路径转向:DAA 牵引,拒绝杀鸡取卵

  • 差异化两条:一是更高效的算力和 Token 效率——“大家都想往下做,但不代表你能把它做好,或者在正确的时间点做好”;二是云作为业务出口,希望下一代爆款应用从自己云上长出来,包括 Agent 和具身智能客户,“在他们还比较小的时候就和他们合作”——台积电当年也是小公司,靠某一单业务做起来的,要和未来的明星公司、未来的巨头走在一起。
  • Robin 提出的 DAA(Daily Active Agents)被他解读为价值牵引:Token 指标“很快就被玩坏了,拿 Token 干没用的事儿没有价值”;DAA 衡量真实完成的任务及其价值——能长时间运行代表这个任务有价值,这个价值乘以数量就是创造的价值总量。路径是先让高价值任务可用、能够运行,再想办法让它使用更多模型、使用成本更低的模型。
  • 卫诗婕指出,这套指标不再把 Token 数量作为绝对衡量,而更看重 Token 是否被用好;王雁鹏回应:“无脑使用 Token,我们肯定很开心,但这只是一个梦想……不能利用大家的恐慌心理,让大家都来烧 Token,那肯定不可持续。”
  • 一次路径复盘:大模型刚出来时,百度云投入大量精力帮助客户做微调、做专家模型,“今天看,那条路已经行不通了”;但追求没变,仍是提供一个平台帮助大家把应用做起来,只是产品功能和边界还在变化中。
  • 收尾的个人感受是全篇的注脚:从 CPU 时代的刻板效率提升,到 Agent 时代开放式的 Agent OS 抽象,“你能做的探索空间比原来大很多”;而且整个研究范式都在工程化——大家都是 Transformer 架构,“拼的不是灵光一闪”,要把算法、Infra、Agent 做好,都要有一套工程体系来驱动。对做工程的人,“这是一个更好的时代了”。