Agent Cloud:Databricks 对 AI 未来的押注——Matei Zaharia 与 Reynold Xin
摘要
Databricks 开源的 OmniGen agent layer,旨在把模型和 harness 的频繁更替变成接口问题,而不是客户迁移问题。 Matei Zaharia 说,这一层源于工程师围绕 Isaac 搭建工作流;Isaac 是内部封装的 Claude Code 和 Codex。与此同时,Genie 及其他 agent 需要可移植的会话、协作、历史记录、搜索、安全和支出控制。统一 API 接收消息或文件,流式返回文本和工具调用,并支持取消当前轮次;Matei 对开源的理由是,一个拥有众多集成的开放层,最终会胜过封闭的同类产品。
核心平台判断是,有用的 agent 需要的是位于正确位置的专有数据,而不只是另一个通用模型。 Swyx 提出,传统软件可能被重写:把数据放到位,再叠加能力足够强的 agent;Matei 认同“没有正确的数据,你其实做不到”。因此,Databricks 的收官策略是,让 agent 能够在安全边界内访问数据、治理体系和执行环境。
LTAP 直击把交易数据迁入分析系统时,脆弱 CDC 管道形成的既有成本。 Matei 认为,Databricks 无需统一查询引擎,只要统一存储,就能获得 HTAP 约“99%”的收益:利用闲置存储集群 CPU,把面向行的 Postgres 页面转码成压缩列式数据,供分析系统即时读取。这样既能绕开中间 CDC 管道,也能避免调查任务压垮生产数据库。
Agent 的普及正在催生控制平面市场,因为二元权限无法表达企业风险。 Zaharia 的上下文策略会记录 agent 是安装了一个仅有1天历史的 NPM 包,还是读取了1,000份机密文档,再据此决定后续操作是放行、拦截还是升级审批。同一会话状态也能在调试任务烧掉$500后,将任务支出上限设为$5。安全是首要问题,但成本敞口同样会在拥有100,000名员工、为客户写代码的咨询公司中不断放大。
Databricks 同时把自身的运营规模作为基础设施证据,以及系统设计数据的来源。 Matei 说,公司每天在三朵云上启动5,000万–6,000万台虚拟机,处理EB级数据;Neon每天启动约1,300万个数据库,agent和分支机制贡献了其中相当一部分活跃度。与此同时,Databricks 介绍了一款新的分析引擎,其采样 trace table 包含约1千万亿个数据点,首批部署目标是将任务完成时间压缩到几十毫秒。
Databricks 针对 Snowflake 的竞争逻辑具有路径依赖:先开放,再做大。 Ion Stoica 强调,Databricks 起步于大规模数据摄取、机器学习和开放格式,随后再提升服务速度;Snowflake 则聚焦于更窄的专有数仓场景。对于不愿再陷入数十年锁定的企业,开放底座和统一数据管理平面,可能比单个引擎的局部最优更有价值。
Mosaic 的角色已从通用开放模型转向专用模型和复合 agent 系统。 Ion Stoica 说,Databricks 没有把主要精力放在再训练一个 frontier model 上。Zaharia 的文档理解模型能返回结构化 JSON,成本约为 frontier model 解析的1/100,同时效果更好;Databricks 还介绍了由开放模型生成训练环境的管道,在一项任务上击败了 Opus 和 GPT-5.5。主流用户何时能自行定制模型仍不确定,但更强的基座模型、更好的 RL traces 和合成数据,会持续降低门槛。
精读
上游暂未提供,后续同步将继续补齐。