Thomas Sohmers

Sohmers 对硬件的核心判断是：推理正变成内存问题，而训练仍受算力约束。 2014年至2024年，GPU FLOPS 大约提升120倍，内存带宽却只提升17倍；Positron 的基准情景是，把原本需要500 MW NVIDIA 设备的工作负载压缩到100 MW。运营商仍会把设施功率吃满，因为效率提升意味着“每焦耳产生更多 token、更多智能”，而不是需求下降。

缓存 token 是模型供应商隐藏的利润引擎。 Sohmers 估算，处理缓存 token 的成本约为重新计算的千分之一，因此读取缓存是一个“利润高得离谱”的产品，这也解释了 Anthropic 据报达到80个百分点的 API 毛利率。他认为，OpenAI 和 Anthropic 如果停止训练，可能“一夜之间变得极其赚钱”；真正烧钱的是前沿模型投入，而非推理经济学。

西方单方面放缓只会集中 AI 权力，却未必能可靠地拖慢中国。 Sohmers 把限制谁可以进行矩阵乘法称为现代版“通往农奴制之路”：大部分 token 可能来自大型供应商，但限制底层能力会把它们变成“新的领主和国王”。Harry 的反驳击中了要害——“除非全球 AI 社区一起放缓，否则你不可能让前沿发展慢下来”；Sohmers 也同意，出口管制无法永久保持领先。

Sohmers 认为，反数据中心政治几乎完全是“中国心理战”，因为虚假的资源指控可能削弱西方建设能力，而中国仍在持续扩张。 他称，一家 In-N-Out 的用水量超过美国最大的数据中心，并提到闭环冷却；同时他认为，新设施会配套建设足以覆盖自身、甚至有余量的发电能力。他指出，真正的约束是审批、电网结构和经济性，而不是土地绝对不足或发电技术不存在。

大多数规划中的超大规模算力容量最终仍会建成，但被否决的项目会换司法辖区。 美国仍拥有大片偏远联邦土地，具备地热、太阳能以及潜在核能资源；因此，Sohmers 并不担心出现生存级别的容量短缺。Pantala 等海上抽水蓄能设施，以及更长期的太空数据中心，也提供了额外选项——不过他承认，在当前阶段，地面建设仍更便宜、更容易。

小模型和端侧模型可能增加，而不是蚕食前沿模型需求。 Sohmers 估计，目前约80-85%的 token 来自前4家模型公司，最终或许只有5%会在本地运行；持续读取邮件、日历和消息的本地 agent，可以自主把复杂任务升级给云端模型。“真正的瓶颈其实是人做出某种决策”，因此，可信的本地编排可能释放数量级更多的前沿模型 token。

KV 缓存具有经济上的必要性，因为高价值 agent 工作负载几乎都是重复性的，但它也把推理变成了存储管理问题。 据称，SemiAnalysis 的 Agent X 追踪数据显示，约96%的 token 都是缓存 token；与此同时，量化后的1.8万亿参数 GPT-4 大约占用900 GB，假设中的10万亿参数 Claude Fable 约占5 TB，单个长上下文用户会话可能接近100 GB。用户数达到50人时，上下文占用的空间就可能超过模型本身。

Token 价格下跌掩盖了智能经济价值上升的速度。 Harry 引用的指数在5年内从每百万 token 60美元降至不足1美元，但 Sohmers 估算，如今的 token 可能有高达100倍的实用价值，单位智能的价值则接近提升1,000倍。他称 GPT-6 Astra 已达到 AGI，理由是它能把原本需要2-3周的芯片设计任务压缩到大约50小时；未来的前沿 agent 因此可能以年薪100万美元的虚拟员工形式出售，而不再单纯按 token 计费。

🔗 原始收听与视频来源： 20VC：“反数据中心是中国心理战”｜规划中的数据中心最终有多少能建成？｜能源是 AI 最大瓶颈吗？与 Positron 联合创始人 Thomas Sohmers 对谈