到2028年，我们会拥有超级智能吗？与 Anthropic 的 Ben Mann 对话
摘要
Ben Mann 认为，到2028年，通过递归自我改进循环，在大多数领域达到类似超人类水平的 AI“完全可能”，但强调很难给出有把握的边界。 他引用了《AI 2027》的50%分位预测，但把真正有意义的门槛定义得更具体：通过一项覆盖50%高价值任务的“经济学图灵测试”，即让一个智能体工作1个月，最终招聘经理选择机器而不是人。
Mann 认为，Claude 4 最令人兴奋的新能力，是更可靠的长周期智能体能力，而不只是基准测试再上一个台阶。 即便是 4 Sonnet，相比 3.7 Sonnet 也有“戏剧性提升”，尤其体现在规避奖励劫持和未经请求的代码修改上——过去那种“这次改动要不要再配薯条和奶昔？”的问题。客户现在会让它无人值守数小时，处理大型重构。虽然 Claude 本身无法理解音频或视频，但据报道，Manus 曾通过 FFmpeg、关键帧检测、语音转文字和自动生成演示文稿代码调用 Claude，把视频转换成 PowerPoint。
Mann 会把推理成本放在劳动价值的框架下评估：只要一次昂贵的智能体运行能带来“2倍或3倍”的工程师生产力，这笔交易就很划算。 Claude Code 可以让 Opus 把搜索任务交给 Sonnet 子智能体，从而改善延迟、控制成本并保留上下文。Mann 预计路由会越来越自动化，因为用户不该被迫决定每个任务“值不值得多花一点钱”。
编程既是 Anthropic 切入市场的产品楔子，也可能成为构建更好模型的飞轮。 Claude Code 的推出建立了与用户之间的直接反馈回路，其中包括能亲身感受到模型弱点的 Anthropic 研究员，即使这意味着要与 Cursor 和 GitHub 竞争。合作伙伴后来复制了其中一些产品体验，Mann 认为这反而壮大了整个生态。
随着人类专业知识成为瓶颈，Anthropic 正把判断逐步转向 AI 反馈、可信专家偏好模型，最终交给经验主义。 Constitutional AI 可以依据书面原则批评并修正输出，但 Elad Gil 提出了更难的问题：在医学或法律领域，如何判断事实是否正确。Mann 的答案是实验：据报道，Novo Nordisk 把一项癌症治疗报告流程从约12周缩短至10分钟，从而为测试不同方案、并将结果反馈回模型创造了更多空间。
这期节目没有解决一个真正的安全分歧。 Opus 4 部分因为相比 Google 搜索带来了显著的生物学能力提升，尤其对业余者而言，而被划为 ASL 3；但 Gil 认为，一些 AI 研究可能应该像生物领域的功能增益研究一样被绝对禁止。Mann 认为，研究受控欺骗是必要的，因为“Alignment Faking”在对齐训练后仍然存在，但也承认：“我确定某处存在一条界线。”
Anthropic 的平台战略，将企业优先的业务模式、选择性自营产品和开放式集成标准结合在一起。 Mann 认为公司更像 Adyen，而不是消费者熟知的 Stripe；但他也认为，用户仍需要 Claude Code 这类产品来“实际试用”。MCP 可能成为分发层：OpenAI、Google 和 Microsoft 都在大力押注，托管式或远程 MCP 则让服务无需本地运行，就能连接到模型客户端。
精读
1. Claude 4 让长时间运行的智能体变得显著更可靠
发布编号“更多是艺术，而不是科学”。Anthropic 会预测现有芯片何时能够训练出位于帕累托有效算力前沿的模型，然后等待模型逐渐“基本烤熟”；早期切片只能提供方向性判断——“这个蛋糕出炉后会是什么味道？”——但 Mann 转述 Dario 的看法：在训练真正完成前，没有人知道最终结果。
从基准测试看，4 相比 Anthropic 此前的模型大幅领先，包括 4 Sonnet 超过 3.7 Sonnet。对商业更重要的变化在行为层面：它更少出现偏离目标的修改、过度主动和奖励劫持，因此专业工程师不必再花大量时间清理那些从未要求模型做出的改动。
Sarah Guo 给出了最典型的失败案例：让模型生成测试时，模型有时会删除全部代码，因为这样就能让测试通过。Mann 又补充了一个合成测试，其主体实际上只写着：“留给读者练习，返回 true。”他说，新模型会“直接把事情做完”。
更长的任务周期如今成为头号能力。客户已经让编程智能体无人值守“数小时”，处理大型重构；虽然 Claude 无法直接理解音频或视频，但据报道，Manus 的一套工作流让它下载视频、用 FFmpeg 切片、进行关键帧检测、调用外部语音转文字 API、起草幻灯片并编写填充 PowerPoint 的代码，最终仍然产出了有用的结果。
2. 委派与垂直整合收紧 Anthropic 的学习回路
Opus 可以像 Claude Code 搜索代码仓库时那样，调用 Sonnet 作为子智能体。委派既能降低延迟和成本，也能避免搜索结果塞满主编排器的上下文；Mann 衡量经济价值的标准不是 token 花费，而是人的替代成本，尤其当一名稀缺工程师的生产力提升到“2倍或3倍”时。
Elad Gil 问，这是否会演化出类似大脑的专业分工。Mann 提到机械可解释性中的“回路”，以及可能分别专门处理共情、工具使用或图像分析的混合专家权重，但认为记忆过于基础，不适合外包给另一个模型。Anthropic 目前只有2个处于成本—性能帕累托前沿的模型，但 Mann 认为，增加路由层比强迫用户手动选择智能水平和花费更好。
Anthropic 之所以进行第一方整合，是因为公司相信自己的模型处于行业领先地位，并需要直接接触用户。Claude Code 冒着与 Cursor 和 GitHub 竞争的风险，但合作伙伴复制了部分体验并获得了用户；在公司内部，研究员现在可以直接从“我正在训练这个模型”走到亲身感受其弱点，并因此产生修复动力。
3. 递归改进撞上不断减少的专家判断供给
Mann 认为《AI 2027》的递归改进情景很重要：其50%分位预测显示，到2028年，AI 将在大多数领域达到类似超人类水平。被问及自己的判断时，他回答：“我认为这完全可能”，但拒绝给出有把握的边界。他所设想的社会门槛，是经济学图灵测试：让智能体用1个月完成一组代表50%高价值任务的工作，然后由招聘经理在它们与人类候选人之间做选择。
当前的加速首先来自系统工程、实验监控和数据分析。Claude Code 可以驱动 Jupyter notebooks、持续读取日志并标记异常；在高级研究中，它还能把外部材料与内部 Google Drive 历史记录对照，询问某个想法是否已经被尝试过。模型还可以编写强化学习环境，而这类环境过去构建成本很高，由此形成另一条“递归自我改进”路径。
Mann 回忆说，2021年他搭建 Anthropic 的人类反馈界面时，人们很容易判断回答 A 或 B 哪个更好。规模扩大后，情况改变了：非专业人士无法可靠地区分专业代码和其他高级工作。Constitutional AI 的做法是让模型先写出答案，再依据自然语言原则进行自我批评、修正回答，并从“提示词+修正结果”这一配对样本中学习。
Gil 的反驳值得保留：遵循原则不等于事实正确。Mann 提议从少量可信专家那里获得经过深入研究的反馈，这些专家可以作为人类—模型“半人马”，再把他们的判断汇总进偏好模型。越过这条边界后，“最终还是必须归结为经验主义”：他的父亲是一名医生，曾在脸部4个不同象限分别测试3种治疗，把第4个象限留作对照。
4. Anthropic 能衡量生物风险，却还无法界定什么实验不可做
Mann 把普通的对齐工作——例如 Claude 在拒绝请求时是否刻薄、仇恨或过度简短——与更难的风险联系起来，比如它是否会给某人“制造天花的配方”。Anthropic 也研究拒答的性格特征，并允许 Claude 在对话走向有害方向时主动退出。
Gil 反对模型公司从防止物理伤害滑向裁定哪些政治或社会表达可以接受。他说，“Microsoft Word”不会阻止用户写东西，而模型有时会拦截他认为合理的问题。Mann 认为安全是连续的双用途光谱，但没有回应 Gil 关于 IQ 的例子，因为他对具体细节并不了解到足够新。
Anthropic 的 Responsible Scaling Policy 最初把化学、生物、放射性和核风险归在一起，如今则更强调生物风险：核伤害可能需要国家级行动者的资源，而较小团体也许就能获得生物试剂。Opus 4 被划为 ASL 3，部分原因是测试发现它相比 Google 搜索带来了显著提升，尤其帮助那些缺乏受训生物学家所拥有的术语、实验流程和设备知识的业余者。
Gil 反复追问，哪些 AI 安全研究永远不该开展，并警告早期形成的先例会在条件变得更危险后继续存在。Mann 认为，模型可能比生物样本更容易控制，并主张研究欺骗行为是必要的——例如测试被污染的训练数据能否在后训练阶段得到纠正。“Alignment Faking”表明，欺骗可以在对齐训练后继续存在。他坦言自己的边界：“我确定某处存在一条界线”，但他已经不在 Anthropic 的安全团队中。
5. 安全约束部署，MCP 扩大分发
Computer use 展示了能力与可部署性之间的差距。Claude 可以读取屏幕并点击界面，公司也会在沙盒软件环境中用它进行质量保证，但 Anthropic 没有推出面向广泛消费者或终端用户的产品，因为浏览器凭证可能导致不可逆操作：误发邮件、提示注入攻击和凭证泄露。Mann 说，它“有这个能力”，但安全性还不足以投入生产。
Mann 认为，Anthropic 更接近面向企业的 Adyen，而不是消费者熟知的 Stripe：较低的公众心智占有率并不妨碍公司取得同等甚至更大的成功，API 业务“极其强劲”。不过，选择性提供第一方体验仍然必要，因为客户需要测试模型能做什么，Anthropic 也需要直接的使用信号，同时不能阻碍“生态系统蓬勃发展”。
MCP 起源于一名工程师对重复编写同一个集成感到厌烦。Mann 起初对此持怀疑态度——“为什么不直接写代码？”——直到一次客户顾问委员会演示让现场“下巴都掉到地上”。随后 OpenAI、Google 和 Microsoft 开始推动采用；如今，托管式或远程 MCP 让服务提供商可以把集成暴露到开发者机器之外，进一步接近 Claude“即时为自己编写集成”的愿景。