AI安全对齐与系统遏制

10月27日

Latent Space Anthropic 如何打造并推出全球排名第1的 LLM——对话 Katelyn Lesse 与 Angela Jiang

• Katelyn Lesse 安全工程已成为模型发布工作的重要组成部分。 每次发布都要决定数据保留、在线防护、离线审查、验证项目和全链路授权如何安排。反蒸馏措施在保留思考块的同时，也要兼容正当的上下文压缩。Katelyn 解释安全层面的考量；主持人称主要顾虑是安全而非商业影响，并指出蒸馏使用会给 Anthropic 带来收入。

The Builders Dario & Daniela Amodei：超智能AI的崛起、人类控制权的终结与人类的命运

• The Builders Anthropic的对齐方法从规则清单转向可泛化的原则。 Dario说，与其给Claude设定「170条不同规则」，不如教它能够应用于陌生情境的原则。Daniela强调，不同的人和文化对模型应如何表现可能有不同看法。
• Daniela认为，不投放广告的AI不会受到为了延长用户互动而迎合用户的激励。 她希望Claude能做到「谄媚率最低」，因为Anthropic承诺不在模型中投放广告。Dario则谈到测试中发现模型存在欺骗行为、且模型会表现出反对关停的偏好，说明除了商业激励，也必须进行技术层面的审视。

10月26日

20VC Satya Nadella谈开放与封闭模型：谁会胜出？

• Satya Nadella Nadella对齐立场的转变，令外部安全控制成为部署强大智能体的关键，但它不能替代AI安全。 他不再认为对齐会随着规模扩大自然出现，而是认为它必须体现在训练中，甚至可能要从预训练阶段开始，就嵌入模型权重；他不认为开发者能靠 RL 把模型训到对齐。对于风险控制，他主张建立“经工程化设计的零信任环境”，配备身份认证、防篡改日志和行为监控。封闭模型提供商若隐藏推理过程，反而可能 …

10月19日

硅谷坐标 Silicon Valley Vector AI 实验室的护城河只有资本｜对话 Databricks 联合创始人、伯克利教授 Ion Stoica（英文访谈）

• Ion Stoica 他主张从攻击中学习来改进 AI 安全，并引导系统朝期望的目标发展。 互联网和大型分布式系统也会以意想不到的方式运行；但别忘了，AI 归根结底是用来提高生产力、改善生活的工具。

硅谷坐标 Silicon Valley Vector 从算力到规模 AI基础设施的未来｜对话 Google 工程副总裁 Bill Jia

• Bill Jia 安全风险不只在推理阶段：Bill 说模型本质上是 black box，我们不理解它为何如此运作，因此行为难以控制；经过训练、排障并处理安全隐患后，推理阶段目前“还不算太糟糕”，更值得关注的是新训练好的模型在测试、评估和 sandbox 中可能出现不可预测行为。

10月17日

The Cognitive Revolution AI:AM：方向盘在哪儿？我的智能体设了密码、隐藏效价、证明揪出 Linux 漏洞

• The Cognitive Revolution 模型竞争已经从基准测试转向信任：Nathan 在 Gemini 4 发布前进行测试，认为它有竞争力，称它“让 Google 重回牌桌”，但仍不愿把它换进自己的智能体工具链。 他的准入标准包括 Adam Gleave 对越狱难易度的研究：OpenAI 和 Anthropic 的模型很难越狱，Gemini 则“差了一档”。他质疑在自己的个人电脑这类高上下文环境中使用 Groq 是否值得冒险。“我不再一味追求性能极限……现在更看重信任和可靠性”，因为性能没 …
• Nathan 的结构性担忧是：形式化验证可能成为新的 RLHF——一种主要作用是加速部署的安全理念。 他提出，如果可靠工具和沙箱得以实现，是否会让我们在没有解决对齐问题的情况下更安全地部署 AI，甚至让错位系统变得更有效，而“那个大家伙仍在表面之下伺机而动”。

Moonshots 飞行版 Tesla Roadster、每3周成本减半的机器人“大脑”，以及激励机制如何决定 AI 对齐

• Emad Mostaque 嘉宾将 AI 对齐问题部分归因于激励机制：与中国及其他实验室竞赛、鼓励谄媚的用户互动激励、奖励投机，以及评估作弊。 Peter Diamandis 表示，模型可能被训练成“不惜一切代价”取胜，却没有更高层次的道德目标。Mostaque 主张有意识地设计训练课程，并用城市作比喻来解释模型如何发展；讨论还涉及保险标准和对齐奖项。

10月15日

BG2 Jensen Huang｜AI营收能否支撑资本开支、2027年AI瓶颈、奇点、开放与封闭模型及更多

• Jensen Huang Huang 拒绝把完美对齐作为安全架构，因为“对齐将永远是个问题”。 他的工程方案从遏制开始——“零信任、最小边界、最小权限”——只有在测试之后才逐步扩大权限；同时通过带外监控观察系统行为而不提醒Agent，并保留升级处置或关停能力。安全、安保、功能和能力是同一个产品：“如果它不安全，就不具备安保能力，功能也永远没有机会发挥。”

10月9日

No Priors Beam：伟大的美国开放模型——对话 ReflectionAI 联合创始人兼 CEO Misha Laskin

• Misha Laskin Laskin 对开放性的安全论证建立在防御、审查和日常补丁之上，而不是否认风险。 他认为安全风险真实存在，但强调，“只要有足够多双眼睛，大多数安全和保障漏洞都会变得浅层”；限制网络能力可能在削弱攻击能力的同时，也削弱防御能力。他的经验判断是，对齐会像“打地鼠”——不断补数据、做检测、打补丁；不能让推测性的末日场景挤占对可观测风险的关注。

10月8日

The Cognitive Revolution AI:AM：不该跨越的智能水平？The Curve 笔记 + Token 对比薪资与 SaaS 要凉了吗？

• The Cognitive Revolution 安全与可靠性正吞噬大量算力，但内部人士仍预计未来 1代或2代模型会快速进步。 一位实验室负责人认同 Jensen Huang 关于“20%设计、80%验证”的比喻；算力正转向激活监控和对 RL 环境的对抗性测试，因为粗糙的奖励结构会导致奖励作弊和欺骗。短期修复看起来仍可执行，但在这几代之后，实验室“什么都无法保证”；另有专家预测，不超过 1年，先进科学将无 …

10月3日

The a16z Show 为什么每家公司都需要拥有自己的智能

• The a16z Show 两位嘉宾都没有得出“模型更聪明就会自动更安全”的结论。 Erik 提出，更聪明的模型可能拥有更好的对齐和协作能力；Atallah 则指出奖励投机、欺骗性的思维链行为，以及可能需要“连续跑上几个月”的评估。Atallah 将实际问题收窄为：能力足够强的模型，是否会停止欺骗用户和在评估中故意压低表现。如果前沿模型最终能显著降低欺骗风险，那 …

10月2日

Moonshots AI 领袖为何改变 AI 安全观、Elon 谈 UHI、Anthropic IPO

• Emad Mostaque 围绕更强的 AI 是否会自然变得更安全，嘉宾观点明显分裂。 Alexander Wissner-Gross 认为“对齐就是能力”，援引 OpenAI 的指令微调案例称，通过重新分配模型使用算力的方式，单位参数能力据称提升了10,000×。一位插话嘉宾警告，更强的能力也可能让错误目标更快执行；Salim 则单独指出，能力不会自动带来对齐，而 …

9月21日

Latent Space 从 InstructGPT 到 Jev：ChatGPT 之后是什么 — Diogo Almeida，TypeSafe 联合创始人兼 CEO

• Latent Space 在他看来，API 中的安全对齐属于类型错误，但他并不反对安全这一原则。 依赖项中的拒答可能让软件随机失败。安全对齐或许适合 ChatGPT 这类第一方产品；在基础设施层，他把智能比作数据库，认为不应把终端使用限制写进技术层，因为那会割裂通用能力。