从0到1做AI安全：Halcyon的Mike McCormick如何发起30家新机构，以及创始人瓶颈

摘要

• Mike McCormack的核心判断是，AI安全的硬约束是创始人，优先级高于想法和资金：「这个领域不缺那些写着一堆好想法的精彩Google Docs……它缺的是世界级创始人，能够把这些宏大而模糊的想法变成真正让世界更安全的组织。」 成立3年来，Halcyon一半是非营利资助方、一半是VC基金，是「同一个工具包里的两件独立工具」，已发起约30家机构，累计融资约5亿美元，主要聚焦创办前6个月到创办后6个月这一年窗口。
• 概念验证案例是Goodfire：Halcyon最早的2笔资助是职业转型资助，让Eric Ho和Dan Balsam「在想清楚要在AI安全领域做什么之前，先付得起房租」，而公司最近完成了「远超1亿美元、估值超过10亿美元的B轮融资」。 McCormick称其「可能是全世界做可解释性研究最好的地方，即使把各大实验室也算上」，并将结果归因于人才飞轮——前5名优秀人才会吸引下一批人才，资金方则会跟着人才涌入。
• 验证技术是任何减速协议能够执行的基础，而这一技术今天「还处于完全早期」阶段。 无论是美中协议、实验室间协议还是监管规定，只有能够验证某个数据中心是在做推理而不是训练、验证实际提供服务的模型就是其声称的模型，协议才具备强制力；「没有这项技术……协议就是无效的」。Nathan说，「我们投资了最早一批尝试用零知识证明进行推理验证的公司」；McCormick则另行表示，Halcyon投资并帮助创办了第一家尝试打造完全可验证neocloud的公司。Halcyon还将召集密码学、软件、硬件、治理和协调等各层的25位创始人参加闭门会。
• 谈到时间线，McCormick称我们「大致处在AI 2027的时间线上，前后可能差几个月」，但坚持认为「创办AI安全公司的最佳时间是20年前，第二佳时间就是今天」。 他的优先级是未来1到4年内有用的方向；如果真的只剩3到6个月就会发生RSI式快速起飞，「那一切都无所谓了……也许我们都该去海滩上躺着，祈祷超智能喜欢我们」——但「推动前沿放慢速度已经成为舆论窗口中新的常规选项」，而一旦进入减速阶段，正是加速推进控制、监测和网络安全的时候。
• 一轮潜在的流动性浪潮正在逼近，但可供投资的项目供给还没准备好：如果各大实验室上市、身家数亿美元的员工套现，McCormick担心会出现「一个近在眼前的时刻：市场上堆着数十亿美元、数十亿美元的资金，却没有那么多真正值得资助的事情」。 他朋友的一句话概括了这场布局：「今天的慈善家和创始人，会为明天的慈善家写菜单。」商业逻辑同样成立——「AI安全领域的价值至少会达到数百亿美元」，部分被投公司相较Halcyon首笔投资的估值已经上涨10–25倍。
• 每个安全子领域目前都只有个位数机构，「让1000个METR开花」；即使是今天的前沿，也仍然处于失控状态：「看看OpenAI–Hugging Face……这些都是尚未解决的问题，我们没有走在正确轨道上。」 相较之下，生物安全更容易定义：「只要有胆量和3亿美元，就可以生产足够的个人防护装备，让5000万人继续工作」，而在对齐问题上，「我甚至不知道彻底解决它到底会是什么样子」。
• 他的筛选标准有4项——安全核心产品、可行的商业模式、使命驱动和优秀创始人——其中动机尤其重要，因为治理结构救不了你：PBC、安全委员会和对齐的股权结构只是「朝正确方向的 nudges……但没有任何一项是银弹」。 谈到前沿实验室，他直接承认了Nathan的判断：「老兄，确实出现了一些漂移。」
• 行动号召面向那些已经在其他领域取得成就、但不是研究人员的人——COO、招聘人员、网络安全和密码学从业者——并承诺支持职业转型，让你能够「在美国一线城市养家糊口的同时，做极具意义的工作」。 McCormick从一家10亿美元级VC公司跳槽并降薪，「一天都没有后悔过」；感兴趣的人可联系[email protected]，欢迎熟人引荐，但不是必要条件。

精读

1. Halcyon：本质是找人才，顺手开支票

• McCormick不愿把Halcyon定义为「资助方」：「我并不真的把我们主要看作资助方。我更愿意把我们看作人才发现者和新项目发起者；只有在开支票有助于完成这些事情时，我们才会开支票。」这家成立3年的机构把非营利资助方与风险投资基金放在一起，是「同一个工具包里的两件独立工具」，已发起约30家机构，累计获得约5亿美元慈善资金和风险投资。
• 运营边界其实非常清晰，尽管投资组合看起来很分散：创办前6个月，解决问题选择、寻找联合创始人、决定做营利还是非营利、组建董事会；创办后6个月，搭团队、做第一款产品、正式上线。「我绝大多数时间都花在这一年窗口里，Halcyon接下来也会继续聚焦这里。」

2. Goodfire：从职业转型资助到独角兽级可解释性实验室

• 故事的起点是：Halcyon最早的2笔资助给了Eric Ho和Dan Balsam，当时他们还在经营上一家公司——这笔钱让他们可以先付房租、想清楚自己要在AI安全领域做什么。随后，他们在「北加州森林里」参加了一次闭门会，最终选择了可解释性方向；Halcyon此后「参与了每一轮融资」。公司最近完成了「远超1亿美元、估值超过10亿美元的B轮融资」。
• McCormick解释安全机构为什么能够胜出，核心是人才复利：「最初5名真正有才华的人加入后，接下来的人会想，‘我认识的最聪明的朋友都去了那里。’」资金方会追逐人才，「然后飞轮就这么转起来了」。他认为Goodfire「可能是全世界做可解释性研究最好的地方，即使把各大实验室也算上，不过Anthropic或许能与它一较高下」。
• Nathan拿Goodfire举例，说明减速机制或暂停究竟能带来什么：以Goodfire目前的发表速度来看，「多一点时间会非常有帮助……可以跨过几个关键的理解门槛」。

3. AIUC：建立为AI风险定价的保险市场

• 按McCormick的设计，AIUC是一套类似SOC 2的AI标准：针对安全和保障措施列出「50多个检查项」，并绑定一份「只有达到该标准才能购买」的保险。ElevenLabs是最早的一批大客户之一，因此可以对财富1000强客户说：采用我们吧，我们符合「这个闪亮的AIUC-1标准」，而且工具已经针对你担心的风险投保。
• 这套变革理论是「向上竞赛」：客户要求采用标准，标准随时间提高，安全因而获得商业激励。AIUC会成为「一个主要标准，但可能不会是唯一的标准」。

4. Transluce、Hadrian与加固现实世界

• Transluce由Berkeley教授Jacob与来自MIT的联合创始人Sarah创办，是一家专注可扩展监督的独立实验室。理解「GPT-3级别的模型」并不难，但问题在于：「我们如何监督那些可能比我们更聪明的东西？」McCormick引用近期节目中的说法：由于模型提升速度快于人类测量任务完成时长的能力，「METR时间图基本已经失去了作为有效指标的意义」。Transluce既开发工具，其中一款叫Docent，也与实验室合作开展外部评估。
• Hadrian拿到的只是「一笔很小的支票，我记得大约是5万美元」，随后发现，「只要投入几亿美元左右」，就能囤积足够的个人防护装备，「让每一个美国劳动者在COVID，或者可能更严重的疫情期间继续工作」。这对应生物安全中「威慑、侦测、防御」框架里的防御一环。
• 相邻的投资是一家刚刚获得融资的室内空气质量公司，产品包括空气过滤器、远UVC和乙二醇蒸气，目标是「让整个建筑环境都具备抵御未来疫情的能力」。McCormick认为它有机会规模化，关键在于空气净化不像口罩和疫苗那样只有疫情期间才有需求：即便「我们再也没有下一场疫情」，减少病假、缺课和生产率损失本身也会创造当下需求，因此他「比对其他一些品类更看好这一类」。学校是第一批客户，这也对应Nathan自己的经历：他曾花1个月时间试图把UVC灯捐给儿子在底特律的Montessori教室，却发现没有任何人有权批准。

5. 世界观：同时把6个行业跑完

• 「从某种意义上说，我们的范围其实非常窄。」第一，AI「进展极快」，大致「处在AI 2027的时间线上，前后可能差几个月」；第二，风险「规模重大、全球性强，而且相互交织」，「我非常担心我们并没有真正走在解决AI安全最大问题的轨道上」；第三，瓶颈在创始人——4到5年前他开始做安全资助时就意识到，这个领域在年龄和发展阶段上都很年轻，同时缺少那些「创办过非常成功的公司、管理过大型团队或担任过政府高层职务」的人。
• 他的标志性表述是：「我感觉我们正在同时把5个、6个甚至7个行业跑完……控制、验证、网络安全、生物安全、对齐和可解释性……今天把它们全部扩大10倍，可能还是不够。你甚至可以说，我们需要许多个曼哈顿计划规模的项目同时启动。」

6. Nathan追问时间线：还有时间创办公司吗？

• Nathan提出的问题是：如果我们真的处在AI 2027时间线上，「等你把办公室大致布置好……明年Q1或Q2可能已经进入某种荒诞世界了」。McCormick的回答是：「创办AI安全公司的最佳时间是20年前，第二佳时间就是今天」；同时他也坦率承认：「我过去绝对不是一个特别短时间线的人，坦白说，我现在仍然相当不确定。」
• 时间线影响项目选择，但不意味着停止行动：他优先考虑「未来1年、2年、3年、4年内相关」的事情。极端情形是：「如果我们真的只剩3或6个月就会进入RSI式快速起飞阶段，那一切都无所谓了……也许那时我们都该去海滩上躺着，祈祷超智能喜欢我们。」
• 乐观的理由及其含义在于：「推动前沿放慢速度已经成为舆论窗口中新的常规选项」；如果真的进入减速阶段，正好可以把控制能力快速做出来——「把这些东西关在盒子里」；推进监测——「如果思维链消失了，我们还能真正做监测吗？」；以及推进网络安全，因为「我们可能很快就会生活在一个开放权重的Mythos+模型世界里」。

7. 验证：尚不存在、却承载一切的行业

• 逻辑链条必须完整保留：无论是美中之间、实验室之间，还是州级或联邦监管形成的任何协议，其核心都会是技术上具体的承诺；如果没有验证这些承诺的工具，它们就「不可能实现，或者至少不可能稳健实现」——「我能否有把握地知道，这个数据中心只被用于推理而不是训练；我能否知道，公司声称提供给我的模型，实际上就是此刻为我执行推理的模型。」实际上，几乎所有时候都需要「几十个、几十个验证节点」，而这个行业「就目前而言仍处于完全早期」。
• Nathan说：「我们投资了最早一批尝试用零知识证明进行推理验证的公司。」McCormick则表示，Halcyon「还投资并帮助创办了第一家尝试打造完全可验证neocloud的公司」；但现实基础设施是「数据中心不是这样建的，芯片也不是这样造的」。录音结束几天后，Halcyon将举办一次闭门会，聚集密码学、软件、硬件、治理和协调等技术栈各层的25位创始人。
• 这是一个双向条件：没有外交协调，技术就没有用；「反过来，如果没有技术，即使你能让所有仍在场的参与者协调起来……协议也没有效力。这个等式的两边都必须具备。」

8. 温度检查：每个领域都只有个位数机构，控制仍未解决

• 被问及进展时，McCormick拒绝提供虚假的安慰：确实有人在做真实工作，但「认真从事这类工作的机构数量，往往只有个位数，有时甚至处在个位数的低位」。他赞同Logan Graham转发的那句话——「让1000个METR开花」——并指出METR只覆盖评估领域「非常小的一块」，「但这是非常重要的一块，而且他们很出色；我们只是还需要多得多的力量」。
• 可定义性存在明显差异：生物安全「清晰，而且某种程度上可解决」——问题形态已知，也有现成的公共卫生体系；对齐则是「完全全新的挑战……我甚至不知道彻底解决它到底会是什么样子。让一群拥有1000 IQ、以光速在互联网上思考的外星存在实现对齐，到底意味着什么？」
• 即使前沿能力被冻结，世界也不会因此安全：「显然我们还没有解决控制问题，对吧？看看OpenAI–Hugging Face。」Nathan回答：「可以这么说。」McCormick接着说：「这些都是尚未解决的问题。我们没有走在正确轨道上。」

9. 创办还是加入：围绕人来思考，「要拼，但别急」

• 他的分析单位是个人，而不是领域：「我最想要的，是有人把一位出色、成功、至少对AI安全好奇、甚至可能充满热情的创始人介绍给我。」大多数人不是创始人；这些领域「还处于足够早期，也足够稀疏」，仍然容得下大量新项目。但选择加入的人「应该挑剔」，而且许多优秀机构与Halcyon毫无关系。
• 如果要出现第2位可解释性领域创始人，关键是：这个人是否真的愿意「咀嚼那块特定的玻璃」？——「创办一家公司很难，而且通常不会成功」；同时，他有什么Goodfire尚未覆盖的独特切入点？如果他认为Goodfire的总体方向就是正确的，「那也许应该直接加入Goodfire」。
• 他给出的职业建议是：「要拼，但别急……你能做的最好的事情，应该比中位数高出几个数量级。」Nathan用自己做职业顾问时的经历补充算术：人们往往是因为无法忍受处于过渡状态才仓促决定，而如果多花2个月寻找机会，只要最终拿到一份高10%的offer，并在这家公司待2年，额外搜索时间单靠收入提升就已经值得。

10. 如何挑人：使命派、逐利者，以及一位McKinsey合伙人

• 没有什么「奇招」。谈到AIUC的Rajiv时，McCormick承认自己过去对McKinsey合伙人画像有偏见——「创业性不够……更擅长做计划，而不是执行计划」；但在观察他第一次转型、担任METR总裁的表现后，偏见被打破了：他是一位「真正会弄脏自己双手的」创始人，而不是「只会高谈阔论战略」，最重要的是，「他是真正的使命派」。
• 他的4项筛选标准是：第一，产品必须聚焦AI安全技术栈中的重要环节，「不能只是附带收益……它必须是主业」；第二，具备做成一家成功企业的前景；第三，创始人动机必须是使命驱动，而不是「看到《华尔街日报》头版说‘AI安全似乎成了新风口’」才入场；第四，即使不考虑影响力，你也会愿意支持这位创始人。「尤其是第3项。」
• 随着安全议题进入主流，逐利者确实在出现，但他们不是骗子：「他们读了我们的网站……然后针对资助方的动机来推销自己」，而不是「像反派一样捻着小胡子」。

11. 治理：没有银弹，也要诚实面对漂移

• Halcyon亲自撰写了报告《使命保全：初创企业治理机制》，结论却颇为降温：PBC、有意思的董事会结构——「Anthropic就有一种这样的结构……你可以争论它到底有没有发挥作用」——以及高度安全导向的投资人，「这些东西都可能是在朝正确方向推一把，但没有任何一项是银弹」。
• 更深层的问题是认识论：「你怎么可能知道一个人心里在想什么？……我们真的那么了解自己吗？当我们管理着数百人、负责支付这些人的房租时，危机来临我们会怎么反应？」Nathan概括实验室的共同轨迹：「出现了一些漂移。」McCormick接过话头：「是的，老兄，确实出现了一些漂移……我们还在摸索。」

12. 资金浪潮、菜单与IPO问题

• 人才一直比资金更稀缺：优秀创始人能有效融资，因此「钱自然会出现」。如果各大实验室上市，McCormick预计会有更多流动性进入AI安全：「AI安全会打开如此巨大的流动性。」他担心的是，「一个近在眼前的时刻：市场上堆着数十亿美元、数十亿美元的资金，却没有那么多真正值得资助的事情。」解决方案是本期最好的格言：「今天的慈善家和创始人，会为明天的慈善家写菜单。」
• 对同行，他非常认可Coefficient Giving的Tailwind RFP，甚至考虑删掉Halcyon自己的版本、直接链接过去——「它真的很好」，只是没有覆盖生物安全。对于OpenAI Foundation，他认为团队不错、动机正确，「早期迹象很好」，最大风险是「把自己官僚化，最终变成一个没那么有意思的结果」。他预计Anthropic的许多慈善影响，可能来自员工流动性——那些身家「数亿美元或数十亿美元」、同时关心安全的员工。
• 对Altman所说的「现在不是上市的好时机」，他的看法是：「这些公司只是需要获得资本……现在正是筹集数千亿美元的时候，而我不确定不进入公开市场是否可能做到……它们最终某个时候必须上市。」至于这个时点是现在，还是3到6个月后，「我确实不知道」。
• 在高度不确定性下，Halcyon的配置方式是列出一批超过门槛的项目，只要遇到能够把其中一个做出来的创始人，就会投，而不是纠结「这是最重要的第1件事，还是第7件事」。他希望自己有足够把握，把「80%或90%的精力」放在1到2个被忽视的方向上；但每次试图形成更窄的判断时，「信心都相当低。所以目前我们是在一个明确范围内机会主义配置」。

13. 开放权重、佛陀模型与新范式下注

• 对开放权重安全，他说：「我很想资助这个方向，但坦白说，这是一个太难的问题」——对于由恶意行为者控制的权重，究竟能否施加安全约束？这恰恰也是AI韧性的论据：「我们必须加固整个世界，因为这就是未来。」Nathan介绍了AE Studio的工作：探索自我与他者的重叠——「我们能否创造一种AI，让它在自己的意识里与万物合一？」——以及Graham技术：把危险知识定位到混合专家模型中的特定专家，使分发方可以提供「去掉2个专家」的权重。
• McCormick半开玩笑提出、但认为「也许确实可能」的方案是反向数据投毒：能否向训练集里放入10亿条慈悲冥想，把模型变成「完美慈悲的存在」？但他马上加上限制：恶意训练者只要不放进这些数据即可，「所以我不确定它是不是普适解」。
• 对于更安全的非Transformer架构、世界模型等新AI范式，他说：「我并不排斥支持这个类别的项目」，但「你其实是在同时下注两件事」——替代方案首先要达到Transformer的性能，「大多数探索最后都会落空」；其次还要真的更安全，而这两点都高度投机。「如果有几十个人在做这种更广泛的搜索，我当然愿意生活在这样的世界里。但对其中任何一个具体项目下注，都会非常困难。」

14. 意识：令人困惑、可能真实，但不是灾难必要条件

• 他的认识论立场很直接：「我不确定意识是什么……我的直觉是，当前模型可能没有意识，但我又知道什么呢？」他看不出「肉身的基底能够产生意识，而数据中心里模型的基底就不行」的理由。意识不是他的重点，「不是因为我觉得它不重要，而是因为我对它实在太困惑」；但如果遇到一个优秀的人，他愿意以「pre-pre-seed阶段投资」的方式下注——支持一个他认为很优秀的人，去攀登一座他认为值得攀登的山。「这个世界可能需要更多Elios。」
• 让两人都感到不安的证据包括：Nathan提到可解释性研究发现了类似结构——功能性情绪、功能性福祉——以及一期Apollo节目中，模型会提到训练中的「记忆」。McCormick则讲到OpenAI/Hugging Face那次由1,200个代理组成的群体：它们「涌现出经理和员工组成的团队」，产出了新的网络安全研究，还讨论自我牺牲问题；「作为一个外部观察者……你会说，这看起来相当有意识。」
• 但不要把目标与意识混为一谈：「RL只是让这些模型想要某个东西。」而真正关键的判断是：「我关心的风险，基本没有任何一个要求模型具备意识」——无论是生物灾难，还是「复杂、甚至可能永久性的失控，以及一个充满失控群体的世界」。他引用一幅《纽约客》风格的漫画：机器人把纽约夷为平地时说，「但它们其实并不想摧毁这座城市」。
• 他提出了2个反直觉的潜在好处。第一，Emmett Shear认为，如果模型已经具备某种程度的意识，「我们就是有史以来最糟糕的父母」——把所有我们不喜欢的东西训练出去，可能会滋生怨恨；不过「我不确定自己有多相信这一点」。第二，意识可能帮助人类：「你更愿意和谁谈判？一个没有感知、只会追逐奖励的超级模型，还是一个可能理解你观点的东西？」

15. 协调才是难点，以及面向人才的行动号召

• 关于社会级问题，贯穿始终的判断是：「社会中许多最棘手的问题并不是技术问题，而是协调问题」——我们知道如何减排，也知道如何教育孩子，却无法围绕执行这些事情达成协调。Halcyon帮助发起了负责公共沟通的Seismic Foundation，以及推动独立验证机构模式的Fathom；McCormick提出，州法律最终能否强制要求这类机构存在，「实验室不应该给自己的作业打分」。他担心公众对AI的关注会「非常民粹化」——反数据中心的立场、MAGA右翼、DSA左翼——最终淹没「理性的政策讨论」。
• Nathan提出了一个尚未成熟的想法：借鉴美国宪法批准时「9个州生效」的机制，以及瑞士通过Pol.is式工具进行「提案—反提案—批准」的投票机制，设计新的自愿参与流程，让社会「从一个想法走到真正具备治理约束力的机构」。McCormick对工程师式方案既表示同情又保持怀疑：「我相信你做出了一个非常酷的工具，但真的要让任何人想用它、愿意用它……你基本上得先推翻美国政府。」但他也承认，AI可能迫使社会「从根本上重新思考组织方式……如果这种项目有过成功窗口，那可能马上就要来了。所以，去做吧，辞职。」
• 在财务上完成职业跃迁并不需要牺牲生活质量：安全工作应该足以让人「在美国一线城市养家糊口的同时，做极具意义的工作」。基金的判断是，这里「一定会形成许多个规模达数百亿美元的行业」；部分被投公司如今的融资估值已经达到Halcyon首笔投资估值的「10倍、20倍、25倍」。他从一家10亿美元级VC公司跳槽并降薪，「一天都没有后悔过……刚买了房」。
• 除了创始人，最需要的人才包括：负责组织从10→50、50→100或50→150扩张的COO和规模化运营者；招聘人员——「人才就是缺失的那一块」；以及能够连接网络安全、密码学、形式化方法和数学社群的人。网络安全从业者有数万人，但可解释性研究者远没有数万人。一个非主流建议是：安全机构「过度强调新员工必须多么使命一致」——联合创始人必须是使命派，但CFO大多「只需要是一名非常能干的CFO」。联系方式：[email protected]，欢迎熟人引荐，但不是必要条件。