SignalGate 背后的技术 + Dwarkesh Patel 的“Scaling Era” + AI 正在让我们的听众变笨吗？

摘要

• SignalGate 是端点安全和操作纪律的失败，不是 Signal 加密的失败。 18名高级官员使用一款私营部门应用讨论详细的也门打击时间安排，意外把 The Atlantic 的 Jeffrey Goldberg 拉进了群聊，而且显然将消息设置为4周后消失。Casey Newton 给出的判断标准最简洁：“Signal 是一款安全应用，但仅仅使用 Signal，并不会让你的消息安全。”

• 这起事件暴露出一个公共部门技术市场：易用性、互操作性与合规要求仍然严重错位。 安全的政府系统并非不存在，包括不接入公共互联网的网络、SCIF 以及 Microsoft 的 Azure Government，但各机构使用着一套拼凑式系统，让跨机构协调变得异常笨重。Kevin Roose 认为，商业产品或许能缩小这一差距；Casey 则认为，战争计划“可能本来就应该非常烦琐、非常不方便”。

• Dwarkesh Patel 认为规模化会产生智能，但没人能给出令人满意的解释。 他目前最好的解释是，智能由一堆“杂凑”的模式匹配回路构成，能够识别不断上升的抽象层次，从猫到时间、光速这样的概念。他不接受人类与机器之间存在某种非物质本质的说法，但也承认今天的系统仍然缺乏常识、持久记忆，以及维持一个月任务连贯性的能力。

• Patel 认为，大多数科技公司 CEO 的行为，并不像是真的预期 AGI 即将到来。 如果自主远程员工近在眼前，它们的价值将达到“数十万亿美元”，这会让虚拟机部署、安全护栏和大规模算力储备的重要性超过争夺聊天机器人市场份额。他用约7万美元的人均 GDP 粗略代表人类智能的价值；如果算力能够实例化相当水平的智能，算力就会成为一个巨大的瓶颈。

• 对 AI 的乐观，并不能让它的下行风险变得可以接受。 Patel 仍然认为 AI 净利多于弊的概率更高，但他称10%或20%的 p(doom)“不可接受”；其上行图景是，更多人——无论是生物人还是数字人——都能体验连接、学习、喜悦及其他巅峰体验。他的判断标准是：未来的人是否会拒绝1500年的任何财富，转而选择一个普通的未来生活水平。

• 在经济实现自动化之前，AI 可能先提高知识与行动力的回报。 Patel 转述朋友 Asholto Douglas 的框架称，人们可能拥有“100倍的未来杠杆”。他的建议是深入理解一个行业，找到真正的问题，并保留在模型仍然无法行动之处采取行动的能力。由于传统职业建议很快就会过时，他更明确的处方是相信真正的兴趣，并“进行更多实验”。

• 听众的经历显示，AI 既能放大能力，也会加大人们放弃理解的压力。 一位圣公会牧师、一名程序员和一位 ADHD 患者分别描述了更好的检索、调试和思路整理体验；一位 Airtable 用户甚至把 ChatGPT 的错误指令转化成了可行的解题线索。但一名学生发现 Cursor 的速度“令人上瘾”，逐渐不再理解它的修复方案，于是 Kevin 区分了提升产出效率的“叉车”与建设能力的“举重”，Casey 则追问：员工最终还会不会有时间进行批判性思考？

精读

1. SignalGate 始于一次基础的群聊控制失误

• Kevin 还原了 Jeffrey Goldberg 被意外加入“Houthi PC Small Group”的经过；群里还有包括 Marco Rubio、Tulsi Gabbard、Pete Hegseth 和 JD Vance 在内的18名高级官员。

• 官员否认讨论过机密材料后，The Atlantic 发布了这些消息。Kevin 表示，完整对话似乎包含机密信息，包括详细的打击时间安排；Casey 的判断标准是：这些内容是否会帮助一名胡塞武装成员躲过导弹袭击。

• 这个日常层面的失误才是关键：既没有识别出那名不明身份的参与者，也没有平台选择阻止对话继续。正如 Casey 打趣的那样，普通社交群聊在分享生日派对信息之前，反而会执行更严格的“操作安全”检查。

2. Signal 的加密无法保护一部已经被攻陷的手机

• Casey 介绍称，Signal 是一项由非营利组织资助的开源服务，自2014年7月起可用。它既不保存用户聊天记录，也不保存调查人员可能要求提供的联系人元数据，因此被网络安全专业人士广泛视为“黄金标准”。

• 但关键限定条件在于：“Signal 是一款安全应用，但仅仅使用 Signal，并不会让你的消息安全。” 人类行为和存在漏洞的个人设备，都不在加密协议的保护范围内。

• Casey 指出，零日漏洞的价格可能达到数百万美元；一旦攻击者进入手机，Signal 的加密就失去意义，因为攻击者可以读取用户所读取的一切。因此，高级官员的个人设备会成为价值极高的攻击目标。

3. 政府安全依赖隔离、摩擦与留痕

• 获批的替代方案包括面对面交谈、通常不允许手机进入的 SCIF、与公共互联网隔离的网络，以及专门用于处理机密信息的服务。

• Kevin 发现的不是一个无缝衔接的政府统一通信工具，而是一套拼凑式系统：国防部门和国务院可能使用不同系统，使跨机构对话变得复杂。Microsoft 的 Azure Government 展示了这个专业化市场的形态：客户群有限，因此需要强大的产品和销售团队。

• Signal 的阅后即焚消息又带来了另一个问题。这个群聊似乎设置了4周删除窗口，但《联邦记录法》和《总统记录法》要求保存政府通信，包括重大决策背后的推理过程，例如那些会导致人员死亡的军事行动。

4. 主持人就改善政府用户体验是否是答案产生分歧

• Casey 推测，误邀可能有一个合理解释：Signal 的消息请求可能只显示姓名首字母，而不是完整姓名，用户只能在“一锅首字母汤”里搜索。这让错误变得可以理解，也让 Signal 更不适合用于战争计划。

• Kevin 用奥卡姆剃刀解释这一事件：便利性。Signal 比获批工具更直观，官员自然会寻找“便利与安全之间恰到好处的组合”。他希望这场闹剧能推动一款具有竞争力、可互操作、由政府拥有的产品出现。

• Casey 拒绝同情这种权衡。战争计划“可能本来就应该非常烦琐、非常不方便”；那些层层累积的规程本来就是在保护某种东西，而硅谷从第一性原理重新打造一切的习惯，可能会丢掉旧系统中沉淀的经验。

• Kevin 称这种行为“可能愚蠢到不可原谅”，而不是可以被原谅。他曾收到双方发来的 Signal 消息和个人 Gmail 邮件，但 Casey 指出，这并不能证明此前的政府曾在那里计划军事打击。

5. Patel 的规模化历史保留了技术上的不确定性

• Patel 最初利用业余时间做播客，给经济学家和历史学家发冷邮件，后来把它当作大学毕业后的间隔年。播客意外走红后，它成了比传统计算机科学工作“更有趣的创业公司”。

• 他的方法是在无意中形成的：“这就是我，是为我做的。” 他会提出人们在晚餐时可能会问的关键问题，而《Scaling Era》则把2019—2025年的访谈整理成一份写给“另一个领域里聪明的大学室友”的注释版入门读物。

• 当被问到规模化为什么有效时，Patel 坦率回答：没人有一个好的解释。他目前最好的解释是一堆“杂凑”的回路，其模式匹配能力从识别猫一路提升到思考时间、以太和光速。

6. 模型持续推进“人类”智能的边界

• Kevin 不接受彻底的物质主义，疑问伦理或情境判断是否需要某种超越算力、数据和下一个 token 预测的东西。Patel 无法指出物质系统之外任何可以拿来辩论的机制。

• Patel 指出，GPT-4 和 Claude 已经能够阐述伦理，然后反问：“你觉得你的伦理从哪里来？” 同一社会中的人也许能在约99%的基础问题上达成一致，但与1500年的人可能只有50%的共识，因为双方的“训练分布”不同。

• Casey 提出的制衡因素是当前能力：模型在常识、记忆，以及从未出现在训练数据中的技能获取方面仍然薄弱。因此 Patel 表示，对未来2—3年内出现 AGI 持怀疑态度是合理的；要实现跨越一个月的连贯性，可能需要5年或10年。

• Patel 所称的“差距智能”，指的是一种绝对判断：机器永远不会抵达智能。Aristotle 曾把推理视为人类最本质的能力，但推理恰恰是这些模型首先学会的事情；而他所谓的“纯爬虫脑”能力——例如对物理世界的直觉理解——反而更难。

7. 企业行为尚未给自动化智能定价

• 除了少数值得注意的例外，Patel 担心的是，AI 领导者并没有一幅具体的成功图景，也没有明确说明成功的障碍是什么。他们会提到2040年治愈癌症，却不说明财富如何重新分配、人类将如何与数十亿高级智能相处，或人类是否有义务不虐待这些系统。

• “他们几乎没有一个真正被 AGI 说服，”他总结道。一个完全自主的远程员工将价值“数十万亿美元”，因此严肃的 AGI 战略应优先考虑部署接口、安全护栏，或许还有虚拟机，而不是聊天机器人市场份额。

• 这样一来，算力就会成为一个巨大的瓶颈。Patel 用约7万美元的人均 GDP 作为人类智能价值的经济学粗略指标：如果算力能够生成接近人类水平的智能，那么在部署前锁定算力容量的重要性，就应当超过普通的聊天机器人市场定位。

8. 巨大的上行空间可以与不可承受的 p(doom) 并存

• Patel 仍然认为 AI 造福人类的概率高于不造福人类，但他拒绝淡化10%或20%的 p(doom)。一切以及所有在乎的人都可能被消灭或剥夺能力，这种可能性“实在是一个高得惊人的数字”。

• 他的乐观判断更难量化：人类已经知道巅峰体验、爱、好奇和连接是什么，而先进技术可以让更多人——“我们、数字人，随便是什么”——体验到这些东西。

• 他的历史思想实验是：一笔只能在1500年使用的财富，需要多大才值得人们离开今天？Patel 猜想，“没有任何数量的钱”能胜过普通的现代生活；他希望未来的人对自己的时代也抱有同样的感受。

• 他还预计，AGI 出现后，人类媒体人格仍将保有价值：即便周围的办公室工作都实现自动化，观众仍可能想要那些能够解释、交谈并与人建立关系的熟悉面孔。

9. AI 可能先奖励更深的知识，再取代工作

• 对于担心2年内出现 AGI 的学生，Patel 给出的回答很务实：他认为这个时间点不太可能；即便真的发生，个人也几乎无能为力。在更缓慢的情境下，模型首先会提供更多杠杆，而不是完成全面自动化；他转述朋友 Asholto Douglas 的框架，称人们会拥有“100倍的未来杠杆”。

• 这种杠杆更偏向那些深入理解行业、能识别真实问题，并能够在物理或数字世界中执行的人。Patel 称，现在“可能是身处其中最令人兴奋的时代”。

• Casey 认为，不断向聊天机器人提问、阅读和综合报告，本身就是劳动；教育仍然是更好的基础，AI 应该被选择性地使用。Kevin 更简单的辩护是：“学习很有趣。”

• Patel 自己的职业经历也让职业预测建议显得可疑：没有一个合理的顾问会建议年轻时的他放弃计算机科学、转去做播客。他的答案是探索——相信真正的兴趣，避免自欺，并“进行更多实验”。

10. 有意识地使用 AI 可以加深专业能力并扩大获取机会

• 在讨论 Carnegie Mellon 和 Microsoft 的研究后，主持人收到了近100条回复，但 Casey 提醒其中存在选择偏差。圣公会牧师 Nathan Born 使用 Readwise 和 Claude 检索布道材料，同时把解释和判断工作留给自己。

• 软件工程师 Jessica Mock 不会在处理自己已经熟悉的代码时使用 Copilot，而是让它进行审查，或询问错误的含义。这种克制让她能够进入陌生的编程语言并真正学习，而不是单纯粘贴输出：“这完全取决于你怎么使用它。”

• 62岁的 ADHD 营销人员 Gary 把 AI 当作一个无限耐心的思维伙伴：他沿着分叉的思路继续探索，然后要求 AI 总结，而不是重新拼接散落的笔记。收益在于组织信息和追踪想法，而 Gary 仍然负责判断哪些内容是真的。

• Airtable 高级用户 Anna 连续两轮收到 ChatGPT 的错误指令，但她识别出了两处错误，并最终从中找到解锁方案的线索。Kevin 的限定条件至关重要：正是既有知识，让这个不可靠的助手变得有用。

11. 截止日期压力可能把杠杆变成认知投降

• 在 Northwestern MBA 的一项实验中，使用电脑的学生比同伴提出了更多非常规想法。教授 Andrew Fano 推断，AI 给了他们一种社会许可：被拒绝的建议不必反映个人能力，因为那是“电脑”提出的。

• 一名使用 Cursor 的硕士生则走上了相反的道路。随着截止日期临近，“速度令人上瘾”；她从逐行检查代码，转向一轮又一轮自动修复 bug，最后连修复过程都不再理解。

• Casey 看到了这种投降背后的职场机制：一旦老板提高产出要求、同事开始使用 AI，拒绝使用就可能危及职业生涯。员工可能变成“几乎只是在监督一台机器”，这是人类失去能力的一则小型样本。

• Kevin 的决策规则是“叉车还是举重”：如果任务的目的只是搬运产出，就把它自动化；如果任务的目的是增强能力，就保留它。Casey 更阴暗的问题是：AI 是否会让人变笨并不是重点，重点是他们到底还会不会有时间进行批判性思考。