先锋 趋势 方法 投研 作者
140. 对姚顺宇的4小时访谈:请允许我小疯一下!在Anthropic和Gemini训模型、技术预测、英雄主义已过去
返回节目精读

140. 对姚顺宇的4小时访谈:请允许我小疯一下!在Anthropic和Gemini训模型、技术预测、英雄主义已过去

摘要

  • 前沿模型竞赛已从“AI能不能做到”转向“人能不能把问题定义好”,稀缺性正由单项算法领先迁往产品选择和组织下注。 姚舜宇认为,Gemini、OpenAI、Anthropic已没有谁真正担心追不上,公开 benchmark 又多聚集在约80%,一两个百分点主要是“噪声而不是信号”;但用户仍能感到差异:据他个人了解到的信息,Claude仍偏通用 tool use/agent,Codex在纯 coding 上缩小差距,Gemini可能在 reasoning 与日常使用中更好。“现在更难的事情是想明白要去做什么。”

  • 当前大多数应用壁垒仍在模型侧,通用“壳”若不能极快占领用户心智,就很难逃出基础模型公司的掌心。 姚舜宇给出两条生存路径:像Cursor一样高速增长、随后自研Composer,但要承受与Claude Code从合作转竞争的赢家通吃风险;或者像Midjourney一样守住一个“小到模型公司懒得管”的市场。“第一步不能一步登天”,更现实的策略是先吃下一个有想象空间的小场景。

  • 姚舜宇明确否认模型进步正在放缓,并判断预训练至少未来四个月仍看不到撞墙迹象。 benchmark逼近100%后增速必然变慢,却不能代表用户体验或模型学习能力放缓;他的直接体感是,“以前让模型学会干一件事情需要动很多脑筋”,现在只要问题和数据定义清楚,余下训练往往顺其自然。许多所谓 scaling wall 在他看来不是规律失效,而是科学假设、数据配比或工程实现中“有一个bug”。

  • 他押注2026年实现“train with finite context, use as infinite context”,这可能把Agent推进到持续运行的个人助手形态。 模型以有限 context length 训练,却在使用时持续筛掉不重要的信息,维持近乎无限的历史,可长期跟踪用户与任务;他先称“今年有机会”,随后把判断加重为“无论如何会实现”。不确定性不在有没有技术路线,而在多条路线中哪条对真实用户最高效。

  • Coding是目前最清晰的AI原生市场:可验证reward、GitHub数据和相对统一的好代码标准,共同形成了其他行业暂时没有的训练闭环。 姚舜宇称自己“保守估计”超过90%的代码由模型生成,不保守则是99%甚至100%;研究想法的实验效率较一年至一年半前提升约20至50倍,但工作时长和密度反而上升。其劳动力终局判断极端而有意保留不确定性:“千分之一的人干了过去所有人的工作,拿着现在一百倍的工资”,同时强调千分之一只是虚数,也可能是百分之一。

  • AI最先攻克数学、代码和科学研究,并非因为这些工作简单,而是因为它们有客观刻度;缺乏评价函数的产品判断反而更难训练。 “一旦想清楚这个事儿怎么去评价,你就知道怎么训练”,解释了为何最理性的高智力工作率先被自动化;数学推导、论文归纳和数值实验已被大量交给模型,而“什么叫一个好的产品”只能在真实用户使用后知道。产品经理式判断因reward不清,可能比具体编码更晚被替代。

  • 中美模型差距过去一年至一年半明显缩小,但算力劣势、蒸馏路径和多模态范式仍影响中国团队能否真正弥合差距。 姚舜宇区分“硬蒸馏”和“聪明的蒸馏”:直接抄取别家token既不道德也暴露出团队“不知道自己想干嘛”,而让不同模型参与数据生成或评价虽处于商业灰区,却可能构成真正的multi-agent训练。中国的明确优势还包括豆包语音——“不客气地说,我觉得就是全世界最好的”——以及低成本机器人硬件;但机器人软件“还没有到GPT-1的时刻”。

  • 顶级实验室的竞争力越来越像组织工程,而不是少数天才的个人英雄主义。 姚舜宇把Anthropic的优势归于反应快、技术负责人能服众且拥有公司决策权,因此能从Claude 3的coding信号迅速形成top-down下注;大公司则背负安全、法律、品牌和持续服务成本。他刻意给行业祛魅:“本质上是那个浪”,最重要的从业者特质不是聪明,而是“靠谱,就是做事儿细,然后对自己做的事儿负责任”。

精读

1. 这是一张必须标注日期的2026年Q1行业快照

  • 节目录制于2026年3月;张小珺在开场提醒,录制后Meta对Manus的收购被撤销,Cursor又传出可能被SpaceX收购,xAI则将结束独立运营、并入SpaceX并更名为SpaceX AI。对话里的并购判断,应放回录制当时理解。

  • 受访的姚舜宇本科毕业于清华、博士就读斯坦福,先研究凝聚态理论、非厄米系统、高能理论和量子信息;2024年加入Anthropic,2025年9月底至10月初转入Google DeepMind。主持人介绍他参与过Claude 3.7、Claude 4.5与Gemini 3。

  • 硅谷另一位同名姚顺宇长期从事计算机研究,后来从OpenAI去了腾讯。两人清华同级、至今常通电话,但路径相反:那位从CS出发并思考人机交互与产品,他则自称“半道出家”的理论物理学家。

2. 模型竞赛的瓶颈已从能力不足变成问题定义不足

  • 姚舜宇不接受简单的“AI上半场、下半场”划分;他看到的质变是,大家“不那么担心AI是不是能够做得到,而是担心这件事儿是不是被良好定义”。能力可训练之后,定义目标本身成为真正的bet。

  • 一年前Anthropic仍会担心OpenAI的reasoning是否追得上;到2026年Q1,他认为Gemini、OpenAI、Anthropic三家没有谁真正担忧永久落后。更难的是选择做什么,以及把期望行为说清楚。

  • 张小珺据此追问模型是否已同质化、商品化。姚舜宇的回答保留两层:纸面成绩确实收敛,但真实使用仍有明确气质差异,不能把benchmark趋同直接等同于产品无差别。

3. Benchmark收敛掩盖了Claude、Codex与Gemini的体验分化

  • 过去看SWE-bench、AIME等公开指标,就能粗略判断哪个模型reasoning强、哪个coding强;现在很多成绩聚集在约80%,领先一两个百分点“主要是noise,而不是signal”。

  • 按姚舜宇个人了解到的信息,Claude目前仍是通用tool use与agent场景中表现最好的;纯coding方面,Codex近期追上了一些、缩小了差距。Gemini可能在纯reasoning和较日常的使用环境中更好,coding与agent仍在接近领先者。

  • 这些差异部分来自主动选择。Claude长期重视工具使用,OpenAI一度高度投入reasoning、后来又加强coding;优先级会决定团队是否提前建设infra、环境和耗时的数据体系。

  • 到能力普遍提高后,意愿已不是全部解释:内部测试差距也缩小时,模型行为可能被预先想不到的数据结构左右。真正困难的工作变成定义问题,而不是照着已知benchmark堆训练。

4. 高质量代码曾因互联网数据分布意外成为模型优势

  • 姚舜宇举出的“想象不到”案例来自早期预训练:几年前模型还没有agent式coding,却已经很会续写代码,团队当时未必清楚原因。

  • 一个事后解释是,未经精细筛选的网页数据中,GitHub代码天然比普通网页质量更高;于是code data在原始互联网分布里意外获得了更干净的信号。

  • 这个例子承载他的核心提醒:模型差异未必都是管理层有意识设计出来的,也可能来自数据中隐含、训练前没有被识别的结构。“可能过一段时间之后回过头来看”,原因才会变清楚。

5. OpenClaw是能力自然溢出,不是2026年才出现的技术突破

  • 姚舜宇观察到,OpenClaw在业外引起的震动大于业内;实验室内部此前已有类似实验或demo,只是没有打磨成公开产品。其早期GitHub代码甚至“不算特别干净”,价值在于把可能性展示给所有人。

  • 姚舜宇判断相关能力在GPT-4.5发布时已经基本充足,当时Claude的tool use又强于OpenAI和Gemini 3;OpenClaw也不是发布即爆红,而是过了一段时间才形成传播。因此它更像“模型能力的自然溢出”。

  • 真正的新共识是:一个上层系统可以控制多个模型、汇总不同任务,并持续完成“很长很长很长”的long-horizon工作。模型实验室和较大的创业公司看到演示后,可能很快跟进、产品化。

  • 对“为什么Manus不能做同样的事”,姚舜宇给出诚实非答案:“我不明白Manus为什么做不了,可能只是它没做。”他没有硬造两者之间的技术代际差。

6. Agent壳尚未形成数据飞轮,现阶段主要壁垒仍在模型侧

  • 面对Manus和OpenClaw最终都靠近模型公司的现象,姚舜宇的判断是,一个产品要长期生存必须有壁垒,而“至少目前来说,很多壁垒都是在模型侧”。

  • 市场常谈数据飞轮,但他尚未看到哪个AI应用真正形成飞轮;严格意义上的AI原生成功场景,除agent coding外也很少。Chatbot在大需求上仍是搜索的延伸,只是增加了追问、交互和信息压缩。

  • 张小珺把问题概括为“壳的逃逸速度不够”。姚舜宇没有断言产品永远无壁垒,只说未来是否会出现产品侧壁垒仍“不一定”;当前事实则是通用壳容易被底层模型实验室吸收。

7. 创业公司的两条活路是跑得极快,或把市场做得足够窄

  • 第一条路是抢在模型公司反应前高速占领用户心智,再研发自己的模型。姚舜宇认为Cursor正在尝试这条路线:先靠Anthropic模型建立产品,再训练Composer以减少对上游的依赖。

  • 这也让Cursor与Anthropic从“亲密无间”变成微妙竞争:Claude Code已经成功,Cursor又开始自研模型。Coding属于专业效率工具,容易赢家通吃;任何一方输掉竞争都会很麻烦。

  • 第二条路是市场“小到模型公司根本懒得去管”。Midjourney是他的代表例子:大实验室投入钱、数据和人可能复制其效果,但市场规模未必值得成为优先级。

  • 被问到自己如何创业,他承认内心想“吃一票大的”,但现实判断是“第一步不能一步登天”:先吃下一个小场景,同时确保这个小场景仍有向外扩张的想象空间。

8. 大公司不是没有Demo,而是无法像个人项目那样不负责任地发布

  • OpenClaw、Manus首先诞生于外部团队,不等于大实验室研究员想不到。姚舜宇解释,大公司一旦公开产品,就必须解决权限、安全、系统崩溃、法律责任、品牌伤害和持续算力供给。

  • Google不可能告诉用户“再买一台电脑运行,否则它可能拿到所有权限并搞崩系统”;个人开源项目却可以把粗糙代码放出来,再邀请社区共同改进。这种责任差异直接改变产品速度。

  • 对并购本身,他不理解为何Meta不能自己做Manus产品;抛开价格,最明确的价值可能是获得一支优秀的亚洲产品团队,并以新加坡为锚点吸引中国、新加坡和东亚人才。

  • Google也并非“谁都不收”,主持人与嘉宾提到其吸纳了Windsurf团队。姚舜宇把这些交易更多理解为人才与执行能力配置,而不是买到不可复制的产品技术。

9. 近乎无限的使用时上下文可能在2026年落地

  • 姚舜宇最鲜明的年度技术预测是:“train with finite context, use as infinite context。”模型仍以有限context length训练,却能在运行时维持非常长、甚至近似无限的有效记忆。

  • 最简单的实现图景,是模型持续与用户交互、积累信息,再根据当前场景丢弃低价值内容、保留关键状态。这样才可能成为人们设想中的长期个人助手,而不只是一次性问答框。

  • 他先说这件事“今年有机会实现”,随后又明确称“从技术上来说,今年无论如何会实现”。尚无共识的是路线:大家已有多个想法,接下来要靠真实高频场景测试效率,而非等待某个凭空出现的灵感。

10. 模型速度没有放缓,只是旧尺子正在失效

  • 对“2026年Q1模型进步是否放缓”,姚舜宇连续回答“完全没有”。但他拒绝脱离标准谈速度:任何有100%上限的benchmark,越接近满分,每月上涨点数必然越少。

  • 分数变化与体验变化又非线性对应。从50%到60%可能只让用户觉得略好;70%到75%也可能带来更大的可用性跃迁。反过来,80%到90%也可能无感甚至变差,不能预设单调关系。

  • 支撑他判断的不是一条榜单,而是研究中的直接体感:“模型学东西的能力越来越强了。”过去教会一个行为要设计许多技巧,如今关键往往只剩把问题、环境与数据构建清楚。

11. 预训练没有死,许多“撞墙”其实只是Bug

  • 姚舜宇认为,过去几个月预训练仍在变强,这与当时流行的“pre-training scaling law到头”叙事相冲突。他能看见的窗口是未来四个月仍有进展;再往后则坚持“AI没有人能预测四个月之后的事儿”。

  • 一条规律看似到头,可能是适用范围真的结束,也可能是数据等必要条件无法继续满足;他更尖锐的第三种解释是:“这个工作哪里有一个bug,他自己没发现。”

  • Bug既可能来自scaling law实验的科学假设——不同模型该选多少token、数据从哪里取、训练horizon如何匹配——也可能只是普通工程错误。行业里,修好一个bug带来的进展经常“远大于一些很神奇的技巧”。

  • 真正决定团队能否越墙的不是乐观信念,而是系统性:结果偏离预测时,能否设计合理ablation,逐一排除数据、尺度、实现和假设。姚舜宇提到“我们和海涛”在这类预训练排查上做得较好。

12. 数据与算力共同驱动成熟范式,算法在范式切换时才最关键

  • 姚舜宇不把数据和算力视作可独立拆开的驱动力:“算力上去了自然就会吸到更多的数据,数据上去了就自然需要更多的算力。”在预训练与成熟后训练框架中,两者是主要增长引擎。

  • 算法的作用往往带有相变:没找到方法时,系统完全无法scale;找到最关键原理后,会从不能做突然变成能做。Transformer对语言预训练就是这个跳变,之后改进更多是平滑提升计算和数据效率。

  • 对自然语言生成,他认为当前路线在撞墙前“科学上比较清楚”,剩余大量工作偏工程;无论RL还是supervised post-training,也已有相对明确的范式。

  • 多模态生成则仍是科学问题,技术路线尚未固定,不同公司可能有大小不一的结构差别。这里未来的主要驱动力仍可能来自算法突破,而不只是更多数据与计算。

13. Coding领先源于可验证Reward、GitHub与一致的质量标准

  • Coding从Claude 3.5 New——外界有人称Claude 3.6——以来一直高速发展,并非最近几个月才突然出现。第一项结构优势是reward signal清楚:输入能否得到规定输出、feature是否通过测试,成功与失败容易判断。

  • 第二项优势是GitHub汇集了几十年优秀程序员写下的代码,可据此构建大量训练环境。比起缺乏反馈的数据,这给模型提供了天然且可执行的基础。

  • 产品层面也相对简单:社交、游戏依赖个人品味,coding却存在较强共识。好代码通常简洁、结构清楚、便于继续开发、有合理抽象;优秀程序员对“不脏”的标准更接近。

  • 这三者形成因果链:评价函数明确,环境可规模化,目标风格又相对统一,所以coding既容易训练,也容易形成可复用的专业产品。

14. 模型已写下九成以上代码,却让研究员工作得更久

  • 姚舜宇因Google内部工具限制不能使用Claude Code,但就模型辅助编码而言,他称“保守估计,可能百分之九十的code是模型产生的”;不保守估计则是99%或100%,留下10%只是“给自己点面子”。

  • 人的工作移到设计代码逻辑、选择关联文件、提供reference和context,以及审查实现是否合理。模型直接输出代码的能力已经“比人的能力强太多”,多文件关联和深层class定义等旧缺陷也越来越少。

  • 按实现idea、运行实验的效率计算,他估计较一年至一年半前提升20至50倍;研究员可以同时开多个agent尝试多个想法,还让模型监控实验和结果。

  • 效率没有兑换成闲暇。以前卡住后要约同事、等几个小时,现在问Gemini或内部模型,五秒钟得到解释便继续工作;他的工作时长、密度和待尝试想法都随之上升。

15. 前沿AI团队的效率红利首先表现为更高强度,而非更短工时

  • 姚舜宇通常早上9点开始看邮件和前一晚的消息,10点左右到公司;独自在美国时可能工作到晚上10点或11点,家人在时早些回家,但“在家反正也是干”。

  • 对“Google还是不是养老的Google”,他的回答是:在AI领域没有谁可以养老,除非已经对技术和个人追求失去兴趣。组织未必强迫员工,更多是研究者self-driven,想继续追进展。

  • 这段生活描述也修正了单纯按“每行代码产出”计算自动化收益的方式:当试错成本下降,团队往往扩张实验组合,而不是固定任务量后削减时间。

16. AI最先替代的恰恰是客观、理性、曾被视为最难的工作

  • 数学、代码、AI研究和理论科学长期被视为智力挑战最高的职业,姚舜宇却认为它们反而适合模型:“一旦想清楚这个事儿怎么去评价,你就知道怎么训练。”

  • 基础科学已出现Claude Code式变化。过去物理学家想到数值实验,可能半天都花在编译与代码上;现在五分钟后程序便能运行,数学推导、证明、阅读论文和归纳也大量交给模型。

  • Gemini Deep Research发布后,他看到更多研究人员把推理型工作外包给AI。影响已经发生,只是基础科学不像大众产品那样天然获得注意,除非模型真正发现“爱因斯坦理论级别”的新结果;他明确说那个时刻尚未到来。

  • 反而是优秀产品经理更难训练:好产品没有预先给定的客观刻度,必须做出来、让用户使用后才知道。没有清晰reward,就没有明显的训练抓手。

17. 程序员不会一夜消失,但传统任务型岗位已进入渐变式收缩

  • 姚舜宇认为程序员被替代的那一天会来,却不会在某个夜晚突然完成;部分公司开始裁员,就是渐变已经启动的迹象。

  • 他把AI称作一种“centralized technology”:少部分人会被增强得极强,大部分人则失去原有独特价值。极端图景是“现在千分之一的人干了过去所有人的工作,拿着现在一百倍的工资”。

  • 张小珺追问“千分之一”时,他立即校正:这是虚数,可能是万分之一、十万分之一,也可能是百分之一;他自称“著名的悲观主义者”,不把这个比例包装成精确预测。

  • 短期幸存者需要技术强、理解工作如何嵌入公司整体、能把复杂项目拆给多个AI,并善于人与模型协作。但他反复加上时间条件:这些能力现在还难,六个月后可能又被模型吃掉。

18. Seedance带来竞争压力,却尚未构成新的多模态范式

  • 面对春节期间受到关注的Seedance,姚舜宇没有感到焦虑传导到自己所在团队;负责多模态生成的人可能有压力,但他没看到“范式上的改变”。

  • 他的判断是,Seedance更可能在产品效果、数据和工程细节上做得非常好。由于生成范式尚未固定,算法差异仍可能存在;若必须猜最主要的来源,他会猜“数据”,并反复强调自己没在字节做过、只是硬猜。

  • 多模态理解比生成更系统,但相比text token仍不够固定。当前能确定的是,字节与Google DeepMind在效果上都做得较好,不能仅凭产品爆红反推出底层科学突破。

  • 谈到从Google去字节的吴永辉,姚舜宇拒绝居高临下评价;他从旧代码和项目看到的是,一位层级很高、很senior,却仍保持极强技术能力的人,这在大组织里“非常非常少见”。

19. 中国模型正在缩小差距,算力约束也逼出了更复杂的蒸馏

  • 以过去一年至一年半为窗口,姚舜宇认为中美模型能力gap“显然越变越小”;但能否彻底弥合、甚至反超,他明确说仍不清楚。

  • 中国团队的现实劣势是实际算力资源处于很大劣势,这也可能逼出蒸馏等做法。蒸馏已是行业“心照不宣”的事实,但不能把所有做法混为一谈。

  • “硬蒸馏”是从Claude等模型取大量生成token,再直接训练自己的模型。他认为这既在商业上不道德,也在治理上愚蠢,因为团队只是抄别人、把数字做漂亮,并没有回答自己想让模型做什么。

  • “聪明的蒸馏”则让外部模型参与自生成数据链条,或充当答案评价者。商业上仍处灰区,技术上却可能是真正的multi-agent训练:不同公司的模型分布不同,把它们融入同一训练系统,比简单地让多个LLM一起做更有研究价值。

20. 豆包的差异化来自语音与消费场景,而非通用智力领先

  • 姚舜宇认为,豆包肯定没有Gemini或Claude聪明,却有鲜明特征;最确定的是语音生成。“客气地说,可能是全世界最好的之一;不客气地说,我觉得就是全世界最好的。”

  • 他没做过相应系统,无法判断难度,只能确认这一定包含模型能力,也可能叠加产品优化;无论从数据还是各种优化来说,显然是“很费功夫”的事。亲友还反馈它“fun to talk”,但他把这一点保留为主观体验。

  • 豆包快速回答生活琐事,不展示冗长思维链,符合其用户需求;美国实验室则更多把优先级放在智能上限和工作效率。姚舜宇认为短回答本身不是技术难点,Gemini 3.1相对Gemini 3也已更快、废话更少。

  • 他个人在美国很少用豆包,一方面在美国使用中国模型比较复杂,另一方面自己的生活问题大多仍是技术问题;因此Claude和Gemini更贴合其需求。这不是“智力鄙视链”,而是地域、产品定位与个人任务分布不同。

21. 手机Agent的关键约束不是能不能订票,而是一次任务烧掉多少钱

  • 姚舜宇把豆包手机称为“很好的想法”,实际任务效果也不错;他真正不确定的是底层优化和单位任务消耗。

  • 如果模型订一张高铁票所花推理成本比车票还贵,产品就不可接受。手机Agent的关键约束因此是任务成本,而不只是演示中是否成功点击完成。

  • 对苹果,张小珺猜测公司可能通过与其他公司合作推进AI;姚舜宇回应说,若从外界看显得很重视却又做不成,就会显得很蠢。他本人则认为苹果应当是在意AI战略的。

22. 中国机器人硬件令人惊讶,但软件尚未跨过泛化分水岭

  • 姚舜宇看过春节机器人表演,也在Amazon查过价格;他原以为成熟人形机器人硬件可能要几百万美元,实际价格低得多,这体现了中国硬件产业链优势。

  • 软件层面他“没太看明白”。现有机器人更接近feature engineering时代:给定环境和任务后,可以通过RL、虚拟环境和专门数据优化得很好,但能力难以泛化。

  • 在语言模型跨越Transformer/GPT节点前,翻译、语义分析等单项任务也早已能做;真正的分水岭是一次scale up能否水平提升所有能力,并把单点训练抽象到相关任务。机器人尚未达到这一点。

  • 他判断机器人和多模态生成都“还没有到GPT-1的时刻”,即尚未找到可规模化的统一道路。VLA等方向正在尝试用语言模型作基底,因此机器人会越来越接近主模型路线,但“未来很重要”不等于“现在已经找到路”。

23. 机器人实验室比语言模型办公室精彩,场景却仍高度单一

  • 姚舜宇看过Google DeepMind自己的机器人实验室,也参观过Dyna Robotics;任务包括叠衣服、从货架取货、倒水等相对明确的动作。

  • 语言模型实验室外观看起来只是普通办公室,机器人团队却要操控硬件、采集数据、观察机器人如何执行实体任务,因此“有趣得多”。

  • 这份直观兴奋没有改变他的技术判断:单项任务做得好不等于通用机器人已经出现,当前最大缺口仍是能跨任务迁移的scale-up机制。

24. 从宁夏小城到清华,姚舜宇反复选择的是“没做过但更难”的路

  • 姚舜宇出生于宁夏大武口,一个因煤矿形成的小城;小学期间随父母迁到上海,之后在上海完成初高中,再去北京读清华。

  • 他自称小时候“挺菜”,小学、初中都不是竞赛名校。因为此前没参加过竞赛,反而认定“上大学之前得干一把”,并把难度本身视作兴奋来源。

  • 在上海四校普通班与格致中学竞赛班之间,他选择后者,把它视为“underdog”“光脚的不怕穿鞋的”。真实动机不是精算升学回报,而是“不干竞赛,只是平庸石头里最光滑的那一个”。

  • 后来这条路确实帮助他进入清华,但不是网上常写的物理竞赛保送:他进了省队,却没进国家集训队,真正起作用的是清华自主招生。

25. 一条发给招生老师的短信塑造了他的行动原则

  • 清华夏令营最后一天,姚舜宇听说一场自主招生考试主要面向北京学生,便立刻给招生办老师发短信,追问“为什么给北京同学考,不给上海同学考”。

  • 清华最终允许约七八名上海学生参加,似乎有两人获得资格;他本人虽然有半道题没做出,却发现别人完成得更少,最终拿到降至一本线的录取条件。

  • 他由此得到“人生最重要的道理”:“胆子要大,你不争取是永远得不到的;争取了也有可能得不到,但不争取就绝对得不到。”

  • 当时并未觉得自己特别大胆,只觉得机会第二天就会消失,所以必须当天争取。对清华的感情也来自这里:学校愿意提供机会、给大家平等竞争机会。

26. 自主、胜负欲与不断换方向构成了同一种性格

  • 姚舜宇称父母最大的优点是“不太管我”;中高考志愿、自主招生等事情,他通常不是与父母商量,而是直接通知。其原则是:“当你没有办法理解别人在干什么的时候,别指手画脚就是最好的。”

  • 他很在意自己真正想做的事:一旦想明白,别人就别拦,他也会尽最大努力;不想做的事,强迫同样没用。

  • 胜负欲很强,但主要和自己较劲。若碰巧双方都认定一件事重要,他也会直说“肯定要干得比你好”。

  • 对不断挑战陌生方向,他给出双重描述:“说难听了就是爱折磨自己,说好听的是挑战自己。”为折磨而折磨是病,为学习和扩展能力承受困难则值得。

27. 非厄米研究教会他,理论与数值对不上时才最值得追

  • 在清华基础科学班,他因想做理论而进入高等研究院,跟随王忠研究凝聚态理论、拓扑绝缘体和开放量子体系。该方向背景门槛相对有限,却要求对量子力学、统计力学和固体物理理解得足够深。

  • 非厄米系统研究的是与环境交换信息和物质的开放量子系统。孤立体系由厄米哈密顿量描述;真实体系通常并不孤立,因此原有框架未必继续成立。

  • 他们最初发现,周期边界条件下的手算结果与开放边界的数值结果“死活对不上”。进一步研究表明,厄米系统常用的Bloch波假设在这里会break down,本征态可能集中到体系一侧。

  • 团队随后建立了一套描述开放边界非厄米系统本征态、时间演化和动力学的方法,并引发大量follow-up。姚舜宇把这段经历类比AI:提出理解、设计数值实验验证,再用训练pipeline落实想法。

28. 物理给他的最大教训不是公式,而是别迷信理论和权威

  • 在本科研究顺利、且他当时判断那项工作可能成为该方向重要工作后,姚舜宇反而失去继续积累论文和引用的兴奋,转向几乎无关的高能理论。他想重新做一件自己不会的事。

  • 高能理论极难,却因实验追不上相关能量与微观尺度,很大程度依赖数学自洽性评价。自洽当然是科学标准,但多个框架都能自洽时,优劣便容易落入领域“老登”的主观判断。

  • 他评价自己的博士阶段:文章足以满足外部圈层标准,也确实努力工作,却“对这个世界几乎没有影响,几乎为零”。最不愿接受的是把有限人生浪费在“伺候老登”上。

  • 五年换来的两条原则是:“读书不在于读得多,而在于读得深”,以及“别太相信纯理论”。要么有实验和客观评价标准,要么至少选择能对世界产生实际影响的问题。

29. AI像早期热力学:黑盒不妨碍经验规律推动进步

  • 姚舜宇认为“世界上所有东西都是黑盒”。物理也没有从最微观动力学一路解释到全部宏观现象,只是在不同尺度建立有效理论;因此不能因语言模型没有神经元级解释,就说人类对它毫无理解。

  • Scaling law至少描述了模型规模、数据与perplexity之间的经验关系。热力学定律最初同样是经验规律,后来才获得微观机制;未来模型技术稳定后,scaling law也可能从经验规律走向更深的科学解释。

  • 他拒绝为“智能涌现”提供貌似科学的包装,因为每个人定义不同。更明确的变化是技术上的涌现:研究者发现了如何大规模训练,并能随着scale up水平提升多种能力。

  • 量子计算最终没有成为他的转行方向,因为其主要瓶颈在实验实现,而非设计理论算法;AI依靠数值实验,反而更接近他的兴趣。他把AI类比为“18世纪的物理”:理论与实验尚未分家,理解不完整,却有经验定律持续指路。

30. Anthropic给了一个零工业经验物理学家押注强化学习的窗口

  • 博士后期,姚舜宇开始在量子计算和AI之间找年轻人机会更多的方向;拿到伯克利postdoc后,他实际提前待了两三个月,正式入职仅两周便辞职。伯克利知道他在谈Anthropic,仍让他先保留退路。

  • 他同时联系Anthropic、OpenAI和Google DeepMind;当时DeepMind面试推进太慢,OpenAI又没匹配到合适的人和事,Anthropic则由一位理论物理出身的第一任manager提出大规模RL问题。

  • 时间约在2024年八九月,o1尚未公开,工业级语言模型强化学习远未成熟。他当时对流程只有学术层面的粗浅认识,于是把能找到的课程和作业做完,又手搓了一遍Andrej Karpathy的NanoGPT类项目。

  • 入职时他在evaluation与RL两个方向中选择了更不明朗的强化学习。Horizon大team只有约10至11人,Anthropic全公司约700至800人;小规模让他能接触模型训练各环节,并直接找到负责人学习。

31. Anthropic的优势是把市场信号迅速转成公司级技术下注

  • 姚舜宇对Anthropic最稳定的印象是“执行力非常强”:组织较top-down,一旦作出决定便集中投入;员工彼此少藏信息,小公司阶段尤其适合学习语言模型全栈。

  • Claude 3发布后,Twitter上出现其coding强于GPT-4的反馈。在GPT-4仍明显领先大多数模型的年代,单项能力超过它就是强信号;Anthropic迅速捕捉并形成了对coding的重视。

  • 最初优势存在具体技术原因,是某个团队做了某件事;姚舜宇不能披露细节,也不确定最早是刻意选择还是随机找到。他更倾向于“最开始自下而上”,随后被公司转化成top-down战略。

  • Top-down成立的苛刻条件是:技术决策者既要以能力服众,又要拥有公司层面的责任和权力。他提到Jared Kaplan与Sam McCandlish等技术leader处于公司技术高层并参与决策;至于Dario在具体讨论中如何参与,他明确说不知道。

32. 模型公司的时代红利属于组织与可靠性,而非孤胆英雄

  • 姚舜宇认为OpenAI在Ilya仍有决策能力时或许能形成类似机制,但后来据他所说Ilya“好像失去了做决策的能力”,至于原因及最终离开,他并不知道;Gemini作为大公司体系也较难采用同样打法。startup必须make bet,大公司则有另一套约束和资源配置方式。

  • 这并不意味着Anthropic每次下注都会正确,而是它能在信号出现后迅速形成一致行动。对模型公司而言,下注速度、问题定义和基础设施执行已与单次算法灵感同样关键。

  • 他对个人天才叙事的态度近乎刻意冒犯:“大家现在每个人都是冲浪的人,本质上是那个浪,而不是你那个冲浪的人,因为AI这个事儿本来也不太需要脑子。”

  • 被追问究竟需要什么,他把答案落在可复制的组织品质上:“这个行业最重要的特质就是靠谱,就是做事儿细,然后对自己做的事儿负责任。”英雄主义退潮后,真正拉开实验室差距的是能否把每个下注可靠地做完。