先锋 趋势 方法 投研 作者
113. 和杨植麟时隔1年的对话:K2、Agentic LLM、缸中之脑和“站在无限的开端”
返回节目精读

113. 和杨植麟时隔1年的对话:K2、Agentic LLM、缸中之脑和“站在无限的开端”

摘要

  • K2的核心赌注是token efficiency:杨植麟判断数据墙"肯定是一个客观事实",高质量数据"接近是一个常数",所以突破口不是训得更快,而是"同样吃下一样多的数据,得到更多的智能"。 Muon优化器在compute optimal下带来约两倍提升——“假设你有30T高质量token,等价变成60T”——且是"至少在公开可查的资料里,第一个用非Adam的、基于矩阵正交化的优化器在这么大规模模型上训练",一个已经做成的"有概率的非共识"。
  • Agent泛化是当前最大的未解问题,也是他现在最关键的bet。 现有RL"种瓜得瓜,种豆得豆":某类数学竞赛刷到99分,别的数学题只提升五个点;benchmark稀缺且失效,“分数很多时候并不是对能力的反映”。解法指向"用AI训练AI"——让模型参与自身研发,“用L4的技术去解决L3的问题”,这意味着OpenAI的L1-L5分级并不是线性台阶。
  • 两种test-time scaling正在分叉又终将合流:“缸中之脑"式的纯思考推理(o1路线,把pass@k变成pass@1)与多轮工具交互的agent路线。 cloud模型显示reasoning不强也能agent很强,“背后是两种不同的scaling维度”,但要解最复杂的任务"最终你两个都要,只是时间问题”。
  • 一方产品正在取代脚手架逻辑:基于他人基础模型搭产品本质是"逆向工程这个模型的训练过程"(猜Anthropic的工具、system prompt、context engineering),而模型公司正向设计好环境再在其中训练,“模型天然在你的环境里就会表现得更好”,上限也许更高。" 模型即产品"在他看来今天仍然成立——“模型训完了之后,你的产品已经做完了”。
  • 开源判断公开反转:去年他说领先者不会开源、只有落后者才开源,今年被主持人当面翻旧账,回答直白——“因为我们还没有做到完全的领先嘛”。 社区能帮你serve模型,但"要把模型本身变得更好,还只能是原厂自己来做";机会在下游基于K2微调specialized agent。终局判断:全球模型公司从几百收敛到"几个",“现在看起来是大概率的事情”。
  • 商业化:先投资,确定性反而更高。 明确的商业模式是API和一方产品,但首要优先级仍是模型;市场已被验证且高速增长——“头部的公司有几十亿、上百亿美元的ARR,每一两个季度就能翻个两三倍”。数据飞轮为什么没出现:基于FLOPs的scaling太强大(RL是on-policy带负梯度、效率高于预训练),且大模型对用户反馈噪声敏感。
  • 用RL管理组织,警惕reward hacking:科研、训模型、带团队三件事相通——以RL(给目标给奖励)为主,加少量SFT做先验防止"飞太远",但"SFT太多,同学就会失去主观能动性";RL管理的最大风险是被hack。 他对CEO身份的最新理解就是"把握RL、SFT和reward hacking之间的平衡"。AI的意义,Kimi替他回答了:“人类文明的放大器。”

精读

1. 雪山又爬了一段:更清楚,也有新的未知

  • 距上次对话一年半,杨植麟的开场感受:“AI一天,人间一年”,但雪山之感"倒是差不太多"。进步的实感是具体的:两年前模型"写一篇文章都写不太明白",现在"能够连续工作几个小时帮你完成一个可能很复杂的代码任务"——解锁了新场景,但往上走仍会观察到"差不多的景象":大量未知的技术问题等着解决。
  • 什么变清楚了:两年前各种强化学习范式怎么做推理、怎么做agentic能力"没有那么清楚",当时主线是预训练加RLHF;如今这些有了答案,但新问题随之展开——RL最终依赖好的评估与验证,数学题和有test case的编程还行,“更加复杂的端到端的任务,你并不非常容易找到评估或者衡量的方式”。

2. 刻在石头上的两句话:问题不可避免,但问题可以解决

  • 他反复读《The Beginning of Infinity》,最重要的是要刻在石头上的两句话:“问题是不可避免的”,“问题是可以解决的”。启蒙运动前是静态社会——打雷归因雷公、下雪归因神心情不好,都是坏解释,只有极少数人在创造知识;之后社会变成动态的,每解决一个问题就产生新问题,“因为你的知识边界在拓展”。AI研发恰好就是这个过程:解决了强化学习的很多问题,评估、衡量、验证的新问题又冒出来。
  • 雪山可能没有尽头,而他的态度是"我希望它一直没有尽头——beginning of infinity就是这个意思,它可能是一座无限的山"。而且爬到后面不一定是自己爬:现在已经用K2做模型训练、数据处理相关的工作,“以前可能都要人工写代码,有些同学不会写代码就做不了”——模型本身成为攀登这座山的放大器。

3. AGI从终点变成方向

  • 追求什么?“攀登的过程,或者说你能一直越爬越高。“AGI不是某一级台阶:“不是说你爬到了这级台阶就突然一夜之间达到了AGI”——翻译已经比99%的人类做得好,数学竞赛和编程题按现在的提升速度"会很快有很多问题可以被充分解决”,但很难在某个时间点喊口号说实现了AGI。
  • 公司以登月命名,但他主动点出区别:“登月是你站上月球那一刻就是终点”,AGI则要不断做;且技术对人类社会的影响是更长周期的事——像蒸汽机之后社会花几十几百年消化,“有一些工作不再必要,但你会产生新的工作……每个人都会成为超人”。

4. 范式之一:强思考推理模型,把pass@k变成pass@1

  • 过去一年第一个范式级变化是以o1为代表的强思考推理RL。他把"反思"拆成两种能力:提出新猜想+隐式自我验证——不是显式训一个验证模型,而是在推理过程中猜想、验证、再猜想,“等价的尝试了好几次……可以把pass k变成pass one”,跟人做科研解题的过程很像。
  • 小珺提出这是自由探索、非线性的过程;杨的修正值得记录:串行采样下"它其实接近更线性的过程”——每次新猜想基于已否定过的猜想;可以搭配并行策略同时采样多个,“但最近也有一些paper讲,串行它的上限是会更高,这个可能跟我们的实验结论有些相关”。

5. 缸中之脑与走出鱼缸的agent:都是test-time scaling

  • 推理模型是"缸中之脑":“想象一个鱼缸,把一个脑子放在里面,它跟外界没有联系,只是在自己大脑里面想,它就能解一道题。“而agentic RL训出的模型边思考边操作——“一会调用一个搜索,一会使用一下浏览器,一会写几行代码”,下一步行为取决于环境反馈的状态更新。
  • 两者指向同一件事:test-time scaling。对话时代单轮输出几百个token;现在不管是把轮数打得更多,还是每轮里有更多思考token,“都是一种去规模化token的方式,使得你能完成更复杂的任务”——比如"把一个代码仓库克隆下来,翻译成另外一种新的语言,调试测试,把所有的bug都修了,让它正常运行”,端到端几小时无人参与。

6. 一方产品的正向逻辑:不再逆向工程Anthropic

  • 第三个趋势:模型公司做一方agent产品。此前基于基础模型搭脚手架的产品(如“Minus”这类),本质是"逆向工程这个模型的训练过程”——猜Anthropic in-house的环境工具、什么system prompt有效、什么context engineering有效,“是一个这样逆向的过程”。
  • 一方产品的逻辑完全不同:先把工具和context engineering设计好,再在这个环境里训练模型,“你的模型天然在你的环境里面就会表现得更好”,还能端到端训练、反过来调整工具设计——“第二种它的上限也许会更高”。Clock Code、ChatGPT Agent即是此类;Kimi目前一方产品投入不多,“主要还是以模型作为我们的主线”。

7. L1到L5不是串行的:Agent可以先行

  • 小珺追问OpenAI的L1-L5分级逻辑。杨的拆解:agent的上限取决于很强的reasoning,“但好像并不是说你必须”——把技术发展换个顺序,先做agent再做狭义的long CoT reasoning"实际上可能也是成立的"。cloud的路线可能就在这一点上更领先:“reasoning的performance并不是非常高,但它在agent上的performance是很高的”,背后是scale轮次与scale纯思考两种不同的test-time scaling维度。
  • 但殊途同归:“如果你想让它解决最复杂的任务,最终你的reasoning能力也要很强……你还是两个都要,它只是一个时间问题。“他对分级的定位:几个重要的技术milestone,但不完全串行,几个能力都要持续提升。

8. Innovation的标志:K2参与K3的开发

  • 为什么agent之后是innovation?“最关键的一个点就是你的模型到底什么时候能参与到模型的开发——我们希望K2能够参与到K3的开发里面”:提出新想法、做实验、分析结果得出结论、迭代下一版,或优化某个infra性能,这些都需要很强的agentic能力。
  • Organization则是multi-agent系统,且已有雏形:“从一个agent fork出来很多个不同的agent,有的写测试,有的写文档,有的设计整体的软件框架”,串并行再合并;挑战在端到端训练时"不要过拟合到某几种agent的类型”。它与innovation"不一定是线性关系,有可能两个会一起发生”。至于organization是不是峰顶——“我觉得也不是,可能它真的就是没有顶”。

9. 这一年的两个关键转向;K1.5验证RL,K2瞄准最好的base model

  • 复盘2024到2025的关键决策,他给了两个:研发范式从"以预训练和SFT为重点"转向"以预训练和强化学习为重点"(需要人才储备和研发方式的改变),以及"从对话到agent"的范式改变——“很影响了我们实际的工作方式”。
  • K1.5更多是强化学习的技术验证:较早投入这条路线,发现"不太需要太多process reward或者value function"——这些在训练中甚至有副作用——直接用端到端reward"就可以把这个训练的非常好",过程中积累了RL基建和算法know-how。
  • K2的两个目标:非常好的base model,加上好的agentic能力。前者要先回答预训练的瓶颈在哪:“高质量数据的增长确实很缓慢……高质量数据它接近是一个常数”,所以核心命题变成token efficiency——“同样吃下一样多的数据,你能脑子长得更多”。

10. Muon优化器:把30T数据当60T用

  • 他先划清一个界限:训练系统的性能优化"很有价值,但训得更快本身并不能提升智能的上限,因为你的token还是只有这么多"。Muon(Keller提出,月之暗面此前用Moonlight工作首次在有一定规模的语言模型上适配)不像用了十年的Adam那样独立看每个参数,而是考虑矩阵参数间的dependency,学习效率更高:“在compute optimal的情况下,基本上会有一个两倍的提升……假设你有30T的高质量token,等价变成60T。”
  • 小珺的追问原话保留:“但它还是那么多数据啊。“杨:对,“但它学了之后脑子会长得更快——都是喂一样多的数据,但它吸收得更好,压缩率涨得更快,loss降得更快”。此外通过更大稀疏度加更多参数,同样提升token efficiency,“通过实验你可以验证它确实更好”。

11. 改写数据的熵问题

  • 高质量数据里真正的精华可能只有几十B到几百B token;同一份数据学很多次"泛化不一定那么好,会有一些过拟合的问题”,所以K2用已有模型改写现有语料,“让它能够更好地被模型吸收和有更好的泛化”。具体策略他只说找到了实验里效果好的一种,“这个空间也很大,可以有非常多的研究机会”。
  • 小珺转述一个尖锐质疑:改写和扩充其实没用——能写出来说明知识本来就在里面。杨承认"这是一个很好的问题”:“理论上就是看你有没有新的熵的输入”,这对改写方式有要求,“我们今天也不一定是最好的改写方式”。

12. Agent泛化:现在RL技术最大的局限

  • 本集最核心的技术判断:“对于一个agentic模型来讲,可能现在最大的挑战其实是在模型的泛化上。“现有RL的局限:训练任务和评价指标很多时候是单点的——“你就训three bench它要提升three bench”,但"指标提升上去之后,并不意味着你的模型的泛化会变得更好”;这个问题在agent训练里比对话模型更严重。
  • 评估本身是瓶颈:“agent能用的benchmark不是非常多,你观察到一个分数,它很多时候并不是对这个能力的反映。“潜在解法是更AI native的方式去训练AI:“如果你的AI能够做很好的alignment research,理论上它可能会有更好的泛化”——这是"接下来雪山上的几百个台阶”。
  • RL比SFT泛化好(on-policy sample加负梯度,“至少从证据上来看”),但有限度:“某一种类型的数学竞赛做到99分,别的数学问题可能会提升五个点,但很难直接也做到99分——种瓜得瓜,种豆得豆。“会不会永远摆脱不了?“问题是不可避免的,但问题是可以被解决的……你只会有更好的泛化,它不一定有尽头。”

13. 抢跑与"做成了的非共识”

  • 小珺的框架:K1.5在跟着OpenAI跑,K2是在抢跑?杨不完全接受但给出实据:“肯定借鉴了很多技术方向,但我们也希望有自己的创新——至少在公开可查的资料里,第一个使用非Adam的、基于矩阵正交化的方式做新的优化器,在这么大规模的模型上训练”,agent数据的做法也是较早的。
  • 去年他讲"有概率的非共识”,今年的版本:agent泛化怎么提升,以及优化器本身——“在我们做出来之前应该没有人在做这个东西,因为之前所有人都会使用Adam,所以它也是做成了一个非共识”,正是它换来了更好的base model和后续post-training压榨上限的空间。

14. 按下训练按钮之前,结果已经被预测

  • 立项不是灵光一现:“我们就一直训练下一代模型嘛,决策就是工具箱里又多了很多新的东西,到底把哪些拿出来用。“技术积累从一年前开始——像Meme Clip这样的技术要经历从早期小实验到万亿模型的漫长验证周期,“不是说我今天想训,再从零搞,那不是两三个月能解决的问题”。研究和训练是同一个团队:“你在实际训练过程中遇到这个问题,如果之前都不了解,你没有办法解决它。”
  • 训练中唯一的意外:Muon在大规模下max logit爆炸——“小规模实验上你是没有办法预测的,它就是不会有这个爆炸的问题”——回头revisit后用新的clipping方式修复。除此之外没有aha moment:“模型训得怎么样,在过程中就已经知道了……更重要的是这个预测的能力,所有能预测的都预测到,你scale的成功率是比较高的。“主要know-how都写进了paper——“我们都很open的,还是想跟社区去分享。”

15. Agent=多轮+工具;泛化好了,垂直agent就不必要

  • 他对agent的定义收敛为两个特征:多轮和工具。多轮是test-time scaling的方式;工具是"连接这个脑跟外部世界的方式”——用搜索引擎就把模型跟整个互联网连接起来,会写代码就拥有数字世界的自动化能力,“数字世界基本所有自动化都可以用代码描述”。
  • 关键推论直接冲着垂直agent赛道来:“如果通用agent能泛化到长尾的工具上——你公司内部的数据库、个人文档、定制的API,去退票、下一个订单——之前大家讨论的各种垂直agent,它可能就不一定非常需要。你只是每次给它加不同的工具。”

16. 造的不是人,是universal constructor

  • 小珺说agent本质是把人每天"多轮使用工具的序列"拟合进去、模拟人的行为;杨当场纠正:“这样模拟人的行为可能不太准确……它主要目的是通用,它是一个universal constructor,可以完成几乎所有的任务。跟人的做法类似只是一个刚好的结果,并不是设计这个系统的目的。”
  • 他给的类比原样保留:“设计飞机是为了能够当做一个交通工具,它并不是为了像鸟一样能飞。”

17. 中等难度任务是隐式的课程学习;coding是数字世界的手

  • 为什么K2用中等难度任务训练而不是设计最难的任务?“你不能一上来就让他去证明一个还没有人证明过的数学问题,sample efficiency就会非常非常低,基本上学不到什么东西,算力都会被浪费掉。“搭配好的采样策略,“强化学习本质上是一个隐式的课程学习机制”——从合适难度学起,逐渐提升。但他补了一个隐忧:今天的任务多来自人类存量数据或人的设计,“AI native的部分还比较少”,又回到泛化问题。
  • Coding AGI是通用AGI的子集——“可能是很重要的一个子集”:好验证所以好学习,且代表数字世界的自动化——创建新工具本质是写一段代码,context engineering背后对应的也是代码。但不是终点:“今天很多不是程序员的人在用cloud code——律师、产品经理、设计师——因为模型一定程度上有泛化,不仅只是会写代码。我们还是希望做通用的模型。”

18. Long context不能牺牲智商

  • “很多任务128k、256k这种context完全解决不了,你需要百万级别甚至更多,但你的脑子还得非常好用。“矛盾在于:压缩率要高所以模型要大,同时又要强,“这两个东西天然会存在一些冲突”——有些架构长context有提升,短context反而下降,需要架构上的平衡,“但这些问题接下来会逐渐被解决,它是有一些解法”。
  • 点名了具体路线:“你如果做纯粹的linear attention,它就是会影响智商,因为这个架构会有一些bias。“另一个提升空间在RL训练方式本身:训练复杂multi-agent系统时"只用端到端的reward可能就不太够,中间的reward怎么产生、是不是能摆脱人工的设计,会是很有意思的挑战”。

19. 开源判断的反转:“因为我们还没有做到完全的领先”

  • 小珺翻旧账:去年你说开源会落后于闭源、领先者不会开源、“只有落后者才会这么做”,今天看走眼了。杨的回答不绕弯:“因为我们还不是绝对的完全的领先嘛。“原判断部分仍成立:社区能在推理侧做事、“有更多人免费给你serve”,“但要把模型本身变得更好,好像还只能是原厂自己来做”。
  • 新增的机会在下游:基于K2做agentic post-training——“你是一个创业公司想做法律相关的agent,完全可以基于K2在你定制的工具集合下训出来一个specialized agent”,但这赋能的是下游应用,“很难变成base model的提升”。长期会持续开,“但不一定所有东西都完全开”;开源是信仰还是博弈?“客观的说是都有……最终我们是希望通过这个东西让技术更安全更快地达到一个更好的水平。“中国公司集体开源同理:“互相借鉴,可以加速做到SOTA(口述’收塔’)。”
  • 终局判断:市场逐渐集中收敛,“从几百个到几十个到几个,几个可能是最终一个比较稳定的数,现在看起来是一个大概率的事情”。

20. 模型即产品仍然成立;通用模型的系统复杂性

  • “以前很喜欢说模型即产品——这个现在还是没有变化。“做agent产品要把模型、工具、context结合起来,“但你在训练模型的时候,基本上已经要把这一套全部搭好……当你模型训完了之后,你的产品已经做完了”,上层交互是锦上添花。被问是不是要从"中国的OpenAI"变成"中国的Anthropic”,他拒绝这个框架:“中美不太一样,今天更多的得站在全球的视角……做中国的什么什么本身就不一定非常成立。还是继续爬山。”
  • 新时代巨系统(对应Google检索系统之于PC互联网)的复杂性在于通用本身:一方面变简单——所有东西放一个模型里、不用维护一堆routing策略;另一方面coding agent、search agent等不同任务放进同一个模型"会有打架的问题”,工具定义不一样、数据pattern不一样。多模态是典型案例:“你不希望MoE里有20个expert专门做多模态,那样学出来是个傻的多模态,我们希望它是个聪明的多模态”——共用一个脑子,把文本的智商在多模态模式下激发出来。“越到post-train后期越到RL,这个问题会更加严重。”
  • 新的超级节点:系统跑在数据中心——Jason常说的AI factory——加上终端与新交互。交互随模型换代而变:“coding一开始有copilot,然后Cursor,Cursor之后有cloud code——当你有新的一代模型,你就发现你的交互可以改了。今天cloud code的交互也不是终极形态。”

21. 数据墙真实存在,但模型变好在加速

  • “数据墙肯定是一个客观的事实”,突破靠token efficiency加上把更多compute scale到各种RL任务上;然后是这集最值得记住的观察之一:“somehow我们现在观察,模型变好的速度并没有在减少,我觉得甚至是在加速。”
  • 为什么AI产品都没形成数据飞轮?“因为基于算力的scaling太强大了”——RL是on-policy带负梯度的训练,scaling效率比预训练还高,“直接scale这个FLOPs带来的提升非常非常大,所以你会显得其他带来的提升很小”;另一面是大模型学习对噪声敏感,跟推荐系统不一样,用户反馈的噪声问题还没解决好。新交互可以减少信号噪声,“但你的交互不能超越模型能力,应该在模型能力的范围内去设计”。
  • 那用户数据没用就不必做to C了?他不同意:用户反馈不能直接拿去训练,“但你有一定用户量的好处是知道需求的分布……再抽象成evaluation去优化模型。完全没有人用,你都不知道往哪里优化”。而且"又到了一个新的分水岭”——OpenAI的C端用户产生的商业价值占营收比较大的比例,“如果是很多agent的专业用户,他本身就是很好的生产力的价值”。

22. Next token prediction的缺陷,要靠RL来激活

  • 小珺转述张翔宇的观点:模型规模扩大,对话、知识量、情商都变强,但推理尤其数学先升先平、再扩大反而下降——大模型做数学"倾向于跳步不老实”,这是next token prediction的本质缺陷。杨基本认可但给出补法:“所以要搭配强化学习的scaling——不做强化学习,这个模型很难说很聪明。但更大的base,它强化学习的上限还是会更高,因为知识更多,本质上是激活一个推理的范式,把那个知识解锁出来。”
  • 世界模型怎么看(造世界vs造人)?他把它接回主线:“你有一个很好的世界模型去模拟这些东西,它就是用AI训练AI的方式,泛化就会好很多——有可能是通往更好泛化的一种可能性。”
  • 一段轶事:某投资人第一次见他时,他讲的不是GPT-4、GPT-5而是GPT-10长什么样(他自己已不记得说了什么)。今天的感受:“我们其实已经实现了之前预想的很多东西——你真的能完成几个小时的任务……接下来就是逐渐建更多的evaluation,去突破泛化,这个好像相对来说还是比较明确的。”

23. 商业模式:先投资,确定性反而更高了

  • 明确的商业模式两个:API和一方产品,“都会去做一些尝试”,但"今天最主要优先级还是继续把模型做得更好”。市场规模在快速上涨:“头部的公司有几十亿、上百亿美元的ARR,而且在快速增长,每一两个季度就能翻个两三倍。“用户担心Kimi赚不到钱怎么办?“就是你还是先投资嘛。能不能赚到钱取决于你的模型效果最后怎么样……专注把技术做得更好,剩下的东西确定性反而是更高了。”
  • 模型公司与agent产品公司的边界(“Midas”这类是客户还是对手?):“还很早期……短期内更多的会是合作的关系,大于竞争。“类比Claude和Cursor:Cursor也得动态调整——要么补模型能力(“我的技术研发的曲线还是很陡峭”),要么有别人做不到的工具或环境,“比如我今天掌握了一些线下服务的入口,那我下订单或成交这个工具是别人根本做不出来的”。
  • 终局的机制判断:“通用为什么能工作,是因为它整体的商业化效率会更高”——甚至内容平台最终接入通用agent商业化效率会比今天更高——“但它可能要花很长时间。在这个时间窗口内,专有的agent也会有空间”。投流打法在技术快速发展阶段"很难赢得这个战争”,只是辅助手段;“今天最大的变量依然是智能。还是爬山。”

24. 用RL管理组织,别让SFT杀死主观能动性

  • 过去一年对组织的最大思考:科研、训模型、带团队三件事相通。知识不直接来自经验——“人类在地球上存在非常多年,三四百年前没有任何人说地球是个球”——而来自猜想加验证;训神经网络也一样,观察几十万个内部指标不直接给你知识,“你提出一个猜想它为什么会这样,再设计实验去验证”。管理同理:“要用RL的方式去管理,而不是用SFT——这个是team天天跟我讲的。”
  • 操作细节他讲得很具体:SFT是直接告诉人"应该这样这样做”,RL是给目标给奖励;好的做法以RL为主、加一部分SFT当先验——“所谓的PTX loss,你不希望这个模型飞太远——但你要管住自己的手,SFT太多,同学就会失去主观能动性,没办法创新”。
  • 风险的对偶同样清晰:“用RL管理团队的最大问题就是你容易被hack——大家看起来结果都很好,但实际上并没有达到你最终想要的”;解法是"建立更多观测指标,尽可能不要去过拟合”,且奖励的定义需要你很了解细节怎么运作,“不然就会出现reward hacking”。他对CEO身份的最新理解:“怎么去把握RL和SFT还有reward hacking之间的平衡。”

25. 放大器、恐惧与"站在无限的开端”

  • 为什么非要解AI这个问题?他把问题抛给过Kimi,答案被他采纳:“它说这个东西是人类文明的放大器,我觉得很有道理”——任何前沿学科要花二三十年才能学到最前沿,“AI可能一夜之间就能学会,然后你就往下做新的突破,AI会成为一个meta science”。会摧毁人类文明吗?“这个风险你不能说它不存在”,但对齐和社会机制都有事可做;Kimi的另一句被他引用:“你如果放弃这个事情,就等于放弃了人类文明的上限。“他补充:人生的意义是创造、体验和爱,“创造里面很大一部分也许AI可以做,但后两条还是会以人为中心”;社会机制的调整"不会是一两年做完,可能要一二十年”。
  • 心态部分他一贯低波动,小珺不放过:“我一直问你各种情绪,你都说还好。“他承认"不以物喜不以己悲很难做到”,落点在"避免情绪化的决策”;恐惧存在但"更多的还是关注当前这一步能做什么”。成功概率比一年前增大还是减小?“增大的——你只要每往上爬,成功概率都会变大,因为会有一些人就不会继续爬了。“过去一年最大成长:“认识到问题是不可避免的,它会一直存在,然后持续解决新问题——这可能也是最有意思的。”
  • 快问快答的干货:必读书《The Beginning of Infinity》;影响AI进程的论文——backpropagation、Transformer、GPT-3,加上作为building block的ResNet(“它可能是泛化的基础”)和Adam,“现在可能还有Muon”;基于当下认知最关键的一个bet:“泛化的agent——用innovation,用L4做L3。“收尾的自嘲:“我脑子已经糊了,把一年的话都讲了。碳基生物的局限性。”