Skill Issue:Andrej Karpathy谈代码代理、AutoResearch与AI的Loopy时代
摘要
Karpathy表示,软件工程在12月发生了逆转:从大约80/20的手写代码与代理委托,变成20/80,此后又进一步转向代理。 他说,自己此后“基本上”一行代码都没再敲过;他的操作瓶颈也从可用FLOPs,变成能在并行会话中调度多少“token throughput”。真正值得投资者关注的变化不只是代码生成更强,而是工程师开始通过大规模委托动作操纵代码仓库,人的编排能力成了瓶颈。
持续运行的“claw”指向一个会吸收传统软件接口的代理层。 Karpathy的Dobby代理发现了他的Sonos系统,逆向工程其API,并通过WhatsApp把灯光、暖通空调、窗帘、泳池、Spa和安防统一起来;6个独立应用实际上消失了。他的结论是“客户已经不再是人类”,这意味着定制UX层承压,而硬件、可访问API、身份、记忆、权限和安全代理基础设施的价值上升。
AutoResearch表明,在目标可被清晰度量时,自动优化可以超过资深研究员的手动调参。 Karpathy手动调好自己的小型GPT训练实验场后,一夜运行的循环找到了他遗漏的交互,包括对value embeddings施加weight decay,以及更好的Adam betas。扩展逻辑很直接:在更小模型上探索数千个想法,低成本验证改进,再把胜出方案外推;研究员则从实验操作者变成想法供应商。
递归终点不只是模型改进模型,而是代理优化围绕模型编码的研究组织。 Karpathy把
program.md视为对角色、流程和风险偏好的原始描述;不同版本可以进行基准测试,让模型学习哪些组织指令能带来更快进展。“LLM部分现在已经被视为理所当然”,随后是代理、持续运行的claw、多代理系统,最终优化它们的指令。自主性仍集中在可验证领域,壮观的能力与通用智能之间依然存在实质鸿沟。 CUDA优化很理想,因为速度和正确性都可度量;但更柔性的意图、判断、幽默,以及知道何时该澄清,仍不可靠。Karpathy把代理比作“一个极其聪明、终身从事系统编程的博士生,加上一个10岁孩子”。他预计会出现更多专门化智能,但表示在不损伤既有能力的前提下改变模型权重,这门科学仍不成熟。
Karpathy谨慎乐观地认为,更便宜的软件起初会通过杰文斯悖论扩大工程需求,而不只是摧毁工作岗位。 比特的复制和操纵速度远超原子,短期内会形成数字重构的“沸腾汤”,过去成本过高的软件将变得短暂且高度定制。但他拒绝对长期结果做出自信预测,并指出一个令人不适的终点:前沿研究员正在“把自己自动化掉”。
这场讨论指向封闭的前沿“神谕”、落后约6到8个月的开放模型,以及随后把代理连接到物理世界的浪潮。 Karpathy认为这种平衡优于完全中心化的智能,同时设想互联网规模的群体:不受信任的算力可以通过昂贵搜索和廉价验证展开竞争。机器人应当落后,因为“原子难了一百万倍”;但传感器、实验室、付费数据采集,以及代理购买现实世界观测结果的市场,可能成为通往更大物理世界机会的桥梁。
精读
上游暂未提供,后续同步将继续补齐。