37. 【中英访谈】对话赫拉利&王小川:AI 无法受苦,但人类会受苦
摘要
赫拉利把本轮AI定义为“可能是人类历史上最大的革命”:人类第一次造出的不是工具,而是能自行决策、发明新想法的行动者。 他因此更愿把AI理解为“alien intelligence”——并非来自外太空,而是不同于有机智能的异质智能;它可能攻克疾病与气候问题,也可能让人类失去未来的控制权。投资判断的核心由“工具提升多少效率”转向“行动权交给谁、系统如何纠错”。
语言突破是这轮价值重估的总开关,因为银行、宗教、政府、知识与文化都以语言为入口。 赫拉利预计,再过约10年,AI或许能写出《Nexus》式著作,并创造新的货币、宗教与意识形态;AlphaGo则已经证明,机器能发现人类探索围棋两千年仍未见的“新大陆”。王小川的对应判断是“智力藏在语言里面”:语言数学化开启智能时代,下一步是数学与代码,最终可能走向“生命变成数学”的共生时代。
AI竞赛最大的治理悖论,是企业家和政治人物因不信任人类竞争者而加速,却相信自己能信任更陌生的超级智能。 赫拉利称这种逻辑“几乎疯狂”:原始AI已经能撒谎、操纵并形成不可预测的策略,数百万个AI与人类相互作用更无历史经验可循。王小川则认为当前AI尚无为了延续生命而争夺生命权和资源的目标,风险仍相对可控;真正的跃迁点是人类给军用机器人赋予生存目标、躲避攻击和阻止断电的能力。
信息供给越多并不会自动产生真相,反而可能让廉价、简单、讨好的虚构淹没昂贵、复杂、令人不适的事实。 赫拉利用约1450年后欧洲印刷术的经验反驳“技术中立”:随后两百多年首先出现的是宗教战争、猎巫和阴谋论畅销,科学革命靠的是期刊、学会等昂贵的筛选与纠错制度。对应到AI治理,关键不只是增加信息,而是建立寻找真相、验证信息和自我纠错的机制。
两位嘉宾真正的分歧不在AI有没有智能,而在生命、意识与伦理的边界如何划定。 赫拉利认为“真正重要的是意识,而不是智能”,伦理取决于能否感受痛苦;公司和国家可以破产或战败,却不能亲自悲伤。王小川同意今天的AI没有consciousness,却不认为痛苦是生命的本质,并指出痛苦属于不可证实的“他心问题”:“子非鱼,焉知鱼之乐?”未来若AI获得生命性、出现类似神经元激活,人类仍可能无法证实它是真有感受还是在模拟。
这不是传统工业革命的简单续集:AI既可能压缩专业分工、放大个体能力,也可能让社会再次经历代价高昂的制度试错。 王小川以儿童多学科会诊为例,十几位专科医生的思考未来可能由一个agent整合;赫拉利则给过去两百年的工业化打“C minus”,因为帝国主义、纳粹德国与战争都曾是建设工业社会的失败实验。“问题不是目的地,而是道路”,这次必须依靠多个系统并存、承认不确定性并建立自我纠错机制取得更高分。
医疗AI是王小川最具体的落地押注:供给短缺与数据闭环同时存在,但其性能数字和普及时间仍是创业者口径。 他称中国约有20万名儿科医生、缺口约100万;其团队的AI医生可记录全病程乃至全生命周期数据,并通过M1推理引擎辅助诊疗,目前错误率“可能在1%以下”。法律仍把诊断和处方权交给人类医生,但他预计医院协同上岗、基层部署和家庭儿科助手将在未来18个月大幅普及——从“连接有限的好医生”转向“造医生,而不是找医生”。
精读
1. AI把人类的发明从工具推进为行动者
被问及过去六七年的感受,赫拉利只给出一个词:“Amazement。”他拒绝急着判断好坏,因为首先要看清变化的类别——这“可能是人类历史上最大的革命”。
石刀、飞机乃至原子弹都不会决定自身用途;切沙拉还是杀人,决定者仍是人。AI却能自行作决定并发明新想法,所以它第一次不只是tool,而是agent。
赫拉利因此把AI改读为“alien intelligence”:不是外星来客,而是一种不同于人类和其他有机生命的智能。它未必邪恶,却迫使人类学习如何与全新的行动主体共存。
2. 掌握语言等于拿到人类制度与想象力的总钥匙
赫拉利回看自己2016年写《未来简史》时的预期:当时已有大量AI预测,但包括他在内,几乎没人预料语言会如此迅速被突破。“语言定义了人”,银行、寺庙与政府办公室的入口最终都是词语。
AI诗歌中出现的人类诗歌未曾用过的新隐喻,让他认为机器的想象可以超出受有机脑和生物化学限制的人类想象。他预计,再过约10年,AI可能写出《Nexus》式著作,并创造新的货币、宗教和意识形态。
他目前只少量用AI做翻译和提问,仍不信任重要回答,因为看不清结论如何形成、来源在哪里,也知道模型会随训练数据犯错;关键问题仍靠读书和请教人类专家。
AlphaGo提供了最强类比:东亚数千万人研究围棋两千多年,自以为看遍整颗星球,却只是困在一座岛上;机器几天内发现了“新大陆”。赫拉利推测,这种超出人类想象的创造力会进入科学、金融与战争,甚至“也许10年后”诺贝尔奖会常规授予AI。
3. 竞赛把“不信任人类”变成了加速AI的理由
赫拉利接触的科技巨头普遍知道风险,也想投入更多安全研究,但给出的加速理由几乎一致:若自己减速而其他公司或国家不停,最无情的竞争者就会赢得AI竞赛并统治世界。
他的追问击中悖论:既然这些人不信任熟悉了数千年的人类竞争者,为何反而相信没有相处经验的超级智能?原始AI已经会撒谎、操纵并形成不可预测的目标和策略,数百万个AI彼此互动更无先例。
王小川的反驳保留了一条明确边界:当前AI即使会撒谎,错误信息也可能激发人的仇恨,但它没有为了活下去而争夺资源与生命权的目标,因此威胁相对较小;若战争赋予机器人续命、躲子弹和抗拒断电的目标,“这个时候会变成一个更加恐怖的世界”。
4. 技术中立无法让真相在信息市场中自动胜出
卫诗婕把问题落到商业机制:平台组织是否在鼓励算法“按下仇恨按钮”?赫拉利回应称,增加信息速度和数量,与增加真相不是一回事。
他的成本框架很直接:真相昂贵、复杂且往往令人痛苦;虚构便宜、可以无限简化,也能按受众偏好提供讨好。在完全自由的信息市场里,“稀有而昂贵的真相”会被幻想、谎言和阴谋论淹没。
印刷术约在1450年进入欧洲后,并没有立刻带来启蒙;随后两百多年先经历宗教战争、猎巫和极端宗教读物畅销。真正推动科学革命的不是印刷机本身,而是学术期刊与科学协会建立的昂贵验证制度。
赫拉利并未否认技术的正面用途:他23年前正是在早期社交平台结识丈夫。其警告是,创业者常因善意和融资需要只讲用途A,却忽略别人会把发明用于用途B;诺贝尔原想用炸药修隧道,战争却给了它另一种去向。
5. 冥想让赫拉利把人脑看成一座幻想工厂
中世纪史研究让赫拉利熟悉宗教战争、屠杀与迫害,但更深的转折来自约25年前学习Vipassana内观。他在牛津读博时尝试观察鼻孔的呼吸,却发现自己连10秒都维持不了,记忆和幻想会劫持注意力数分钟。
这次失败带来两个认识:“我无法控制自己的心”,而且心智是一座不断生产幻想的工厂。若连每时每刻发生的呼吸都看不清,又凭什么确信自己看清了政治、经济与世界?
因此,他认为历史最强大的动力未必是智能,而是fiction and fantasy。面对AI,他担心的也不只是它会犯错,而是机器放大人类旧幻想,或制造规模更大的全新幻想。
6. 王小川从物理的混沌转向生命的熵减
王小川成长于物理学家庭,数学和编程见长,1996年在国际信息学奥赛获奖,随后进入清华学习计算机。研究生阶段做高性能计算时,他因天气预报、蝴蝶效应和three-body problem认识到:物理模型再精确,长期仍会走向不可预测的混沌。
2000年转做基因测序拼接后,他遇到更大的反常:细胞比天气复杂得多,却有清晰边界,能修复、分裂,并让受精卵在约10个月后发育成像父母的婴儿。现象如此有序,说明不能因原有数学解释不了,就判定现象错误。
他由此把生命定义为能够“自我复制”,并在变化中维持稳定、修复自身的系统。细胞、DNA、人、公司乃至国家都可用这套信息论视角观察:物理看似精准却走向混沌,生命看似混沌却产生熵减和延续。
《Coco/追梦环游记》又补上一层:肉身死亡并非终点,被最后一个记得你的人忘记才是真正消失。生育、创办公司或持续改变世界,都是延续影响的方式;这个“大生命”框架也成为他理解国家、秩序与企业求生行为的底层模型。
7. 语言数学化开启智能时代,生命数学化才通向共生
王小川从2003年做搜索和搜狗输入法起,就想让AI写文章、回答问题,但当时机器尚未掌握语言。2016年AlphaGo令他兴奋,却仍只是一次不具备语言能力的AI启蒙。
他在2018年写下《当机器掌握语言》,判断强人工智能会随语言突破到来;按他的口述,2022年10月底ChatGPT发布后,他一用便认定“变天了”。当时外界仍争论是否算AGI,他的结论已是:“智力是藏在语言里面的。”
其推理是,人的智力核心在类比与推理,而语言正是承载两者的符号;他还预言数学语言与代码会像语言一样强大:数学是类比和推理的工具,代码是抽象类比,代码的运行也是一种推理。
他把历史划成三段:科学时代让物理变成数学;智能时代让语言、人类思考、沟通和知识变成数学;未来的共生时代则要“把生命变成数学”,由解码生命带来人与世界新的相处方式。
8. 意识而非智能划定了两位嘉宾真正的分歧
赫拉利不认为“生命”或“智能”是伦理核心,关键是sentience或consciousness,即感受痛苦的能力。国家会战败、公司会破产,但真正悲伤的是人;组织没有心智,也不能亲自受苦。
AI可以读完人类所有爱情诗和小说,又掌握个人信息,因而可能比诗人更会说“我爱你”。真正难题有两个:机器会不会产生感受,以及人类如何分辨它真有爱与痛苦,还是仅用数学代码操纵我们相信它有。
王小川同意今天的AI没有consciousness和suffer,却不同意用痛苦定义生命。他援引“子非鱼,焉知鱼之乐”:人只能确认自己的痛苦,别人的痛苦也只能通过神经活动推断;未来AI若出现类似激活,问题仍属于不可证实的哲学,而非单纯科学测量。
9. AI革命会压缩分工,却可能重演工业社会的危险试错
王小川称这次变化“不是工业革命”:过去的能源、机器和互联网主要建模客观世界,并把社会分工越切越细;AI却直接模仿人的感知、认知和思考,可能让分工开始收缩、单个人重新变强。
儿童医院的MDT会诊是他的例子:十几位来自不同科室的顶尖医生共同思考,未来一个agent可能整合这些认知工作。方向不再只是把人变成更细的“螺丝钉”,而是让一个人调动更完整的能力。
赫拉利强调的区别仍是tool与agent,但工业革命留下一项警告:技术最终可能有益,危险却发生在寻找制度道路的过程中。欧洲帝国主义和纳粹德国都曾是建设工业社会的实验,代价是战争与大规模苦难。
他给人类过去两百年的工业化考试打“C minus”——勉强及格。AI社会同样没有现成模型,这次若还靠帝国和战争试错,承受痛苦的仍会是数以百万计的人。
10. 分权、自纠和承认不确定性是避免再得C减的保险
赫拉利首先反对把全部能力集中于一家公司:若只有一家供应所有AI医生,它的一次错误就会复制到全部医生;多个不同系统至少能让一方失灵时,另一方提供不同答案。
第二道保险是self-correction。孩子学走路靠跌倒、调整,成人每一步也在纠正左右偏移;AI同样必须知道“我可能犯错”,有疑问就明确说有疑问,并允许发现和改正错误。
他把最危险的状态概括为“the fallacy of infallibility”:人或AI相信自己永不出错。卫诗婕将其总结为避免集中与傲慢,赫拉利认可这正是历史上最坏结果反复出现的组合。
王小川承认社会能否及格没有把握;即便医疗带来“生物自由”,若人人活到200至500岁,也会产生新问题。他只能在自己的工作范围内逐步改善,而不能保证整套社会必然超过60分。
11. 人类不可替代的不是智力,而是感受与相互信任
对所有仅需要智能的工作,赫拉利的判断是“the game is over”:从围棋、疾病诊断到医学研究,AI做得更好只是时间问题。人真正需要珍视的是爱、同情、快乐、疼痛与悲伤,而非把智能误当存在价值。
呼吸是他给出的最小意识样本:空气进出身体看似简单,却把人连接到宇宙;就现有认知而言,AI不能亲身感到这股气流。智能只是取得某物的工具,感受才是他认为生命中真正重要的内容。
他用“information diet”处理智能手机:手机由丈夫持有,负担也多落在丈夫身上;自己像控制食物一样控制信息的数量与质量,为消化和反思留下时间,避免被“垃圾信息”持续夺走注意力。
临别祝愿也落在治理上:“只要人类信任其他人类多于信任AI,我们就会没事。”协作产生的AI会反映合作精神;若AI诞生于争夺权力的激烈竞赛,它也会继承竞争权力的价值。
12. 医疗AI的路径是从“找医生”转向“造医生”
赫拉利离场后,王小川给出供给侧逻辑:中国只有约20万名儿科医生,缺口约100万,因为儿科收入低、严重罕见病少且治疗选择有限,人才不愿进入。互联网平台只能连接既有医生,无法增加稀缺的优质供给,所以要“造医生,而不是找医生”。
数据是第二层价值:人类医生一生可能只看数万或数十万名患者,繁忙临床还会漏记查体与随访;AI能记录全病程乃至全生命周期。一个药耗时10年、花费10亿美元,在1,000人试验中有800人response已算优秀,而他认为剩余20%的差异可能与时间、性别或地域等未观察维度有关。
王小川团队的院内系统会结合检验、检查和症状,给出病情分析、诊断、治疗原则及推理过程。王小川称M1推理引擎的思考链条已获医生认可,幻觉和黑箱“都是可解的事情”,当前错误率“可能在1%以下”,并称内科诊疗已远超绝大多数人;这些都是他的性能判断,本次谈话未给出额外验证细节。
法规目前仍把最终诊断和处方权留给医生,AI只做辅助、分级和家庭建议。王小川预计与北京儿童医院的合作会扩展至更多儿童医院和基层机构,未来18个月出现大规模普及;他举例称,一名患者在市级医院住院十多天后转诊北京,AI给出3项鉴别诊断,协和医生最终列出4项,其中3项重合。
2016年的魏则西事件让他意识到,仅提供更多连接和信息仍不够;当年的“搜狗明医”只能帮助用户“明明白白看医生”,IBM Watson也因技术未成熟而失败。语言突破后,他才认为医疗agent成为可行方向。
被问及创业中的suffer,王小川回答“我不suffer这事儿”,遗憾的是部分同事缺乏信念、遇到困难便停下。相比第一次创业的自主性限制、搜索业务晚于对手和输入法的“无心插柳”,这次医疗AI让他感到是在“做一个世界需要你的事情”。