Tensor Logic“统一”AI范式 [Pedro Domingos]

摘要

• Pedro Domingos认为，TensorLogic以张量方程这一单一构件统一符号规则与张量代数，并可覆盖深度网络、核机器和图模型。 核心观察是，“einsum和逻辑编程中的规则其实是一回事”，主要区别在于操作对象是实数还是布尔值。他将TensorLogic称为通用算法的脚手架，而非算法本身。

• 这一企业级命题是在有保证的演绎与带猜测性的类比之间提供一条可控光谱，或能解决幻觉这一限制AI落地的风险。 温度为0时，TensorLogic可以把结论限制在给定前提逻辑必然推出的范围内；提高温度后，则允许更宽松的类比推断，且理论上可逐条规则设定。关键限制是，在主持人追问下Domingos也承认：可靠的演绎无法挽救错误前提——“如果前提是幻觉，结论也会是幻觉”。

• TensorLogic更具影响力的主张是，梯度下降不仅能学习手工设计网络中的权重，还能学习结构、谓词和表征。 Domingos将其与归纳逻辑编程中的低效搜索对比，并把“谓词发明”——从数据中发现原本不存在的关系——称为“圣杯”。Tucker式张量分解是这一更广义梯度下降框架下学习潜在因子的一条示例路径；但主持人仍追问，有用的架构搜索依然需要归纳偏置。

• 拟议中的开发模式，是用广义张量方程配合严格或软性的结构先验，降低对完全硬编码架构的依赖。 MLP和ConvNet都可以各自写成一个张量方程；研究者随后可以把信念作为方程加入，而不必完全固定拓扑结构。Domingos的实际推介是一种更迭代、也更可解释的工作流：“再写一个方程，或修改已有方程”，重新训练、检查结果，再继续调整。

• Domingos认为，弱对称性相当于物理学的基础规律，但并不声称它们能消除不可约复杂性。 他预期大致是80/20的分工：紧凑规律和可约部分让系统走完大部分路程，而自发对称性破缺、新观测以及领域专用的工程修补负责剩余部分。操作层面的启示是以控制为导向的预测——像Kalman滤波或强化学习那样持续依据数据重新校准，而不是追逐Laplace妖。

• 长期目标是“通用归纳”：一种类似Turing通用机的学习机制，能从少量例子中推断可复用的程序，并在任意实际规模上应用。 主持人将孩子用很小的数字学会加法、再推广到任意长度，与上下文长度固定、问题规模变化后可能需要重新训练的transformer作对比。Domingos将此视为许多transformer的局限，也是TensorLogic要攻克的目标。真正重要的是这一能力问题，而不是形式上的无穷性或是否具备Turing完备性。

• 对投资者最重要的警告是，当前AI基础设施支出可能远远领先于能够高效利用这些基础设施的算法。 Domingos认为，暴力推理反映了计算机科学既有经验的遗忘，并预测“其中99.9%的算力”最终可能看起来都被浪费了，即便这些物理容量日后确实能找到用途。TensorLogic的商业化路径是渐进式的：先把方程编译成Python/PyTorch，在幻觉和黑箱不透明问题上赢得用户，再进入教育领域，最终甚至可能威胁“CUDA这条漂亮的护城河”。

精读

1. AI要真正起飞，首先需要一种统一的工作语言

• Domingos将TensorLogic视为自读博以来一直追求的目标：统一AI彼此竞争的范式。他的类比对象是物理学中的微积分，或电路设计中的布尔逻辑——一个领域一旦拥有能够捕捉基本操作的记法，进步速度就会加快。

• 早期符号语言提供了自动化、透明且可靠的推理，却缺少自动微分和GPU扩展能力。PyTorch和TensorFlow让学习与加速变得日常化，但推理仍处在它们之上的“各种补丁”层。TensorLogic希望把这3项能力放在一起。

• 他并未声称一种语言在所有任务上天然更优：计算机科学中“没有一种编程语言在所有事情上都更好”。但根据他目前的经验，TensorLogic对AI基本面的覆盖范围比预期更广——“不过，那是我的看法。我可能有点偏见。”

2. Einsum与逻辑规则本质上是同一种操作

• 张量代数可以归结为Einstein求和：矩阵乘法、张量积以及深度学习中的相关操作，都是einsum。Domingos所谓“令人目瞪口呆的观察”是：einsum和逻辑编程规则其实是一回事，只是实数算术与布尔算术构成了不同的原子数据类型。

• 他通过Datalog得到这一等价关系，因为Datalog的数据库规则可以归结为连接和投影。TensorLogic将两者推广为张量连接与张量投影：使用布尔张量时，它们还原符号数据库操作；使用数值张量时，则涵盖并扩展传统einsum。

• 点积就是乘积之和；换成布尔形式后，它变成合取的析取，也就是DNF。如果多个子句为真，阶跃函数会把超过1的值重新映射为1。多个具有相同头部的规则同样表达了隐含的逻辑“或”。

• 主持人提出NAND门挑战：具备通用性并不等于抽象层次足够好。Domingos对此表示认同。TensorLogic可以保留语法糖，但其原生层次远高于NAND：他说，一个transformer可以用大约十几个张量方程写出，而不必堆成“一大团代码”。

3. 更好的记法也可能释放更高效的执行

• 相比直接调用einsum API，第一个优势是记法。现有调用需要处理别扭的索引、箭头和参数；TensorLogic则让einsum读起来像一条规则：左边是输出张量，右边是连接后的表达式。“好的记法就是成功的一半。”

• 第二个优势是性能。Domingos认为，einsum的使用率低于其潜力，一部分原因是现有实现可能又慢又笨重；如果语言围绕一个原语组织起来，就可以直接优化张量方程，在CUDA中实现，让“Einstein终于发挥出全部潜力”。

• 但决定性差异在语义覆盖面。传统einsum只能执行张量代数；TensorLogic则让同一构件同时用于符号计算、数值计算、两者混合、推理，甚至学习符号部分。

4. TensorLogic为通用算法提供脚手架

• 《The Master Algorithm》曾将AI划分为符号学习、贝叶斯方法、核机器、图模型和神经网络等不同部落。如今，Domingos把TensorLogic称为表征层面的答案：“一种非常简单的语言，可以完成AI的整个谱系。”

• 图模型无需特殊机制就能纳入这一框架。其因子和条件分布都是张量，而边缘化与逐点乘法则变成张量投影与张量连接；核方法式计算也可以使用同一套代数词汇。

• TensorLogic本身不是通用算法，因为语言不等于完整的学习流程。它是构建通用算法的脚手架，其底层已经具备推理和自动微分：由于只有一个构件，“TensorLogic程序的梯度仍然只是另一个TensorLogic程序”。

• Domingos的目标不止于展示这套脚手架：“我打算很快把它做出来。”尚未补上的核心，是一个利用该语言发现模型、而不只是表达模型的通用归纳程序。

5. 梯度下降要学会发明结构与概念

• 主持人把核心问题说得很清楚：计算通用性只能说明某种表征能够表达一个解；AI还必须适应新颖事物，并构造正确的表征。Domingos的回答涉及归纳逻辑编程、张量分解和基于梯度的结构学习。

• 传统归纳逻辑编程通过贪心搜索或束搜索，在巨大的离散空间中发现规则，因此效率极低。Domingos认为，在TensorLogic中，“结构学习会从梯度下降中自然产生”——规则和关系可以在连续张量方程中变成可学习对象。

• 最强的主张是谓词发明：发现数据中没有明确出现、但能更紧凑地解释数据的关系。对象本身就是被发明出来的谓词，而不是视网膜像素；力、能量和熵等科学概念也体现了同样的表征跃迁。Domingos称这是“AI的关键问题”，也是“圣杯”。

• Tucker分解是这一思路中的一个示例机制。正如矩阵可以分解成2个潜在矩阵、以紧凑方式复原其内容，数据张量也可以通过新学习的张量来表达；这些因子可以继续保持数值形式，也可以经过阈值化变成布尔概念，供人检查。

6. 广义方程仍然需要强归纳偏置

• 主持人的质疑值得保留：一个拥有过多自由度的全连接网络，不会因为表征更整洁，就自动变得实用。今天这些“神谕般的咒语结构”之所以存在，是因为不受约束的SGD通常无法自行发现有用的拓扑。

• Domingos区分了紧凑表达与无约束学习：一个使用单一非线性的完整MLP可以塞进一个张量方程，带有局部性偏置的完整ConvNet也一样。一个通用方程定义的是一族架构；学习得到的张量值，则可以在这族架构中具体化出某个网络结构。

• 他承认没有免费午餐，也不建议尽管算力充足就盲目暴力搜索最大的架构族。相反，研究者可以加入表达部分结构信念的方程：有些是硬约束，有些是软约束，让梯度下降从带有结构知识的起点开始，而不是从白纸开始。

• 开发循环仍然是经验性的：先指定广义结构，训练，检查结果，再增加或修改方程。Domingos认为，这能同时提高程序的效率和透明度；经过适当离散化后，学习得到的规则也可以被看见，而这是transformer“根本不可能指望”做到的。

7. 对称性或许能解释80%，但解释不了整个世界

• Domingos认同几何深度学习，并称最强的弱偏置是对称性。物理学标准模型很大程度上就是一组对称性，说明简单规律如何约束巨大的复杂性；而张量记法本来就是物理学表达这类结构的自然语言。

• 主持人援引David Krakauer的划分：一边是封闭、可逆、由对称性主导的经典系统，另一边是开放、自组织、耗散、不确定且自适应的系统——生命和智能属于后者。现实或许过于建构性、过于“棘手”，无法通过干净的因子分解恢复有意义的概念。

• Domingos的综合答案是“对称性与自发对称性破缺”。物理定律仍然适用，但不断累积的破缺催生出生物、心理和社会层面，在这些层面上，底层物理定律已经失去实际解释力；进化和大脑放大了一些偶然性，另一些则被淘汰。

• 他的预测是80/20：紧凑规律或许贡献80%的能力，剩余20%则需要累积的例外和工程补丁。TensorLogic既要处理干净的方程，也要处理那些笨拙的残余工程。

8. 不可约性会把预测变成持续控制

• Domingos接受混沌、计算不可约性以及“更多就是不同”这些观点。他与更强不可约性主张的分歧在于量级：整个宇宙或许不可约，但其中存在大量可约部分，而进化和大脑会积累并利用这些部分。

• 正确回应不是要求根据初始条件做出完美预测。系统应先尽可能化约，再持续纳入新的观测：航空航天工程师使用的Kalman滤波，以及强化学习，都会在每一步更新预测，而不是相信一条一次性确定的轨迹。

• 这会把预测转化为干预。“你实际上只需要把事情预测到足以控制它们、让它们变得可预测的程度”；人类会不断重塑环境以使其稳定，Domingos认为机器人也需要采取同样的闭环策略。

9. TensorLogic被定位为跨层级的元语言

• 另一位主持人援引Hofstadter：智能会在多个描述层级之间移动，且往往保留多个有用理论。尽管广义相对论和量子力学描述的是不同区间，牛顿力学在人的尺度上仍然有价值；为什么要期待一种AI语言取代所有层级？

• Domingos的回答比主持人预期的更强：“我绝对是在主张，TensorLogic就是所有这些层级都应使用的语言。”相对论和量子力学已经在使用张量，而TensorLogic进一步提供了构造新表征、并在不同表征之间切换的方法。

• 关键区别在于单一表征与元表征。智能可能需要多个处于相同或不同层级的表征，但张量方程可以描述这些表征如何组合、学习和切换；真正的错误，是把自己锁定在一种固定表征中。

• 他把这一主张延伸到了科学。一个TensorLogic程序可以几乎照搬纸面上的方程，把数值计算与周围的逻辑结合起来；更重要的是，它能让这些逻辑变得可学习，而不是永久手写。

10. 星号索引暴露了有意设计的泄漏抽象

• 主持人质疑RNN示例中的星号时间索引是偷偷塞进语言的额外构件。Domingos区分了必要语义和实现提示：像T+1这样的普通表达式可以视为语法糖，而星号只是节省内存的提示，并没有增加计算能力。

• 在一个索引上写星号，意味着执行时复用存储空间，而不是保留每一个状态。在RNN中，新状态会覆盖旧向量，就像状态转移系统一样；如果需要历史记录，就不要加星号。“所有抽象都会泄漏”，而TensorLogic允许程序员在效率重要时显式暴露这一细节。

• 对于π的小数位这类无界序列，前向链接会填充向量中的连续位置。理想的无限向量会一直延伸；现实中的有限向量则会在内存耗尽时停止，正如任何实体计算机一样。

• TensorLogic同时具备声明式和过程式语义。一个方程可以被理解为关于世界的陈述，也可以被理解为函数调用：左侧是调用，右侧提供函数体。Domingos说，他经常以过程式方式使用这门语言。

11. Turing完备性主张经受了尖锐的技术争论

• 主持人指出，引用的1995年Siegelmann构造依赖无限精度的有理数寄存器和一种特殊结构的RNN，因此更像玩具，而不是实用、通用TensorLogic的证据。这一质疑同时针对证明所依赖的数值域和固定架构。

• Domingos同意这一构造“没有任何实际意义”，并表示引用它只是因为它能用一段话证明形式结果。他称还有其他证明，更根本地说，在有限的物理世界里，Turing完备性“完全、彻底地不重要”。

• 真正重要的是计算通用性：能够表达任何实际需要的计算。Domingos认为，TensorLogic可以实现有限控制；配合外部读写内存操作，还可以把内存表示成按地址索引的向量，并表达读、写以及通过更新索引进行移动。

• 主持人仍然谨慎，认为外部读写操作看起来像是对普通张量数学的扩展。Domingos把它们放在逻辑编程一侧，称实现几乎微不足道；但讨论最后，主持人仍希望看到具体的完整示例，而不是把问题视为已经彻底解决。

12. 实用通用性意味着超越训练规模进行泛化

• 主持人对transformer提出了更尖锐的主张：问题不是形而上的无穷，而是复用。一台Turing机可以耗尽内存，接入更多内存后继续运行，无需重新编程；相比之下，主持人认为，传统transformer扩大上下文长度后需要重新训练，而不是简单恢复同一套已学程序。Domingos则强调，TensorLogic要解决的是更广义的transformer规模化局限。

• Domingos希望系统能够从小规模案例学习，并迁移到任意实际规模：孩子用短数字学习加法，却可以把这套程序应用到更长数字上。图、知识库和推理问题也应该如此——“从非常小的规模推广到任何规模”。

• 按他的说法，Turing的成就是那台反直觉的通用机——一台实际上可以“一只手打字、另一只手缝纫”的设备。后来的等价计算形式进一步表明，相比通用性，表面上的机器结构并没有那么重要。

• 他的研究问题是用学习取代演绎：“Turing机是演绎的模型，是通用演绎。我们缺少的……是通用归纳。”他预计会出现许多等价的通用算法，就像存在许多等价的通用计算模型一样。

13. 温度把精确演绎与结构类比连接起来

• 在嵌入空间中，单位向量与自身的点积为1，而随机高维向量之间的点积接近0。因此，它们的Gram矩阵近似单位矩阵；足够陡峭的sigmoid会清除残余噪声，把结果变成布尔形式的恒等关系，让逻辑规则能够执行演绎。

• 支持相似推理的对象，其嵌入会在学习过程中彼此靠近。温度为0时，阶跃函数会把相似度离散回0或1，实现纯演绎；提高温度后，则允许相似对象之间进行越来越宽松的类比迁移。

• Domingos把证明搜索描述为模拟退火：先在高温下探索类比，再逐渐降温，直到结果变成演绎证明。他说，数学家“会注意到事物之间的相似性”，但“归根结底，你需要的是证明”。

• 主持人的沙堡质疑仍然关键：形式上有效的推理，仍可能建立在一个没有正确捕捉现实的表征之上。Domingos区分了这一提议与单纯重写MLP或transformer的做法，但也同意，TensorLogic不会神奇地证明一个学习到的世界模型为真。

14. 结构映射比统计相似性更丰富

• Domingos明确拒绝把相似性等同于完整类比。最近邻和核方法只提供最弱形式的相似关系；强大的类比需要结构映射，即把一个问题中的关系和组合方式映射到另一个问题上。

• Dedre Gentner的经典例子是Bohr对原子与太阳系的映射：原子核对应太阳，电子对应行星。Domingos指出，“结果证明这是一个糟糕的类比”，但它对物理学极具启发——这提醒人们，生成性类比与最终正确性属于不同阶段。

• 基于案例的推理在实践中使用同一机制：帮助台检索结构相似的问题，并调整其解决方案，而不是从头开始求解。TensorLogic声称的优势，是把核方法式相似性与符号组合性结合起来，从而支持嵌套映射或多个案例的组合。

15. 企业需要的是可靠性，而不是全知全能

• 主持人指出，GPT即便在温度为0时也会产生幻觉，糟糕的演绎系统同样会输出胡话；确定性与真理是两回事。Domingos同意这一点，但认为GPT在温度为0时仍然失败，正是企业需要另一种模式的原因。

• 《财富》500强企业的要求是操作性的：必须遵守业务规则、维护安全约束，不能欺骗客户。TensorLogic可以为不同规则分配不同的推理温度：数学或政策约束保持硬约束，其他地方则允许更柔性的证据累积。

• 相比RAG，拟议系统不只是检索事实，还会计算这些事实的演绎闭包。Domingos称这“强大了指数级”，同时仍把结果限制在前提许可推出的结论之内。

• 他提供的是技术可靠性，而不是事实全知。TensorLogic可以确保结论在逻辑上由前提推出，却无法确保前提对应现实。“如果前提是幻觉，结论也会是幻觉”——模型获取与模型验证仍是两类不同问题。

16. 落地将依靠痛点、互操作性和算力经济学

• Domingos承认，单靠技术优雅无法击败既有生态：“你杀不死COBOL。”Lisp和Prolog尽管在AI方面具备优势，仍因通用生态的网络效应更强而失势；Java则从互联网时代的工作负载中找到突破口，因为旧语言处理这类任务并不理想。

• TensorLogic的切入口将是强烈痛点——幻觉、黑箱不透明，以及高管无法信任黑箱系统。迁移可以从预处理器开始，将张量方程逐一转换成NumPy、Python或PyTorch，在保留现有代码的同时增加更容易的推理能力。

• 教育也是一个切口。一种语言可以教授AI的整个谱系，让学生不必把时间耗在偶然性的语法上；由于张量方程也能近似映射到底层GPU工作，专家仍然可以继续深入优化。Domingos开玩笑说：“CUDA是一条漂亮的护城河，但TensorLogic可能会让这条护城河走到尽头。”

• 他最后提出了更尖锐的资本配置批评：transformer确实是一次真正的跃迁，但对既有推理方法的无知推动了暴力式投入。他预测，人们最终可能会得出结论：“其中99.9%的算力完全被浪费了”——这是一次价值万亿美元的教育；借用《心灵捕手》的说法，学费最终只相当于“图书馆逾期费1.5美元”。