深度学习终于攻克杂乱表格——Frank Hutter

摘要

• 深度学习终于攻克了表格数据——Tim Scarfe 的说法是，TabPFN 如今“明显优于 CatBoost 和 XGBoost”，此前 Google 2019 年大肆宣传的 TabNet 等尝试都以失败告终。 Frank Hutter 的解释是，上下文学习可以跨数据集迁移模式和特征交互：医疗表中的单行数据对保险表毫无帮助，但预训练 transformer 可以一次性读入整张表，在单次前向传播中输出定制分类器，无需训练循环或超参数搜索。
• TabPFN 是“第一个真正达到业界领先水平、却完全用合成数据训练的基础模型”——训练数据来自数亿个从结构因果模型先验中采样的数据集。 互联网上没有可供抓取的有用语料（“人们不会把自己的表格数据集放到网上”），这让通常的数据护城河逻辑完全反转：既不存在数据泄漏或记忆问题，也能直接控制生成式训练分布；持续迭代先验设计因此成为关键优势。
• 上下文规模正以“每年2个数量级”的速度复合增长：TabPFN1 可处理1K行，v2处理10K行，v2.5处理100K行，v3处理1M行，下一目标是10M行。 LLM 并不适合这一规模——100万行乘以1000列相当于30亿至40亿个 token，而序列模型“无法理解调换两行……仍然是同一个数据集”；面对大表，“LLM 就会彻底栽跟头”。
• Google 的 TabFM（Scarfe 称其规模大约高出30x）验证了这一赛道，但也暴露出 Prior Labs 正在利用的取舍：它单次前向传播慢15x，在极小和小型数据上明显更强，但超过约100K行后“直接因为内存不足而崩溃”。 Hutter 在录制后补充称，TabPFN 3.5 在7项基准测试中拿下第一；在质量相当时，它比 TabFM 快20x，或者在仍然更快的情况下高出100多个 Elo 分；Nick Erickson 还在一场有3,500名参赛者的2015年 Kaggle 挑战赛中，用单张 RTX PRO 6000 C GPU、1分钟计算和“一行代码”拿到第一名。
• 因果路线图是最具投资论题相关性的远大目标：Do-PFN 可以在测试时利用观测数据做干预预测，先通过合成因果干预进行元训练；已有论文显示，在达到相当性能的情况下，它可以减少所需的 RCT 数据点数量。 Hutter 认为，如果药物能够凭借更短的研究周期上市，这可能“彻底改变医学和 A/B 测试”；但他也强调，“我们需要把这件事做得严谨，并建立在理论基础上……这是高风险领域”。
• 商业切入点不是独立应用，而是代理式 token 经济。 “LLM 会调用计算器，因为它们更擅长数学；同理，它们也应该调用表格基础模型。”收入来源包括免费非商业开源使用、生产许可费、API、微调即服务、私有 VPC，以及通过 Azure、AWS 和 SAP Generative AI Hub 分发；Prior Labs 已被 SAP 收购，收购的“首要动机是 DeepMind”：资助开放研究部门，并从11,000多名申请者中招聘人才，最终录用45人。
• 定位上的核心结论是：表格数据是“企业中最常见的数据模态”，却也是最不光鲜的一类；Hutter 预计，未来几年表格基础模型会“被广泛使用，而且经常在你不知情的情况下运行”。 它们将隐身于代理框架中（Claude 和 Gemini 的 MCP 集成已经存在），而关系数据库、时间序列和表格中的文本将成为下一批需要写入先验的对象。

精读

1. 深度学习攻克表格前的10年失败史——上下文学习如何打开闸门

• Hutter 对表格数据长期抵抗深度学习的诊断是：此前已有“数不清的尝试”——Google 2019 年的 TabNet 曾“被大肆宣传，引用量上千……但就是不行，无法泛化到新数据集”。表格数据高度异质：既有离群值，也有类别、二元和序数值，还有“随机缺失、非随机缺失”；而标准深度学习会把所有变量一视同仁，不像图像那样具有规整的空间关系。
• 结构性难题在于：可以训练一个覆盖整个视觉世界的 ImageNet，但医疗表和保险表在行级别几乎没有共同点。迁移发生在更高一层——“识别模式、识别不同特征如何交互……甚至可能识别因果关系。通过上下文学习，正是在这一层面跨不同数据集迁移。”
• Tim Scarfe 用“惨痛经验”回顾 TabPFN 之前的数据科学：标准化、编码、插补、特征工程——“虽然你确实能做出一个机器学习模型，但做完总觉得哪里不太干净”。Hutter 的设想则是，新一代数据科学家“真的不再需要完全理解 XGBoost”；工作重心转向数据漂移、公平性、因果关系和隐私，让他们“把更多高质量的人力投入问题本身，而不是摆弄超参数”。

2. 互联网上没有现成语料——因此整个基础模型完全建立在合成数据上

• 核心约束是：“人类喜欢把文字放到网上……但人们不会把自己的表格数据集放到网上。”可能存在的可用数据集只有50,000个左右；网上数以百万计的表格，很多只是“这个篮球运动员背号是多少”之类的内容，无法合理地用来学习统计学习算法。
• 解决方案让 TabPFN 成为“第一个真正达到业界领先水平、却完全用合成数据训练的基础模型”：训练样本来自包含大量结构因果信息的先验，近似于“所有可能解释这些数据的结构因果模型的贝叶斯后验”。
• 这套方案的商业收益不亚于科学收益：“我们没有数据泄漏，也没有记忆问题……也无需担心偏差，因为我们有一套从零开始生成合成数据的编码化流程。”先验开发是迭代式的：留出真实数据集，找出离群值、无信息特征、类别变量等失败模式，把这些复杂性加入生成器，再重新训练。“如果你的先验有限……后验也会受限。”

3. Hutter 的技术谱系：SAT 求解器→Auto-WEKA→神经架构搜索

• 他职业生涯的主线，是把设计决策自动化。博士阶段师从 Holger Hoos、Kevin Leyton-Brown 和 Kevin Murphy；Murphy “可能是最不相信自动算法配置的人”，直到后来对神经架构搜索产生兴趣。研究最初从需要数百个类别决策的 SAT 求解器开始，随后进入机器学习调优机器学习超参数，再发展到分层模型选择空间。
• Auto-WEKA 是“一只骑在 Weka 鸟上的小机器人”，目标用户是生命科学领域的非专家；否则他们往往会因为朋友说 SVM 不错，就直接使用“默认超参数的 SVM”。其创立原则是：“把业界领先的机器学习民主化，让所有人都能使用，包括没有机器学习博士学位的人。”
• 神经架构搜索把同一套机制扩展到模型架构，围绕准确率、延迟和内存进行硬件感知的多目标优化。但 Hutter 承认，实证研究很难推进：这些算法“运行起来非常复杂”，成本也很高。

4. TabPFN 是 AutoML 的汇合点：端到端学习完整算法，再通过一次前向传播执行

• 时间节点颇具象征性：TabPFN v1 论文发表于2022年11月 ChatGPT 发布前一周。Hutter 的定位是：“TabPFN 正是 AutoML 的自然演进：我们学习一个完整算法，再通过一次前向传播执行；根据输入数据集不同，它会学习出不同的分类器。”甚至可以将它导出为 ONNX，部署到传感器上——芯片运行的不是一个分类器，而是一套机器学习算法。
• 与人工设计的 XGBoost 不同，元训练损失就是最终目标：在数亿个合成数据集的未见测试部分上计算交叉熵——“这不是在偷看测试集……在元训练阶段，你已经学会真正解决这个问题。”声明式设计正是关键：只需规定模型应在哪些数据集上表现良好，“剩下的交给深度学习发挥魔法”。
• 其他 AutoML 机制并未消失，而是迁移到了预训练阶段；到了测试时，“数据科学家终于得到了他们一直想要的东西，也就是一个极快、开箱即用的方法”。与思维链的自回归展开不同，“你实际上只需要预测那一个 token，仅此而已”；测试预测在设计上彼此独立。

5. 贝叶斯机制：跳过函数后验，直接元学习后验预测分布

• Hutter 最清晰的技术解释是：MCMC“就是太慢”，变分推断则有“复杂的数学”，而且近似结果并不总是可靠。TabPFN 完全跳过函数或参数的后验，直接近似后验预测分布——从先验中采样函数，再从每个函数中采样训练点和测试点，用数百万个样本学习如何根据训练点预测测试集 Y。
• 这种对应关系由先验决定：只有线性模型的先验会得到贝叶斯线性回归；GP 先验会得到 GP 后验或其近似；SCM 先验则对应“所有可能导致这些数据的结构因果模型的积分”。这个空间实际上是无限的，但“我们的网络太小，不可能把它记住，因此它真正学会的是在整个空间中泛化”。
• 关键有两项：“你必须能够从先验中采样，也必须能够以监督学习方式拟合强大的神经网络。”其余部分基本都受益于 LLM 的进步——“架构变得更好，优化器变得更好，我们的方法也会直接变得更好。”Hutter 提到，AdamW 和余弦学习率调度如今被用于训练“几乎世界上每一个 transformer”。

6. 扩展阶梯——以及为什么 LLM 在大表上会“彻底栽跟头”

• 行数演进路线是：TabPFN1 可处理约1,000个数据点；v2处理10,000个；v2.5处理100,000个；v3处理1,000,000个。“我们正以每年2个数量级的速度推进”，下一个目标是10,000,000个数据点，“我们相当有信心”。
• 为什么不直接使用 LLM：100万行乘以1000列就是10亿个元素，每个元素需要3至4个 token——“你的上下文里会有30亿、40亿个 token，LLM 不会喜欢这种规模”。更大的问题是，序列模型缺乏相关不变性：“调换两行，或者调换两列，仍然是同一个数据集。”对于纯统计推理而言，它们用于存储世界知识的参数也没有必要。只有5行数据且列名明确时，世界知识可能有帮助；“如果你有100万行，真正想学的是这些数字的统计规律。”
• Kaggle 过去主要不是验证 TabPFN 的场地，因为直到最近，能落在 TabPFN 可处理规模区间内的比赛仍然很少；同时，早期先验也缺少 Kaggle 数据中的复杂性，包括非 IID 分组数据、时间数据和表格中的文本。如今这些因素已经被纳入 Beyond TabArena 基准，“这正是我们目前优化方向的信号”。

7. 编程代理是接口，TabPFN 是引擎

• Scarfe 的反驳值得保留：把一千行数据直接喂给裸 LLM 是个稻草人，因为 Claude Code 会写 Python、理解领域语义，还能搭建根据预测错误自动修正的自适应流程。Hutter 的回答是分工合作：代理“擅长特征工程，擅长探索性数据分析，也擅长充当用户界面……但最终它们还是需要调用模型，可以调用 XGBoost，只是效果不会比表格基础模型好”。
• 这种互补关系早有先例：ChatGPT 发布后，Hutter 的团队把 TabPFN 接入代理式数据科学流程，并撰写了在 TabPFN 之上实现自动特征工程的 CAFE 论文。BMI 的例子是：如果身高和体重是两列，而肥胖与结果相关，就让代理直接计算 BMI，而不是让第一层模型自己学出来。代理还可以抓取外部特征——“某一天是这个国家的节假日，所以需求会更高”。
• 目前已经可以通过 MCP 集成 Claude 和 Gemini。Hutter 的一位朋友让 Claude 构建历史比赛数据集，再用 TabPFN 预测每一场世界杯比赛，“靠这个结果，他们真的赢下了公司里的蛋糕赌局”。在 Databricks 演示中，代理“甚至不会告诉用户它在使用 TabPFN。为什么要告诉？”Hutter 预计，未来两年表格基础模型会“被广泛使用，而且经常在你不知情的情况下运行”。

8. 架构演进：从去位置化 transformer 到行列注意力，复杂度仍是二次方

• V1 是没有位置嵌入的 transformer——注意力机制本身已经与顺序无关——每一行使用朴素的线性编码器。它只能处理连续特征，因此如果把类别值编码为1、2、3、4，模型就会把它们当成数值处理。
• V2 引入逐单元嵌入，并交替在行和列上做注意力，让网络能够推断：“原来，这一列的数字是1、2、3、4，可能是类别变量。”
• 代价是，V2 的复杂度变为 N²·M + N·M²，而 V1 仅在行维度上呈二次复杂度。V2 可处理10K行；v2.5借助更强的 GPU 扩展到100K行。V3 采用 TabICL 架构，用更复杂的列-行 transformer 处理嵌入，并改进输出头和多类别处理。次二次注意力已经进入路线图；表格领域对应语言局部性的先验，“可能是嵌入空间中的某种局部性”。
• 回归任务被转化为约10,000个自适应区间上的分类问题，因为博士生 Samuel Müller 的实验显示，这种方式优于均值-方差输出头——transformer 天生更适合分类。收益是经过校准的多峰预测：鸟飞向一根杆子时“要么向左转，要么向右转……中间几乎没有概率质量”，而这一切都能在一次前向传播中完成。

9. 表格的测试时计算：选项丰富，但不包括传导式推理

• 尽管 Scarfe 受到 ARC Prize 启发而对传导式推理兴致很高，Hutter 仍倾向于放弃它。他希望保留这样一种接口：一个测试点的预测不依赖其他测试点，“因为数据科学家根本不会拥有这种条件……如果你把同一个数据点放进不同批次，得到不同结果，会非常奇怪”。半监督学习仍然可以保留。
• 他认可的选项包括：对容易预测的点提前退出；在合成生成的相似数据集上微调，一名硕士生已经证明这对极小数据集有帮助；基于梯度的提示调优——选择甚至“幻觉生成10万个数据点，让它们更好地近似这10亿个数据点”；以及在不同先验训练的网络之间通过前向传播进行模型选择。“能做的事情太多了，我认为上限非常高。”
• 可解释性方面，一个亮点是：前博士生 Robin Schirrmeister 把一个1,000点的医疗数据集压缩为2个提示数据点，同时保持相同预测性能，形成即时原型。梯度还可以用于特征重要性和数据点影响分析，也能识别对抗攻击或有影响力的离群点：“这是一个完全支配我模型的数据点——不包括它，再训练一次怎么样？”普通 XGBoost 无法以这种形式提供这些能力。

10. TabArena：用 Elo 衡量表格模型，靠极致维护实现2美元复现

• TabArena 起初是一个多机构合作项目，由当时在 AWS、同时也是 AutoGluon 构建者的 Nick Erickson 主导；AutoGluon 被称为“当时最好的表格数据 AutoML 系统”。Erickson 和几位合作者后来加入 Prior Labs。与 LM Arena 不同，TabArena 不需要人工评审：真实训练集和测试集划分提供客观标准，再叠加 Elo 赛事。
• 关键在于数据卫生：这是一个持续更新的基准，所有产物和每个划分的预测都公开，并经过独立复现；“在 GPU 上运行自己的基准，成本大约只有2美元”。在 Beyond TabArena 中，样本少于100个的数据集，以及只是表面上像表格的数据集都会被剔除。MNIST-as-columns 被排除，是因为“你应该直接使用视觉分类器”，表格数据不应携带空间邻居模式。
• 对于 Scarfe 关于数据泄漏的担忧——生成合成训练数据会不会污染基准？Hutter 的回答很直接：基准来自真实社区数据集，从数千个数据集中筛选而来，每个纳入决定都有记录；用于训练的合成数据不会被放入基准。

11. Google 的 TabFM：“模仿是最真诚的奉承”——护城河在速度与规模区间

• 录制前约3周，Google 发布 TabFM，采用同一架构家族和相似类型的先验，并借助 Google 算力将规模扩大约30x。Hutter 的坦诚判断是：“它更强并不奇怪”，但“可能一开始就做得太大了”——其单次前向传播约比 TabPFN 慢15x；即便是 Prior 的思考模式测试时计算——比标准模型慢10x——也仍然比一次 TabFM 前向传播更快，同时 Elo 更高。
• 规模区间的不对称定义了竞争格局：TabFM 在极小和小型数据集上更强；在中等规模、最多100K个数据点时基本打平；但在 Beyond TabArena 中超过约100K行的数据集上“直接因为内存不足而崩溃”。Prior 此前已将重点转向可扩展至1,000,000个数据点的 TALENT 基准，以及非 IID 数据复杂性。Hutter 承认，“这是一个很好的提醒，我们也应该多关注一些” TabArena，但不愿“过度围绕它优化”。
• 除了算力，Prior 声称的护城河还在先验工程：通过迭代、原则化的流程编码真实世界数据可能如何生成，再逐一测试失败模式。

12. 因果关系是远大目标：从观测数据预测干预结果

• 教学案例是这样的：患病患者会接受药物治疗，剂量又随病情严重程度增加。预测模型可能得出“药物→疾病”的结论——“你可能会想，既然如此，那就停止给药，他们就不会患病了；但这种想法显然很荒谬。”Pearl 的 do-operator 与观测之间的区别，正是问题核心；但在实践中，“你经常根本不知道因果图是什么”。
• PFN 的做法是：在元训练阶段采样一张因果图，观测其中的变量，再对同一个采样系统施加干预并观察结果；模型在数亿张因果图上学习：“如果我看到这些类型的观测，并实施这种干预，就会得到这样的结果。”对于不可识别性，模型会诚实处理：如果 A→B 和 B→A 的可能性相同、预测结果又不同，输出就会呈现50/50的双峰分布，中间概率质量为零。这就是 Do-PFN，由 Hutter 与导师 Bernhard Schölkopf 共同开发；Hutter 称 Schölkopf 是因果机器学习领域被引用次数最多的科学家。来自 Layer6 和多伦多大学的 CausalFM 论文第一作者“就在上周”加入了 Prior。
• 论文已经显示，因果基础模型可以接近 RCT 水平的表现，同时减少所需的 RCT 数据点数量——“这会彻底改变医学和 A/B 测试……让药物更早进入市场，同时保持相同甚至更高的置信度”。Hutter 随即补充限定：“我们需要把这件事做得严谨，并建立在理论基础上……这是高风险领域。”一篇 ICML 后续论文允许领域科学家固定已知边，例如 A 导致 B，并据此收窄后验；概率结构提取和根因分析则“是我们正在研究的方向——目前的模型还做不到”。
• 对于能力边界，Hutter 怀疑 LLM 能否仅凭数据发现观测特征之间正确的因果关系。LLM 会压缩知识并“形成引理”，但“我不认为它们会从数据中得出特征之间真正正确的因果关系……因果关系就在数字和统计规律里，而这正是 LLM 不擅长的地方。我也不认为它们近期会在这方面变强”。真正的挑战，是把世界知识与数据本身揭示的规律结合起来。

13. 企业落地路径与商业模式：许可、API 与代理式 token 经济

• 表格数据是“企业中最常见的数据模态”，但新用户往往“拿 LLM 去处理表格数据，然后看着它彻底栽跟头”。Hutter 的治理建议与 LLM 实践类似：集中管理，由一个团队负责微调、失败模式，以及“在拥有10亿个数据点时，什么时候需要检查 XGBoost 是否仍然更好”。
• 收入来源包括：免费非商业开源使用、生产许可费、思考模式和扩展模式、小数据专用模型、微调即服务（可以由客户自行运行，也可以由 Prior 运行）、托管 API，以及私有 VPC。托管 API 的价值在于通过批处理让 GPU 保持繁忙；如果客户预留一块 GPU，“那块 GPU 可能一直闲置”。产品还将通过 Azure、AWS 和 SAP Generative AI Hub 提供。
• 未来的核心押注是代理驱动的使用方式：“LLM 会调用计算器，因为它们更擅长数学；同理，它们也应该调用表格基础模型，因为后者更好、更便宜。”Scarfe 判断，任何 Anthropic 用户听到这段话后的第一步，都会是修改系统提示词，把表格任务路由给 TabPFN。Hutter 的回应是：“没错，就应该这么做。我们已经准备好了 skills 文件和一切配套。”
• 关系型数据是由开源社区“免费带进来”的：有一种嵌入可以把关系数据库查询展平成一张表；在原始 RelBench 上，TabPFN 3 开箱即用就击败了 KumoRFM，改进版基准即将发布。Hutter 确认，多表、图和树先验原则上都可实现：“这显然就是构建先验的核心方向……上限非常高。我认为这些事情一定都会发生。”

14. SAP 收购、以 DeepMind 为样板的开放研究部门，以及3.5的胜利巡礼

• Hutter 透露：“我们刚刚被 SAP 收购，现在有大量资金可用……收购的首要动机是 DeepMind。”目标是打造全球最适合工作的地方，“持续发表大量研究”，并建立完全开放的研究部门，与弗赖堡、多伦多/Layer6、新加坡以及蒂宾根的 ELLIS Institute 等大学和研究机构合作。招聘数据也说明竞争激烈：申请者超过11,000人，最终录用45人；招聘信息见 priorlabs.ai/careers，定位是来自弗赖堡的欧洲前沿 AI。
• 录制后的更新为本期论题落下实锤：TabPFN 3.5“在7项不同的表格相关基准中拿下第一”，覆盖含文本表格、多模态数据和关系型数据的任务；它在帕累托意义上压过其他表格基础模型，“在质量相同的情况下，单次前向传播速度是 TabFM 的20倍；或者在仍然更快的情况下，Elo 高出100多分”。最大提升来自 Beyond TabArena 的真实复杂性数据。
• Hutter 讲述的压轴案例是：Nick Erickson 参加了2015年的历史 AutoML Challenge Kaggle 竞赛，面对3,500名参赛者和10,000美元奖金，最终获胜方案是一个包含36个模型、配合手工特征的堆叠集成；此前 AutoGluon 已经能在96个 CPU 上用24小时进入前1%。而使用 TabPFN 3.5，“只用一行代码、1分钟计算”，在单张 RTX PRO 6000 C GPU 上就拿到了第一名。Scarfe 的结语是，他已经把它用作 Discord 垃圾信息过滤器——“需要一台相当强的机器”，但非商业使用免费。