50分nature小样本机器学习突破性新方法TabPFN-深度解析与代码复现

《Nature》在2周前发表了一篇“Accurate predictions on small data with a tabular foundation model”ML论文，对小样本数据机器学习算法在精度和速度上有突破性进展。

TabPFN代表了表格数据建模的一个重大变革，它利用上下文学习（ICL）自主发现了一种高效算法，在包含多达10,000个样本和500个特征的数据集上超越了传统的人工设计方法。这种向基于合成数据训练的基础模型的转变，为跨多个领域的表格数据分析开辟了新的可能性。未来可能的研究方向包括扩展到更大的数据集、处理数据漂移、研究相关表格任务之间的微调能力以及理解作者方法的理论基础。未来的工作还可以探索创建专门的先验知识以处理如时间序列和多模态数据等数据类型，或是专门的模态，如心电图、神经影像数据和遗传数据。随着表格数据建模领域的发展，作者相信像TabPFN这样的基础模型将在赋能研究人员方面发挥关键作用。

如此优秀的ML新方法，在医学领域肯定会大展宏图。聆听了周日easyDSM浪浪山AI团队的林老师分享的心得，受益匪浅，这里一并感谢。怀着兴奋与忐忑的心情，我自己花了8小时扎根nature原文深入学习本文心得分享如下，全部文献案例代码，见文末福利。

背景

人工智能的进化从手工创建的算法→端到端学习，计算机视觉中手设计的特征，如SIFT（尺度不变特征变换）和HOG（方向梯度直方图）→ 卷积所替代；自然语言处理中的基于语法的方法→ 变换器所替代；而游戏中定制的开局和残局库的设计→ 端到端学习策略所超越。TabPFN就是端到端学习扩展到表格数据领域。

1 表格方法学

表格数据，即RC表在过去的20年里，梯度提升决策树(GBDT)一直在表格数据处理中占据主导地位。表格先验数据拟合网络（TabPFN），是一种表格基础模型，在最多包含10,000个样本的数据集上，其性能远远超过了所有先前的方法，并且所需的训练时间显著减少。在分类设定下，TabPFN仅需2.8秒即可超越经过4小时调优的最强基线集成方法。作为一种生成式变换器基础模型，该模型还允许微调、数据生成、密度估计和学习可复用的嵌入。TabPFN是在数百万个合成数据集上学习得到的，通过提高跨不同领域的建模能力，TabPFN有潜力加速科学发现并增强各个领域的重要决策制定。表格数据集之间以及原始数据本身存在异质性：表格包含列特征，具有各种尺度和类型（布尔型、分类型、序数型、整数型、浮点型），数据不平衡或缺失、不重要的特征、异常值等。这使得非深度学习方法，如基于树的模型，占据主导，深度学习短板。传统的机器学习模型存在几个缺点：如果不进行实质性的修改，它们在分布外预测和从一个数据集到另一个数据集的知识迁移方面表现不佳。最后，它们难以与神经网络结合，因为它们不传播梯度。深度学习方法TabPFN，速度提升分别为 5140 倍（分类）和 3000 倍（回归）

2 TabPFN方法学原理

TabPFN是生成大量合成表格数据集，然后训练一个基于 Transformer 的神经网络来学习解决这些合成预测任务。

3 性能测评

4. 可解释性

5 代码复现

代码可在 https://priorlabs.ai/tabpfn-nature/ (https://doi.org/10.5281/zenodo.13981285) 获取。还提供了一个 API，使用户即使没有特定计算硬件（如 GPU）或具备最少的编码经验，也能运行 TabPFN。该代码被设计为模块化，并且可以在标准 Python 环境中轻松安装。

5.1 在线网站

5.2 API云端

API要钱，方便，但是总跑不出来。捉急。R包需要接入API。有能跑通的小伙伴，进群或文末留言还请不吝教授下经验。

5.3 python本地部署

本地部署过程较为繁琐，很多细节和坑，适合隐私或医院离线用。https://github.com/PriorLabs/TabPFN，尤其是torch的GPU无法运行，需要新增判定cpu还是gpu。解决方案和部署代码，我都放在文末福利了。

5.4 python案例实战

代码由easyDSM整理(感谢)，官方源代码格式不佳，来自https://colab.research.google.com/drive/1SHa43VuHASLjevzO7y3-wPCxHY18-2H6?usp=sharing#scrollTo=tTQe5IprKLV5，这里一并感谢他们无私奉献。目前尚无R代码，等待作者开放。

发散思维

1.tabpfn是精心打磨而成，耗时2.5年的巨作。

2.小样本表格数据是医学最常见的数据，rc表1万人500列数据实用性很强。LLM研究主要集中在语言上，表格目前很低，前景无限好。

3.本地部署> 网页版(小白)、API(没有GPU)

4.环境流行病、临床、护理学科等小样本、罕见病例数据应该尤其适用，大大拓宽了机器学习在小样本研究中的稳健和高精度，且多分类结局也更适用！

小结

“

TabPFN牛，<1万人*500列指标，精度高速度极快且稳定性极强，超越ML传统方法，尤其适合中小样本量机器学习，夸学科多模态未来无限可能。