多模态数据预测模型-前沿技术：深度系列1

近3个月一直在从事多模态融合相关科研，问了一圈人都说没有详细资料如何进行多模态融合。于是自己被迫动手全面检索了pubmed顶刊（求人不如求己啊）。最终找到几篇非常赏心悦目多模态顶刊文献，以飨读者。分享是一种美德，所以觉得好请小伙伴们也多多点赞啊（你们好久没点赞了）。

多模态系列文章分为3篇，篇幅所限，本文为第1篇肿瘤领域多模态。不过作为方法学是共通的，文章全面阐述了多模态来龙去脉，非常非常NB的文章。我花了1天时间深度解读。

一、前言

肿瘤患者状态特征涵盖了从放射学、组织学、基因组学到电子健康记录等一系列模态。当前的人工智能 (AI) 模型主要局限于单一模态，忽略了更广泛的临床背景，这不可避免地削弱了它们的潜力。不同数据模态的整合有望提高诊断和预后模型的稳健性和准确性，使 AI 更贴近临床实践。AI 模型还能够发现模态内部和跨模态的全新模式，从而解释患者预后或治疗耐药性的差异。从这些模型中获得的洞见可以指导探索性研究，并有助于发现新的生物标志物和治疗靶点。本文探讨临床应用中的挑战，并讨论新兴的解决方案，概述了用于多模态数据融合和关联发现的 AI 方法和策略、AI 可解释性的方法、通过多模态数据互联进行 AI 驱动探索的方向。

二、AI算法框架

AI算法比经典统计多了需要高阶算法。这里着重强调的是按照y=01是否有标签label的分类方法，没有按照上一篇文章动态预测静态预测进行划分。确切说，AI算法用于多模态数据与传统多维度ML稍微不同，主要是算法，也分为完全监督、弱监督、无监督三类。AI可以整合多模态数据融合，也可多模态互联。这里对2022年一篇cancer cell范文方法学介绍。

三、多模态融合

常见融合策略按信息整合的时间点划分为三类：早期融合（Early Fusion）、晚期融合（Late Fusion）和中期融合（Intermediate Fusion）。

3.1 早期融合

早期融合在输入级别整合所有模态的信息，然后再将其输入到单个模型中。模态可以表示为原始数据、手工制作的数据或深度特征。联合表示通过向量连接、逐元素求和、逐元素乘法（Hadamard 积）或双线性池化（Kronecker 积）等操作构建。在早期融合中，只训练一个模型，这简化了设计过程。然而，假设单个模型非常适合所有模态。早期融合需要模态之间一定程度的对齐或同步。虽然这在其他领域更为明显，例如语音识别中的音频和视觉信号同步，但它在临床环境中也很重要。如果模态来自明显不同的时间点，例如干预前后，那么早期融合可能不是合适的选择。 早期融合的应用包括整合相似的模态，例如用于乳腺癌检测的多模态、多视图超声图像，或融合结构 CT 和/或 MRI 数据与代谢 PET 扫描以进行癌症检测、治疗计划或生存预测。其他示例包括将成像数据与电子病历 (EMR) 融合，例如整合皮肤镜图像和患者数据以进行皮肤病变分类，或融合宫颈造影和 EMR 以进行宫颈发育不良诊断。一些研究调查了基因表达变化与组织形态之间的相关性，将基因组学数据与组织学和/或放射学图像相结合，以进行癌症分类、生存期和治疗反应预测。

3.2后期融合

决策级融合，为每种模态训练单独的模型，并聚合各个模型的预测结果以得出最终预测。聚合可以通过平均、多数投票、基于贝叶斯的规则或 MLP 等学习模型来执行。后期融合允许为每种模态使用不同的模型架构，并且不会对数据同步造成任何限制，这使其适用于具有大量数据异构性或来自不同时间点的模态的系统。在数据缺失或不完整的情况下，后期融合仍保留了预测能力，因为每个模型都是单独训练的，并且即使模态缺失也可以应用多数投票等聚合操作。同样，无需重新训练整个模型即可包含新的模态。由于年龄或性别等简单的协变量很简单，因此通常会通过后期融合包含它们。如果单峰数据彼此之间缺乏互补性或相互依赖性，后期融合可能更佳，因为与其他融合策略相比，后期融合的架构更简单，参数数量也更少。这在数据有限的情况下也大有裨益。此外，各个模型的误差往往不相关，从而可能降低后期融合预测的偏差和方差。当不同模态的信息密度存在显著差异时，共享表征的预测可能会受到最主要模态的严重影响。在后期融合中，可以通过在聚合步骤中为每个模态设置相等或不同的权重，以可控的方式计算每种模态的贡献。 后期融合的例子包括将成像数据与非成像输入整合，例如将 MRI 扫描与 PSA 血液测试融合以诊断前列腺癌，将组织学扫描与患者性别融合以推断转移性肿瘤的起源，将基因组学与组织学特征融合以进行生存预测，将治疗前 MRI 或 CT 扫描与 EMR 相结合以进行化疗反应预测和生存估计。

3.3 中间融合

中间融合是一种策略，其中多模态模型的损失会传播回每个模态的特征提取层，以迭代方式改进多模态背景下的特征表示。相比之下，在早期和晚期融合中，单模态嵌入不受多模态信息的影响。中间融合可以组合不同抽象级别上的各个模态。此外，在具有三个或更多模态的系统中，数据可以一次性融合，也可以跨不同级别逐渐融合。中间单级融合类似于早期融合，然而，在早期融合中，单模态嵌入不受多模态上下文的影响。逐渐融合允许组合同一级别上高度相关通道的数据，迫使模型考虑特定模态之间的互相关性，然后在后面的层中与相关性较低的数据融合。例如，在首先融合基因组学和组织学数据，以解释突变和组织形态变化之间的相互作用，而在后一层考虑与宏观放射学数据的关系。在某些应用中，渐进式融合已显示出比单级融合更好的性能。 引导式融合使用一种模态的信息来指导从另一种模态中提取特征。例如基因组学信息指导组织学特征的选择。其动机是，在存在特定突变的情况下，不同的组织区域可能是相关的。引导式融合学习共同注意分数，该分数反映了在存在特定分子信息的情况下不同组织学特征的相关性。 通过多模态模型学习共同注意分数，其中基因组学特征和相应的基因组学指导的组织学特征相结合以进行最终的模型预测。 中级融合的示例包括多种成像模式的整合，例如肺癌检测中的 PET 和 CT 扫描融合、前列腺癌分类中的 MRI 和超声图像融合或在胶质瘤分割中结合多模型 MRI 扫描。多种多组学数据的融合用于癌症亚型或生存预测。基因组学数据已与组织学或乳房 X 线照片图像结合使用，以改善生存预测。不同放射学模式的引导融合用于改善肝脏病变和乳腺组织异常的分割。EMR 用于引导从皮肤镜和乳房 X 线照片图像中提取特征，以改善病变的检测和分类。陈等人。 利用基因组学信息来指导组织学特征的选择，以改善多种癌症类型的生存预测。 没有确凿的证据表明一种融合类型最终比其他类型更好，因为每种类型都与数据和任务密切相关。

四、多模态可解释性

可解释性是人工智能开发、部署和验证的关键要素。由于AI模型能够发现自身特征，人们担心这些模型可能会使用虚假的捷径进行预测，而不是学习与临床相关的方面。此类模型在面对新数据时可能无法进行泛化，或会区分代表性不足的人群。另一方面，这些模型可以发现新颖且与临床相关的见解。

4.1 组织病理学可解释性

VIT 或 MIL 可以揭示每个图像块对于模型预测的相对重要性。注意力分数可以映射到它们的空间位置以获得幻灯片级注意力热图，其中训练了一个 MIL 模型来对 WSI 中的癌症类型进行分类。虽然没有使用手动注释，但该模型学会了识别每种癌症类型的特定形态并区分正常组织和恶性组织。类激活方法 (CAM)，例如 GradCAM或 GradCAM++，允许通过计算输入的变化如何影响每个预测类的模型输出来确定模型输入（ 例如像素）的重要性。GradCAM 通常与引导反向传播方法（即所谓的 Guided-GradCAM）结合使用，其中引导反向传播确定 GradCAM 指定的预测区域内的像素级重要性。这在 Fig. 4B 中有所说明，其中训练了一个 CNN 来对图像块中的癌症亚型进行分类。相比之下，在注意力方法中，每个实例的重要性是在训练期间确定的，而基于 CAM 的方法与模型无关 ，即独立于模型训练。

4.2放射学可解释性

放射可解释性方法与组织学中使用的方法类似。注意力分数可以反映 3D 扫描中幻灯片的重要性。例如，在 Fig. 4D 中，MIL 模型经过训练可预测胶质瘤患者的生存率。该模型将 3D MRI 扫描视为一个袋子，其中轴向幻灯片被建模为单个实例。即使在没有手动注释的情况下，该模型也会对带有肿瘤的幻灯片给予高度关注，而对健康组织给予较低关注。因此，可以部署基于 CAM 的方法来定位单个幻灯片内的预测区域 ( Fig. 4F )。

4.3 组学数据可解释性

组学数据可以通过积分梯度法进行分析，该方法计算归因值，指示特定输入的变化如何影响模型输出。对于回归任务（例如生存分析），归因值可以反映重要性的大小以及影响的方向：具有正归因的特征会增加预测输出（ 即更高的风险），而具有负归因的特征会降低预测值（ 即更低的风险）。在患者级别，这些可视化为条形图，其中 y 轴对应于特定特征（按其绝对归因值排序），x 轴显示相应的归因值。在人群级别，归因图描绘了归因分数在所有受试者中的分布。 Fig. 4C 显示了用于预测胶质瘤患者生存率的大多数基因组学特征的归因图。其他表格数据（例如手工制作的特征或从 EMR 获取的值）可以用相同的方式解释。 EMR 也可以通过自然语言处理 (NLP) 方法进行分析，例如 Transformers，其中注意力分数决定了文本中特定单词的重要性 ( Fig. 4E .)

4.4多模态模型可解释性

归因图还可以确定每种模态对模型预测的贡献。所有前面提到的方法都可以在多模态模型中使用，以探索每种模态的可解释性。此外，还可以研究单模态和多模态环境下特征重要性的变化，以分析多模态情境的影响。 可解释性方法通常不包含任何准确度指标，因此务必避免过度解读。虽然基于 CAM 或注意力机制的方法可以定位预测区域，但它们无法明确哪些特征是相关的， 也就是说， 它们可以解释位置 ，但无法解释原因 。此外，也无法保证所有高关注/归因区域都具有临床相关性。高分仅仅意味着模型认为这些区域比其他区域更重要。

五、多模态数据互联-应用场景

多模态数据互联的目的是揭示不同模态之间的关联和共享信息。此类关联可以为癌症生物学提供新的见解，并指导新型生物标记物的发现。虽然数据探索的方法有很多，但我们在此仅列举几个可能的方向。

5.1形态学相关性

肿瘤的恶性转变通常表现为跨尺度的变化。致癌突变影响细胞行为，进而重塑组织形态和肿瘤微环境。这些微观层面的改变可能在组织学图像中体现出来，并最终影响宏观成像表现，如 PET 或 MRI。已有研究证实，某些癌症的基因突变可直接从 H&E 染色的组织切片图像中推断出来，涵盖肺癌、肝癌、膀胱癌、结直肠癌、甲状腺癌等多个肿瘤类型。此外，AI 还可从图像中预测如基因表达、激素受体状态、肿瘤突变负荷和微卫星不稳定性等多种分子标志物。在影像学领域，AI 模型可通过 MRI、CT 或乳腺钼靶图像预测诸如 IDH、BRCA、EGFR、KRAS 等突变状态。这类方法强调图像数据中蕴含丰富的生物学信息。通过可解释性技术，模型不仅可预测突变，还能定位相关的组织区域，识别形态特征（如细胞核大小、密度），并通过聚类或降维进一步分析这些特征与突变之间的关系。这类形态学关联特征可作为经济高效的替代生物标志物，特别适用于资源有限地区的筛查需求，同时也有望成为新的治疗靶点。

5.2非侵入性替代方案

人工智能还可揭示非侵入式影像检查与传统组织学评估之间的联系，为患者提供更安全、便捷的替代方案。例如，AI 模型可根据肺癌、脑癌、肝癌等疾病的影像特征预测其组织学分型或病理分级。通过进一步分析模型关注的影像区域，可提取纹理、形状、密度等放射组学特征，这些特征有可能与病理结果高度相关，从而成为现有生物标志物的非侵入性替代指标。这类方法不仅可提升临床诊断的效率，也拓展了影像数据的应用边界。

5.3 结局预测与预后建模

在个体化治疗背景下，临床对预测生存期、复发概率、治疗反应和毒性风险的需求日益增长。人工智能模型在使用单一或多模态数据预测上述结局方面表现突出，尤其在融合组织学图像与基因组信息后，可获得更具区分度的预后模型。模型通过注意力机制可识别与高低风险患者对应的图像区域，同时分子特征可通过归因图揭示其对模型预测的贡献。这些信息可与组织结构、细胞亚型、肿瘤免疫细胞共定位等特征结合，用于推断如“免疫热肿瘤”或“免疫冷肿瘤”的潜在生物学机制。此外，已有研究发现如肿瘤-基质比、肿瘤面积与淋巴结区域比率、乳腺组织胶原纤维排列或结直肠组织空间结构等，也可作为与预后相关的形态学指标。这些发现进一步表明 AI 有能力识别新的预后标志物并辅助风险分层。

5.4 早期预测指标

人工智能还能在疾病确诊前，基于电子病历（EMR）等数据识别潜在风险因素。EMR 包含病史、用药、免疫接种等丰富信息，AI 模型可挖掘这些数据中的潜在模式，从而识别高风险患者或预测治疗反应、住院时长等结局。通过聚类分析，AI 能识别具有不同结局趋势的患者亚组，并结合特征归因图，评估患者级和群体级的影响因子。这些特征可应用于人群筛查或精准干预。在医院之外，可穿戴设备也提供了另一个重要数据来源。如步数减少等行为变化已被证明能预测住院风险、毒性反应或疾病恶化。现代设备支持的生理参数监测，如体温、血氧、心率等，可以与临床数据联合用于风险建模。未来，个性化监测技术（如汗液检测、可吞咽传感器）有望进一步丰富数据来源，为 AI 提供新的建模维度，实现对患者状态的实时精准感知和干预。

六、多模态挑战

多模态AI真正落地仍面临一系列复杂挑战。这些挑战不仅源于AI本身的技术局限性，还因多模态数据结构的高度异质性和临床流程的复杂性而被进一步放大。

6.1缺失数据问题

多模态数据常常存在不完整的情况，例如某些模态（如基因组或影像）在部分患者中完全缺失。这会显著限制可用于训练的数据规模，也增加模型部署时的失败风险。 应对策略：① 合成数据补全：可通过监督或无监督模型生成缺失模态的“替代表示”，如使用 GAN 技术模拟缺失图像。然而，在预测未知特征（如治疗反应）或探索性任务（如生物标志物发现）中，合成数据的可用性和真实性尚具争议。② 鲁棒建模方法：例如 EmbraceNet 类似于 Dropout 的机制，可在模型训练与推理时适应不同模态的缺失。该策略允许模型在某些输入缺失时仍保持稳定性能，提升在临床中应用的可行性。

6.2数据对齐与融合难题

实现多模态数据整合需要一定程度的空间、时间或样本级别对齐。然而，医学数据在成像方式、取样方式、时间点等方面差异显著，导致跨模态对齐极具挑战。 对齐类型与难点：① 相似模态对齐（如MRI与PET）：可通过图像配准实现，但易受器官运动、成像伪影、术前术后变化等因素干扰。组织学图像对齐：因取自不同切片或不同染色处理，导致自动配准困难。当前仍依赖透明化、重复染色等手工方式。②不同模态对齐（如影像与基因组）：因样本处理机制不同（如组织破坏），无法直接配对测量，难以构建一对一映射。 先进技术探索：跨模态自编码器：通过编码器-解码器结构将不同模态映射到统一的潜在空间，实现模态间的互相转换。这为不同来源、不同尺度数据之间的信息协调提供了一种新型思路。

6.3模型透明性与临床可接受性

AI 模型，尤其是深度学习系统，通常存在“黑箱”特性，临床从业者难以理解其决策机制。这种不透明性限制了模型的临床信任度和推广使用。 建议：①强化模型可解释性：应鼓励使用注意力机制、归因图、可视化热图等方法，提高模型预测与医学知识之间的关联解释。②引入前瞻性临床试验：与药物或医疗器械类似，AI 模型应在真实临床环境中接受严格验证，明确其适用边界、优势与潜在风险。③制定专门监管路径：特别是针对 AI 发现的新型生物标志物，应建立与仿制药/生物类似物相似的审批通道，确保其在新场景下的稳定性和一致性。

七、发散思维

1. 多模态数据与常规临床多维数据区别

   

   
   

2. 多模态融合对齐前沿方法：跨模态自编码器

   

   
   

八、小结

多模态数据是未来。从算法到多模态融合、可解释性、应用场景来说，值得深耕。