临床预测模型外验证的样本量怎么算？BMJ深度解读，外验证类型与实战代码

昨日粉丝群中有小伙伴提问，临床预测模型外验证样本量有什么要求吗？小编在22年的时候分享过预测模型样本量，PROBAST申明(模型建立质量)则推荐高质量预测模型研究构建模型需要EPV或EPP≥20，验证模型需要阳性事件≥100。由于来源文章是2015年BMJ，已经过去9年(时间过飞逝真是丧心病狂)。那么9年后的今天，机器学习和临床预测模型越发成熟且科学，是否这一观念被更改呢？

下面我们重现BMJ2023年底三篇临床预测模型评估指南(如下图1)，一起科学理性的探讨最新的结论。三篇顶刊阅读，https://www.bmj.com/content/384/bmj-2023-074819.long，https://www.bmj.com/content/384/bmj-2023-074820.long，https://www.bmj.com/content/384/bmj-2023-074821.long。分别从训练验证、外验证、外验证样本量细说补充了临床预测模型知识拼图。

现有的临床预心血管疾病预测模型有超过300 个，新冠肺炎有600 个以上的预后模型，可以说的遍地开花。随着数据可获得性的增加、出版的压力以及对基于人工智能和机器学习的方法(如深度学习和随机森林)的兴趣激增),预测模型正在大规模发展。然而，大多数模型都缺乏代表性目标人群和代表性临床环境中的性能评估，这反而会模糊预测模型价值。

一、背景

临床预测模型使用变量的组合来估计个体的结果风险，评估预测模型的性能至关重要，验证研究至关重要，因为开发不佳的模型可能有害或加剧医疗保健提供或后续医疗保健结果的差异。评估应在代表模型实施的预期目标人群的数据集中进行。一个模型的预测性能在开发数据集中通常看起来很好，但在单独的数据集中评估时，即使来自同一人群，也会低得多，一般应避免在模型开发时分割数据，因为这会丢弃导致模型更不可靠的数据，同时留下的数据太少，无法可靠地评估其性能，应协同努力，利用所有可用数据建立尽可能最好的模型，更好地利用再验证方法进行内部验证，并利用内部-外部验证来评估模型的性能和跨组群的通用性。为了更好从理论上说明临床预测模型，BMJ提供了术语摘要，见下图。

二、开发模型内部验证

当评估过程使用与模型开发相同的数据时，称为内部验证。无论采用哪种开发方法，后续的验证部分都是必不可少的，因为任何开发新预测模型的研究都应无一例外地评估模型对目标人群、背景和结果的预测性能。TRIPOD声明 BMJ 2015总结了如何最好地使用可用数据来开发临床预测模型，并以公正、公平和信息丰富的方式评估其性能。每种策略都有瑕疵，也都有优点，根据实际数据自行缜密选择。

2.1随机拆分内部验证

随机分割法分训练集与验证集，有时候会被SCI描述为独立两数据，其实是来自相同的源数据不独立。Split后会产生两个较小的数据集，而且通常整个数据集一开始样本量就不够大。如果开发数据集过小，则不利于构建模型，并增加过度拟合和产生不可靠模型的可能性；而如果测试集过小，就无法可靠、精确地估计模型性能。

尽管模拟数据显示数据拆分不是必要的，但是主流生物医学和机器学习文献依旧是拆分。原因有2个，1是复杂复杂度较高的模型（如深度学习）无法重采样，多源数据库无法合并只能拆分。作者提醒subset随机拆分测试部分评估时发现性能不佳，研究人员可能会受到诱惑，进而重复分析，再次拆分数据，直到获得理想的结果，误导读者相信模型具有良好的性能。哈哈，这个小诀窍被曝光了。其实若干年前，小编就发现这样的问题了，所以测试很多批次选最佳结果报道是个技术活。

2.2 重采样bootstrap、k-fold内部验证

bootstrap首先使用整个数据集来开发预测模型并估计其表观性能,然后对估计值并进行乐观调整。Bootstrap过程：1使用全部原始数据开发预测模型并计算表观性能→ 2通过从原始数据中抽取具有替换的个体来生成bootstrap样本（与原始数据大小相同）→3建立bootstrap模型、表观性能（例如，c统计量、校准斜率）（自助性能）→ 确定bootstrap模型在原始数据中的性能（测试性能）→ 4计算乐观度，即自举模型性能与测试性能之差→ 5重复步骤2至4多次（例如，500次）对乐观的估计值取平均值→ 6从步骤1中获得的表观性能中减去平均乐观度，以获得性能的校正乐观估计。bootstrap是一种比样本分割更高效的内部验证方法，可以获得最接近大样本性能的估计值。缺点是对于非常大的数据集，进行自举的计算负担太大。k-fold交叉验证法与自举法的性能相当，所有可用数据都用于建立模型，所有可用数据都用于评估模型性能。

2.3 非随机拆分

非随机拆分包括，时间（时间验证）或按位置（地理或空间验证）进行拆分，这些方法会导致在模型开发过程中无法探索时间和地点特征对结果的影响。在时间验证中，一个时间段的数据用于开发预测模型，而另一个（非重叠）时间段的数据用于评估其性能。随着时间的推移，手术技术的改进使得更多的患者在手术中存活下来，因此模型预测的存活率会随着时间的推移而降低，这将影响模型的校准。BMJ建议应考虑采用持续更新模型的方法来防止校准漂移或使用动态预测模型。另一种选择是时空重新校准，即在整个数据集中估计预测效果，但在最近的时间窗口中估计基线风险。如果考虑拆分，应只拆分一次（即在取得良好结果之前不重复拆分），确保足够的观测量用于开发和性能评估。

2.4 模型开发评估：内部-外部交叉验证

现在大型电子健康记录数据库、多中心研究的数据越来越多地被提供并用于预测模型。研究人员可能会倾向于对数据进行某种形式的（地理或空间）分割，仅使用部分数据（例如，一组中心、一个国家的地区或一组研究）来开发模型，其余数据用来评估其性能。此时，内部-外部交叉验证是一种更有效、信息量更大的方法，它可以检验模型性能的异质性和普遍性。

2.5 外部验证

外部验证是指在一个新的数据集中对现有模型的性能进行评估的过程，其目的是证明模型在用于开发模型的数据之外（如在不同医院、不同国家）的通用性和可移植性。外部验证过程不涉及重新调整模型，目的是量化最初模型的预测准确性。如果模型开发数据集规模大且能代表目标人群（包括结果和预测因子测量），并且内部验证做得恰当，可能根本不需要立即进行外部验证，前期进行2.4内外交叉验证也足够了。当然，特定预测模型的每个预期目标人群或环境都应有相应的验证工作。越多的外部验证研究显示良好（或可接受）的性能，模型就越有可能在其他未经测试的环境中发挥作用。BMJ指南鼓励研究人员评估模型在其他关键亚群体（如性别、种族/民族群体）中的表现，尤其是当样本量足够大，且数据收集方式适当，能代表模型适用人群时更是如此。BMJ指南建议参考"预测模型偏倚风险评估工具"（PROBAST）中关于研究对象筛选(来源、纳排)、预测因子和结局的三个因素，以明确外部验证数据集的内容和质量是否符合研究目的，获得高质量的外部验证数据。越多的外部验证证实模型在不同人群和环境中的性能良好，该模型就越有可能在未经测试的人群和环境中发挥效果。外部验证的重点分可重复性（Reproducibility）、可移植性（Transportability），前者来源的人群和环境相似，后者不同人群或环境。

2.6 内外验证总结

小编总结如下表。

“

BMJ不推荐直接73这样的随机拆分尽管目前依然是主流(很矛盾啊)。而是倾向采用bootstrap或kfold重抽样进行交叉验证，或者cluster+ meta分析的internal-external 验证方法。前期开发模型足够，后期再外验证。一个临床预测模型永远不会被完全验证，因为它的预测性能可能会在不同的目标环境、人群和亚群中发生变化，并且可能会随着时间的推移而劣化。因此，外部验证研究在模型验证中既是必要又是应持续的内容

三、预测性能量化指标

3.1 整体拟合效果

R2常用于量化连续性结局预测模型的总体性能，含义为能用模型解释的结果值总变异的比例，数值越接近1代表模型的预测效果越好。通常情况下，R2乘以100即为模型所解释变异的百分比。对于连续型结局，可通过计算参与者的观察结局与模型估计结局之间的平方差均数来进行外部验证。对于二分类或生存结局，除均方误差（MSE）指标外，还可采用Brier评分（衡量模型预测的结局可能性和实际观察结局之间的差异）。

3.2 校准度

校准(Calibration)指评估观察到的事件概率与模型估计的事件概率（风险）是否一致。校准应使用校准图进行可视化，将外部验证数据集中的观测值与预测值进行比较，校准图必须包括平滑的校准曲线（带有置信区间）。验证数据集与开发数据集的差异越大、低质量方法（如小数据集、无代表性样本、无惩罚性回归而非惩罚性回归）开发的模型在外部验证时发生错误校准的可能性也更大。指南不建议使用Hosmer-Lemeshow检验或相关检验（如Nam-D'Agostino检验或Gronnesby-Borgan检验）来评估校准，因为这些检验需要对参与者进行任意分组，而分组与样本量会影响计算出的P值，并且不能量化任何错误校准的实际幅度或方向。校准应通过校准斜率（理想值为1）、校准截距（理想值为0）以及二分类或生存结局的观察值/预期值（O/E）比（理想值为 1）或相反的E/O比来量化。单靠一个校准指标并不能全面反映情况。例如，在示例中，O/E（观察/预期）比值为1.01（1.01至1.02），表明总体一致性良好，但由于高风险个体被模型进一步高估，校准斜率为0.72（0.70 至 0.75）。因此，所有校准指标应一并报告，并在报告校准图的同时附上平滑校准曲线。

校准过程已经被广泛推荐应用于验证研究中。从实际应用的角度来说，校准曲线至少要在与临床决策相关的概率范围的区域内保持精确。BMJ2023指南建议绘制校准曲线的经验分布图(用样本分布来估计总体分布)，这些曲线是根据特定选择的目标标准误（例如，校准斜率的置信区间宽度为0.3）确定样本量的数据集产生的，以评估校准的变异性，尤其是在包含与决策相关的临界值的区域。具体方法如下：1.使用与样本量计算中相同的假设，模拟生成大量数据集（例如，100或200个） 2.分别为每个数据集绘制校准图，包括校准曲线。3.在一张图上叠加所有校准曲线，以反映在该样本量下的单个外部验证研究在实践中可能观察到的校准曲线范围。如果目测变异性较高，则需要更大的样本量。反之，如果变异性低，则样本量较少即可，尤其是在认为无法达到原始样本量前提下。4.如前所述，研究人员至少要确保与临床决策最相关区域的曲线变异性较低。

3.3 区分度

区分度由一致性统计量（c）来量化：数值为1表示模型具有完美的判别能力，数值为0.5表示模型的判别能力不优于偶然性。在某些存在强预测因子的领域，0.8的c值可能被视为高值；但在其他预测较为困难的领域，0.6的c值可能被视为高值。c统计量也被拓展应用于生存模型，最显著的是Harrell的c指数，但也有许多其他变体可用，包括Efron’s估计值, Uno’s 估计值, G?ner and Heller’s估计值以及病例组合调整的估计量，还有RoystonD统计量的数值越大，表明辩别力越高。

3.4 临床效用

模型评价目标是预测以指导医学决策，还应评估预测模型对参与者和医疗保健结果的总体收益，也称为其临床效用（clinical utility）。临床效用可通过净效益进行量化，净效益是权衡效益（如改善患者预后）与危害（如患者预后恶化、增加成本）的指标。

四、外验证样本量

外部验证研究的样本量应足够大，以精确估计感兴趣模型的预测性能。许多现有的验证研究都太小，这导致性能估计的置信区间很宽，并可能误导关于模型可靠性。2015年以前，提出了样本大小的经验法则，例如至少有100个事件和100个非事件。这些经验法则提供了一个起点，但存在问题，因为它们既不特定于模型，也不特定于临床环境，并且精度还取决于事件和非事件数量以外的因素。

本文总结了，y连续与y二分类时候的外验证样本量计算方法。计算出的最大样本量应作为外部验证研究的最小样本量，以确保4种性能估计指标的精确度。

实战案例如下

五、发散思维

BMJ2023三篇文章解释了不同类型内部验证评估方法和原则、外部验证研究的设计和分析，以及样本量计算对于精确评估预测模型性能的重要性。真实世界中，还有y缺失、y为time-to-event等预测问题，都需要后续进行方法学拓展。小编感觉，其他参数已经太复杂了，具体算法的Stata和R代码可在https://www.prognosisresearch.com/software上获得。

六、小结

“

①开发模型样本量pmsampsize，外验证模型样本量pmvalsampsize计算，y连续和y分类分别至少需要考虑4、 3个参数。②数据集不推荐拆分，但拆分仍然是广泛使用且务实的方法。更推荐bootstrap、5-10-fold 重抽样。③internal-external cross validation 也是一个方法，需要结合meta分析获取参数pooled值。④无论随机还是非随机内验证、外验证都是后续模型要做的。模型性能评价体系不变，最好加上校准曲线经验分布图。