EHJ近期发表的一项基于AI的谷歌街景建筑环境评估和冠状动脉疾病患病率研究(https://doi.org/10.1093/eurheartj/ehae158)。研究团队使用定制卷积神经网络 (CNN)、线性混合效应模型 (LMEM) 和激活图(Grad-CAM 技术)来识别与 CHD 相关的特征关联并预测人口普查区级别的健康结果。该研究首次使用超过 53 万条谷歌街景 (Global Security Verification,GSV) 进行模型训练和评估,其结果表明AI算法或许能够设计出显着减轻CHD负担的未来城市。下面,follow小编一起来开开眼界吧。
CHD是导致心脏疾病死亡的主要原因,占了50%以上的比例。社会环境因素在CHD发展中的重要性,包括社会决定因素SES(如种族、收入、教育和文化)、建筑环境、居住环境因素(如噪音、温度和空气污染)。对社区环境进行大规模综合评估可以促进对其对CHD的影响进行快速和全面的评估。然而,由于邻里审计(neighbourhood audits)的昂贵和耗时以及数据收集的不一致性,这类数据目前仍然十分稀缺。自2007年推出以来,谷歌街景图像已成为一种越来越受欢迎的虚拟邻里审计方法。谷歌街景图像的结果与实地评估相当,已被用于评估建筑环境特征,如绿地、建筑和道路。使用 GSV 图像来评估建筑环境,并利用它们来估计人口普查区一级的 CHD 患病率。7城市 789 个人口普查区的 CHD 患病率数据,选择取决于人口、疾病负担和地理位置。
GSV 图像是通过 GSV 静态应用程序编程接口 (API) 下载的。Google 街景 API 为用户提供街道级全景图像,捕捉全球数千个城市行人的视觉区域。各普查区的GSV图像在相应普查区以网格形式下载,间隔100 m。在检索GSV图像的每个位置,从不同方向(即基本方向:N、E、S和W)收集四个图像,从而构成该位置周围环境的全景。当提供纬度和经度坐标时,API 会在 50 m 半径内搜索最接近该位置的照片。如果找不到可用图像,API 将不会返回任何图像。为了处理这些图像并从中获取环境信息,使用Places365 CNN (https://doi.org/10.1109/TPAMI.2017.2723009)作为特征提取器来获取图像的深层特征。这里,深层特征是网络层次结构中深层的输出。与浅层的浅层特征相比,这些深层特征代表了GSV图像的语义信息。
Places365 CNN 在 Places Database 的子集上进行训练,该数据库包含超过 1000 万张图像,由 400 多个独特的场景类别组成,例如塔楼、足球场、街道、游泳池和火车站平台。与 ImageNet 数据库相比,Places 数据库中环境特征的多样性被认为能够代表 GSV 图像中所包含的内容。通过特征提取,我们获得了代表每个人口普查区平均建筑环境信息的 4096 个特征。值得注意的是,谷歌强调在图像采集过程中考虑各种因素,包括天气条件。此外,在检查我们的数据集时,只有一小部分图像是在仅存在有限雪量的条件下捕获的,观察到这对计算机视觉算法的影响很小。
传统的人口和社会经济 (DSE) 因素:年龄、性别、种族、收入和教育程度。健康社会决定因素 (SDoH) 综合指数:2018 年社会剥夺指数 (SDI)、2015 年地区剥夺指数 (ADI)、2018 年社会脆弱性指数 (SVI)。
三种ML机器学习模型来探索 GSV 图像4096个CNN 提取特征与CHD 患病率之间的关联。ML模型包括额外树回归器ET、RF、LGBM。10-fold交叉。R2值被报告为模型质量,量化拟合程度。还使用平均绝对误差 (MAE) 和均方根误差 (RMSE) 评估每个模型的性能。
两步建模策略。第一步,多元稀疏偏最小二乘 (SPLS,https://doi.org/10.1111/j.1467-9868.2009.00723) 回归应用于 CNN 提取的特征,以减少维度问题以及噪声对我们的推理错误率的影响。第二步,我们通过构建考虑固定效应和随机效应的多水平回归模型,将 CNN 提取的特征与已识别因素的效果进行比较。具体来说,线性混合效应回归模型与前几个选定的 SPLS 分量相拟合,并用 DSE 因子以及 SDoH 的其他综合指数进行增强,所有这些在这里都被视为固定效应,而城市被视为随机效应。这些模型均针对固定效应进行了调整,包括年龄、性别、种族、收入和教育程度。然后,我们比较了简化模型和组合线性混合效应模型 (LMEM) 之间的回归估计和拟合优度测量,其中每组自变量同时或单独输入。模型性能均使用拟合优度测量进行评估,例如似然比检验、AIC、BIC、R2。对于每个模型,我们计算了每个变量的系数估计及其标准误差和置信区间 (CI)、城市随机效应的类内(城市内)相关系数 (ICC)、城市内随机效应残差方差(σ2 ) 和城市间随机效应残差方差 (τ 00 City ) 来评估测量的可靠性或一致性。
Grad-CAM 技术创建显着图,以突出原始 GSV 图像中的这些突出特征。这一过程对 CNN 认为哪些环境特征与社区冠心病患病率相关提供了一定的解释。使用 Python进行深度学习和 ML 任务,并利用 PyTorch、fastai和 scikit-learn等软件包。对于多水平建模,我们使用 spls+ lmer 包。
7个城市的普查区域的CHD患病率呈现出不同水平的变化。通过对谷歌街景图像提取的4096个卷积神经网络特征进行机器学习模型分析,结果显示这些特征能够解释七个城市普查区域CHD患病率63%以上的方差。
通过比较CDC的CHD患病率实际估计和模型预测的CHD患病率,发现在七个城市的所有普查区域中,实际估计值与预测的CHD患病率之间存在良好的一致性。
另外,通过t-SNE对卷积神经网络提取的特征进行聚类分析,发现具有相似CHD患病率值的普查区域呈现出聚集效应。
考虑社会人口指数DSE或SDoH叠加SPLS方法的GSV的6模型。DSE模型具有较低的AIC和BIC值、显着的LRT和较高的R2。
Grad-CAM 用于可视化从 SPLS 回归中识别出的 CNN 提取的顶级特征。马路建筑电线杆与chd高发关联,绿地森林与chd低发关联。这些发现进一步验证了建筑环境特征与CHD发病率之间的相关性,为CHD预防和干预提供了新的视角和方法。
文章用了很多高端前沿统计学、机器学习算法。例如SPLS,在最新nature medicine (DOI: 10.1038/s41591-023-02685-x)中也用了。本文中SPLS作用在第一步。
2.该研究探索了利用谷歌街景图像和深度学习技术评估建筑环境对CHD患病率的影响,开创了一种新颖的研究方法和环境数据利用方法!通过利用计算机视觉和机器学习技术,可以对大规模地理区域进行快速、经济高效的评估,这将为未来类似研究提供了范例和启示。强调了社会环境因素对心血管健康的重要性。通过识别建筑环境中的特定特征与CHD患病率之间的关联,这项研究有助于政策制定者和规划者更好地了解社区环境对居民健康的影响,并采取相应的干预措施来改善社区环境,从而预防和控制心血管疾病的发生。
3.某些地区CHD患病率的低估问题以及模型中可能存在的噪音,后续方法学可能改进。
4.尽管本文数据分析规模巨大,但仍无法清楚地确定GSV新工具最终会有多大用处,因为到目前为止,它并没有告诉我们什么是导致人们患上冠心病的真正原因,或者我们可以采取哪些措施来降低风险,这也是环境科学的症结,虽然我们只是找到关联,不过发文章肯定不错!
“Google街景环境交叉医学领域,又一顶刊利器!
本公众号建立了学术交流群(群4),仅供SCI学术交流,人数有限需要实名制。入群请加笔者微信 popnie,请备注说明:姓名-学校(单位)-专业。