基于CT图像的肺结核病灶治愈状态判定深度学习模型的建立

秦李祎 吕平欣 郭琳 钱令军 肖谦 杨阳 尚园园 贾俊楠 初乃惠 刘远明 李卫民

结核病是严重危害人类健康的传染性疾病[1]。活动性肺结核患者是重要的传染源,及时治愈活动性肺结核患者是结核病预防控制的关键环节。在活动性肺结核治疗过程中,有效判定肺内病变是否处于活动性是辅助临床医生治疗决策的关键[2-4]。影像学检查作为肺结核筛查、诊断、病变严重程度评估和治疗效果评价的常规辅助工具,对评判肺结核病变是否治愈具有重要的参考价值[5-9]。但是,依据传统方法进行影像学评价过于依赖阅片者的主观经验,且缺乏一致性[8,10-11]。由于肺结核病灶的状态是局部病原菌、免疫微环境及药物渗透共同作用和博弈的结果,具有一定的异质性和复杂性,影像表现上常出现“活动性不确定”的征象[12-14],需结合其他手段进行综合判断,准确性有所欠缺。

深度学习是人工智能的一个子领域,擅长识别大量成像数据中的复杂模式,具有从医学图像中自动提取隐含的疾病分类特征的优势[15]。在大多数基于深度学习区分肺结核活动性的研究中,用于模型训练的活动性/非活动性病灶标签的设置都是基于现有影像学专家共识描述确定的[2-3,16-18]。但是,这些用于训练的病灶只包括能够通过形态和密度确认活动性状态的病灶,即以专家判断的非活动性肺结核病变为标签,而并非确定诊断的病灶,可能存在假阳性的结果。最近,Lee等[19]构建了在胸部X线摄片(简称“胸片”)上识别肺结核活动性的深度学习模型,该模型的训练标签为患者治疗前和治疗后的胸片,模型最终对病灶活动性的判定性能与经验丰富的医生相当。本研究纳入的患者为临床明确诊断的活动性肺结核患者,采集患者治愈前后的CT图像中的病灶作为活动性和非活动性数据集,构建了基于掩膜区域卷积神经网络(mask region-based convolutional neural network,Mask R-CNN)框架[20]的病灶活动性分类深度学习模型,以期实现对肺结核病灶状态的精准判定。

对象和方法

一、研究对象

(一)纳入和排除标准

1.纳入标准:(1)年龄范围为18～70岁;(2)HIV检测阴性;(3)病原学、病理学证实的肺结核患者[21];(4)完成抗结核治疗并治愈的患者;(5)有抗结核治疗前后及治疗过程中的CT资料,且图像质量良好;(6)具有完整可用的病例资料,包括一般人口学数据、治疗起始时间、治疗结局、初复治类型及耐药情况等。

2.排除标准:(1)肺外结核及合并肺炎、肿瘤、慢性阻塞性肺疾病等其他肺部疾病者;(2)病灶难以勾画者;(3)抗结核治疗前后CT资料质量不佳或不全者。

(二)数据收集

参照纳入和排除标准,回顾性收集2018年12月至2020年12月首都医科大学附属北京胸科医院明确诊断的活动性肺结核患者(102例),并逐一随访确认每例患者的治疗结局。回顾性队列按照8∶2的比例作为测试和验证数据集。

收集患者的人口学、临床及相应的CT资料。CT资料覆盖患者抗结核治疗全程(治疗前、治疗中、治疗后)。其中,治疗过程中的图像用于追踪观察独立病灶的变化。从抗结核治疗前和治疗后演化的CT影像资料中筛选活动性和非活动性病灶,将病灶的三维感兴趣体积(volume of interest,VOI)作为标签用于模型的构建。

此外,按照相同标准,于2021年10月至2022年12月,在同一家医院前瞻性纳入肺结核患者治愈队列(72例)作为独立验证集。

本研究前瞻性队列通过了首都医科大学附属北京胸科医院伦理委员会的审核批准(编号:YJS-2021-024)。所有数据在使用前均进行了脱敏处理。

二、研究方法

1.检查方法:采用GE 256排Revolution CT机。扫描参数:120 kV,200～240 mA(自动毫安补偿技术);扫描层厚5 mm,螺距1.375,并全部进行薄层标准肺重建,重建层厚为1.25 mm,层间隔为1.25 mm。CT资料以DICOM格式进行存储,并保存在影像归档和通信系统(picture archiving and communication systems,PACS)中以供调阅。

2.图像分割和预处理:通过ITK-Snap 3.6.0软件内置的半自动分割模块“Active Contour Segmentation Mode”结合手动标注模块进行病灶的逐层勾画,最终获得整个病灶的VOI。考虑到肺结核病灶的复杂性,在勾画过程中,标记原则:(1)对于边界清晰的孤立性病灶,将其作为一个独立标签;(2)对于不同征象病灶融合的现象(如实变与周围的部分结节融合),则以融合的大病灶为一个整体追溯病灶的变化;(3)对于局部同时存在的多个小病灶(如某个支气管周围播散的多个结节),则以引流支气管为中心,将该支气管附近的病灶簇按照一个病灶进行标记,从而保证不同类型病灶在模型训练数据中的平衡。首先,由1位低年资医师执行病灶的勾画工作,之后由2位高年资医师审查勾画结果,并对存在分歧的病灶标签进行一致性修改。对于所有用于深度学习模型输入的CT图像进行预处理以提升模型性能。

3.深度学习模型的构建:使用活动性组及非活动性稳定组的肺结核病灶VOI作为模型输入进行训练。考虑到样本量大小的影响,本研究采用了迁移学习的方式进行模型的搭建。将“结核病预防控制辅助决策系统”(深圳市智影医疗科技有限公司)人工智能模型架构作为预训练网络,构建了具有Mask R-CNN架构的肺结核病灶活动性判定深度学习模型,该模型可以同时实现病灶的自动分割及病灶活动性类别的预测任务。

模型构建细节:基于ResNeSt 2D卷积网络结构,构建3D卷积的ResNeSt 3D模块作为Mask R-CNN 模型的主干网络,用于提取肺部CT图像的特征。借鉴U-net结构,通过采样和特征图拼接方式,处理主干网络提取的特征图,最终输出stride为4的特征图,用于检测和分割任务。接着,采用RPN(region proposal network)模块进行前景检测,ROI模块进行区域兴趣区病灶预测,Mask模块进行分割信息预测。

三、相关定义

(1)肺结核治愈:抗结核治疗后6个月及以后分枝杆菌培养均为阴性,且治疗完成后1年及以上无复发。(2)肺结核病灶:在抗结核治疗过程中发生演化的病灶,对于本研究中的治愈患者群体则表现为良性的治疗反应,即病灶从影像学的角度上出现了大小、密度上的吸收,也可表现为征象的转变。(3)活动性的肺结核病灶:即抗结核治疗前的肺结核病灶,本研究的数据集包括实变、空洞、未钙化或不完全钙化的结节、树芽征等征象。(4)非活动性的稳定肺结核病灶:抗结核治疗完成及以后保持大小、密度稳定的肺结核病灶。以图1为例,从左至右病灶由未钙化的结节空洞最终演化为完全钙化的结节。将第0个月的CT图像中截取到的病灶VOI纳入活动性病灶组,将治疗完成后的稳定的病灶VOI纳入非活动性稳定病灶组。

四、统计学处理

采用SPSS 26.0软件对患者的临床资料及CT采样情况进行描述性统计分析。计数资料以“例,百分率/构成比(%)”描述,组间差异的比较采用χ2检验或Fisher确切概率法;偏态分布的计量资料以“中位数(四分位数)[M(Q1,Q3)]”描述,组间差异的比较采用秩和检验。以双侧P<0.05为差异有统计学意义的判定标准。通过计算测试集和独立验证集模型的ROC曲线下面积(AUC)、敏感度和特异度评估模型效能。

结 果

一、临床资料

回顾性队列共纳入符合标准的肺结核治愈患者102例,可用于分析的连续胸部CT图像770份。其中,治疗前、治疗中、治疗后的CT采样数目分别为105份、524份和141份,将筛选出的肺结核病灶(796个)分为两组:活动性组(332个)及非活动性稳定组(464个),按照8∶2的比例随机分为训练集和测试集。

前瞻性队列数据集包含72例患者的540份连续性胸部CT图像,其中治疗前和治疗后的图像分别为94份和152份,含活动性病灶313个,非活动性病灶493个。

入组患者的相应临床资料及CT图像采样情况见表1、2。相比于回顾性队列,用于构建独立验证集的前瞻性队列纳入的男性患者更多,复治患者更多,耐药情况更严重,差异均有统计学意义(P值均<0.05)。

表1 两组患者的临床资料情况

表2 两组患者的CT图像采样情况

二、深度学习模型的病灶活动性预测效能

将病灶VOI标签作为模型输入用于构建Mask R-CNN模型,以实现在病灶水平上对肺结核病灶活动性进行预测。模型在测试集中的AUC为87.5%,在由313个活动性病灶及493个非活动性病灶构成的独立验证集中,模型的AUC达到了79.9%,见表3;相应的ROC曲线见图2～4。

表3 Mask R-CNN模型在不同数据集中的肺结核病灶活动性预测效能

图2 基于Mask R-CNN模型在回顾性队列构成的训练集中预测肺结核病灶活动性的ROC曲线

图3 基于Mask R-CNN模型在回顾性队列构成的测试集中预测肺结核病灶活动性的ROC曲线

图4 基于Mask R-CNN模型在独立验证集中预测肺结核病灶活动性的ROC曲线

讨 论

在临床上,细菌学阴性肺结核患者治疗效果的评价多依赖病灶影像的变化[2,21],即通过对连续影像学资料进行比对判断病情好转、稳定或恶化。在随访中,病灶体积稳定或逐渐缩小、平均密度增高和钙化增多是向非活动性病变转化的证据,但是以此形成的判定标准受到医生诊断能力和经验的影响,并且需要投入大量的时间成本和经济成本。因此,本研究基于连续的CT图像数据集和深度学习模型进行肺结核病灶级别的活动性判断,旨在为临床提供准确、快速的诊断和治疗决策参考,从而有助于减少肺结核过诊过治和漏诊漏治的现象。

现有的通过CT判断肺结核病灶活动性的标准,是依据病灶形态和密度特点建立的,如活动性肺结核的主要征象包括小叶中心结节影、树芽征、实变影、空洞等[2,4,22]。但是,治愈患者的残留病灶也可观察到这些征象,但并不意味着病灶处于活动状态[22-23]。另外,治愈患者的胸部CT也可见大量的活动性不确定性征象,包括未发生钙化的结核瘤、界限清楚的不规则实变、肺不张等[2,4,24],这是由于肺结核的影像学表现是多种因素相互作用的结果,即疾病自然发展与主动医疗干预之间博弈的动态变化过程,具有一定的异质性和复杂性[25-27],从而对医师准确判断病灶的活动性带来困难。尽管通过CT定位穿刺活检可以进一步判定病变的活动性,但有创检查会带来临床风险。此外,即使是同一例患者的不同病灶的演化状态也存在差异[27]。因此,本研究采用了肺结核治愈患者治疗前和治疗后的CT采样来筛选活动性和非活动性病灶,利用患者自身前后对照的设计,使得对治疗干预下的所有肺结核病灶覆盖完全,并且在病灶演化的尺度上进行活动性的区分,更符合实际临床需求,同时也保证了数据的均衡性。此外,考虑到复治患者存在“陈旧性病灶”等情况,本研究结合了现有共识[4]中的病灶形态学密度特征进行病灶标签的最终确认,从而避免了错误分类的情况。

近年,深度学习在肺结核影像诊断中展示出强大潜力,集中表现为对肺结核诊断的量化,以及结节病灶良恶性的鉴别诊断[28-30],而在肺结核活动性区分任务方面研究较少。Lee等[19]基于治疗前和治疗后的胸片作为阳性和阴性类别标签构建的深度学习模型对肺结核活动性的判定AUC达0.83。本研究则是基于病灶纵向演化的标准探索了深度学习模型在CT资料中的肺结核病灶活动性预测性能。影响深度学习模型表现的因素有很多,包括标签的准确性、数据量、模型的架构等。“Ground truth”是指在机器学习、深度学习或计算机视觉中,用于训练和评估模型数据集的准确性、可信度的标签或注释。在本研究中即为活动性组和非活动性稳定组的病灶VOI标签,标签的设置对于深度学习模型的训练至关重要。以病灶在治疗过程中的演化特点为基础来确定标签类型是建立高质量纵向队列的关键。本研究利用了两个队列连续治疗前后不同时间点CT数据来构建并验证深度学习模型,CT资料覆盖患者治疗全程。虽然纳入的两个队列患者总数仅为174例(回顾性队列102例,前瞻性队列72例),但是用于定义病灶分组的CT数量达到了1310份(回顾性队列770份,前瞻性队列540份),通过密集的CT采样保证了分类的准确性。鉴于数据量对于模型训练的影响,为了更有效地利用有限的数据资源,本研究采用了迁移学习方法来构建模型,即利用预训练模型在大规模数据集上学到的知识和特征,将这些知识迁移到当前的活动性预测任务中。通过利用迁移学习,能够在数据有限的情况下更快速地实现模型训练与优化,提高模型性能和泛化能力。此外,为了实现对肺结核病灶的自动分割和特征提取任务,本研究选择采用了Mask R-CNN架构[20]进行模型构建。该架构结合了目标检测和语义分割的优点,能够有效地实现病灶的区域定位和精确分割,并且同时提取出相关的特征信息,其主要优势在于其对病灶边界的准确判定和对复杂结构的有效分割,从而能够提供更详细和准确的肺结核病灶信息。在回顾性测试集中,模型的AUC为87.5%,在独立的前瞻性外部验证集中AUC也可以达到79.9%。且后者复治和耐药情况严重的患者占比更多,病变模式更复杂,但是仍旧显示出了深度学习模型对小样本数据的肺结核病灶活动性预测的巨大潜力。

本研究存在一定的局限性。首先,作为单中心研究,本研究的样本数量相对较小,这导致对于病灶多样性的全面覆盖有所不足,测试集和验证集的构成差异提示了这一不足,本研究更多地关注了耐药患者的病灶活动性分类问题,将来在扩大样本量时,还需要关注敏感肺结核和耐药肺结核患者数量的平衡,观察模型在两者中的表现。第二,尽管迁移学习在本研究中表现良好,但要进一步优化模型性能和验证需要更大规模的数据支持,同时也需要关注不同模型架构对性能的影响。需要在下一步研究中,扩大样本量、补充多中心数据以提升模型性能,为临床提供更高效、准确、稳定的参考指标。

综上,本研究为CT图像上肺结核病灶活动性的自动判定提供了初步的框架。基于迁移学习的Mask R-CNN深度学习模型在小规模肺结核病灶活动性预测任务中展现出了一定潜力,但仍需在更大样本和更完善标准的基础上进一步改进,这将有助于提高模型的准确性和稳定性,从而为临床医生提供更可靠和更快速的辅助诊断工具。

利益冲突所有作者均声明不存在利益冲突

作者贡献秦李袆和吕平欣:酝酿和设计实险、实施研究、采集数据、分析/解释数据、起草文章;郭琳:实施研究、采集数据;钱令军和肖谦:采集数据、支持性贡献;杨阳和尚园园:采集数据、对文章的知识性内容作批评性审阅、支持性贡献;贾俊楠:实施研究、对文章的知识性内容作批评性审阅、行政/技术或材料支持、支持性贡献;初乃惠:设计实验、支持性贡献;刘远明和李卫民:酝酿和设计实验、实施研究、对文章的知识性内容作批评性审阅、获取研究经费、行政、技术或材料支持、指导、支持性贡献