深度学习技术在肺癌影像学诊断中的应用进展

孙 瑶，王 祥，萧 毅

海军军医大学长征医院放射诊断科，上海 200003

随着吸烟人群增多、环境恶化及人口老龄化不断加剧，肺癌发病率逐年攀升，肺癌成为全球人类健康的巨大威胁，并且成为中国癌症死亡的首要原因，2020年共造成72万人死亡［1-2］。由于肺癌早期没有症状或症状不典型，临床发现肺癌时患者多处于局部晚期或已经出现远处转移［3］，而病理学检查证实为原位癌和微浸润性癌的患者术后5年生存率接近100%。因此，肺癌早发现、早诊断、早治疗至关重要。在2013年，美国预防服务工作组（United States Preventive Services Task Force，USPSTF）推荐对肺癌高危人群进行低剂量螺旋计算机体层成像（computed tomography，CT）筛查，这一筛查方法预计将减少20%的肺癌死亡率［4-5］。随着对CT筛查肺癌的需求不断增加，每天产生海量数据，人工阅片耗时长，并且不同地域医疗质量不同，伴随着漏诊、过度诊断和诊断不足等多种问题。如何实现高效率、高质量诊断越来越重要。人工智能辅助深度挖掘影像数据实现肺结节的早期诊断及精准医疗成为研究的热点。

人工智能广泛应用于医学诊断、医学统计、分子生物学研究等诸多领域［6］，人工智能的一个重要分支是机器学习。随着计算机科学的发展，深度学习作为机器学习中一种基于对数据进行特征深度学习的方法［7］，越来越多地用于计算机辅助诊断系统。深度学习方法使用大量图像训练神经网络，与医师诊断相比，具有不受医师主观性、经验差异及疲劳等人为因素影响的自身优越性［8］。鉴于肺癌的高发病率和高死亡率，人工智能在肺癌中的研究和应用进展极为迅速，本文将从肺癌的检出、分割、诊断、预后评估、图像重建等方面阐述深度学习在肺癌诊治中应用的研究进展。

1 深度学习在肺癌检出及分割中的应用

肺结节是肺癌的早期表现，低剂量胸部CT是目前国际公认的肺癌早期检测的有效手段［9］。随着CT技术软硬件的不断发展，肺结节的检出率越来越高，放射科医师工作量大而不可避免地导致漏诊。深度学习作为医师的好帮手，可提高医师的工作效率及诊断水平［10］。

人们对检测肺结节的算法进行了不断的探索，所用算法应该尽可能多地检出可疑结节，提高灵敏度，同时降低假阳性率。Zhang等［11］提出一种3D骨架提取的特征，基于此特征构建模型能够检出不同空间位置的结节（包括孤立性、血管旁和胸膜旁结节），有效区分肺结节与周围正常的解剖结构。在肺图像数据库联盟（Lung Image Database Consortium，LIDC）中得到灵敏度为89.3%，准确度为87.6%，每例仅存在2.1个假阳性肺结节。Zheng等［12］开发了一个深度学习结节检测系统，通过轴向、冠状和矢状平面，而不仅仅是轴向平面进行结节检测。这一结节检测系统先候选来自3个不同平面的所有可能的结节，再利用3D卷积神经网络（convolutional neural network，CNN）来去除假阳性结节，通过10折交叉验证方案来训练和评估所提出的系统。在LIDC-图像数据库资源计划（Image Database Resource Initiative，IDRI）数据集中，所提出的系统在每例存在1个假阳性肺结节时灵敏度为94.2%，每例存在2个假阳性肺结节时灵敏度为96.0%。研究结果表明，与使用单平面相比，采用多平面的方法能够为肺结节检测提供补充信息，表现出更好的性能。

在肺结节随访中，目前评估肺结节变化主要依靠基于基线和随访CT轴位图像上的目测比较和直径测量，为了解决同一患者在两次CT扫描中的结节再识别问题，Rafael-Palou等［13］提出了一种3D孪生神经网络，该网络能够提取结节的特征，并预测两次图像中最可能匹配的结节，以检测、匹配和预测每对给定的CT图像中结节的生长情况进而辅助临床决策，结果显示，在独立测试集上结节检测的灵敏度为94.7%，两次扫描结节匹配的准确度为88.8%，结节生长检测的灵敏度为92.0%，准确度为88.4%。

为了更直观地对所选近年来较高质量研究的指标进行比较，本研究以表格形式进行了汇总，详见表1。

表1 肺结节的检出

对于结节检出，主要任务是识别结节的特征和位置，但由于结节的大小和特征各不相同，增加了这一任务的复杂性。Rafael-Palou等［13］的研究测试结果在每例中存在的假阳性结节最多，存在的问题可能是建立模型时数据有限，患者纵向数据不足；除此之外训练集标注的是直径，虽然直径测量是结节生长情况评估时最常用的方法，但在3D图像中测量最长径会更准确。

病灶的精准分割有助于对病灶进行定量评估、检测和随访。随着人工智能技术的发展，深度学习有望做到质量、重复性、效率更高的自动化分割［21］。用于评估结节良恶性概率的预测因子是结节大小、形状和生长速率，这些都取决于分割的准确性［22-23］。

Dong等［24］的研究提出了一种MV-SIR CNN模型，该模型分为6个子模型，从轴向、冠状和矢状视图中提取肺结节的体素异质性特征和形状异质性特征，然后整合结果来判断体素点是否属于结节，以重建分割图像。在与其他现有的CNN模型的比较中，该模型对于肺结节的3D分割表现优异，Dice系数为0.926。Savic等［25］提出了一种快速行进分割算法（fast marching method，FMM），这种算法以一种简单而快速的方式分割结节，而不像深度学习技术那样需要更高的计算成本才能提高质量。该算法将图像分割成具有相似特征的区域，然后结合K-Means进行合并，结果表明，该方法能够准确地分割结节，尤其是对实体结节的分割，对于圆形结节和不规则结节，Dice系数分别达到0.933和0.901。对于非实性结节和空洞性结节，Dice系数分别下降至0.799和0.614。

为了更直观地对近年来高质量研究的指标进行比较，在此以表格形式进行了汇总（表2）。

表2 肺结节的分割

获得最高Dice系数的是Savic等［25］所提出的算法对于圆形实性结节的分割，但是这一算法没有对不规则的轮廓进行精确分割，因此在保留结节边缘特征上还需改进。CNN能够自动学习影像学特征，是应用于医学图像分割的最常见的深度学习方法。CNN在图像二维分割中的应用取得了巨大进展，但在三维分割中的应用仍面临挑战，主要原因在于：① 缺乏大量数据；② 肺结节一般体积较小；③ 在预测过程中大量消耗计算资源，对硬件要求较高。若是肺结节的大小、密度差异很大，甚至存在结节边界模糊、与周围噪声相似、位于胸膜和血管旁等情况时，更难以稳健的方式进行分割。

2 深度学习在肺癌诊断中的应用

中国最常见的肺癌类型是肺腺癌，前驱病变包括非典型腺瘤样增生和原位腺癌，腺癌包括微浸润腺癌和浸润性腺癌。其中非典型腺瘤样增生、原位腺癌、微浸润腺癌的手术方式相对保守，术后5年生存率为90%～100%，而侵袭性腺癌的手术方式大不相同，术后5年生存率也要低得多［30-31］。由于肺结节图像海量，且肺癌的形态特征千变万化，单纯依赖目测评估结节良恶性极为耗时且错误率较高，深度学习能够对肺结节进行高精度、高灵敏度的分类。

Ren等［32］在LIDC数据集上训练和验证了一种流形正则化分类深度神经网络，直接基于肺结节的三维输出图像的流形进行分类。该网络的主要优点在于利用基于流形的约束来规范训练过程，提高良恶性分类性能，使分类准确度达到90%，同时正则化的使用减少了由于数据量有限造成的过拟合效应。Lyu等［33］提出的一种新结构，通过多级交叉残差CNN 对肺结节进行分类。这个网络由具有不同卷积核大小的三级并行残差模块构成，每个残差模块不仅与当前级别相关，还以交叉方式与其他级别相关联。所提模型应用于处理肺结节的三分类（良性、不确定和恶性）和二分类（良性和恶性），结果表明，三分类准确度达到了85.88%，二分类准确度达到了92.19%，但不足之处是未考虑肺结节3D特征。Ni等［34］设计了一个自动诊断网络，由3D U-Net和3D multi-RF网络组成的检测器用于查找结节位置，并同时使用被称为Attention-v1的深层3D CNN结节侵袭性进行分类，结果得出网络的准确度为85.2%，灵敏度为83.7%，特异度为86.3%，曲线下面积（area under curve，AUC）为0.926，但是所提出的模型不适合肺癌筛查的低分辨率图像。

为了更直观地对近年来部分较高质量研究的指标进行比较，在此也以表格形式进行了汇总（表3）。

表3 肺结节的诊断

与肺结节的检出及分割相比，结节的诊断是深度学习方法的终极目标之一。2020年Ghosal等［35］的研究应用对抗生成网络解决训练数据不足的问题，直接从原始图像中提取特征，优化分类模型，得到了最高的准确度。但由于结节的复杂结构和异质性，且空间分辨率有限，恶性结节的分类特别是较小的结节，仍然是深度学习最具挑战性的任务。

3 深度学习在肺癌免疫治疗预后评估中的应用

随着肿瘤-免疫相互作用的研究快速发展，治疗晚期肺癌的新药得以开发，接受免疫治疗的肺癌患者越来越多［43］。在患者免疫治疗随访期间，活检获得的样本难以解释病变间及病变内的异质性，且连续有创活检对患者来说伤害巨大。影像学检查能够无创地提供患者在免疫治疗过程中的全身总体反应，不仅包括完整的瘤灶本身，还能全面监测和量化其他具有预后价值的影像学特征。

Trebeschi等［44］训练了一个神经网络，识别回顾性收集的Ⅳ期非小细胞肺癌患者随访期间获得的胸部CT形态学变化，使用分类器将学习到的影像学特征与总体生存率联系起来，结果显示，从图像采集之日起预测1年总生存率具有显著性能，平均AUC为0.69；最高AUC出现在治疗的前3～5个月，达到0.75；持久临床获益（6个月无进展生存期）的AUC为0.67。预后热图的视觉分析展示了肺实变、肺不张、胸腔积液、骨转移，以及纵隔、锁骨上和肺门区域的淋巴结形态学变化对于预后评估的相对重要性。

此外还有研究表明，正电子发射体层成像（positron emission tomography，PET）/CT中的影像学特征对非小细胞肺癌患者的预后具有预测能力。Baek等［45］在对96例非小细胞肺癌患者立体定向放疗前PET/CT图像的回顾性研究中，训练CNN用于PET和CT图像中的肿瘤分割。结果显示，图像包含的特征与2、5年总体生存率和疾病特异性生存率密切相关；此外能够使可能出现复发或转移的高风险区域可视化，从而优化或调整治疗方案来影响治疗结果。

4 深度学习在CT图像优化重建中的应用

为了突破低辐射剂量CT图像质量差的问题，近年来对深度学习方法在CT图像优化重建中的应用也进行了初步探索，用于提高图像分辨率、消除伪影、去除噪声。残差网络能够学习CT稀疏重建中出现的条纹伪影，恢复清晰的校正图像［46］。方向小波变换能够提取伪影的方向分量，抑制CT特有的噪声［47］。CNN能够在原始投影数据中加入校准噪声得到的超低剂量CT进行去噪，显著提高CT图像质量，对肺气肿精准定量分析具有重要意义［48］。通过深度学习方法，在不增加辐射暴露和扫描时间的前提下提高图像质量，放射科医师可以提高对早期肺癌的诊断信心，为临床医师选择治疗方案和制订随访策略提供依据，使患者在早期受益。

深度学习是肺癌辅助诊断的强大工具，在对肺癌影像的定位、定性方面取得重大进展，还能随着时间推移对肿瘤进行体积描绘，根据其影像学特征推断肿瘤基因型和生物学行为，预测临床治疗效果，以及评估疾病和治疗对邻近器官的影响［49］。深度学习可以使图像的解释过程自动化，并将影像学检测、管理和后续随访的工作流程以前所未有的方式迅速完成。

既往大多数研究［18，44，50］普遍存在的问题是基于深度学习的方法数据饥饿。用有限的训练数据量来开发高性能的模型是有缺憾的，数据量小会影响模型的稳定性和有效性，因为其限制了复杂神经网络的使用。其次，既往研究［34，37，50］多为回顾性研究，未来可进行前瞻性大样本的研究并加以验证。另外，人工智能在肺癌影像学诊断中的应用需要在独立测试数据集中进一步评估，在临床数据中进一步验证。