基于深度学习的肺结节诊断识别研究

高唤 李秀娟

摘 要：医学图像诊断领域的研究热点是病灶点特征和精准定位，将深度学习应用到该领域后诊断效果明显，但是不同深度学习模型之间存在差异性。重点介绍几种重要的深度神经网络模型，总结深度学习在肺结节诊断识别中的研究进展，并提出将深度学习应用于肺结节临床诊断识别所面临的挑战与机遇。

关键词：深度学习;肺结节诊断;卷积神经网络;医学图像

DOI：10. 11907/rjdk. 191972 开放科学（资源服务）标识码（OSID）：

中图分类号：TP301文献标识码：A 文章编号：1672-7800（2019）009-0047-04

Diagnosis and Recognition of Lung Nodules Based on Deep Learning

GAO Huan， LI Xiu-juan

（College of Electrical Engineering， Henan University of Technology， Zhengzhou 450001，China）

Abstract： The research hotspots of medical image diagnosis are the characteristics of lesions and precise positioning. After applying deep learning to this field， we find the diagnostic effect is obvious， but there are differences between different depth learning models. This paper focuses on several important deep neural network models， summarizes the research progress of deep learning in the diagnosis and identification of pulmonary nodules， and proposes the challenges and opportunities for applying deep learning to the clinical diagnosis and identification of pulmonary nodules.

Key Words：deep learning; pulmonary nodule diagnosis; convolutional neural network; medical imaging

0 引言

作为人类公敌的肺癌，是对人类生存威胁最大的恶性肿瘤之一，其发病率和死亡率目前均占所有恶性肿瘤首位[1-2]。降低肺癌死亡率、提高病人生存率，最关键的是早发现、早诊断、早治疗。而肺结节作为早期肺癌的主要表现形式，及早发现与治疗可以极大降低肺癌患者死亡率。人们生活水平和健康意识的不断提高以及医疗设备的精细化发展，促进了肺结节诊断治疗的发展，但同时也给传统的医生诊断带来了大量数据量和工作量[3-4]。

在医学领域，肺结节诊断识别方法主要有影像学检查、痰液细胞学检查、纤维支气管镜检查以及穿刺活检等。而影像学X线计算机断层摄影（X-ray Computed Tomography，CT）检查由于其无创性而受到人们青睐，传统肺结节诊断识别方法由影像科医生通过逐张观察被检查者肺部CT图像切片，依靠自身经验判断是否有肺结节以及其良恶性。面对大数据的CT图像，医院现存在诊断肺结节耗时长、效率低、主观性大等问题，而影像科医生面对长时间的诊断分析工作，极易造成疲劳，容易导致漏诊和误诊。因此，利用一些专业诊断分析工具[5]，为医生提供辅助诊断，减轻医生负担，从而为早期肺癌的判别提供客观、科学的诊断依据，推动医疗诊断的智能化、精细化发展尤为必要。在这些诊断分析工具中，深度学习由于其易学性、通用性、高效性及准确性，在医学图像诊断识别领域，尤其是肺结节诊断识别方面，正以极快的速度向前发展。

近年來，随着深度学习技术的不断发展，很多深度神经网络（Deep Neural Networks，DNN）模型也被应用到医学影像肺结节诊断中[6]，归纳总结为两类：有监督学习方法和无监督学习方法[7-13]。其中，有监督学习包括卷积神经网络（Convolutional Neural Networks，CNN），无监督学习包括栈式自动编码器（Stacked Auto-Encoders，SAE）[14]、限制玻尔兹曼机（Restricted Boltzman Machines，RBM）、深度信念网络（Deep Belief Networks，DBN）等[15]。

本文重点介绍深度学习中几个重要的深度神经网络模型并探讨深度学习在肺结节诊断识别中的研究进展，最后进行总结，提出基于深度学习的肺结节临床诊断识别所面临的挑战与机遇。

1 几种典型深度神经网络模型

深度神经网络[16]是一种含多隐层的神经网络结构，能模拟人脑对外界的抽象机制。相比浅层神经网络学习，深度神经网络更加复杂，能够提取更抽象的特征，具有以下优点：①能最大程度地表示输入输出间的函数关系，泛化能力强;②参数远远小于同级别的浅层网络，不仅降低连接复杂度，还能抑制过拟合。

1.1 卷积神经网络

CNN是一种备受青睐的深度神经网络，由于其输入一般是带标签的数据，故属于有监督学习。自2012年开始，CNN凭借其无与伦比的特征学习能力被广泛应用于图像识别、音频识别等领域，同时许多科技公司相继投入大量精力对其进行产品化研究。如图1所示，CNN一般由3个基本单元构成，它们是卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层（Fully Connected Layer），每层功能各不相同，通过合理安排连接顺序可实现不同需求。

一般地，在CNN结构中卷积层和池化层可多次交替出现，在其顶层往往放置多个全连接层。尤其需要注意的是，除全连接层外，其余各层间神经元都以局部连接方式相连。局部感知和权值共享是CNN实现特征提取的关键理论基础，局部感知使得层间的局部连接能够减少网络参数，权值共享能更有效地提取关键特征。如图2所示，一个基本CNN框架包括卷积、池化和非线性激活这3步操作。

1.2 自动编码器

自动编码器是深度学习领域中最常用的模型之一。如图3所示，自动编码器将隐含层看作是编码器与解码器的组合，数据通过输入与输出间隐含层的编码和解码后基本保持不变。由于输入数据通常无标记，因此隐含层编码和解码的过程就是对数据特征进行提取的过程。其学习目标是使重建的误差最小化，训练时往往采用共轭梯度法调整网络参数。单个自动编码器一般不足以产生具有显著判别能力的特征，因此研究者们常把多个自动编码器前后堆叠起来，这样后层自动编码器便能在前层自动编码器中所学得的特征基础上再进行深入学习，这便构成了栈式自动编码器。不过，在网络训练时，如果误差集中体现在前层自动编码器中，后层自动编码器的继续学习将会失去作用，并且可能演变成对数据均值的学习。针对这种现象，有学者提出采用预训练方式[17]。

1.3 限制玻尔兹曼机

RBM来源于玻尔兹曼机，之所以加上“限制”两字，是因为它并不允许同一层中神经元的相互连接。每个神经元的输出只有两种状态，一般使用二进制的0和1表示。RBM具有两层结构，即可见层（V层）和隐层（H层），两层神经元间全连接，但每层神经元之间是独立的，即每层神经元之间无连接，如图4所示。RBM是一种基于能量的模型，即能量最小化时网络模型达到理想状态。在给定的可见层单元状态下，各隐层的激活条件独立;同样地，给定隐层单元状态时，可见层的激活条件独立[18]。

1.4 深度信念网络

DBN由多个RBM组成，一个典型的DBN结構如图5所示。DBN是由多层潜在随机变量构成的概率生成模型。潜在变量通常具有二进制值，通常称为隐藏单元或特征检测器。最上面的两层之间有无向的对称连接，形成联想记忆;较低的层从上面的层接收自顶向下的、定向的连接。最底层单元的状态表示一个数据向量[19]。

DBN有两个最重要特性：一是它提供一个高效的、逐层的过程学习自顶向下、可生成的权重，其决定了一层中的变量如何依赖于上一层的变量;二是学习之后，每一层潜在变量的值都可以通过一个自底向上的单遍历推断，该遍历从底层一个观察到的数据向量开始，然后反向使用生成权值。

DBN通过将一层中潜在变量的值作为训练下一层的数据进行处理。可以遵循这种高效、贪婪的学习，或与其它学习过程相结合，微调所有权重，以提高整个网络的生成或辨别性能。可以通过添加最后一层变量的期望输出和反向传播误差导数进行区分性的微调。将具有多个隐层的网络应用到高度结构化的输入数据，如图像时，如果通过学习一个对输入数据中结构建模的DBN初始化隐层中的特征检测器，则反向传播效果会更好。

2 研究进展

深度学习方法是根据相应算法完成肺结节的筛选[20-21]并进行判断分类[22-25]，可以比较完整地观察整张切片而无遗漏，且不会受到疲劳状态影响，其结果也较为客观和全面。当前，深度学习方法结合CT图像对肺结节进行诊断识别的研究较多。

杨佳玲等[26]将自定义的DBN引入肺结节的良恶性诊断中，实现肺结节的分类算法。该算法首先提取感兴趣区域，从形状、灰度、纹理、空间位置这几个方面提取87个不同的肺结节特征，并构造特征向量[27];然后对提取的特征进行研究分析，构建出5层DBN，该网络包括3个隐层，一个输入、一个二分类输出层;最后对所构建DBN模型进行训练测试，并给出测试指标。对来自肺部图像数据库联盟（Lung Image Database Consortium，LIDC）与某医院的206个CT病例进行训练测试，结果表明该算法指标分别是分类精度95.3%、敏感性92.5%和特异性93.2%，ROC曲线下面积为0.921。

Song等[28]比较分析了用于肺癌钙化检测的3种深度神经网络模型，分别是CNN、DNN、SAE，并将这些网络模型应用于CT图像中，在LIDC数据库上对肺结节良恶性进行诊断分类、预测评估。实验结果表明，CNN的性能优于DNN和SAE，准确率为84.15%，灵敏度为83.96%，特异性为84.32%，在3种网络中效果最好。

Shen等[29]提出了一种多作物卷积神经网络（Multi-crop Convolutional Neutral Network，MC-CNN），通过对卷积特征图中不同区域的作物进行池化处理，然后在不同的时间应用最大池化处理技术，自动提取结节的突出信息。通过在LIDC数据库上进行大量实验，结果表明，提出的方法能获得最先进的结节可疑性分类性能，其分类精度、敏感性和特异性分别为87.14%，77%和93%，ROC曲线下面积为0.93。同时，所提出的网络能有效地表征结节的语义属性（细微度和边缘）和结节直径，对结节良恶性建模诊断很有帮助。

Raunak等[30]提出从三维图像直接映射到类标签，为了实现这一目标，构造了四种双通路卷积神经网络，包括一个基本的3D CNN、一个新的多输出网络、一个3D DenseNet和一个具有多输出的增强3D DenseNet。通过在LIDC数据集上对这4个网络进行评估，显示其性能优于大多数现有方法，特别是3D多输出DenseNet （MoDenseNet），在端到端肺结节诊断任务上达到了最先进的分类精度，其分类精度、敏感性和特异性分别为90.40%，90.47%和90.33%，ROC曲线下面积为0.954 8。此外，研究者认为在LIDC数据集上预先训练的网络可作进一步扩展，通过迁移学习处理更小的数据集。在肺结节分类中的预测准确性也证明了这一点。

苗光等[31]提出了一种二维和三维卷积神经网络相结合的肺结节检测方法。该方法首先采用改进的2D全卷积神经网络U-net检测候选结节[32]。针对原始U-net模型在训练时，会出现过拟合现象，通过改变网络输入图片大小、添加Batch-Normalization层、采用Leaky-ReLU、加入dropout策略等方法抽取候选结节。随后，将多层切片中的候选结节通过计算欧式距离并参考注释文件等方法进行合并，并根据计算出的均值坐标，提取出疑似结节的三维立体图像块。之后，构造出一个7层的3D卷积神经网络框架用于去除结节的假阳性，该框架包含一个输入层、三个卷积层、一个池化层、一个全连接层和一个Softmax分类器。将提取的候选结节送入构建的3D CNN模型中进行二分类处理以去除假阳性结节。在LIDC数据集上，平均每位患者为36.2个假阳性时，结节初步检测召回率时为98.2%;在假阳性去除后，假阳性为1和4时，准确率分别是87.3%和97.0%。该方法采用3D CNN能更加有效地提取到结节原有的空间信息，有效解决了肺结节识别效率不高及大量假阳性问题。

3 结语

综上所述，基于深度学习的肺结节诊断识别，能有效克服传统医生诊断存在诊断识别速度慢、认知能力参差不齐、工作强度大等问题，可提高肺结节诊断识别精度，还可减少医生工作量，辅助医生进行诊断分析，其诊断结果具有客观稳定性，极大提高了诊断精度及工作效率。

但将深度学习方法彻底应用于肺结节的临床诊断识别尚存在一些问题[33]：①深度神经网络模型提取的肺结节特征不可见，这给分析不同特征的重要程度造成困难;②在有监督的深度学习方法中，需要大量地训练和测试样本，以期得到较高的精确度，但医学图像往往涉及病患私密性等，增加了样本的获取难度;③深度学习训练及测试时，由于运算量较大，因而对内存、CPU及GPU等硬件要求高，且训练及测试时间较长[34];④深度学习并不能完全取代人工，它必须依赖已有临床专家标注的肺结节样本，才能实现对新样本的诊断和识别，而在肺癌診断方面，由于患者个体差异，一般并不能完全保证所取样本的全面性。

根据2016年国家科技部“精准医学研究”重点专项项目研发计划[35]以及《2018年医疗人工智能技术与应用白皮书》，再结合目前医疗改革趋势可知，在医学影像学领域，不仅仅是在肺结节诊断识别中，深度学习在很多领域的应用将更加深入;并且，随着深度学习方法的日趋完善，采用迁移学习及弱监督学习[36-38]， 有效结合无监督预训练和监督学习的优点进行肺结节诊断识别，可充分利用大量未标注数据以保证样本的全面性。可以预测，采用深度学习方法实现肺结节的辅助临床诊断识别将成为现实。

参考文献：

[1] 周清华，范亚光，王颖，等. 中国肺癌低剂量螺旋CT筛查指南（2018 年版）[J].  Chinese Journal of Lung Cancer，2018，21（2）：67.

[2] NETTO S M B， SILVA A C， NUNES R A， et al. Automatic segmentation of lung nodules with growing neural gas and support vector machine[J]. Computers in biology and medicine，2012， 42（11）： 1110-1121.

[3] 郑光远，刘峡壁，韩光辉. 医学影像计算机辅助检测与诊断系统综述[J]. 软件学报， 2018， 29（5）： 1471-1514.

[4] 聂贞慧，刘丽东，苏丹柯. 基于深度学习的X线诊断乳腺癌研究进展[J]. 中国医学影像技术，2019，35（5）： 774-777.

[5] 陈诗慧，刘维湘，秦璟，等. 基于深度学习和医学图像的癌症计算机辅助诊断研究进展[J]. 生物医学工程学杂志，2017，34（2）：314-319.

[6] KOMMRUSCH S，POUCHET L N. Synthetic lung nodule 3D image generation using autoencoders[J].  arXiv preprint arXiv：1811.07999， 2018.

[7] AFFONSO C，ROSSI A L D，VIEIRA F H A，et al. Deep learning for biological image classification[J]. Expert Systems with Applications，2017，85：114-122.

[8] 刘飞，张俊然，杨豪. 基于深度学习的医学图像识别研究进展[J]. 中国生物医学工程学报， 2018，37（1）：86-94.

[9] 萧毅，夏晨，张荣国，等. 人工智能技术在医学影像中的应用讨论[J]. 第二军医大学学报， 2018，39（8）：813-818.

[10] SERJ M F，LAVI B，HOFF G，et al. A deep convolutional neural network for lung cancer diagnostic[J]. arXiv Preprint arXiv：1804. 08170， 2018.

[11] LASHARI S A， IBRAHIM R. A framework for medical images classification using soft set[J]. Procedia Technology，2013，11：548-556.

[12] LITJENS G，KOOI T，BEJNORDI B E，et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis，2017，42：60-88.

[13] LUNDERVOLD A S， LUNDERVOLD A. An overview of deep learning in medical imaging focusing on MRI[J]. Zeitschrift für Medizinische Physik，2019，29（2）：102-127.

[14] KURUVILLA J，GUNAVATHI K. Lung cancer classification using neural networks for CT images[J]. Computer Methods and Programs in Biomedicine，2014，113（1）：202-209.

[15] LECUN Y，BENGIO Y，HINTON G. Deep learning[J]. Nature，2015，521（7553）：436.

[16] SCHMIDHUBER J. Deep learning in neural networks： An overview[J]. Neural networks， 2015，61：85-117.

[17] HINTON G E，SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313（5786）：504-507.

[18] ACKLEY D H，HINTON G E，SEJNOWSKI T J. A learning algorithm for boltzmann machines[J].Cognitive Science，1985，9（1）：147-169.

[19] HINTON G E，OSINDERO S，TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，18（7）：1527-1554.

[20] LAI M.Deep learning for medical image segmentation[DB/OL]. arXiv Preprint arXiv：1505.02000， 2015.

[21] LAI Z F，DENG H F.Medical image classification based on deep features extracted by deep model and statistic feature fusion with multilayer perceptron[J]. Computational Intelligence and Neuroscience，2018.

[22] CAUSEY J L，ZHANG J，MA S，et al. Highly accurate model for prediction of lung nodule malignancy with CT scans[R]. Scientific Reports，2018-06-18.

[23] DE BRUIJNE M. Machine learning approaches in medical image analysis： From detection to diagnosis[J]. Medical Image Analysis，2016，33（11）：94-97.

[24] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems，2012：1097-1105.

[25] FROZ B R，DE CARVALHO FILHO A O，SILVA A C， et al. Lung nodule classification using artificial crawlers， directional texture and support vector machine[J]. Expert Systems with Applications，2017，69：176-188.

[26] 楊佳玲，赵涓涓，强彦，等. 基于深度信念网络的肺结节良恶性分类[J]. 科学技术与工程，2016（32）：69-74.

[27] JACOBS C，VAN RIKXOORT E M，TWELLMANN T，et al. Automatic detection of subsolid pulmonary nodules in thoracic computed tomography images[J]. Medical Image Analysis，2014，18（2）：374-384.

[28] SONG Q Z，ZHAO L，LUO X K，et al. Using deep learning for classification of lung nodules on computed tomography images[J]. Journal of Healthcare Engineering，2017（8）：1-7.

[29] SHEN W，ZHOU M，YANG F，et al. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification[J].  Pattern Recognition，2017，61： 663-673.

[30] DEY R，LU Z，HONG Y.D iagnostic classification of lung nodules using 3D neural networks[C]. 2018 IEEE 15th International Symposium on Biomedical Imaging，2018：774-778.

[31] 苗光，李朝锋. 二维和三維卷积神经网络相结合的CT图像肺结节检测方法[J]. 激光与光电子学进展，2018，55（5）：051006.

[32] ALOM M Z，HASAN M，YAKOPCIC C，et al. Recurrent residual convolutional neural network based on u-net （R2U-net） for medical image segmentation[DB/OL]. https：//arxiv.org/ftp/arxiv/papers/1802/1802.06955.pdf.

[33] RAZZAK M I，NAZ S， ZAIB A. Classification in BioApps：deep learning for medical image processing： overview， challenges and the future[M]. Heidelberg： Springer，2018.

[34] 窦瑞欣. 深度学习算法在医学影像学中的应用及研究进展[J]. 中国医学计算机成像杂志， 2018，24（5）： 369-372.

[35] 田娟秀，刘国才，谷珊珊，等. 医学图像分析深度学习方法研究与挑战[J]. 自动化学报， 2018，44（3）：401-424.

[36] TAJBAKHSH N，SHIN J Y，GURUDU S R，et al. Convolutional neural networks for medical image analysis： full training or fine tuning[J]. IEEE transactions on medical imaging，2016，35（5）：1299-1312.

[37] KIM H E，HWANG S. Deconvolutional feature stacking for weakly-supervised semantic segmentation[DB/OL]. https：//arxiv.org/pdf/1602.04984.pdf.

[38] SHIN H C，ROTH H R，GAO M，et al.Deep convolutional neural networks for computer-aided detection： CNN architectures， dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging，2016，35（5）： 1285-1298.

（责任编辑：孙 娟）