基于深度学习的肺部医疗图像识别

曹珍贯，李锐，张宗唐

基于深度学习的肺部医疗图像识别

曹珍贯，李锐，张宗唐

（安徽理工大学 电气与信息工程学院，安徽 淮南 232000）

肺结节作为肺癌早期诊断的重要特征，对其识别和类型判断具有重要意义。目前使用迁移学习的识别算法存在着源数据集与目标数据集差距过大问题，对于肺结节特征提取不足，导致效果不佳。故此提出了基于卷积神经网络的改进神经网络模型。将预训练的GooLeNet Inception V3网络与设计的特征融合层结合，提高网络对特征的提取能力；为确定最佳组合方式，对各组以准确率为标准进行测试。实验在LUNA16肺结节数据集上进行。进行分组测试结果表明，改进的网络准确率达88.80%，敏感度达87.15%。在识别准确率和敏感性指标上，与GooLeNet Inception V3算法相比，分别提高了2.72, 2.19个百分点。在不同数据集比例下进行实验，同样达到了更优的效果，具有更好的泛化能力。可以给临床诊断提供相对客观的指标依据。

医学图像；深度学习；迁移学习；GooLeNet

目前，肺癌的发病率和致死率每年都在不断增加。根据美国癌症协会数据，每年大约14%以上的新发癌症属于肺癌类型。在恶性肿瘤中，肺癌以最高的发病率和死亡率居于榜首。肺结节作为与肺癌有密切关系的多器官多系统疾病，很有可能是肺癌的早期特征。因此，对于肺结节的检测对诊断早期肺癌有重要参考意义[1-2]。

计算机断层扫描（Computed Tomography，CT）作为常用在肺结节评估的成像方式，要求医生具有专业的医学影像知识和临床经验。同时由于不同医生的诊断也具有个体差异[3]，近些年计算机辅助诊断（Computer-Aided Diagnosis，CAD）技术作为辅助医疗工具被广泛应用，能够给出相对客观的评价指标，辅助医生做出诊断。

早期的研究方法多为使用特征提取的方法，即提取图片中的感兴趣区域（Region of Interest，ROI），从形状、灰度、纹理等特征分析结节特性，人工提取特征方法费时费力[4]。随着机器学习领域的快速发展，以卷积神经网络为代表的深度学习算法广泛应用：一种是基于候选区域的两阶段检测算法，如RCNN；另一种是基于回归的一阶段检测算法，如YOLO[5-6]系列。Francis等[7]提出使用YOLO检测框架来检测CT中的结节，通过使用卷积神经网络（Convolutional Neural Network，CNN）来预测多个叙述框，并在LIDC-IDRI（肺影像数据库联盟）数据集上进行测试，敏感度为89%。现阶段常使用在其他数据集上训练过的卷积网络来提取目标数据集的特征，常用网络包括CNN、YOLO、FCN、R-CNN[8-9]等。

目前使用的迁移学习方法可以取得较好的效果，但是源数据集与目标数据集差距过大，特征提取存在改进的空间。因此，本文设计一种改进的GooLeNet Inception V3网络的深度神经网络模型来识别肺结节。

本文的主要工作在于建立特征融合层和相关参数的优化，将目标网络与建立的融合层相结合，更好地提取目标数据集的特征。

1 数据集

本文使用LUNA16数据集。作为公用肺结节数据集LIDC-IDRI[10]的子集，LUNA16包括888位病人CT图像，分成10个子集存储。每套图像由mhd和raw文件组成，mhd给出图像基本信息，raw储存像素信息。CT图像实例如图1所示。

图1 LUNA16图像实例

2 改进的肺结节识别模型

2.1 GooLeNet网络算法

2012年Szegedy等[11]提出GooLeNet网络，相比AlexNet、VGG等网络，GooLeNet具有更深的网络结构和更少的参数量（见表1）。GooLeNet通过调整网络结构（见图2），设计Inception层，大幅降低了参数量，从而提高训练效率。

表1 常用神经网络参数对比

图2 GooLeNet的网络结构图

2.2 改进的RGIV3网络结构设计

GooLeNet Inception V3[10,12]是在ImageNet数据集训练得到的模型，与本文使用的LUNA16数据集差距较大，直接使用效果不佳，故设计融合层来减小两数据集差距过大对识别的影响。通过该特征融合层对网络学习的特征信息进行非线性拟合，更好地学习图片特征。

设计的融合层由3个全连接层和一个Dropout层组成，结构如图3所示。将该层与GooLeNet Inception V3网络组合，下文中，原GooLeNet Inception V3称为GIV3，组合后网络称为RGIV3。

根据经验，节点数应在1024, 512, 256, 128中选择，隐藏率在0.4, 0.5, 0.6中选择。为确定最佳组合方式，本文针对节点参数和隐藏率的不同组合进行实验，共30组分别进行实验，以准确率为选择标准。实验结果如表2所示。根据结果，本文选择参数组合为1024和512，隐藏率为0.5。

图3 改进后RGIV3结构图

表2 节点数与隐藏率组合实验结果

由于目标数据集样本量较少，训练新的模型容易出现过拟合，实验中采用在ImageNet等大型数据库训练后的权值作为初始化依据，通过较低的学习率进行微调。

2.3 网络权值更新方法

选择随机梯度下降（Stochastic Gradient Descent，SGD）方法更新权值，即沿学习率反方向靠近损失函数的最小值时的参数[9]。更新公式如下：

3 实验及结果分析

3.1 数据集预处理

LUNA16的原始数据由图像数据（.raw）和标注数据（.mhd）组成，由于神经网络无法直接读取该格式图像，把mhd格式图像转换为通用BMP格式图像。通过转换得到与CT切片数量相同的RGB格式图像，每张图片显示了一张切片的完整图像信息。从标注文件中可以得到结节的位置信息和性质信息，通过位置信息和切片深度可以快速定位切片及结节位置[13]。病人在进行CT检查时，由于姿势不同导致图像出现翻转，需要根据标注数据调整图片使其正卧，同时修改坐标信息。

由于数据集较小，需要通过数据增强的方式扩充数据集。本文使用有监督类的数据增强方式，对转换的BMP格式图像进行数据增强以扩充数据集，并通过微调学习率的方式防止过拟合。

肺实质指肺内各支气管及其终端的肺泡结构，即肺内空气接触的腔隙和管壁。在CT影像中，指的是肺部白色轮廓的黑色部分。本文的研究目标为识别肺结节，所以仅需对肺实质部分进行分析，肺外部轮廓部分可能会给神经网络学习带来影响，故对影像进行提取肺实质操作[14]。

如图4为LUNA16数据集中的一张原始数据切片。经过二值化、腐蚀膨胀等操作将肺实质与肺部轮廓分割开来如右图，在去除轮廓后仅以肺实质进行后续处理[15]。

图4 原图像和处理后肺实质图像

3.2 实验过程

实验在Windows 10系统下进行，CPU为Inter Core i5-6200U@ 2.30GHz，使用Tensorflow框架和slim微调模型，Python3.6版本。

实验过程中训练使用了750个病人的CT资料，测试使用了150个病人资料。共提取出肺结节图像2000张和健康组织图像2000张，通过数据增强的方式扩充数据集，共有肺结节图像5000张，健康组织5000张。调整尺寸固定为330×330。分别采用80%作为训练集，20%作为测试集；70%作为训练集，30%作为测试集；60%作为训练集，40%作为测试集。每组训练至损失函数一致，分别测试并对比分析模型性能。其中80%组在slim模型上训练了2776步，将损失函数降至0.38，准确率达88.8%，其他组别结果如表4。

实验中，使用设计的RGIV3网络在训练集和验证集上进行训练，并在测试集进行验证。为了避免陷入局部最优，对学习率采取逐步递减的方法。即当每迭代200次，对学习率进行调整。

3.3 实验结果分析

根据实验结果得到真阳性（True Positive，TP）、真阴性（True Negative，TN）、假阳性（False Positive，FP）和假阴性（False Negative，FN），并选择了3个评价指标来评价模型性能[14-16]：准确率（Accuracy，Acc）、敏感度（Sensitivity，Sen）、特异度（Specificity，Spe），计算式如下：

准确率表现了预测结果与真实结果的相符程度，敏感性体现了模型识别肺结节的能力。特异性则是对无肺结节的图像的识别能力。GIV3与RGIV3的训练过程如图5所示，根据图5可看出，RGIV3具有更快的收敛速度，模型性能更加稳定，同时结合准确率，改进的RGIV3模型在数据集上取得了更好的效果。

图5 训练过程（总体损失loss变化）

在80%作为训练集，20%作为测试集时，各模型的效果对比如表3所示。

表3 模型效果对比 %

通过表3所示，本文改进的模型在准确率和敏感性上分别为88.80%和87.15%，相较于传统的GIV模型分别提高了2.72%和2.19%。达到了较优的识别效果。

为更全面评估改进的RGIV3模型性能，在不同训练集与测试集的比例下进行了实验，结果如表4所示。

表4 不同数据比例下模型效果对比 %

根据上表所示，结合训练过程分析，改进的RGIV3相比原GIV模型存在较好的识别效果，在80%，70%，60%的数据比例下均优于GIV3的识别效果，同时收敛速度更快，具有更好的性能。

4 结束语

本文使用一种改进的神经网络模型，对LUNA16数据集使用一部分进行肺结节的检测。通过GIV3网络与设计的特征融合层的相结合，提高了网络对于特征的提取能力，在一定程度上缓解了由于源数据集与目标数据集之间差距较大，导致迁移学习的效果不佳。在对比实验中，本文的模型相较于已有的其他模型，具有较好的识别效果。由于数据集规模较小，存在一定的过拟合情况，通过数据增强扩充数据集以及微调

学习率的方式，可以有效缓解。在后续的研究中，可将计算特征与语义特征相联系，为肺结节给予定量评估，为医生提供诊断依据。

[1] 杨怀金，夏克文，刘方原，等. 融合卷积神经网络和流形学习的肺结节检测[J]. 科学技术与工程，2021, 21(01): 260-268.

[2] 叶枫，王路遥，洪卫，等. 基于SE-CapsNet的肺结节良恶性诊断研究[J]. 中国生物医学工程学报，2021, 40(01): 71-80.

[3] 曹蕾，黎维娟，冯前进. 基于LDA和SVM的肺结节CT图像自动检测与诊断[J]. 南方医科大学学报，2011, 31(02): 324-328.

[4] 唐力. 基于肺部图像识别的计算机辅助分类方法研究[D]. 哈尔滨：哈尔滨理工大学，2021.

[5] 王乾梁，石宏理. 基于改进YOLO V3的肺结节检测方法[J]. 中国医学物理学杂志，2021, 38(09): 1179-1184.

[6] 陈婧，叶晓丹. 肺结节MRI检查的研究进展和临床应用[J]. 中国中西医结合影像学杂志，2021, 19(05): 506-510.

[7] FRANCIS G, KO J P. Pulmonary nodules: detection, assessment, and CAD[J]. American Journal of Roentgenology, 2008, 191(4): 1057-1069.

[8] LIU D, ZHU S, LIU B, et al. Improvement of CT target scanning quality for pulmonary nodules by PDCA management method[J]. Mathematical Problems in Engineering, 2021(6): 1-9.

[9] 孟以爽. 基于深度学习的医疗图像识别[D]. 上海：上海交通大学，2018.

[10] 何新宇，张晓龙. 基于深度神经网络的肺炎图像识别模型[J]. 计算机应用，2019, 39(06): 1680-1684.

[11] SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions[J]. IEEE Computer Society, 2015: 1-9．

[12] OHNO Y, NISHIO M, KOYAMA H, et al. Dynamic contrast-enhanced CT and MRI for pulmonary nodule assessment[J]. American Journal of Roentgenology, 2014, 202(3): 515-529.

[13] SOUTO M, TAHOCES P G, SUAREZ CUENCA J J, et al. Automatic detection of pulmonary nodules on computed tomography: a preliminary study[J]. Radiologia, 2008, 50(5): 387-392.

[14] ZHANG C, LI J, HUANG J, et al. Computed tomography image under convolutional neural network deep learning algorithm in pulmonary nodule detection and lung function examination[J]. Journal of healthcare engineering, 2021, 2021: 3417285.

[15] LEE C H, JWO J S. Automatic segmentation for pulmonary nodules in CT images based on multifractal analysis[J]. IET Image Processing, 2020, 14(7): 1347-1353.

[16] ITOUJI E, KONO M, ADACHI S, et al. The role of CT and MR imaging in the diagnosis of lung cancer[J]. Gan to Kagaku Ryoho Cancer & Chemotherapy, 1997, 24 Suppl 3: 353-358.

Lung medical image recognition based on deep learning

CAO Zhen-guan，LI Rui，ZHANG Zong-tang

(School of Electrical and Information Engineering, Anhui University of Science & Technology, Anhui Huainan 232000, China)

As an important feature of early diagnosis of lung cancer, pulmonary nodules are of great significance to its recognition and classification. At present, there is a large gap between the source data set and the target data set in the recognition algorithm of transfer learning, and the feature extraction of pulmonary nodules is insufficient, resulting in poor effect. This paper proposes an improved neural network model based on convolutional neural network. The pre-trained GooLeNet Inception V3 network is combined with the designed feature fusion layer to improve the network's feature extraction capability. In order to determine the best combination method, each group is tested based on accuracy. The experiment was performed on the LUNA16 dataset of pulmonary nodules. After grouping test, the accuracy and sensitivity of the improved network are 88.80% and 87.15% respectively. Compared with GooLeNet Inception V3 algorithm, the recognition accuracy and sensitivity are improved by 2.72 and 2.19 percentage points respectively. Experiments under different proportions of data sets also achieve better results and have better generalization ability. It can provide relatively objective index basis for clinical diagnosis.

medical image；deep learning；transfer learning；GooLeNet

2021-10-22

安徽省科技重大专项项目——矿山职工全过程智能健康管理关键技术研究及应用示范（201903a07020013）；安徽理工大学2021年研究生创新基金（2021CX2072）

曹珍贯（1979-），男，浙江泰州人，副教授，博士，主要从事智能控制研究，caozhenguan@163.com。

TP391.4

A

1007-984X(2022)02-0044-06