融合多尺度图像的密集神经网络肺部肿瘤识别算法

周 涛，霍兵强，陆惠玲，马宗军，叶鑫宇，董雅丽，刘 珊

（1. 北方民族大学 计算机科学与工程学院，银川 宁夏 750021；2. 北方民族大学 图像图形智能处理国家民委重点实验室，银川 宁夏 750021；3. 宁夏智能信息与大数据处理重点实验室，银川 宁夏 750021；4. 宁夏医科大学 理学院，银川 宁夏 750004；5. 宁夏医科大学总医院骨科，银川 宁夏 75004）

1 引 言

肺部肿瘤［1］是目前癌症中发病率和死亡率居高不下的恶性肿瘤之一，肺部肿瘤发病率逐年增长，严重威胁人类健康。根据2019 年美国癌症统计报告［2］，肺癌是最常见的癌症之一，占所有癌症病例的11.6%。肺癌也是导致癌症死亡的主要原因，占癌症死亡总人数的18.4%。据2019 年国家癌症中心报告［3］，肺癌的发病率、致死率在所有癌症中占据首位。医学影像［4］学方法检查广泛应用于肺部肿瘤的诊断，其中包括超声、X 线成像、电子计算机断层扫描（Computed Tomography，CT）、磁共振成像（Magnetic Resonance Imaging，MRI）和正电子发射型计算机断层显像（Positron Emission Computed Tomography，PET）等。其中CT 属于解剖成像，对于病灶部分具有良好的密度分辨能力。在肺癌早期诊断中多层螺旋CT 通过重建技术能够清晰显示出横断面、矢状面和冠状面的病灶特征；中期诊断中螺旋CT 诊断联合表面遮蔽和多平面重建能够清晰显示肿瘤部位、内部结构、边缘特征、血液供应、侵犯周围组织程度以及周边组织的改变，具有较高的诊断准确率。因此，从CT 图像中进行胸部疾病检测，能够对肺部疾病的诊断及治疗提供参考依据。

近年来，基于深度学习［5］的计算机辅助诊断技术（Computer Aided Diagnosis，CAD）已经广泛应用于各种疾病的诊疗过程中，肺癌检测是最常见的CAD 技术应用之一，引入计算机辅助诊断技术对肺癌的早期发现与诊疗有着积极作用。在深度学习中，卷积神经网络（Convolutional Neural Network，CNN）模型已成为计算机视觉领域的研究热点，CNN 网络模型［6］是一种基于感知器的模型结构，其优点在于可以直接输入原始图像，避免对图像的过度预处理，通过局部感受野、权值共享、池化功能，使得CNN 能在较低的模型复杂度下充分利用图像局部和全局信息，在图像处理领域取得较好成绩。以密集神经网络为代表的CNN 模型在医学图像领域应用日益广泛，在良恶性肿瘤、脑功能、心脑血管疾病等重大疾病的临床辅助分类、识别、检测、分割等方面取得良好效果。残差神经网络［7］通过跨层参数共享和保留中间特征的方式降低特征冗余度，重复利用已有特征，但缺点是难以利用高层信息再发掘底层特征。DenseNet［8］有效地利用高层信息再次发掘底层新特征，增强了特征在网络间的传播，实现和加强了特征重用，有效减少了参数数量。Luo［9］在胸部X 射线图像方面提出自动气胸分割 算法：Multi-Scale ScSE-DenseNet 模型，该算法包括完全卷积DenseNet（FC-DenseNet），空间和通道压缩和激励模块（SCSE）以及多个比例模块。利用多尺度模块捕获视点相关的对象可变性，并利用SCSE 模块对特征图进行自适应重新校准，以增强有意义的特征以获得更好的结果。Zhang［10］在U-Net 模型、GoogLeNet 的Inception-Res 模块和Dense-Net 模型的启发下，提出了一种新的Dense-Inception U-Net（DIU-Net）的网络结构用于医学图像分割任务，该网络将Inception 模块和密集连接集成到U-Net 体系结构中。Inception-Res 块通过替换标准卷积层来增加网络的宽度，Dense-Inception 块提取特征并使网络更深，该方法对脑肿瘤分割有较好效果。刘一璟［11］提 出 端 到 端DenseNet-centercrop 网 络。通过在DenseNet 结构中的稠密块间增加新的分支，引入了中心剪裁操作。将其密集连接机制扩展到了密集块水平，丰富肺结节的多尺度特征并且参数量较少，在肺结节良恶性分类方法具有更高的AUC 分值和分类精度。

本文提出了一种基于融合多尺度图像的非负稀疏协同表示分类的密集神经网络的肺部肿瘤（DenseNet-NSCR）良恶性分类方法。第一，收集CT 模态医学图像并预处理；提取不同尺度病灶ROI 区域（28×28 CT，50×50 CT）；第二，将分别将多尺度数据集在密集神经网络中训练，构建密集神经网络模型，提取全连接层特征向量并进行特征串行融合；第三，在NSCR 分类器中得到肺部肿瘤分类结果，通过AlexNet＋SVM，AlexNet＋SRC， AlexNet＋NSCR， Multiscale-AlexNet＋SVM， Multiscale-AlexNet＋SRC，Multiscale-AlexNet＋NSCR，DenseNet＋SVM，DenseNet＋SRC，DenseNet＋NSCR，Multiscale-DenseNet＋SVM， Multiscale-DenseNet＋SRC，Multiscale-DenseNet＋NSCR 共18 种模型对比，Multiscale-DenseNet＋NSCR 模 型 优 于 其 他 模型，具有较好的鲁棒性和泛化能力。

2 基本原理

2.1 密集神经网络基本结构

深度密集神经网络（DenseNet）通常由多个密集块（Dense Block）和过渡块（Transition Layer）结构重叠构成多层神经网络。其内部Dense Block 结构采用残差神经网络的残差连接（Shortcut）结构，深度残差神经网络通常由多个残差块结构重叠构成，相邻卷积层通过Shortcut 实现残差连接，形成残差块（Residual block），残差块结构如图2 所示。其中Hi表示输入，Hi＋1表示输出，Wi表示权重，F表示为残差映射。图1 中残差块映射表示为：

图1 残差块Fig.1 Residual block

DenseNet 结构在模型构建中使用密集连接，如图1 所示，当前网络层连接到以后的每一层。各个Dense Block 内的特征图大小一致，DenseNet 网络所学习的特征都在网络内重用，DenseNet 层之间的密集连接促进整个网络的信息流。其非线性函数如公式1 所示。其中，xi表示 第l层 输 出；［x0，x1，x2，…，xl－1］表 示 将 从 输 入层到l－1 层的特征图拼接；Hi表示非线性函数，该函数是包含BN 层、ReLU 层以及卷积层的组合操作。因此，深度网络的训练变得更加有效，并且模型的性能得到提高，如图2 所示。

图2 DenseNet 网络Fig. 2 DenseNet

与ResNet 网络相比，DenseNet 用于网络训练的参数更少。此外，使用密集连接可缓解数据集较小的模型的过拟合问题。对于Transition层，它主要连接两个DenseBlock，其中包含了一个1×1 的卷积和2×2 的平均池化，用以降低特征图大小。如果上一层的Dense Block 输出m个特征映射，过渡层可以生成θm 个特征映射，其中0≤θ≤1 称为压缩因子，当θ=1 时，特征映射保持不变；当θ＜1 时，过渡层能够进一步压缩模型。本文采用DenseNet 的k=32，θ=0.5。

DenseNet 具有以下特点：第一，DenseNet 有效地缓解了网络过深带来的梯度消失问题，DenseNet 每层都能获取前面各层的损失函数，有效加强了特征前向传播，因此可以训练更深的网络。第二，相比ResNet 采用求和的方式传播特征，DenseNet 采用Inception 的concatenation通道合并方式，将前面所有层输出拼接在一起作为当前输入，显著提高特征传播效率。第三，DenseNet 加强特征传递、有效利用特征，从特征重用的角度提升网络性能。残差神经网络通过跨层参数共享和保留中间特征的方式降低特征冗余度，重复利用已有特征，缺点是难以利用高层信息再发掘底层特征；DenseNet 有效地利用高层信息再次发掘底层新特征，增强了特征在网络间的传播，实现和加强了特征重用。第四，相较于ResNet 较大的参数量，DenseNet 有效减少了参数数量。

2.2 NSCR 算法

高维数据中存在着许多冗余或不相关的特征，从而面临着维数灾难问题。一方面需要较高的计算时间和空间；另一方面在分类任务中出现过拟合等问题。因此数据降维是机器学习中一项具有挑战性的任务。高维特征数据的稀疏表示是近年来机器学习领域的研究热点之一，SRC/CRC/NRC［12-13］的 核 心 思 想 是 测 试 样 本 通过来自所有类的训练样本的线性组合来近似表示，然后将测试样本分配给具有最小距离或近似误差的对应类。但是在稀疏表示分类SRC/CRC的编码系数会出现负系数，这在实际应用中，使得正负系数相对应的权重抵消的问题，这一定程度上影响样本分类精度。非负表示分类NRC［14］的分类思想编码系数限制为非负，非负表示可以增强同构样本的表示能力，同时限制异构样本的表示能力。尽管SRC/CRC/NRC 三种分类器在图像识别任务中取得了成功，但它们也存在相应的局限性。当使用整个训练图像来重建测试图像y 时，SRC 和CRC 都会在编码系数向量中产生偏差。原因是，从生成的角度来看，从具有复数负（减）和正（加）系数训练图像重建真实世界图像在物理上是不可行的。NRC 将编码系数约束为非负，但由于缺乏合适的正则化，NRC 分类不够灵活，无法处理现实实际问题。NSCR（Non-negative，Sparse，and Collaborative Representation）［15］结合稀疏表示、协作表示和非负表示优势，在物理上比先前的稀疏表示、协同表示和非负表示具有较好的鲁棒性和泛化能力。

NSCR 分类器可以被重构为一个线性等式约束的双变量问题，并且可以在乘子框架的交替方向方法［16］下被解决。每个子问题都可以用封闭形式有效地求解，并且可以收敛到全局最优。NSCR 在各种视觉分类数据集的大量实验验证了NSCR 分类器的有效性，且NSCR 分类效果优于SVM，SRC 等先进分类算法。基于以上讨论，NSCR 算法对于给定测试样本y∈RD和训练样本矩阵X，X由若干类的样本组成，即X=[X1，....，Xk]∈RD×N，其算法思想为：

表1 NSCR 算法思想Tab.1 NSCR algorithm

2.3 评价指标

本文评价指标［17］包括：精确度（Accuracy）、灵敏性（Sensitivity）、特异性（Specificity）、F 值（F-score 值）、马修斯相关性系数（Matthews correlation coefficient，MCC），具体介绍如下：

精确度、灵敏性和特异性是通过真阳性（True Positive，TP）、假 阳 性（False Positive，FP）、真 阴 性（True Negative，TN）和 假 阴 性（False Negative，FN）计算，TP 表示良性肿瘤被预测正确，FP 表示恶性肿瘤被预测错误，TN 表示恶性肿瘤图像被预测正确，FN 表示良性肿瘤被预测错误。其计算公式分别为：

MCC 是更全面的评价指标，体现算法的可靠性，在类别数不同时认为是平衡的措施，取值范围在［－1，＋1］。当预测错误的FP 和FN 均为0 时，MCC 取值为1，即分类完全正确；当预测正确的TP 和TN 均为0 时，MCC 取值为－1，即分类完全错误，其计算公式如下：

3 基于NSRC 的密集神经网络模型

针对CT 模态医学图像采用卷积神经网络训练时的特征提取不充分问题，特征提取时维度较高等问题。本文结合基于密集神经网络特征提取方法和基于非负稀疏协同表示的分类识别方法，为从肺部肿瘤病灶及周边信息提取丰富特征，提出了基于融合多尺度图像的非负稀疏协同表示分类的密集神经网络的肺部肿瘤（Multi Scale DenseNet-NSCR）良恶性分类方法，算法整体步骤分为：图像预处理、密集神经网络提取特征、特征融合、NSCR 分类。

3.1 图像预处理

（1）数据收集：从宁夏某三甲医院收集2014年-2016 年期间收集3000 例原始肺部CT 模态的原始图像，其中肺部肿瘤良性数和恶性数均为1 500 例。原始肺部CT 图像如图3 所示：

图3 原始CT 图像Fig.3 Original CT image

（2）数据预处理：将肺部CT 模态的原始影像对应编号，去伪彩转化为灰度图像。从全局灰度图像中根据临床标记截取对应的病灶区域作为ROI 图像并将其归一化为同样大小的实验图像，获取多尺度的ROI 病灶图像，如28 px×28 px，50 px×50 px，分为良性样本和肺部恶性肿瘤样本良性样本和肺部恶性肿瘤样本各1 500 例，两类目标，将其按照一定比例划分为测试集和训练集，分别为1 200 例和300 例，并构造与其相对应的二进制标签y，其中良性标记为1，肺部恶性肿瘤标记为2。由于正常和肿瘤内部结构、边缘特征、血液供应、周围组织代谢程度不同，因此对应的CT 图像具有不同的灰度特征，这里给出两种尺度图像中具有代表性的阴性样本和阳性样本及其三维灰度图实例如图4 所示：

图4 不同尺度的ROI 图像及三维灰度图Fig.4 ROI images and three-dimensional grayscale images of different scales

3.2 密集神经网络-DenseNet

（1）迁移学习：密集神经网络DenseNet-201模型首先在大型自然图像数据集ImageNet 上预训练，采用迁移学习方法［17］网络中的参数作为网络中的初始化参数。其中密集神经网络的网络生长率k=32，Transition Layer 的压缩率θ=0.5。

（2）密集神经网络特征提取：将多尺度数据集及标签分别输入到预训练密集神经网络DenseNet-201，并构造基于DenseNet 模型的单模态 网 络，即28×28 px 的CT-DenseNet 和50×50 px 的CT-DenseNet；分别在密集神经网络中训练，在全连接层提取训练样本和测试样本特征向量，并将多尺度的特征融合。得到融合训练样本和测试样本特征向量。

3.3 串行特征融合

目前，常用的多特征融合方法有简单叠加、串行融合法等。串行特征融合方法是将样本空间中的多组特征合并称为一组新的特征向量，本文采用串行融合法提取丰富病灶的特征信息以用于肺部肿瘤良恶性分类。综合特征向量作为分类器输入进行学习分类，能够打破采用单一特征进行分类识别的局限性，提高肺部肿瘤的分类识别效果。但该方法会导致特征维数过大，因此采用对高维特征有较好分类效果的NSRC 分类器则较为合适。 对于28 px×28 px 的CTDenseNet 和50 px×50 px 的CT-DenseNet；将分别将多尺度数据集在密集神经网络中训练。

3.4 NSCR 分类识别

在密集神经网络的全连接层提取不同尺度训练样本矩阵和测试样本矩阵的特征向量进行融合，将融合后的特征矩阵作为NSCR 分类器输入，将所有的训练样本矩阵和测试样本矩阵标准化为L_2 范数，求解出系数矩阵，进而通过系数矩阵求出每一类的重构误差，最后根据重构残差值相似度完成最终的分类识别。具体如下：

（1）对于28×28 px 和50×50 px 的图像，通过五折交叉划分训练样本和测试样本，经密集神经网络DenseNet-201 特征提取，将全连接特征进行串行融合，得到融合的特征空间的训练样本矩阵X'和测试样本矩阵y'。

（2）将矩阵X'和查询样本y'每一列标准化为单位L_2 范数；

（3）对y'用特征空间的训练样本X'进行非负稀疏协同表示，得表示系数矩阵c：

在公式（7）中，δ拉格朗日乘数，ρ为惩罚参数，c，z初始化为0，αβ为正则化参数，用ct，zt，表示在T（t=1，2，3...）次迭代的优化变量，其ADMM 优化过程如表2。

表2 ADMM 优化过程Tab.2 ADMM optimization process

（4）通过训练样本对测试样本的非负稀疏协同表示进行残差相似度分类rk：

（5）输出残差结果所对应的标签类别：

基于融合多尺度图像的NSCR 的密集神经网络模型DenseNet-NSCR 如图5 所示：

图5 融合多尺度图像的NSCR 密集神经网络算法流程图Fig. 5 Lung Tumor Image Recognition Algorithm with Densenet Fusion Multi-Scale Images

4 算法仿真实验

4.1 实验环境

软件环境：Windows10 操作系统，MatlabR2019a；

硬 件 环 境：Intel（R）Core（TM）i5-7200U CPU ＠2.50 GHz 2.70 GHz，4.0 GB 内 存，500 GB 硬盘.

4.2 实验结果及分析

为保证实验数据可靠性，本实验均采用五折交叉法进行训练。将所有样本等分为5 份，每份包含相等比例的不同类别样本个数；每次将4 份数据作为训练样本，剩余的1 份作为测试样本。将每次结果进行平均得到最终的实验结果，即每次的训练样本数为2 400 幅，测试样本数为600幅，进行五次实验取平均值。实验在不同网络模型AlexNet、DenseNet-201 两种网络模型，及三种分类算法：SVM、SRC 和NSCR，两两组合的模型进行试验比较，结果如下：

实验一：不同模型精确度与时间的比较

本实验主要讨论6 个算法（AlexNet＋SVM，AlexNet＋SRC，AlexNet＋NSCR，DenseNet＋SVM，DenseNet＋SRC，DenseNet＋NSCR）在28×28 px 尺度、50×50 px 尺度和融合多尺度的CT 样本空间上进行训练和识别时的识别精度和训练时间，探究不同网络模型、不同的分类算法和不同的尺度信息对密集神经网络识别率和训练时间的影响，具体结果如表3 所示。

表3 不同模型的精确度与训练时间结果比较Tab.3 Comparison of accuracy and training time results of different models

第一种情况，不同的网络模型，相同的分类算法。在实验中有三组对比实验，即：（AlexNet＋SVM，DenseNet-201＋SVM），（AlexNet＋SRC，DenseNet-201＋SRC） ， （AlexNet＋NSCR，DenseNet-201＋NSCR）。以第三组为例进行说明，在多尺度融合CT 样本空间中，本文提出的DenseNet-201＋NSCR 模型比AlexNet＋NSCR、模型的精确度提高0.17%，训练时间增加3 528.54 s。不难看出，密集神经网络DenseNet-201与其他CNN 模型相比，网络层数深，提取的图像特征丰富，分类精确度高，但是付出的代价是训练时间大幅提高，其它两组结果类似，这里不再累述。

第二种情况，采用相同的网络，不同的分类算法。 在实验一中有两组对比实验，即（AlexNet＋SVM， AlexNet＋SRC， AlexNet＋NSCR） 、（DenseNet-201＋SVM， DenseNet-201＋SRC，DenseNet-201＋NSCR）。以第三组为例进行说明，在CT 样本空间中，本文提出的DenseNet-201＋NSCR 模型的分类精确度比DenseNet-201＋SVM 高0.84%，比DenseNet-201＋SRC 高0.78%，从 训 练 时 间 来 看，比DenseNet-201＋SVM 模 型 多 51.97 s，比DenseNet-201＋SRC 模型低727.69s，与第一二种情况相比，整体训练时间都大幅提高，但在网络模型确定后，相较于SVM 分类器训练时间复杂度增幅不大。且相较于SRC 分类算法，其时间复杂福大幅降低，不难看出，在相同的网络模型下，非负稀疏协同表示分类算法NSCR 与SVM和SRC 相比，具有较好的分类精度，较好解决高维数据的优化问题，付出的时间代价与SRC 相比，降低了很多。

第三种情况，采用相同的网络和分类算法，不同尺度对比实验，在实验中有六组对比实验，以DenseNet-201＋NSCR 为 例，28×28 px 图 像分类精确度为97.97%，50×50 px 图像分类精确度为98.90%，融合多尺度信息方法分类精确度为99.77%，相较于单一尺度的28×28 px 图像和50×50 px 图像分别提高1.8%和0.87%，通过以上实验分析对比，充分证明本文提出的Multiscale-DenseNet-NSCR 有效性。

实验二：不同网络与分类器算法组合的比较

实验主要讨论6 个算法（AlexNet＋SVM，AlexNet＋SRC， AlexNet＋NSCR， DenseNet-201＋SVM， DenseNet-201＋SRC， DenseNet-201＋NSCR）在28×28 px，50×50 px 和多尺度融合CT 样本空间上进行训练，从精确度、灵敏度、特异度、F 值、MCC 共5 个指标评价算法的优劣。结果如表4～8：

表4 不同网络模型及分类算法的在多尺度数据集下的精确度结果比较Tab.4 Comparison of Accuracy results under multi-scale datasets for different network models and classification algorithms （%）

表5 不同网络模型及分类算法的在多尺度数据集下的灵敏性结果比较Tab.5 Comparison of Sensitivity results under multiscale datasets for different network models and classification algorithms （%）

表6 不同网络模型及分类算法的在多尺度数据集下的特异性结果比较Tab.6 Comparison of Specificity results under multiscale datasets for different network models and classification algorithms （%）

表7 不同网络模型及分类算法的在多尺度数据集下的F-score 结果比较Tab.7 Comparison of MCC results under multi-scale datasets for different network models and classification algorithms （%）

表8 不同网络模型及分类算法的在多尺度数据集下的MCC 结果比较Tab.8 Comparison of MCC results under multi-scale datasets for different network models and classification algorithms （%）

由表4～8 可见，Multisacle-DenseNet-201＋NSCR 算法指标都优于其它算法，精确度、灵敏性、特异性、F 值、MCC 在CT 数据集上分别提高0.17%～3.24%， 0.13%～3.24%， 0.07%～3.93%，0.17%～3.21，0.33%～6.54%；为了更加清晰的表示不同算法在各个指标上的差异，将这5 个指标的平均值绘制折线图，横坐标为3 种网络模型，纵坐标分别为5 种评价指标，分别见图6～10。

图6 不同网络和算法的精确度Fig.6 Accuracy of different networks and algorithms

通过上述两个实验及相关分析不难看出，在网络模型相同的情况下，本文比较SVM、SRC 和NSCR 三种分类算法，实验结果表明NSCR 分类效果优于SVM 和SRC 分类算法，NSRC 算法具有较好鲁棒性；针对卷积神经网络在医学图像提取到的特征出现维度较高等问题，在分类算法相同的情况下，本文比较AlexNet、DenseNet-201 两种网络模型，实验结果表明DenseNet 优于AlexNet 模型，DenseNet 有效地利用高层信息再次发掘底层新特征，增强了特征在网络间的传播，实现和加强了特征重用。在多尺度对比实验中，融合多尺度图像的DenseNet 模型的性能优于单一尺度28×28 px，50×50 px 模型的性能，尤其是本文提出的Multisacle-DenseNet-201＋NSCR 模型网络深度深、网络泛化能力强，分类准确度高，其精确度，灵敏度、特异度、F值、MCC等评价指标优于其它模型。

图7 不同网络和算法的灵敏度Fig.7 Sensitivity of different networks and algorithms

图8 不同网络和算法的特异度Fig.8 Specificity of different networks and algorithms

图9 不同网络和算法的F 值Fig.9 F of different networks and algorithms

图10 不同网络和算法的MCCFig.10 MCC of different networks and algorithms

5 结 论

本文提出了一种基于融合多尺度图像的非负稀疏协同表示分类的密集神经网络的肺部肿瘤（DenseNet-NSCR）良恶性分类方法。第一，收集CT 模态医学图像并预处理；提取不同尺度病灶ROI 区域（28×28 px CT、50×50 px CT）；第二，分别将多尺度数据集在密集神经网络中训练，构建密集神经网络模型，提取全连接层特征向量并进行特行证融合；第三，在NSCR 分类器中得到肺部肿瘤分类结果，通过AlexNet＋SVM，AlexNet＋SRC，AlexNet＋NSCR、Multiscale-AlexNet＋SVM，Multiscale-AlexNet＋SRC，Multiscale-AlexNet＋NSCR，DenseNet＋SVM，DenseNet＋SRC，DenseNet＋NSCR、Multiscale-DenseNet＋SVM， Multiscale-DenseNet＋SRC，Multiscale-DenseNet＋NSCR 共18 种 模 型 对 比，Multiscale-DenseNet＋NSCR 模 型 优 于 其 他 模型，具有较好的鲁棒性和泛化能力。