人型网络乳腺钼靶影像分类方法研究

杨 洁，胡明娣，李 立，翟晓红，许天倚，张中茂

1.西安邮电大学 通信与信息工程学院，西安710121

2.中山大学 肿瘤防治中心，广州510060

3.深圳市坪山区妇幼保健院，广东 深圳518022

1 引言

根据2018 年全球癌症统计报告可知：女性乳腺癌的发病率和死亡率均居女性癌症发病和死亡的首位[1]。研究表明：早发现、早诊断以及早治疗能提高乳腺癌存活率，降低死亡率[2]。目前常用的乳腺成像技术有乳腺钼靶X成像、超声成像、核磁共振等，由于乳腺钼靶X成像低辐射、低成本和较高的分辨率被认为是早期发现和诊断乳腺癌的金标准[3]。乳腺肿块和钙化是乳腺癌的早期征象，通常肿块边缘模糊，大小不一，钙化面积较小，灰度和对比度较低[4]，而且，由于我国女性乳房大多为致密性乳腺为主[5]，乳腺肿块、钙化与正常腺体重叠，上述征象依靠人工肉眼不易辨认，这导致医生确诊肿块、钙化、肿块钙化更加困难，因此容易出现误诊、漏诊等情况，耽误患者最佳治疗时期。

近年来，随着计算机技术的飞速发展，深度学习在图像处理方面正不断取得突破性进展[6]。卷积神经网络（Convolutional Neural Network，CNN）[7]从AlexNet[8]到VGGNet[9]，在从GooleNet[10]到ResNet[11]，在解决图像分类问题上有了突破性的进展。相对于CNN具有非常强的图像特征自动提取能力，可以提取较高等级的特征[12]，在医学图像领域得到了广泛应用[13-16]。

CNN端对端的训练已被广泛应用到乳腺影像分类上。例如：孙利雷[17]等提出适用于X射线乳腺肿块双路径卷积神经网络是为了区分肿块良恶性之间的细微差距，在MIAS（Mammographic Image Analysis Society Digital Mammogram Database，MIAS）和DDSM（Digital Database for Screening Mammography）[18]中提取997个良性肿块和984 个肿块进行分类，AUC 达到了0.712 9。Jiao等[19]将使用CNN模型提取乳腺钼靶不同层次特征，将第五层卷积层和第七层全连接层进行特征融合，将融合后的特征使用SVM 分类器分类，在DDSM 数据集抽取600 张乳腺钼靶图片进行分类，达到了97.6%的分类准确率。魏鑫磊等[20]等根据乳腺组织特点，将乳腺钼靶图像分为脂肪型、致密型和过渡型，在MIAS 数据集取得了66.9%的分类精度。孙泽宇等[21]使用DDSM 乳腺钼靶数据集，然后将乳腺钼靶切块采样得到切块数据，将切块数据进行良性肿块、恶性肿块、良性钙化、恶性钙化分类，使用ResNet-50、inception v3和VGG-16训练和测试，取得了高准确率。Jiao 等[22]提出了一种用于乳腺肿块良恶性分类的联合深度度量学习神经网络。该神经网络由CNN 层和度量学习层组成，提高了整个深层网络的分类性能，取得了高准确率。

前文提到的经典卷积神经网络直接使用提取到的高级特征对乳腺钼靶图像进行多分类，分类准确率不高。受不同层次特征融合能够丰富图像细节信息的启发，借鉴残差网络中残差结构方法，本文提出了“人型”网络结构。用“人型”网络结构对乳腺钼靶图像进行四分类，识别出良性肿块、恶性肿块、恶性钙化、恶性肿块钙化。在人型网络中，下身从原始图像中提取边缘、纹理、颜色、亮度等低级特征，上身逐步返回图像形式的特征图，头部提取抽象的包含丰富语义信息的更高级特征。在网络返回图像形式特征图和提取更高级特征的同时使用跨层连接使图像所有深度特征进行多次融合以提高特征的多样性，最终将融合的特征经过全局最大池化层进行全局池化并经Softmax 分类器得到最终分类，以此来提高图像分类准确率。

2 方法

本文通过构建带有残差结构的卷积神经网络“人型”网络模型，实现乳腺钼靶影像进行四分类研究，流程如图1 所示。可以看出，通过“人型”网络，训练提取图像的有效特征，根据每次迭代卷积、下采样和反池化操作自动调节网络参数，将下身、上身和头部不同特征进行融合学习；最后，采用Softmax分类器实现特征分类，完成乳腺钼靶四分类。

图1 本文方法流程图

2.1 残差结构

众所周知，网络越深越复杂，通过大量网络参数训练时越容易产生过拟合[23-24]。本文为得到高级特征和低级特征的特征融合，构建了多个残差结构，以下身第四个堆叠卷积层至上身第一个堆叠卷积层为例，如图2所示，上身反池化后的输出为：

其中，F(x)为乳腺钼靶图像下身第四个堆叠卷积至上身第一个堆叠卷积后结果，x代表输入，在人型网络中下身第四个堆叠卷积后分支为残差结构，主径通过两个堆叠卷积层用于提取乳腺钼靶的深层特征，支路保留浅层特征，最终使浅层特征和深层特征融合。

图2 残差结构

2.2 人型网络

本文构建了带有残差结构的“人型”网络，如图3所示。整个“人”分为三部分：上身、下身和头部。下身通过堆叠的卷积层以及最大池化层来进行图片的低级特征提取。上身通过堆叠的卷积层、反池化层以及反池化层跳跃连接之前的下采样层将特征逐步返回到图片形式的特征图，在得到图片形式的特征图后头部通过堆叠的卷积层以及最大池化层再次提取到更高级的特征，并且在这个过程中与前面的反池化层进行跳跃连接。最终将高级特征与之前的低级特征进行级联，全局最大池化以及SoftMax分类器进行分类从而实现分类功能。

下身中第一个卷积层设定卷积核大小为3×3，即滑动窗口选定乳腺钼靶图片3×3 的区域与卷积核非线性运算，卷积层输入为：

其中，w为权值，∗表示二维卷积操作，xi为乳腺钼靶输入特征图，m为卷积层数，bj表示偏置。f( )∗ 是激活函数，这里使用的是修正线性单元（ReLU）。ReLU函数，能够在加快收敛速度的同时又尽可能避免陷入局部最优。conv1层的输出为：

本文使用堆叠卷积，第二个卷积层和第一个卷积层使用相同的操作（注：本文中有多个堆叠卷积层，卷积核大小均设置为3×3，padding 模式设置为SAME，步长设置为1；在下身中卷积核大小依次为32、64、128、256、512），在堆叠卷积层之后，添加一个2×2的最大池化来获得更紧凑和高效特征。最大池化替换每个多维数据集的最大值，以减少沿空间维度的要素图。它可以保持识别的最重要特征。此外，从低级到高级的特征变得更紧凑，这可以实现针对某些变化的鲁棒性。最大池化层输出为：

其中，代表最大池化层输入，p(⋅)为最大池化函数，代表最大池化层输出（下身中所有池化为最大池化，设置为2×2）。

在上身中，下身中的最后一个堆叠卷积后接一个反池化层，反池化是池化的逆操作，是通过池化的结果还原出全部的原始数据，在本文中，使用2×2的反池化来还原出原始数据，因为在池化过程中只保留了主要信息，舍弃了部分信息，想从池化后的主要信息恢复处全部信息，则存在信息丢失，这时通过补零位操作，实现信息还原，用原始尺寸特征图保存了高分辨率。反池化层输出为：

其中，代表反池化的输入，p(⋅)-1为反池化函数，代表反池化的输出（注：上身中卷积核大小以此为256、128、64、32，下身所有池化为反池化，设置为2×2）。在第四个堆叠卷积后接一个1×1的卷积层，代替了全连接层，改变了通道数目，这里的激活函数用的是Sigmoid函数。

在头部中，头部中用跳跃连接将上身特征（上身特征中包含下身特征）和头部特征连接，保留上身特征然后提取更高级特征（注：上身中卷积核大小以此为32、64、128、256、256，头部所有池化为最大池化，设置为2×2）。在最后添加全局最大池化层，用全局最大池化层代替全连接层，在添加Dropout 层，设置参数dropout_ratio 为0.5，能有效防止过拟合，以及SoftMax 分类器进行分类。SoftMax是逻辑函数的一种推广，定义如下：

其中，Si为第i类的最终评分。

因此，本文的网络没有使用全连接层，而是用全局最大池化层代替全连接层，进而缩减参数量避免过拟合现象。此外引入跳跃连接，充分利用网络提取的低层次特征，将图像的低层次信息和高层次信息融合在一起，从而能更加准确反映图像信息。最终将高级特征也与之前的低级特征进行级联，全局最大池化以及SoftMax分类器进行分类从而实现深监督以及提高分类准确率。

3 实验及结果分析

3.1 数据集

本文数据集选用中山大学肿瘤防治中心的463 名患者的乳腺钼靶影像数据，每个患者的左右乳房各两个不同角度拍摄的共四幅影像，分别是左乳腺侧斜位（LMLO）、左乳腺头足位（L-CC）、右乳腺侧斜位（R-MLO）、右乳腺头足位（R-CC）。如图4所示。共1 824幅乳腺钼靶图像，其中良性肿块钼靶图片622 幅，恶性肿块钼靶图片397幅，恶性钙化钼靶图片402幅，恶性肿块钙化钼靶图片403幅。

图3 人型网络结构

图4 乳腺钼靶影像

3.2 数据增强

深度学习是一种通过数据驱动的方法，从某种意义上来说数据数量可以直接决定网络训练的结果。而医学图像由于种种的限制，如病例过少，病人隐私等问题，大量收集数据是十分困难的、此外还需要拥有丰富临床经验的医生对每张图像进行标注，这使得大规模医学图像数据集的构建面临重重挑战。因此可以通过进行数据增强的方式来扩大数据量。具体来说：首先将图片像素降采样至256×256，将RGB三通道归一化0到1通道，变成灰度图；然后随机将图片翻转0°～180°，并且上下左右平移，距离为0%～20%之内的随机数，以及0%～20%的随机裁剪进行数据增强。本文将良性肿块钼靶图片、恶性肿块钼靶图片、恶性钙化钼靶图片、恶性肿块钙化钼靶图片分别按比例（80%∶10%∶10%）随机分为训练组、验证组和测试组。

3.3 实验工具

本文通过构建人型网络对乳腺钼靶图像进行四分类研究。网络结构的训练和测试使用绝对交叉熵作为损失函数，使用Adam 作为优化器，其中学习率设为0.000 1，批尺寸设为64，循环训练迭代40次。本文图像预处理软件环境为MATLAB 2016A，电脑配置为Win 10操作系统，i7 处理器，32 GB 运行内存。本文训练和测试实验模型采用Nvidia Titan Xt GPU 训练，运行环境为Python中的Keras库。

3.4 实验对比及分析

将 人 型 网 络 与AlexNet、GoogleNet、VGGNet 和ResNet做对比，几种方法的对比结果如表1所示。为评估分类性能，使用不同的性能指标。这些指标包括：准确率（Accuracy）、灵敏度（Sensitivity）、特异度（Specificity）、AUC（Area Under ROC Curve）、F1 值（F1-Score）。准确度是全部样本中预测正确的比例，准确度值越大，代表模型的预测和真实情况越接近，模型的分类性能越好；灵敏度是实际为正例的样本中，预测为正例的占比；漏诊率是实际为正例的样本中，预测为反例的占比；特异度是实际为反例的样本中，预测为反例的占比，误诊率是实际为反例的样本中，预测为正例的占比；F1值是精确率和召回率的调和平均数AUC是受试者工作特征ROC（Receiver Operating Characteristic）曲线下的面积，AUC越接近于1，代表模型分类性能越好。在实验中均是对四个类别分别计算，另外对四个类别的数值进行了求平均得到。实验结果如表1所示。

表1 不同模型的分类精度 %

由表1 可知，本文方法分类准确率达到了74.54%，优于其他网络模型；在VGG和本文算法中，本文算法通过跳跃连接使不同层次的特征融合在最后分类任务中保留图像更多细节信息，使本文算法中的AUC 不低于VGG 模型情况下，TP 和TN 都大幅提升，使得ACC、SEN、SPEC、F1 指标远优于VGG 模型。其中ResNet 与GoogleNet这两种网络由于参数量庞大但数据量较小因此出现了过拟合的现象，因此分类精度反而更低。此外，制作了混淆矩阵（Confusion matrix）（图5）以及ROC曲线（图6）。

图5 混淆矩阵图

图6 ROC曲线

由混淆矩阵的对角线可知，良性肿块的分类效果最好，但是对恶性肿块钙化分类效果很差，主要因为恶性肿块钙化包括了恶性肿块与恶性钙化，因此极易与恶性肿块与恶性钙化相混淆。ROC 曲线是用灵敏度（真阳性率TPR）和误诊率（假阳性率TPR）作图所得曲线，它可以表示灵敏度和特异度之间的相互的关系。根据灵敏度、特异度互补的原理，用灵敏度为纵坐标，假阳性率为横坐标作图，所得的曲线可用来决定最佳临界点。ROC曲线理想目标：TPR=1，FPR=0，即图中（0，1）点，故ROC 曲线越靠拢（0，1）点，越偏离45°对角线越好。由图6 可知，本文模型对良性肿块的分类效果最好，恶性钙化、恶性肿块次之，恶性肿块钙化最差，因为恶性肿块钙化中包括了恶性肿块和恶性钙化，导致恶性肿块钙化分类效果最差。此外如图7所示，将特征图进行了可视化，通过可视化发现本文模型可以有效地定位到肿块的位置，对临床医生有帮助。

图7 特征图可视化

4 结束语

本文提出的人型网络结构和其他网络结构相比较，人型网路使用级联将图像不同层次特征进行融合，保留了图像的所有深度特征对乳腺钼靶图像进行四分类研究。实验结果验证了人型网络的有效性，人型网络结构优于经典网络结构模型，提高了乳腺钼靶图像的分类准确率。人型网络对良性肿块的分类效果最好，下一步的研究目标主要是高效区别恶性肿块、恶性钙化以及恶性肿块钙化，进而取得高的分类准确率，在一定程度上满足更高要求的临床需求。