基于深度学习的慢性萎缩性胃炎诊断

2020-06-08巩稼民马豆豆蒋杰伟张雅琼裴梦杰

中国医学物理学杂志 2020年5期

巩稼民，马豆豆，蒋杰伟，张雅琼，裴梦杰

1.西安邮电大学电子工程学院，陕西西安710121；2.山西医科大学附属山西省人民医院消化科，山西太原030012；3.西安邮电大学计算机学院，陕西西安710121

前言

慢性萎缩性胃炎是一种常见的消化道疾病，且在中国的发病率很高［1］。如果慢性萎缩性胃炎得不到及时治疗，有可能发展成胃癌。2015年国家癌症中心相关数据显示，胃癌发病人数仅次于肺癌，是我国恶性肿瘤发病人数的第2 位［2］。医学上将慢性萎缩性胃炎表征为严重的癌前病变。然而，胃镜检查在萎缩性胃炎检查中的敏感性仅为约42%，并且活检受许多因素的影响，检查过程费时费力［3］。

目前，深度学习由于其学习特征的特性而不断发展，在图像领域已经取得了巨大的成功。同时，卷积神经网络（CNN）是医学图像识别和分类领域的出色工具，应用于各种眼科疾病的识别和诊断［4-6］、肿瘤和癌症的检测，比如胃癌［7］、肺结节［8］、乳腺癌［9］等。Tajbakhsh 等［10-12］将各种息肉的特征通过CNN 应用于检测息肉的系统。Zhu等［13］将用于特征提取的CNN与支持向量机作为的分类器相结合，用以检测内窥镜图像的病变区域。Pogorelov等［14］检测了单疾病和多疾病计算机辅助检测的疾病，并比较了6 层和3 层CNN 的性能。Zhang 等［15］提出了一个GPDNet 用于检测胃癌的癌前病变。

癌症的排查很重要，但是慢性萎缩性胃炎的防治也有极大意义。然而，在利用胃镜的胃窦图像计算机辅助筛查慢性萎缩性胃炎方面仍然存在很大的差距。因此，利用深度学习方法协助胃镜检查慢性萎缩性胃炎是一项开创性的研究工作。本文提出的方法优于其他常规方法，慢性萎缩性胃炎的检出率为87.92%，为自动诊断慢性萎缩性胃炎提供了可能性。并且通过对Apriori算法挖掘萎缩性胃炎与其他症状之间的关联关系，辅助医生的诊断。

1 相关工作

1.1 胃镜图像采集与处理

从2018年4月至2019年4月，从山西人民医院胃镜图像数据库中的1 699 例患者中收集了5 470 张胃窦图像，并将这些图像的病理结果作为标记这些图像的金标准，有3 042张萎缩性胃炎的图像和2 428张无萎缩性胃炎的图像。

首先，对所有胃窦图像进行调整，使图像的长度和宽度相同，大小为512×512，图像格式为bmp。由于每个图像中都有水印，有些水印会与目标区域重叠，这会干扰所要研究的目标。第一步是使用INPAINT_TELEA方法对图像进行预处理，以去除图像中的水印噪声。INPAINT_TELEA算法用于处理胃镜图像某些区域中的水印，例如年龄、性别、时间和系统。目的是去除与患者有关的敏感信息，避免在萎缩性胃炎图像识别中出现白色水印干扰。并且使用双线性插值法统一图像尺寸。所有胃镜图像均未压缩，图像信息已完全保留。通过INPAINT_TELEA算法去除水印的过程如图1所示。

图1 INPAINT_TELEA 算法去除水印的过程Fig.1 Process of INPAINT_TELEA algorithm to remove watermarks

1.2 评价指标

将80%和20%的萎缩性胃炎图像和非萎缩性胃炎图像随机分配给训练集和测试集，利用五折交叉验证来评估实验结果，并验证模型的可靠性，然后使用测试集来评估模型的有效性［16］。为了评价SRCAGnet模型的性能，将其与4 个评价指标进行比较，它们分别是准确性、敏感性、特异性和精确度，计算公式如式（1）所示：

其中，TN、FN、TP和FP分别表示真阴性、假阴性、真阳性和假阳性的数目。此外，ROC的概念也被引入了机器学习领域，用以评估分类和测试结果。因此，ROC曲线是一项非常重要的统计分析方法。AUC是ROC曲线下的面积，也可用于评价网络模型结果的性能。

2 SR-CAGnet网络的设计

在计算机视觉领域，CNN 已成为主流的方法，例如Alexnet、GoogleNet、Incepetion 以及残差网络（ResNet）［17］等。本文在残差网络的基础上，结合Zagoruyko 等［18］提出的宽残差神经网络的思想，浅层网络增加宽度也可以提升模型的性能。因此在基于ResNet-32 的基础上，针对图像的输入大小通过修改第一层卷积层的卷积核大小以及每层卷积层中的特征图数量得到一个改进的20层的残差网络。

首先，在第一层卷积层中使用大小为5×5的卷积核，获取更多的信息，填充像素数（p）设为2，步长（s）设为1，使得输出与输入具有相同的特征图，然后输入到残差单元中。所改进的残差网络包含有9 个残差模块：首先使用3×3的卷积操作对上一层输入进行特征提取，p为1，s为1 以保证每个残差模块的输入与输出特征图大小相同。其次采用批归一化算法对输出数据进行处理，防止过拟合现象，并采用ReLu激活函数增强网络之间的非线性关系［19］。然后将其输入到第二个卷积层中，所用参数与第一个卷积层一样。在经过9个残差单元后，通过全局平均池化融合学习到的特征并与全连接层（FC）连接，FC 层输出为本文分类数。通过实验证明了改进的残差网络与ResNet-32 相比，分类的精度提高0.6%，两者的网络参数对照如表1所示。

表1 改进前后的残差模块网络参数Tab.1 Parameters of residual block network before and after improvement

为进一步提高萎缩性胃炎的识别率，在基于改进的残差网络的基础上融入了Squeeze_and_Excitaion（SE）模块，形成SR-CAGnet。SENet是由Hu等［20］在2017年提出，它基于一个称为SE模块的新结构单元。图2是SE模块的结构图。给定输入x，特征通道数为C1。经过一系列的卷积和其他变换后，获得了具有特征通道数量为C2的特征。与传统的CNN不同，该模块将先前的特征通过3个操作（Squeeze、Excitation和Scale）进行了重新校准。

图2 SE模块的结构图Fig.2 Architecture of SE block

（1）Squeeze操作，该操作通过全局平均池化来实现，沿空间维度执行特征压缩，将每个二维特征通道转换为实数，如文献［19］中给出的式（2）所示：

其中，输入是经过卷积操作后所输出的一个三维矩阵，特征通道的数目为，mt为宽度，nt为高度，为三维矩阵中特定的通道。

（2） Excitation 操作即 Support(A→B) =其中，P(B|A)是第一个FC的参数，P(A⋃B)是第二个FC 的参数，P(A)是ReLu 激活，N(A⋃B)为sigmiod 激活，N(S)为缩放参数，取16。该操作通过运算操作，显式地建立特征通道之间的相关性。首先，将尺寸减小到输入的1/16，然后通过全连接层FC 返回原始尺寸，最终得到参数s，如文献［19］中给出的式（3）所示：

（3）Scale 操作，将Excitation 输出的权重作为特征选择，然后通过将权重之前的特征相乘进行输出，如式（4）所示：

改进的网络SR-CAGnet 引入了短路机制并利用特征重用原理，使得网络在增加层数的同时不会出现梯度消失的现象，并将胃窦图像中特征的强弱赋予不同的权重，减少冗余的特征。SR-CAGnet 的基础模块如图3所示，该网络充分利用了残差网络和SE模块的优点。将所设计的SR-CAGnet网络应用到胃窦图像中CAG 的自动诊断过程中，取得了良好的分类效果。

图3 SR-CAGnet的基础模块结构Fig.3 Basic module structure of SR-CAGnet

SR-CAGnet 网络中包含了9 个SE 模块，分类过程如图4所示，首先通过卷积层将输入的胃窦图像进行浅层特征的提取，然后再通过残差模块对特征进行进一步的学习，SE block对进一步学习的特征执行特征重标定策略，使用全局平均池化融合学习到的特征，最后用Softmax分类器进行分类。

图4 SR-CAGnet模型的分类框图Fig.4 Architecture of classification framework of SR-CAGnet model

为了比较优化算法对模型准确率的影响，本文分别对比了Adam 算法和SGD 算法对网络模型的影响。其中，自适应随机优化方法Adam 算法［21］等效于对原始梯度进行指数加权平均，执行归一化过程，然后更新梯度值。从而将独立的自适应学习率设置为不同的参数。其公式如式（5）所示：

式中，mt、nt分别是对梯度的一阶矩估计和二阶矩估计是对mt、nt的校正。Adam 算法在实践中具有优势，即所需内存较少且计算高效。

3 Apriori算法

关联规则挖掘［22］，也称为购物篮分析，最早用于在超市销售数据库中发现不同商品之间的关系。这个算法反映一个事件与其他事件之间的关系。如果我们能够了解多个事件之间的明确关系，那么理论上其中一个事件可以被其他事件预测。Apriori 算法［23］是用于挖掘频繁数据集的最经典、最常用的算法。关联规则挖掘广泛应用于生物医学领域，例如微生物能量勘探［24］和污染流行病学［25］。Apriori 算法中有两个重要参数：支持度和置信度。支持度从字面上看是一种支持程度，换句话说，它表示事件A和事件B同时出现的百分比。置信度揭示了当事件A出现时事件B是否必须发生，如果发生，它出现的可能性。如果A到B的置信度为100%，则表示当A出现时B将出现（返回不一定成立）。关联规则的支持度和置信度通过式（6）和式（7）表示：

其中，P(B|A)表示假设如果发生了事件A，则发生事件B的概率；P(A⋃B)表示同时发生事件A和事件B的概率；P(A)表示事件A的概率；N(A⋃B)表示事件A和事件B同时发生的次数；N(S)表示所有的次数。

由于胃镜图像的数据集还包括其他症状，例如化生、粘膜粗糙等。因此，挖掘它们与萎缩性胃炎之间的关系是有必要的。通过Apriori 算法，可以了解其他症状和萎缩性胃炎之间的关联关系，以辅助医生的诊断。

4 实验

4.1 实验环境

在实验中，使用Caffe 环境［26］实现SR-CAGnet 网络，并在两个NVIDIA TITAX X GPU 上同时进行训练。每个GPU 上的batch size 大小为64，以加速参数收敛。基础学习率设置为0.001，优化算法比较了Adam和SGD，最大迭代次数设为4 000。

4.2 实验结果和分析

在训练过程中，本文尝试了几种不同的网络体系结构Alexnet、改进的ResNet 和SR-CAGnet。然后通过实验比较各个网络的性能。在训练过程中，模型采用了原始图像的随机剪切策略，并在不同的优化算法下分别进行实验。表2说明了不同的CNN 在不同优化算法下的分类结果。通过表2的数据，可以得出在改进的网络中Adam算法优于SGD算法，因此实验选用Adam算法作为网络的优化算法。

表2 不同CNN模型在不同优化算法下的准确率（%）Tab.2 Accuracies of different convolutional neural network models using different optimization algorithms(%)

研究表明，SR-CAGnet 网络在识别慢性萎缩性胃炎方面具有很高的性能。通过K折交叉验证（K=5）以保证模型的可靠性，5 组模型测试集的准确度约为87.9%，稍有变化，但变化幅度小，五折交叉验证的结果表明该模型具有较好的鲁棒性。为了评价SR-CAGnet，计算了敏感性和特异性，分别为88.2%和85.6%。此外，使用ROC 曲线和AUC 值来研究改进后模型的可靠性和泛化能力。本实验中的灵敏性和特异性是在0.5 的分类概率的位置上进行截断得出的，即选择输出结果中概率值大的类别作为分类类别。从图5可以看出，AUC 已经达到0.895，表明SR-CAGnet具有良好的分类性能。

图5 SR-CAGnet的ROC曲线Fig.5 Receiver operating characteristic curve of SR-CAGnet

在本实验的Apriori 算法中，设定最小置信度为0.7，则输出的置信度都大于这个最小值，结果如表3所示。

从表3可以看出，胃镜检查下的黏膜粗糙和白相以及化生，与慢性萎缩性胃炎的最终诊断相关，这将为医生的诊断提供可解释性。换句话说，如果医生在胃镜下观察到黏膜粗糙，白相为主或者化生的现象，则极大可能诊断该患者的病理结果为慢性萎缩性胃炎。从总体病历来看，患病年龄以中老年为主，且男女患病无明显差异，如果能早期发现和治疗慢性萎缩性胃炎，就可能延缓甚至阻止疾病的进展。这些结果被医生证实是有价值的。

表3 关联规则算法的结果Tab.3 Results of association rule algorithm

为了探寻该模型在胃窦图像上进行黏膜萎缩判定时的决策依据，本文利用CAM 生成热力图来查看胃镜图像中的哪些像素决定了模型的分类结果，如图6所示。

图6a 为原始图像，其中黄色框为该模型在原始图像上的随机裁剪区域；图6b 为从原始图像上裁剪下来的区域，其中红色框为医生标注的病灶区域；图6c为经过CAM 可视化后生成的热图。从图6中可以看出，CAM 热图在医生所标注的病灶区域附近显示出了鲜艳的暗红色，表明SR-CAGnet 模型在判别胃窦图像是否存在黏膜萎缩时与医生判断是基本一致的。不仅如此，通过CAM 热图生成不仅完成了图像分类，并定位出了病灶的相对位置。可见本文中所提出的模型是准确有效的。

5 结论

随着计算机技术的高速发展，人工智能技术在消化道内镜领域的应用越来越重要。由于深度学习的出现，在许多领域中检测和诊断医学图像是有效的。

由于胃窦图像中慢性萎缩性胃炎的胃镜下表现比较细微，因此从实验结果来看，本文所提出的SRCAGnet 由于结合了残差网络与SE block 的优势，在本数据集上相比于其它网络可以取得不错的分类效果。此外，通过Apriori 算法得出了萎缩性胃炎与其他症状的关联关系，可以辅助医生诊断，这是非常重要的一点。下一步，我们将研究性能更好的网络以提高慢性萎缩性胃炎的检出率，节省人工检查的成本。