基于CAU-Net的肺部影像分割算法
2023-05-15尹冬生徐小入杜玲艳何圆林
廖 俊,尹冬生,徐小入,李 娓,杜玲艳*,何圆林
(1.四川轻化工大学自动化与信息工程学院,自贡 643000;2.四川省人工智能重点实验室,宜宾 644000)
0 引言
几十年来,肺部疾病在全球范围的死亡率一直居高不下,其中肺癌每年的全球死亡人数约为177 万人,严重威胁着人类的生命健康[1]。肺部疾病的早期筛查诊断极大地影响着患者的治愈率[2]。肺癌的早期阶段一般不会有较为显著的病症迹象,而大多患者一旦确诊基本已是中晚期,错过了最好的治疗期。因此,癌症初期的检测筛查和临床会诊极为重要,低剂量计算机断层扫描(computed tomography,CT)[3]是临床常用的有效检测、诊断技术,该技术的使用能够及时发现肺部的病变组织,给患者的治疗提供了很好的参考。但同时,患者的肺部CT 扫描图像数量巨大,临床影像医师需要对这些影像进行大量阅读,然后根据从CT 影像中发现的肺部病变给出临床的诊断结果,肺部切片的人工筛查需要投入大量的工作精力,且诊断不够全面。虽然计算机辅助诊断(computer-aided detection,CAD)[4-5]被引入肺癌筛查,极大地减少了肺部影像的阅读数量,但由于扫描形成的肺部影像存在许多非肺部区域,这些非肺实质区域的存在,会严重干扰医师对肺部疾病的诊断,因此,需要将肺实质较好地从肺部CT 图像中分割出来,同时肺分割也是计算机辅助诊断系统的首要步骤。
传统的医学影像分割中,特征提取技术与特殊分类器的结合不适宜多样性医学图像的分割,而且设计繁杂特征提取算法存在一定推广应用的局限性,这制约着图像分割技术的发展[6-7]。对于肺部CT图像,传统的分割算法常用的有基于阈值的方法[8]、使用边缘检测滤波器或小波变换的边界方法[9]和将各种数学理论引入到图像分割中的特定理论方法[10],此外还有半自动分割以及全自动分割[11]。由于医学CT 图像的特殊性以及亮度变化的不均衡性,使得基于阈值理论的方法对肺的分割效果还有很大的提升空间,人工的手工分割耗时费力,对于小目标分割不够准确,虽然半自动的图像分割方法在医学图像分割中占有很大比重,但不符合现代医学的发展,面对海量数据集的分割也不够理想,因此利用深度学习实现医学图像智能化、精细化的分割,已经成为了医生快速诊断、病理分析以及智慧医疗辅助系统发展的趋势。
本文在传统肺实质CT 影像分割法的研究基础上,采用深度学习神经网络算法,设计了一个基于全卷积神经网络的CAU-Net 医学图像分割方法。该算法是一个U 型架构的CT 图像分割模型,网络模型中的通道注意力能够提升模型对特定特征信息的权重,改善网络的特征融合,提高其分割的准确性。
1 相关算法研究
1.1 CA模块
通道注意力(channel attention,CA)[12]根据当前特征图的像素单位,对每个像素分配一个二维矩阵的权重值,利用这一策略使网络在权重值的不同比重下关注不同通道上特征,其结构模型如图1所示。
图1 通道注意力结构
通道注意力根据输入的数据进行通道维度上不同权重的特征学习,但保留平面维度上的特征权重。CA 模块输入的特征图F大小为C×H×W,C是通道,H和W为F的二维大小,特征图F先分别进行全局的最大池化(MaxPool)和平均池化(AvgPool),形成两个1 × 1 ×C大小的特征图,两种特征图输入共享多层感知机(multilayer perceptron, MLP)进行通道间关系的学习,然后将MLP 的输出按元素叠加、合并,激活函数Sigmoid 把叠加后的特征进行运算,生成通道注意力MC(F)。最后,得到的通道注意力系数MC(F)按元素和输入的特征图相乘形成特征描述图F′,相关计算公式见公式(1)。得到了每一个特征通道的权重之后,就将该权重应用于原来的每个特征通道,在增加少量计算量的情况下,能够获得明显的性能提升。
1.2 CAU-Net结构模型
U-Net 网络是Ronneberge 等[13]对全卷积神经网络(FCN)[14]架构进行的拓展,在数据集的大量训练之后实现良好的分割结果,是在医学领域常采用的全卷积分割网络,是一种左右对称的端到端U 型结构模型。为实现较好的分割效果,对原模型架构进行了改进,改进模型结构如图2所示,网络由左边的编码、跳跃连接和右边解码结构组成。在编码路径中,通过对输入图片进行下采样的卷积和池化进行降维,同时提取大量具有低像素的特征图信息;解码路径通过执行上卷积来对提取的特征图进行维度提升和特征放大。
图2 CAU-Net模型结构
左侧编码结构不同阶段形成的不同分辨率的特征图,在跳跃连接结构的特征连接下,与右侧解码结构形成的特征进行对应层的融合,二者的有效结合能够很好地增加特征多样性,有助于较好提升医学图像分割的效果。为了使网络中用来起分割作用的浅层特征和用来定位的深层特征更好地融合利用,将跳跃连接融合的特征输入通道注意力进行像素级别的特征权重分配,让感受野内的主要特征更突出,让网络的特征学习更加专注,优化模型输出,改善分割结果。
2 实验准备
2.1 实验环境
本文的实验环境为8核处理器,内存16 GB,型号为Inte(lR)Xeon(R)Bronze3204CPU@1.90GHz,12 GB显卡进行加速训练,型号为NVIDIA GeForce GTX 1080ti,所有网络模型算法都是基于Keras深度学习框架来实现,网络模型的训练学习率设置为0.0001。
2.2 评价指标
为了较为全面地验证改进模型,选取了几种常用的CT 图像分割指标来进行评价,以验证模型结构的合理性以及分割的有效性。分别是精确率Accuracy(AC),准确率Precision(PR),相似度Jaccard similarity(JS),敏感度Sensitivity(SE),特异性Specificity(SP)和F1-Score(F1)。各项评价指标的计算见表1,表2 给出了评价指标中各元素的含义。受试者工作特征曲线ROC(Receiver Operating Characteristic Curve)以及precision-recall 曲线。
表1 评价指标的计算
表2 指标计算方法的元素含义
3 实验与分析
3.1 实验数据集划分
本文采用的数据集为2017 年Kaggle 肺结节分析竞赛中引入的肺分割数据集,该数据集由2D 和3D CT 图像组成,并带有用于肺分割的相应标签图像[15],CT 图像由512 × 512 大小的像素组成。实验共使用数据集图片1021 张,其中训练571张,评估143张,测试307张。
3.2 实验结果
为比较改进模型的合理性和分割的有效性,对U-Net网络和CAU-Net进行了对比实验,实验中所有模型的训练和验证batch_size 设置为4,迭代训练50 轮,测试和训练都在相同数据集上进行。训练后模型的评价指标结果见表3。与原U-Net 相比,改进模型的精确率提升0.2 个百分点,准确率提升1.4个百分点,相似度提升1.2个百分点,特异性提升0.4个百分点,F1-Score提升0.6个百分点,评价指标得到了进一步的提升。
表3 评价指标对比
迭代训练50 轮后CAU-Net 模型的精度和损失曲线分别如图3(a),3(b)所示,精度曲线和损失曲线均在迭代训练约40 轮后趋于平稳。将训练好的模型权重加载于CAU-Net 模型进行测试,在数据集的测试结果中ROC 曲线如图3(c)所示,AUC 的大小为0.9927;precision-recall 曲线如图3(d)所示,该测试曲线的AUC 大小为0.9851,曲线面积大小均在98%以上。
图3 CAU-Net模型曲线
将训练好的CAU-Net 模型在测试数据集上进行分割实验,分割结果如图4所示,图中第一列表示数据集中的原始CT 图像;第二列为肺部掩膜;第三列为本文算法的分割结果。结果显示该算法的分割准确率均达到了99%的效果,能较好地分割出肺部区域,说明通道注意力能够有效增加采样卷积形成的特征信息,增加了目标区域信息的丰富性,从而提高了分割性能,使模型能够较好地分割出肺部区域。
图4 CAU-Net肺部分割
4 结语
本文提出了融合通道注意力的CAU-Net2D肺实质分割算法,在算法对应层中融合特征图的跳跃连接,后面加入通道注意力,使网络的特征提取更具有针对性,对主要目标的特征学习更加高效,使网络更专注于分割目标的重要特征,加强信息的捕捉。所提算法在Kaggle 肺分割数据集上进行了实验,展现出良好的效果,表明改进算法对肺分割的有效性,为辅助诊断系统技术在肺部疾病诊断的应用中提供参考。