基于多尺度并行深度可拆分的CNN 新冠肺炎CT 图像去噪方法①

张 硕 余世明

(浙江工业大学信息工程学院 杭州310023)

0 引言

新冠肺炎(COVID-19)已经成为全球大流行病,对全球经济和人类健康都产生了极其不利的影响。截至2020 年8 月1 日,全球累计确诊病例已经超过600 万例。医生需要对患者不同进展期进行多次电子计算机断层扫描技术(computed tomography,CT)影像检查随访对比,以便对患者的病情发展和治疗效果进行精准评估。随着确诊人数不断攀升,采用传统的人工检测肺炎CT 图像不仅工作量巨大[1],而且也难以保证评测准确性。

随着深度学习[2-4]不断发展进步,依靠大数据进行网络学习,已经广泛应用在医学影像分析领域,并取得了良好成效[5-6]。因此使用深度学习对患者胸部肺炎CT 图像进行分析,从而缓解医疗资源紧张以及医生超负荷工作等一系列问题显得尤为重要。但是肺炎图像中的纹理细节比较复杂,边缘结构也较为模糊,因此极易干扰机器以及医生的诊断[7]。为此,本文提出一种基于多尺度并行深度可拆分卷积神经网络(multi-scale parallel deep split convolution neural network,MSP-ReCNN),对新冠肺炎CT 图像进行去噪处理,提升肺炎CT 图像质量。

本文借鉴了目标检测[8]中多尺度[9]提取信息的思想,在网络开始训练阶段,使用不同尺寸大小的卷积核对输入图像进行卷积操作,再将提取出的特征进行融合。接着将融合后的特征图分别放入深通道和浅通道中进行学习。为进一步优化网络模型,提出了拆分卷积操作,将特征图分为两类,即主要关注特征和次要关注特征。

在新冠肺炎CT 图像去噪研究中,本文主要工作如下。

(1)使用多尺度特征提取模块,从不同尺度提取图像特征信息。

(2)提出深、浅通道并行方式,分别提取肺炎CT 图像中的高维和低维特征。

(3)提出一种拆分卷积操作,进一步降低网络参数量,加速模型推理速度,提升网络的去噪精度。

1 相关工作

医学图像去噪因其具有较高的实用价值,在过去很长一段时间均得到广泛研究。目前医学图像去噪主要分为两类方法,一类是基于传统技术的图像去噪方法,另一类是基于人工智能的去噪方法。在传统图像去噪方法中,文献[10]提出一种基于随机微分的经验模态分解(empirical mode decomposition,EMD)图像去噪算法,该方法利用随机微分滤波策略计算出各层滤波结果,最后将结果重组得到去噪图。文献[11]和文献[12]分别将离散小波技术[13]用于医学图像去噪,该方法计算简单,运行速度也较快,但对医学图像中存在的高斯白噪声去除效果不好。文献[14] 提出一种非局部均值(non-local mean,NLM)图像去噪算法,该方法通过对图像中每个像素点设置邻域窗口和搜索窗口,对搜索窗口中所有像素值进行加权平均处理,并替换原始含噪图像中的像素值,使目标像素值更接近周围邻域范围内的像素值。文献[15]将像素离群度与NLM 相结合,提出一种CT 图像去噪方法,可以有效地去除CT图像中的噪声。

传统医学图像去噪算法虽然可以在一定程度上提升医学图像质量,但是往往无法有效抑制医学图像中的噪声伪影,并且在纹理细节保留情况上也做的不够理想[16]。近些年来,深度卷积网络模型被广泛应用在医学图像去噪领域,该模型不仅关注去噪能力,而且更关注医学图像纹理细节的保留情况。文献[17]提出使用弹性收缩阈值作为激活函数的收缩卷积神经网络(shrinkage convolutional neural network,SCNN)模型,进行图像去噪。文献[18]提出一种针对高斯白噪声的去噪卷积神经网络(denosing convolutional neural network,DnCNN)模型,将残差网络和批量正则化(batch normalization,BN)技术相结合,可以有效地去除图像中广泛存在的高斯噪声。文献[19]借鉴了DnCNN 模型中残差网络的设计思想,使用池化层,进一步降低了网络参数量,在低剂量CT 图像去噪问题上取得了不错的效果。文献[20,21]提出一种残差编码器-解码器卷积神经网络(residual encoder-decoder convolutional neural network,RED-CNN)模型,将卷积网络应用到低剂量CT 图像去噪问题上,与传统去噪算法进行对比,在主观和客观评价方面都有所提升。但是新冠肺炎图像纹理细节较为丰富,边缘轮廓也较为模糊,对去噪精度与准确度都有非常高的要求,因此本文针对这一问题,提出了MSP-ReCNN 模型,通过多尺度和深浅通道并行的方式可以有效提取网络中细节特征,提升模型去噪精度。同时使用拆分卷积方式,进一步优化网络模型、加快模型训练速度、缩短去噪时间。

2 新冠肺炎CT 图像去噪方法

本节首先阐述新冠肺炎CT 图像的去噪过程,接着,详细介绍模型MSP-ReCNN 中重要组成模块,最后引出模型整体结构。

2.1 问题描述

假设含噪肺炎CT 图像为X,干净的CT 图像设为Y,CT 图像中的噪声图像为V,可以得到式(1)如下。

在传统卷积神经网络中,将含噪肺炎CT 图像X作为网络输入,通过训练模型,直接学习从X到Y的映射模型式(2)。但是这样直接学习网络映射的方式,其模型训练起来十分困难,并且去噪精度也不高,为此本文使用残差学习策略来降低网络学习难度。将网络的输出与输入构成一个大的残差单元,让网络实际学习到的映射如式(3)所示,即网络学习的是图像中噪声分布图像V。

通过残差学习方式,可以将直接学习得到的干净图像映射、转化为学习含噪肺炎图像中的噪声分布,降低了网络学习难度,并且提升了模型去噪精度。

2.2 多尺度特征提取模块

在卷积神经网络中,感受野是卷积神经网络中每一层输出图片对应输入图片上的映射区域。感受野越大,关注的输入图片的区域也就越大。本文在图像输入阶段,分别使用3 种不同尺度的卷积核(1 ×1、3 ×3、5 ×5)进行特征提取工作,大的卷积核对应的感受野也就越大,可以提取大范围内的特征,小的卷积核则可以提取小范围的细节特征。

使用并行叠加的特征融合方式[22],将所有特征图融合在一起,作为深浅通道的输入。如图1 所示,其中ReLU 层是激活函数层,目的是用来提高模型的非线性,如式(4)所示。

图1 多尺度特征提取图

在实际模型训练中,使用空洞步长为2 的5 ×5卷积核,在扩大感受野的同时,保持模型参数量不变。

2.3 深浅通道并行方法

本文使用深浅通道并行的方式来提取新冠肺炎图像中不同维度的特征信息。其中浅层通道由6 层神经网络构成,主要用于提取低维度的特征信息。深层通道则由16 层神经网络构成,用于提取高维度的特征信息。使用并行叠加的特征融合方式[23],将深浅通道信息进行合并处理。

2.4 拆分卷积操作

为进一步优化网络模型,提出了拆分卷积操作如图2 所示。从图像中提出的同一层的特征图往往会存在相似的结果,出现特征冗余的情况。为此,本文按照二等分的原则,将每层特征图拆分为两部分,进行独立卷积操作。使用卷积核大小为3 ×3、组数为2 的分组卷积对部分特征图进行分组卷积操作,得到主要关注特征。同时,对剩下的特征图使用卷积核大小为1 ×1 的点卷积操作,得到次要关注特征。接着利用式(5)在特征图UC上进行全局平均池化操作,生成每个通道的权重初始值[24-25],分别得到S1和S2,其中H和W分别代表特征图的高和宽。

图2 拆分卷积操作

为了能动态地调整每个通道的权重,将生成的S1和S2堆叠一起,传给全连接层。再使用Softmax函数,重新生成主要和次要关注特征各个通道的权重α和β,如式(6)所示。

经过拆分卷积处理后的网络输出为

2.5 MSP-ReCNN 模型整体结构

如图3 所示,模型MSP-ReCNN 的整体框架由4部分构成。在网络初始阶段使用了多特征提取模块,使用不同尺寸的卷积核多尺度地提取肺炎CT图像中的细节特征。模型的上半部分是Sconv Block 模块,其中Sconv 是可拆分卷积操作,BN 是批量正则化。浅通道模块一共由6 层网络构成,每次可拆分卷积操作之后,都会跟着一个BN 和ReLU。深通道模块一共由16 层网络构成,为降低网络学习难度,首先使用残差网络,将第1 层可拆分卷积处理之后的特征直接传给第5、9、13 层。接着使用并行叠加的特征融合模块,将深浅通道提取出的信息进行合并。最后再使用一层卷积操作,将特征图转化为一层的输出图像。为了降低整个网络的学习难度,将整个网络构成一个大的残差单元,输入与输出构成一个相减操作,这样就使得网络直接学习肺炎图像中的噪声分布,而不是直接学习得到干净的去噪图像。

图3 MSP-ReCNN 模型

本文使用均方误差作为模型的损失函数,如式(8)所示,其中R(Xi) 代表网络学习得到的残差图像块,Xi -Yi代表实际残差图像块,也就是标签。

模型MSP-ReCNN 每一层卷积核大小及输出通道数如表1 所示。其中第1 层是多特征提取层,一共由48 个1 ×1 的卷积核、64 个3 ×3 的卷积核以及32 个5 ×5(空洞步长为2)的卷积核构成。深浅通道中,首先使用可拆分的卷积操作,其中主要关注特征采用组数为2、38 个大小为3 ×3 的卷积操作,次要关注特征使用26 个1 ×1 大小的卷积核进行特征补全操作。接着将深浅通道的各64 个特征层并行叠加在一起,经过最后一层1 输出通道的卷积层,得到残差图像块。

表1 模型MSP-ReCNN 网络结构参数

3 实验结果分析

为进一步验证模型MSP-ReCNN 在新冠肺炎CT图像中的去噪效果,本文与传统去噪算法NLM 以及基于神经网络的去噪模型SCNN、DnCNN 的去噪结果进行了对比分析。同时,本文还使用模型消融实验,探究了各个方法对去噪结果的影响。

本实验的配置环境为:硬件配置为Intel(R)Core(TM) i7-7700HQ,CPU 主频为2.80 GHz,GPU配置为Nvidia GeForce GTX 1050;软件环境为64 位Windows 操作系统,使用Pytorch 深度学习框架,在Pycharm 平台下进行训练和测试。

3.1 实验数据及训练过程

本文使用COVID-CT 数据集[26],其中包含349张COVID-19 检测呈阳性的CT 图像,还有397 张检测呈阴性的CT 图像。如图4 所示,其中图4(a)是阳性的CT 图像,图4(b)是阴性的CT 图像。该数据中肺部CT 图像大部分都有明显的斑片状阴影以及毛玻璃状的浑浊。为了能更明显地显示图片中的纹理细节,从数据集中剔除分辨率小于300 ×300 dpi的CT图像,共计得到350 张图像。本文从阳性和阴性CT 图像中各取出15 张CT 图像作为测试集,剩下320 张作为模型训练数据。同时为丰富训练数据及降低训练时间,本文对原始数据进行切片处理,采样图像块大小为100 ×100 dpi,采样间隔为25 dpi,共计得到212 224 个图像块,作为干净的原始图像。

图4 COVID-CT 数据集图像

3.2 实验结果对比

本文采用主观以及客观两种评价方法对各个算法去噪后的CT 图像进行对比分析。其中主观评价方法主要是通过分析去噪后图像的整体视觉效果,以及局部纹理细节的保存情况来评价各个算法的去噪性能。客观评价是使用一些图像去噪邻域中广泛认可的客观评价指标,通过计算去噪后的图像与原图之间的差异性,来客观地分析各去噪算法的能力。本文采用的图像去噪指标有峰值信噪比(peak signal to noise ratio,PSNR)、均方根误差(root mean square error,RMSE)和结构相似性(structual similarity,SSIM)。PSNR 和RMSE 是衡量算法去噪能力的指标,PSNR 值越高,对应算法的去噪能力也就越好。RMSE 的值越小,则说明对应算法去噪效果越好。SSIM 是衡量去噪前后两张图像的相似度,取值范围是[0,1],其值越大,对应算法在保存肺炎CT图像纹理细节方面就做得越好。

如图5 和图6 所示,从测试集中选取了肺炎阳性CT 图像和肺炎阴性CT 图像各一张,并将加噪结果以及本文提出的各个算法的去噪结果进行展示。图5(c)和图6(c)是NLM算法的去噪结果,可以看出,该算法去除了大部分的噪声,但依旧有明显的噪声残留。图5(d)、6(d)和图5(e)、6(e)分别是模型SCNN 和模型DnCNN 的去噪结果。通过与原图对比可以发现,两者可以很好地去除肺炎CT 图像中的噪声,但在纹理细节保存方面做得不好,特别是肺间的毛玻璃纹理部分都有不同程度的模糊。图5(f)、6(f)是本文提出的模型MSP-ReCNN 的去噪结果。与其他算法相比,模型MSP-ReCNN 无论是在去除噪声方面,还是保留肺部间纹理细节方面都有更好的表现。

图5 肺炎阳性CT 图像去噪结果

图6 肺炎阴性CT 图像去噪结果

为了进一步证明模型MSP-ReCNN 保留肺炎CT图像纹理细节的能力,本文从测试集中选取了一张肺炎阳性CT 图像,并且对去噪结果进行了局部区域放大处理。图7(d)是干净的原始肺炎CT 局部区域放大图像。图7(e)对应的是NLM 算法的去噪结果,可以看出其局部区域放大图像块中依旧有明显的噪声残留。图7(f)和图7(g)分别是模型SCNN 和模型DnCNN 的去噪结果,从局部区域放大图像中可以看出,虽然二者噪声去除效果要好于NLM算法,但是肺部间毛玻璃结节部分的纹理结构并没有很好地保留。图7(h)对应的是模型MSP-ReCNN的去噪结果图,可以看出其在去除噪声的同时,保留了肺部间大量的纹理结构细节。

图7 肺炎阳性CT 图像去噪结果局部区域放大

表2 是对应去噪算法在测试集上的客观评价指标的平均值。从表中可以看出,模型MSP-ReCNN的客观评价指标相较于NLM 算法、模型SCNN 和模型DnCNN,都有明显提升。其PSNR 值比NLM 算法、模型SCNN 和模型DnCNN 分别提高了4.0301 dB、0.4092 dB 和0.2679 dB,SSIM 值则分别提高了0.1201、0.0484 和0.0252。这从客观评价方面证明了模型MSP-ReCNN 在去除噪声以及保留纹理细节方面的能力。

表2 测试集客观评价指标的平均值

3.3 MSP-ReCNN 模型消融实验

为了进一步探究本文提出的多尺度特征提取模块、深浅通道并行策略,以及可拆分卷积操作对模型MSP-ReCNN 带来的影响,本节分别将默认的网络结构做如下改动。

(1)将可拆分卷积全部替换回普通的卷积操作,得到“Without Sconv”模型。

(2)将6 层的浅通道模块全部移除,得到“Without shallow channel”模型。

(3)将特征提取模块从默认网络中移除,得到“Without multiscale moudle”模型。

表3 是修改默认网络模型后,对应的各个模型在测试集上的客观评价指标的平均值。从表中可以看出,本文提出的3 种去噪结构对模型去噪结果都有一定程度的提升。其中可拆分卷积操作可以将PSNR 提升0.5648 dB,深浅通道并行策略可以提升0.4611 dB,多尺度特征提取模块可以提升0.2461 dB。SSIM 值则分别提升了0.0688、0.0319 和0.0103。这说明3 种去噪结构对改善模型的去噪准确度和精度都有积极的作用。

表3 不同网络结构的对比

图8 所示是各个模型训练误差随训练步长变化的曲线图。平滑曲线对应的是模型MSP-ReCNN 的训练变化图,下三角标记和圆形标记的曲线分别对应的是去掉浅通道和去掉拆分卷积后的模型训练变化图,菱形标记的曲线是去掉特征提取模块后的训练误差变化曲线。从图中可以看出,下三角标记和圆形标记的曲线在训练过程中稳定性不好,波动范围较大,并且损失函数值也较高。菱形标记的曲线在训练刚开始波动较大,之后才慢慢趋于稳定。模型MSP-ReCNN 对应的平滑曲线下降速度最快,收敛时间也最短,由此说明,本文提出的3 种网络结构可以加快网络的训练和收敛速度,同时模型的鲁棒性也比较好。

图8 各个模型训练误差变化曲线

4 结论

为了能在去除新冠肺炎CT 图像噪声的同时,尽可能地保留图像中的纹理结构细节,本文设计了一种基于多尺度并行深度可拆分卷积神经网络MSP-ReCNN。通过对比实验结果可以看出,相较于其他对比算法,模型MSP-ReCNN 无论是在主观视觉效果还是客观评价指标方面都有更好的表现。同时,通过网络消融实验可以证明,本文提出的多尺度特征提取模块以及深浅通道并行策略,可以更好地提取肺炎CT 图像中的纹理结构细节,去噪准确度和精度也有进一步提升。拆分卷积操作进一步降低了网络模型的参数量,并且改善了传统卷积神经网络中特征冗余的情况,加速了网络的训练以及收敛速度。总体实验说明,模型MSP-ReCNN 可以更快更好地完成肺炎CT 图像去噪任务,在新冠肺炎蔓延全球之际,可以提升肺炎CT 图像质量,辅助机器以及医护人员完成更精准的诊断。在未来的研究规划中,会继续研究三维立体的肺炎CT 图像去噪以及真实含噪肺炎CT 图像去噪问题。