用于低剂量CT图像去噪的递归残差编解码网络
2020-06-16刘文斌崔学英上官宏
刘文斌,崔学英,上官宏,刘 斌
(1.太原科技大学应用科学学院,太原 030024;2.太原科技大学电子信息工程学院,太原 030024)
X射线计算机断层扫描(CT)提供人体的主要解剖和病理信息,用于医学诊断和治疗。然而CT扫描产生的电离辐射会对患者身体产生危害,甚至可能引发癌变,所以低剂量扫描应运而生。一种简单易操作的降低辐射剂量的方法是降低射线管电流,但是该方法可导致投影数据的信噪比降低,使得应用滤波反投影(FBP)算法重建的CT图像中含有明显的条形伪影和噪声,影响医师的诊断。如何从原始的含噪投影数据重建高质量的CT图像已得到了广泛的关注。现有的方法主要有三大类:投影域滤波算法,迭代重建算法和后处理方法。
投影域滤波算法是对投影域的原始数据滤波处理,然后用滤波反投影[1](FBP)重建CT图像。迭代重建算法[2]利用了图像域中的先验信息从投影域直接重建高质量的图像。这两种方法依赖于原始数据,往往由于原始数据不公开而导致研究受阻。而后处理方法不依赖于原始数据,直接对重建后的低剂量CT(LDCT)图像处理,并且容易集成到CT工作平台。文献[3]采用非局部均值恢复CT图像。基于稀疏表示理论,文献[4]中提出了K-SVD去噪算法。在文献[5],基于形态分量分析和字典学习有效去除了低剂量CT图像中的条形伪影,提高了图像的的质量。
深度学习由于其提取特征的能力被用于超分辨率重构、去雨影、目标检测与识别等等。近年来也被用于低剂量CT图像去噪方面。文献[6]提出了一个小波域深度卷积神经网络(CNN).文献[7]提出了一个图像域的CNN用于低剂量CT图像去噪。说明CNN可以直接学习从低剂量图像到标准剂量图像的端到端的非线性映射。设计的层数比较浅,这是由于传统的CNN在网络加深时易出现梯度消失或者爆炸,造成网络性能的退化,为了解决这个问题,残差网络被构建。文献[8]将残差网络(ResNet)应用到低剂量CT图像去噪。文献[9]在小波域上应用残差网络进行去噪处理。Chen hu等人[10]设计了一个残差编解码网络(RED-CNN)并应用在低剂量CT图像去噪方面,该网络有10层,其中包括5个卷积层和5个去卷积层。前9层中每层都有96个卷积核,最后一层用一个卷积核做一次卷积得到去噪后的CT图像。Wolterink Jelmer等人[11]把生成对抗网络(GAN)用于低剂量CT图像去噪,该网络既包括把卷积神经网络作为生成器的生成网络,还包括了优化生成器的对抗网络。可以看出,随着研究的深入,网络结构越来越复杂,训练的复杂度也相应提高。
为了降低网络的复杂度,本文提出了一种浅层的递归网络,该网络把构造的浅层残差编解码网络递归,利用相同的网络结构递归构造新网络,通过减少残差编解码网络中的层数和卷积核的个数降低网络的复杂度,利用递归过程达到获取优质图像的目的。
第四,资产盘点与账册管理系统,高校要定期进行固定资产仓库盘点,这是就要提出资产盘点与账户管理系统,申请系统包。在该工作中,还会对年度预算审批子包进行分析,提交年度预算审批调整,明确下一年的年度预算方案,同时辅助资产采购申报管理系统进行购物申请,以便于随后的采购工作。另外,该系统也会提出资产盘点处理意见子包,对高校内部资产盘亏结果进行统计处理,最后相应意见处理批示提出。
1 方法
1.1 降噪模型
设X∈Rm×n为低剂量CT(LDCT)图像,Y∈Rm×n为相应的标准剂量CT(NDCT)图像。图像的降质过程可以用下列关系式来刻画
综上所述,0.50 mg/L舒芬太尼复合0.10%的罗哌卡因的硬膜外麻醉方案在为无痛分娩产妇提供较好镇痛效果的同时,可缩短第一产程时间,值得在临床中推广应用。
X=σ(Y)
(1)
LDCT图像的去噪过程可看作是端对端的映射问题,输入为LDCT图像X,输出为NDCT图像Y。通过网络训练得到一个映射f满足
(2)
其中f为σ-1的近似,在残差网络中f(X)=F(X)+X,通过网络训练得到F(X),即为LDCT图像X与NDCT图像Y的差。
1.2 网络结构
1.2.1 残差编解码网络[10](RED-CNN)
残差编解码网络[10](RED-CNN)包括10层,其中5个卷积层和5个去卷积层,每个层后设有ReLU激活函数,为了避免结构细节的丢失,该网络结构去除了池化层。前5个卷积层组成了堆栈编码器,其目的是为了去除图像中的噪声和伪影;后5个去卷积层组成了堆栈解码器,其目的是恢复图像的结构细节。每个卷积层都将提取的特征跳跃连接到对称的去卷积层上,起到保持图像细节的作用,前9层每层都有96个卷积核,最后一层用一个的卷积核做一次卷积。尽管去卷积层可恢复图像的细节,但为了更好的保留图像的细节信息,残差网络被应用于该网络中,同时也起到了优化网络的映射关系的目的。
(d)RED-CNN;(a1)-(d1)是分别是与(a)-(d)相对应的感兴趣区域的放大图.图4 去噪结果的对比
Fig.4 The comparison of denoised result
以上述操作为理念,根据实际地图大小及其复杂程度自定义初始,而网格密度以及网格密度升级速度降低算法搜索空间,提升算法搜索速度,加强针对性,以更高效率寻求最优路径。
图2 浅层残差编解码网络结构Fig.2 The architecture of shallow RED-Net
在整体结构中,循环利用图2中的浅层编解码网络得到最终的去噪图像。在每一次递归时,把原始图像和第s次递归的输出同时作为下一次即第s+1次递归的输入,这样可以避免在递归过程中原始图像特征丢失,可更好地提取原始输入图像的特征,保留图像的细节信息。
越是这样,我心里头越发毛。我把头一低,咕咚咕咚,一气把鸡蛋花灌进了肚子里,然后逃跑似的离开了马兰的家。
所构造的网络的整体结构如图1所示,它的基础是浅层残差编解码网络,如图2所示,该网络是由8层组成的,包括对称排列的4个卷积层和4个去卷积层,前7个隐藏层中的每一层都有64个卷积核,最后一层用一个的卷积核,其他设置与RED-CNN相同。
网络的递归过程可表示为:
I1=X,
2.2.1 化学药剂 化学药剂是控制果蔬采后病害的常见的手段之一,具有经济、杀菌效果好、见效快等特点,因此被广泛应用于果蔬的采后病害的控制。对于杨梅果实采后病害控制的化学药剂的研究有很多,肖艳等[19]采用不同浓度的CaCl2和萘乙酸的混合物处理杨梅果实,发现能够显著提高果实的硬度,减缓软化,并降低采后发病率。水杨酸是一种内源激素,可以降低果蔬采后呼吸作用,延缓组织衰老,并能诱导相关抗病性酶的上升,降低果蔬采后的发病率[20]。
仿真的参数带宽为800 kHz, FFT点数为4 096点,所加时延为[0 0.2 0.6 1.0 1.5 2.0],最大多普勒频移为4 Hz,莱斯因子等于5的莱斯信道。
(3)
其中S为递归次数,X为网络输入,RED-Net为构造的浅层残差编解码网络,Os为第s次递归所得的去噪CT图像,fin是第s次递归的输出Os与原始低剂量CT图像X级联操作,Is+1为第s+1次递归的输入。
Os=FRED-Net(Is),1≤s1.3 损失函数
所提出的网络是从低剂量CT图像到标准剂量图像的端对端的映射。通过网络学习映射F.给定训练数据集D={(x1,y1),(x2,y2),…,(xN,yN)},其中{xi},{yi},i=1,2,…,N分别是从低剂量CT图像和标准剂量CT图像中抽取的图像块,N是训练样本的总数。映射F中的参数可通过最小化下列目标函数得到:
(4)
本文采用Adam算法优化。
2 实验结果
2.1 实验数据
我们使用了由Mayo Clinic授权的“2016年NIH-AAPM-Mayo诊所低剂量CT大挑战”的临床数据集,用于训练和测试所提出的网络。该数据集包含10名匿名患者的标准剂量腹部CT图像和模拟的低剂量腹部CT图像,图像大小皆为512*512.我们用3mm的CT图像用于网络训练。在实验中,用于训练和测试的数据是从低剂量CT图像和标准剂量CT图像中抽取的固定大小的图像块集,这个已被证实是有效地,一方面可有效的提取图像的局部特征,另一方面可增加数据集,避免过拟合。
第三种意见认为,雇主责任与第三人承担的是不真正连带责任。如判决孙某某承担全部损害赔偿责任,孙某某承担全部损害赔偿责任后,向第三人追偿时,第三人将承担交通事故的全部责任。而交警部门认定第三人负事故的主要责任而非全部责任,这样的判决,对于第三人显失公平,应根据第三人与受害人邹某某的责任比例,判决雇主应承担的责任。
定量评价指标峰值信噪比(PSNR)和结构相似度(SSIM)的定义如下:
Is+1=fin(Os,X),1≤s2.2 网络参数
实验中参数设置如下:图像块的大小为54*54,学习率α=10-4,循环次数S= 3,编解码网络的层数为8,最后一层的卷积核数为1,其他层为64,所有层的卷积核大小为5*5.卷积和反卷积的步长设置为1,没有补零。卷积和反卷积核用均值为0、标准差为0.01的随机高斯分布初始化。网络每训练2000保存一次参数信息,经过100 000次迭代后终止训练。
网络在带有TensorFlow包的Python上执行,硬件参数:Intel Core i7-8700 3.20Hz,NVIDIA GeForce GTX 1070 Ti.
2.3 结果分析
为了验证所提出网络的性能,我们把本文所构造的网络RRED-Net与RED-CNN网络做了比较,如图3和4所示,第一行从左到右依次为低剂量CT图像,标准剂量CT图像,RRED-Net的结果和RED-CNN的结果;第二行依次是第一行图像中正方形区域的放大图,其大小为150*150,从图中可以看到,RRED-Net与RED-CNN网络都能够有效地去除图像中的伪影。
(a)低剂量CT图像;(b)标准剂量CT图像;(c)RRED-Net;(d)RED-CNN;
(a)低剂量CT图像;(b)标准剂量CT图像;(c)RRED-Net;
图像块对网络参数进行训练。将L067与L291中的低剂量CT图像作为测试集,用来测试网络的性能。
峰值信噪比(PSNR):
PSNR=
(5)
其中I是m×n的标准剂量CT图像,K是去除噪声后的图像。
实现社会治理的有效、有序进行,基层警务工作有着不可替代的作用,充分、合法履行职能是其发挥作用的前提。在现有法律、法规基础上,推动社会治理重心向基层下移,对基层警务工作进行职能优化,不断满足人民日益增长的美好生活需要,不断促进社会公平正义,形成有效的社会治理、良好的社会秩序。
结构相似度(SSIM):
(6)
表1给出了两种网络的PSNR与SSIM值。由表1可以看出,RRED-Net测试结果优于RED-CNN.
表1 PSNR与SSIM的比较
表2列出了S=1,2,3,4四个阶段的RRED-Net模型的PSNR和SSIM值。可以看出,随着递归次数S的增加(从1阶段到3阶段),RRED-Net的性能会逐步提高,具有更高的PSNR和SSIM值。然而,更大的S也使RRED-Net更难训练。当S=4时,RRED-Net4的性能略逊于RRED-Net3.因此,我们在实验中设定S=3.
很快,我见到了这名学生。长睫毛、大眼睛,头发浓而密。她和我的一对儿儿女差不多大,正该是青春无敌、神采飞扬的年纪,此刻写在脸上的却满是痛苦、拘谨和不安。简单的交流、疏导,排除她思想上的包袱后,我和阿孜姑带她去到医院。
表2 不同的S的RRED-Net模型的比较
3 总结
提出了一种通过递归浅层残差编解码网络来提升网络性能的网络,用于去除低剂量CT图像中的伪影与噪声。通过减少残差编解码网络中的层数和卷积核的个数降低网络的复杂度,利用递归过程达到获取优质图像的目的。另一方面为了更好地从网络中提取图像的特征,在每次递归时都把原始输入图像级联到下一次的输入中。实验结果表明递归去伪影是一种有效的方法,不仅可以降低网络的复杂度还可以提高网络的性能,使得去噪结果很好地保留了图像细节,结构更清晰。