基于CNN的小波域低剂量CT图像去噪算法研究
2022-10-18张晓荣李菲
张晓荣 李菲
摘要:射线计算机断层扫描(CT) 在医学显像方面性能优异,但是CT成像也会产生辐射等问题,而且CT成像质量与辐射剂量呈正相关的关系,因此提高低剂量CT(LDCT) 图像的质量是医学和工学学科共同关注的课题。通过两阶段的残差卷积神经网络(TS-RCNN) 来降低噪声和增强细节,可以有效提高LDCT图像质量,与其他方法相比,此方法在均方误差(MSE) 、结构相似度(SSIM) 、峰值信噪比(PSNR) 方面都取得了良好的结果,在纹理特征和结构特征的实验比较中同样展现了良好的性能。
关键词:低剂量CT;图像去噪;平稳小波变换;残差神经网络
中图分类号:TP305 文献标识码:A
文章编号:1009-3044(2022)25-0082-04
开放科学(资源服务) 标识码(OSID) :
1 概述
X射线计算机断层扫描(CT) 是现代医学影像中重要的成像方式之一[1],CT由于其能够高质量呈现人体器官结构信息的特性,在现代临床医学的病情诊断中被广泛使用。然而,X射线在穿过人体时,会引发人体内的分子与化學物质发生反应,对人体带来危害。随着X射线剂量的减小,CT图像中的噪声就会增加,伴随噪声也会出现更多的伪影。噪声和伪影会降低CT图像的质量,导致图像中的细节信息模糊或者丢失,并进一步影响医生对于病变区域的诊断。因此,国内外的学者与研究人员已广泛探索并尝试了在保持CT图像质量的同时,最小化X射线剂量的方法。
2 国内外研究现状分析
早在2008年,Viren Jain等人[2]就使用卷积神经网络在图像去噪领域做出了尝试,他们将其提出的方法与传统的图像去噪方法作对比,并取得了更优秀的去噪效果。2012年,出现了两项利用深度学习技术进行图像去噪任务的优秀工作[3-4]。其中,Xie等人利用堆栈自编码器(Stack Autoencoder) 进行图像去噪的任务,在取得良好图像质量的同时,为后来的学者在图像去噪邻域提供了新的可能。而Burger等人则提出了多层感知机模型(Multi Layer Perceptron,MLP) ,在图像去噪领域达到了与领域标杆方法BM3D不相上下的图像去噪效果。
Yang等人[6]提出了一种基于2D和3D残差卷积网络的图像去噪方法,在降低图像噪声和抑制CT伪影的同时,保留了人体组织的细节。Yin等人[7]提出了一种包含正弦图域网络、滤波反投影和图像域网络的三阶段3D残差卷积网络,并在模拟和实际投影数据上进行了实验验证,在去噪效果上得到了一定提高,这些基于卷积神经网络的方法,都在LDCT图像降噪的任务中表现出相较传统处理有更好的性能和更小的计算成本。
3 低剂量CT图像质量改善模型
3.1 基于纹理去噪的残差神经网络模型(第一阶段)
基于纹理去噪的残差神经网络(简称“纹理去噪RCNN”) 的目标是对LDCT图像进行初步地去噪,其外在表现就是对LDCT图像的纹理信息进行降噪,为后续的结构增强RCNN提供良好的基础。
受wgan-vgg的启发,本阶段网络将局部感知损失项与整体误差损失项相结合,分别应用于图像噪声的抑制和纹理的保留。纹理去噪RCNN的训练过程如图1所示:
3.2 基于结构增强的残差神经网络模型(第二阶段)
基于结构增强的残差神经网络(下称“结构增强RCNN”) 的优化目标是对已经完成初步去噪的LDCT图像进行图像质量的进一步提升,使得CT图像的结构信息不因为细微的噪声而模糊。
本阶段神经网络的输入为[SWTy-ftSWTx],其中[y]为NDCT平均模型输出的图像,[ftSWTx]为纹理去噪RCNN的输出结果;标签为[SWTy-ftSWTx] ,即NDCT图像与纹理去噪RCNN的输出进行作差所得的图像,被用作神经网络的标签。该阶段神经网络的训练过程如图2所示:
4 实验结果与分析
4.1 数据集
本文使用了两种数据集:模拟数据集和公开数据集来验证TS- RCNN的有效性。模拟数据集的实验着重于提高和改善TS-RCNN去噪性能,其中模拟了不同的噪声强度用于评估TS-RCNN的鲁棒性。同时,通过在公开数据集上进行实验,以证明TS-RCNN具有实际的应用价值。
4.1.1 模拟数据集的生成
本文使用来自3Dircadb的1375张NDCT图像(共10位患者) 作为模拟数据集的标签。为了模拟噪声图像在视觉上更贴近于真实的LDCT图像。具体的模拟步骤如下:首先,NDCT图像进行radon变换以获得相应的正弦图;接下来,将泊松噪声和高斯噪声依次添加到正弦图中;最后,对噪声正弦图进行逆radon变换,得到模拟化的LDCT图像,计算公式如下:
[LDCTsimulated=iradonInI0I0×exp-radony+Pλ+Gμ,σ2]
(1)
其中,[I0]是从光源发射的光子数,y是衰减系数。radon()代表radon变换;对应的,iradon()即代表逆radon变换。[Gμ,σ2]代表以[μ]为均值,方差为[σ2]的高斯分布。[σ]越大,代表图像中的噪声点越多。[Pλ]代表泊松分布。在实验中,通过调整高斯函数的方差系数[σ]的大小来控制噪声的强弱。
4.1.2 公开数据集
由于无法量化临床低剂量CT数据的去噪结果,因此使用公开的低剂量CT数据集来验证TS- RCNN的性能。该数据集由梅奥诊所批准的用于“2016 NIH- AAPM- Mayo Clinic Low Dose CT Grand Challenge”。本文使用由3毫米厚的medicm核重建的2378幅图像(10例患者) 。本文将1944幅图像(8名患者) 用作训练集,210张图像(1名患者) 用作验证集,224张图像(1名患者) 用作测试集。
4.2 图像评价指标
4.2.1 图像质量客观评价指标
本文使用了以下三种指标来评价去噪后CT图像的整体质量:均方误差(MSE) 、结构相似度(SSIM) 和峰值信噪比(PSNR) 。这三种指标的计算方式如下所示:
[MSE=1m?ni=0m-1j=0n-1yi,j-xi,j2] (2)
[SSIM=2μy?μy+C1?2σyx+C2μ2y?μ2x+C1?σ2y+σ2x+C2] (3)
[PSNR=10?log10MAX2yMSE] (4)
其中,y和x分别代表NDCT图像和去噪后图像。m和n代表图像的宽度和高度,本文中设为512;[μ]是图像的像素值的平均值,[σ2]是图像的方差值,[σyx]是被比较的两张图像的协方差;[MAXy]是NDCT图像的像素值的最大值。
4.3 低剂量CT图像去噪实验
在本小节中,使用模拟数据集进行降噪模型的选定,然后将选定模型与BM3D、DnCNN、RED-CNN在公开数据集下进行对比,通过多角度对比体现TS- RCNN的性能。
4.3.1 实验结果对比与分析
在本小节中,将使用PSNR、SSIM和MSE作为去噪后CT图像质量的客观评估指标,所有方法的图像去噪效果指标都是基于整个测试数据集进行计算,并取平均数值进行展示,具体结果如表1所示。
其中,TS-RCNN在PSNR和SSIM的表现最佳,而在MSE中比RED-CNN稍差,位列所有对比方法的第二名。从结果的比较中,可以看出TS- RCNN有着相对好的数值结果。
为了进一步展现TS-RCNN的去噪性能优势,本文引入“一致性因子”C来描述去噪后图像和NDCT图像之间的灰度值差异。C的计算方法如式(5) 所示:
[C=1-Di,j256,i,j=1,2,…,512] (5)
其中,[Di,j]代表绝对值差分图像中,第i行第j个像素点处的灰度值,其范围为[1,256]。根据两种不同的差分程度,本文给出了绝对值差分图像,即将NDCT与去噪后CT图像相减,取绝对值再进行展示。其中,共给出了三类图像,分别是去噪后图像、C=1的绝对值差分图像、C>0.99的绝对值差分图像,如图3所示。
其中,第一列是去噪后图像,第二列是满足条件C=1的绝对值差分图像,第三列是第二列图像中红色框区域(左上方) 的放大视图。第四列是满足条件C>0.99的绝对值差分图像,第五列是第四列图像中红色框区域(右下方) 的放大视图。条件C=1,即代表在该像素点处。
在条件C=1的情况之下,可以明显看出TS-RCNN的表现最为突出。具体地,在第三列的局部放大图中,如箭头所示的区域,TS-RCNN拥有最清晰且范围最大的白色像素区域,即肋骨边缘,也就是与NDCT图像完全一致。其他的比较方法中,BM3D的肋骨宽度最小,RED-CNN在肋骨处存在黑色像素点,DnCNN则出现了肋骨模糊不清的情况。
而在第四列图像(C>0.99)中,TS-RCNN依旧取得了最佳的效果。具體地,从第五列的局部放大图中可以看出,TS-RCNN中的白色像素更多,并且如第五列的红色箭头所指向的肋骨区域可以明显看出,TS-RCNN在肋骨的边缘仍然是最清晰且范围最大的,但是相对来说,DnCNN的差分图在图示放大区域的效果有了一定的提升,但肋骨与其左上方的区域依旧存在黑色的边缘,而TS-RCNN几乎不存在这一边缘。RED-CNN在这一条件下的表现则不尽如人意,肋骨的边缘不清晰,而BM3D的效果依旧不理想,由BM3D是针对自然图像去噪研发的方法,其在像素值差异较小的医学图像上未取得良好的效果是可以预见的。需要另外说明的是,LDCT的绝对值差分图的边缘也很清晰,但可以很清晰地看到,在第二列和第四列图像中,LDCT在人体器官的部分几乎没有白色的像素点,从第三列和第五列的放大图像也可以证实这一说法,这就意味着LDCT图像中的噪声十分明显。
5 结束语
CT扫描在现代医疗体系中有着举足轻重的地位,但在正常剂量的CT扫描中,所使用的X射线会给人体的健康带来威胁,本文通过阅读相关文献,研究了部分经典的低剂量CT图像降噪方法,提出了用于低剂量CT图像去噪的两阶段神经网络模型(TS-RCNN) ,模型通过纹理去噪和结构增强两阶段对LDCT图像的质量进行改善。TS-RCNN在低剂量CT图像去噪任务上,通过与主流的模型BM3D、DnCNN、RED-CNN在公开数据集下进行对比,也取得了良好的效果。但是,由于局部感知损失,TS-RCNN还存在着更进一步的空间,未来可以在平均模型存在抑制部分纹理信息的问题、低频纹理信息设计独立的处理方法这两方面进行改进,以取得更好的效果。
参考文献:
[1] 吴俊峰,牟轩沁.L1范数字典约束的感兴趣区域CT图像重建算法[J].西安交通大学学报,2019,53(2):163-169.
[2] Jain V , Seung H S . Natural Image Denoising with Convolutional Networks[C]// Advances in Neural Information Processing Systems 21, Proceedings of the Twenty-Second Annual Conference on Neural Information Processing Systems, Vancouver, British Columbia, Canada, December 8-11, 2008. Curran Associates Inc., 2008.
[3] Xie J , Xu L , Chen E . Image denoising and inpainting with deep neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012.
[4] Burger H C , Schuler C J , Harmeling S . Image denoising: Can plain neural networks compete with BM3D?[C]// Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
[5] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(6):84-90.
[6] Yang W, Zhang H, Yang J, et al, Improving low-dose CT image using residual convolutional network[J].IEEE , 2017 (5) :24698-24705.
[7] Yin X,Zhao Q,Liu J,et al.Domain progressive 3D residual convolution network to improve low-dose CT imaging[J].IEEE Trans Med Imaging,2019,38(12):2903-2913.
[8] Wolterink J M,Leiner T,Viergever M A,et al.Generative adversarial networks for noise reduction in low-dose CT[J].IEEE Transactions on Medical Imaging,2017,36(12):2536-2545.
【通聯编辑:唐一东】