基于双字典和稀疏表示的医学图像超分辨率重建

席志红,曾继琴,李 爽

(哈尔滨工程大学 信息与通信工程系，哈尔滨 150001)

基于双字典和稀疏表示的医学图像超分辨率重建

席志红,曾继琴,李 爽

(哈尔滨工程大学 信息与通信工程系，哈尔滨 150001)

在医学影像图像处理过程中，由于成像技术和成像时间的限制，还无法获取满足诊断需求的清晰图像，这使得在现有技术和极短时间内所获取的医学病理图像需要进行超分辨率的重建处理；基于学习的图像超分辨率思想是从已建立的先验模型中重建出高频细节；在文章中，将要估计的高频信息认为是由主要高频和冗余高频两部分组成，提出了一种基于双字典学习和稀疏表示的医学图像超分辨率重建算法，由主要字典学习和冗余字典学习组成,分别渐近地恢复出主要高频细节和冗余高频细节；实验结果的数据分析和视觉效果显示,所提出双层递进方法能够恢复更多的图像细节且在性能指标上比现有的其他几种方法均有所提高。

医学图像; 超分辨率; 稀疏表示; 字典学习

0 引言

高分辨图像对当今的科学研究和生活都有很大意义，例如: 遥感影像、医疗成像、视频监控等。医学影像图像的处理已被广泛应用于计算机辅助诊断中。数字医疗影像技术如计算机断层扫描(CT)、核磁共振成像(MRI)等已经改变了现代医学[1-2]。尽管在过去的几十年中，已经在采集技术重建算法性能优化上取得进步，但由于成像环境、物理成像系统、成像辐射性等因素的局限性，还不能获取满足实际需求的清晰图像。因此，为了能够获得更高精度的病理图像，需要超分辨率预处理这些图像，以便能够精确的识别出病灶位置，从而为辅助诊断提供更精确的参考依据。

近年来，随着稀疏表示和压缩感知技术的发展[3]，受到基于稀疏编码的启发，基于学习的超分辨率算法应用而生，其基本思想是：通过字典学习获得高分、低分辨率图像块之间稀疏表示系数的近似相等的关系来引导重建出高分辨率图像块。部分研究方法已表明建模高分辨率和低分辨率图像块之间的映射关系是在稀疏编码领域[4-5]。文献[6]所提出的基于样本学习的稀疏表示超分辨重建方法，由于受到压缩感知的基本思想启发，该方法通过对大量高、低分辨率图像块的稀疏表示和降维处理，避免了局部优化，实现了超分辨在训练样本空间的全局优化求解。一方面提取了必要的先验信息，减少了重构时对大量样本数据的需求，提高了重建效率；另一方面也有效地缓解了邻域嵌入方法[7]的过拟合或欠拟合现象。随后Yang在文献[8]中介绍了基于稀疏表示训练低分辨率和高分辨率字典对的方法，并将样本训练字典的过程分解为双层优化问题的求解，进一步有效地改善了低分辨率图像重建效果。文献[9]提出了直接处理整幅图像的卷积稀疏编码图像超分辨算法，能够缓解图像分块处理的块效应，但医学图像的数据量远大于普通图像的，由此对其卷积运算对内存的需求很高，以及上述方法的过完备字典大小和算法复杂也限制了对高频细节的恢复。

因此，本文将要估量的高频(high frequency, HF)细节分为两部分:主要高频(main high frequency, MHF)成分和冗余高频(residual high frequency, RHF)成分，采用主要字典和冗余字典的学习，与之对应地恢复出图像的主要高频和冗余高频，首先恢复图像中的主要高频成分，然后再恢复出其冗余高频成分,是一种由粗到精的双层递进恢复过程，既能恢复出更多的高频细节也能减少计算量，从而获得更好的重建效果。

1 图像超分辨率重建方案

图像超分辨率主要是处理从单幅或多幅降质的低分辨率图像中恢复出与之相对应的高分辨率图像的问题。本文中主要针对单帧降质图像的超分辨重建，其基本的数学模型如下所示：

Y=DSHX+η

(1)

X是标准的原始高分辨率图像，Y是通过所建立的数学模型观测到的降质低分辨图像，H是模糊算子，DS是采样算子，S是采样的缩放因子，η是加性高斯噪声。超分辨率重建目的就是估计出图像的高频细节，在基于样本学习的超分辨重建算法中，一幅图像通常首先需要预处理为一组图像块集，然后在每一个图像块上都分别执行超分辨率算法。在本文中，低分辨图像在进行超分辨率重建之前进行一种预处理，先将低分辨率图像分解为图像主要成分和图像冗余成分[10]，如图1所示，其中图像的主要成分代表图像的基本特征结构，冗余成分表示图像的边缘和纹理特征结构，然后再将分解后图像分别预处理为两组图像块对。本文所提出方案由双字典学习阶段和图像合成阶段组成。双字典的训练阶段也就是主要字典(maindictionary,MD)和冗余字典(residualdictionary,RD)的学习，具体训练过程如图2所示。在图像合成阶段，使用双字典训练阶段所训练的模型从已知的低分辨率图像中重建出高分辨图像，具体重建过程如图3所示。

图1 图像分解效果图

1.1 双字典学习阶段

为了能够有效地表示图像中复杂的高频信息，本文采用基于样本的双字典学习。此类字典能够灵活地表示出复杂的高频信息。其主要思想是图像库中数据被训练成丰富的超完备字典原子，由于被训练的超完备字典原子直接来自于同类信号本身，因此应用它们构成的超完备字典对图像中高频信息的表示具有的很好稀疏性和更小的冗余量，同时对图像中的高频信息有更强的自适应能力。

在此阶段，基于稀疏表示学习两种类型的字典，即主要字典和冗余字典的学习，其分别对应地恢复图像主要高频成分和冗余高频成分，并采用文献[11]中超完备字典的学习方法。双字典训练过程如图2所示。

图2 字典训练阶段流程图

(2)

(3)

HMD=PhQ+=Ph(QQT)-1

(4)

上述方法中未考虑到高分辨率图像块的重叠，因为，最终在重建阶段的高分辨图像是通过定位不同位置的高分辨率图像块到相对应整幅图像的位置中，然后再平均邻近的高分辨率图像块而重建的，HMD理应被优化的，所得到最终的高分辨率图像尽可能地逼近等于原始图像。最后，冗余字典RD将在以下步骤中训练，借助主要字典MD和HLF，利用下一小节中即将要介绍的图像重建准则来生成高分辨率的主要高频图像，记为HMHF。具有更多高频细节的第一层高分辨率图像(firsthigh-resolutionimage,H1th)就由高分辨率主要高频图像HMHF与高分辨率低频图像HLF相融合获得。

然后，从高分辨率高频成分图像HHF中去除高分辨率主要高频图像HMHF而得到高分辨率冗余高频成分图像HRHF。将高分辨率冗余高频成分图像HRHF和第一层高分辨率图像H1th作为训练冗余字典RD的输入，按照基于主要字典的同样训练过程和方法就能够得到冗余字典RD。同样地，冗余字典RD也是由两个耦合的子字典线性组成：低频冗余字典(low-frequencyresidualdictionary,LRD)和高频冗余字典(high-frequencyresidualdictionary,HRD)。因此，主要字典MD学习和冗余字典RD学习一起构成了双字典。

1.2 图像合成阶段

高分辨图像合成阶段，首先，用原始的高分辨率图像通过下采样运算和模糊运算获得低分辨率输入测试图像(low-resolutioninputimage,LINPUT)，利用双立方插值算法将图像插值放大为高分辨率低频图像HLF。在图像合成阶段，为了简化操作同时保证高、低分辨率图像块之间一一对应，所采用的模糊算子和降采样算子同双字典训练阶段所使用的算子是一样的。然后对整幅图像进行分块提取运算，使相邻图像块相互重叠，图像块重叠的目的是为了减缓重建整幅图像时产生的块效应。最终所估计的高分辨率图像是通过先后使用所训练的主要字典和冗余字典而重建的，并且更多的高频细节也被渐近的恢复，图像合成的具体流程，如图3所示。

图3 图像合成阶段流程图

(5)

定义Rk为图像块特征提取算子，表示在高分辨率图像的位置k处提取第k个图像块，高分辨主要高频图像HMHF的生成是解决以下最小化问题：

(6)

其有一个近似形式的最小二乘解，即：

(7)

然后，通过将高分辨率低频图像HLF和高分辨率主要高频图像HMHF相融合生成比HLF具有更多信息的第一层高分辨率图像H1th。接下来，上述同样的重建方法再次在第一层高分辨率图像H1th和冗余字典RD执行生成第二层高分辨率冗余高频图像HRHF，最后，通过将已重建出的双层高分辨图像H1th和HRHF相结合生成最终要估计的高分辨率图像(HRestimatedimage,HEST)。

图4 字典训练和测试图像

2 实验结果与分析

本小节将通过实验数据和重建图像的视觉效果来说明本文所提出方法的性能改善。在实验仿真中采用一部分医学图像图像作为测试图像，进行放大3倍的超分辨率重建实验，并且使用Bicubic、Chang[7]、Yang[6]和Zhang[9]方法作为实验对比。

2.1 实验参数设置和量化指标

在实验仿真中，主要字典MD和冗余字典RD的字典原子数都设置为500，这在数量上的和与文献[11]的字典原子数1 000是一样的。用来重构每个图像块的基数(字典原子数)L被设置为3,所提取的小图像块的像素大小被设置9×9，并保留与周围图像块间1个像素重叠以避免块效应。实验中所用的图像如图4所示，其中第一幅图像被用来字典学习，其他图像为性能测试图。对于医学影像图像的应用来说，图像的质量应与诊断决策的正确性具有正相关性，并且依靠与特定的诊断任务。实验仿真中常使用峰值信噪比(PSNR)和结构相似度[14](SSIM)作为图像重建效果的客观评估指标。PSNR是衡量两幅图像之间的强度差，SSIM也是最常用的图像质量的评价方法，基于人类视觉主要从图像的结构中获取信息的假设，相比PSNR，SSIM的度量能够提供对图像视觉感知破坏的良好逼近，能更好的表达恢复图像与参考图像之间的结构相似性，其取值范围为[0,1]。PSNR和SSIM的不同方法的比较如表1所示。

2.2 实验结果

图5和图6为现有几种不同算法重建的效果图像、本文所提算法的效果图和原始标准图像。以图5(a)～(f)为例，其分别为双三次插值Bicubic、Chang[7]、Yang[6]、Zhang[9]等方法和文中所提方法恢复的图像，以及与之对应的原始的标准图像。从视觉效果上看Bicubic、Chang[9]和Yang[6]等方法存在一定的块效应，本文算法比Zhang[9]等方法在高频细节有更好的恢复效果，图6的实验结果的视觉效果图与图5的视觉效果结果相类似。从表1中各种不同重建算法的PSNR和SSIM实验数据可以显示，本文所提的算法在性能指标上比其他几种算法更高。

表1 几种不同算法的比较

图5 CT2恢复

图6 CT3恢复

3 结语

本文提出了一种基于双字典学习和稀疏表示的医学图像的超分辨率算法，针对医学图像的数据量大和冗余性强，将图像分解为主要成分和冗余成分，分别在不同图像成分中学习双字典，利用不同字典的双层渐近方式重建丢失的高频细节并减少了大量数据的运算。通过对比实验结果表明，本文算法在性能指标和视觉效果上比其它几种方法更高。所提出的方法对于数据量大的低分辨医学图像是很有意义，重建的高分辨率图像可以方便医生准确地发现病变,从而提高诊断质量。

[1] Bailey D, Roach P, Bailey E, Hewlett J, et al. Development of a cost-effective modular SPECT/CT scanner[J]. European Journal of Nuclear Medicine & Molecular Imaging, 2007,34(9):1415-1426.

[3] Kashin B, Temlyakov V. A remark on Compressed Sensing[J]. Mathematical Notes. 2007;82(5/6):748-755.

[4] He Li, Qi Hairong, Russell Zaretzki. Beta Process Joint Dictionary Learning for Coupled Feature Spaces with Application to Single Image Super-Resolution[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Washington, USA, 2013: 345-352.

[5] Wang S, Zhang L, Liang Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Providence, RI, 2012: 2216-2223.

[6] Yang Jianchao, Wright J, Huang T, et al. Image super-resolution via sparse representation[J]. IEEE Trans on Image Processing, 2010,19(11): 2861-2873.

[7] Hong Chang, Dit-Yan Yeung. Super-resolution through neighbor embedding[A]. Computer Proceedings of the 2004 IEEE Computer Society Conference[C]. Washington, DC, USA, 2004: 275-282.

[8] Yang J C, Wang Z W, Lin Z. Coupled Dictionary Training for Image Super Resolution[J]. IEEE Transaction on Image Processing, 2012, 21: 3467-3478.

[9] Zhang Lei, Gu Shuhang, Xie Qin, et al. Convolutional Sparse Coding for Image Super-Resolution[A]. Proceedings of the IEEE International Conference on Computer Vision[C].Santiago, 2015:1823-1831.

[10] 李海斌. 基于稀疏表示的图像超分辨率重建研究[D].重庆：重庆大学,2014.

[11] Roman Zeyde, Michael Elad, Matan Protter.On single image scale-up using sparse representations[A]. Proceedings of the international conference on Curves and Surfaces[C]. Avignon, France,2012: 711-730.

[12] Aharon M, Elad M, Bruckstein A. K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transactions on Signal Processing, 2006, 54 (11): 4311-4322.

[13] Wang J J, Zhu S H, Gong Y H. Resolution enhancement based on learning the sparse association of image patches[J]. Pattern Recognition Letters, 2010, 31(1): 0167-8655.

[14] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Trans Image Process, 2004, 13(4): 600-612.

Super-Resolution Reconstruction of Medical Image Based on Dual-Dictionary and Sparse Representation

Xi Zhihong, Zeng Jiqin, Li Shuang

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Medical diagnosis needs a lot of medical image processing, due to the limitations of imaging technology and imaging time, the medical diagnosis is not able to get the clear image, which is necessary to reconstruct the medical image that have been acquired in the existing technology and considerably short time with super-resolution methods. Example-Based image super-resolution is to reconstruct the high-frequency (HF) details of the image from the prior model. HF will be estimated is considered as a combination of two components: main high-frequency(MHF) and residual high-frequency (RHF) ,this paper proposed a medical image super-resolution using dual-dictionary learning and sparse representation, which makes of the main dictionary and the residual dictionary learning recovering the MHF and RHF, respectively. Experimental results on test image show that by performing the proposed two-layer progressive method, more image details can be recovered and much better results can be achieved than that of existing methods.

medical image; super-resolution; sparse representation; dictionary learning

2016-10-14；

2016-11-11。

国家自然科学基金项目(60875025)。

席志红(1965-)，女，黑龙江哈尔滨人，教授，硕士研究生导师，主要从事数字图像处理方向的研究。

1671-4598(2017)03-0197-04

10.16526/j.cnki.11-4762/tp.2017.03.054

TP3

A