基于稀疏表示的医学图像融合*

邱红梅， 李华锋， 余正涛

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)

基于稀疏表示的医学图像融合*

邱红梅， 李华锋， 余正涛

(昆明理工大学信息工程与自动化学院，云南昆明650500)

针对传统基于K阶奇异值分解 (KSVD)的字典学习算法时间复杂度高，学习字典对源图像的表达能力不理想，应用于医学图像融合效果差的问题，提出了一种新的字典学习方法：在字典学习之前对医学图像的特征信息进行筛选，选取能量和细节信息丰富的图像块作为训练集学习字典；根据学习得到的字典建立源图像的稀疏表示模型，运用正交匹配追踪算法(OMP)求解每个图像块的稀疏系数，采用“绝对值最大”策略构造融合图像的稀疏表示系数，最终得到融合图像。实验结果表明:针对不同的医学图像，提出的方法有效。

稀疏表示； 字典学习； 医学图像融合； 正交匹配追踪

0 引 言

图像融合技术已经广泛地应用到各个领域[1～4]。其中，稀疏表示因能更为稀疏地表示图像的奇异信息，而得到众多关注[5～7]。在基于稀疏表示(sparse representation,SR)的图像融合中，字典的选择是影响融合性能的关键因素之一。在医学图像融合方面，提出了很多有效的字典学习方法。Liu Y等人[8]提出了一种基于自适应稀疏表示的多源图像融合算法，并成功应用于医学图像融合中，根据训练集图像块的梯度方向直方图的主方向对其进行分类，再对每一类图像块分别训练字典。在融合过程中，根据源图像块梯度方向直方图主方向自适应地选择所在类的字典。Zhu Z Q等人[9]提出了一种基于采样和聚类的医学图像融合算法，通过对图像块采样获得信息丰富的块，并对其聚类，最后，利用K阶奇异值分解(Korder singular value decomposition,KSVD)算法得到每一类的子字典。这些方法虽然能得到较好的融合效果，但在字典学习过程中仍面临着学习速度慢的缺陷，而字典表达能力也有很大的提升空间。

针对以上缺陷，本文结合人眼视觉系统对图像质量的感知特性，提出了一种新的字典学习方法，并利用学习的字典对医学图像进行融合。

1 SR理论

SR理论的主要思想是目标信号能够由少量信号的线性组合来表示[10]。假设目标信号y∈Rm，则信号向量可以被分解成k个m维向量di∈Rm的线性组合k>m如下

(1)

式中 列向量di为原子，所有原子构成的矩阵D=[d1,d2,…,dk]称为字典或库。由于k≫m，因此,字典D是过完备的。求解在过完备字典D下的稀疏表示系数α是一个稀疏编码问题，在实际情况中，该稀疏编码问题可如下表示

(2)

上述问题一般可用贪婪算法和全局优化算法来求解。在基于稀疏表示的图像融合算法中，常用的稀疏优化方法包括匹配追踪算法(matching pursuit,MP)和正交匹配追踪算法(orthogonal matching pursuit,OMP)。

2 提出的融合方法

2.1 字典构建

为提升字典的表达能力，本文针对医学图像融合问题[11]，提出了利用源图像中反映亮度的能量信息和反映边缘细节变化的空间频率信息来构建超完备字典，字典学习的流程如图1所示。

图1 字典学习流程

考虑到图像的邻域内像素具有较强的相关性，采用像素的邻域能量信息来度量该像素点的亮度。具体地，像素点(x,y)的邻域能量特征计算式如下

(3)

式中I(x+p,y+q)为源图像I在(x+p,y+q)处的像素值；P×Q为预设的邻域窗口大小；(x+p,y+q)为以(x,y)为中心的邻域窗口内任一像素点。

采用像素的空间频率信息反映图像边缘细节信息的变化，其定义如式(4)所示

(4)

对每个待融合的源图像分割成相互重叠的图像块，分割结果如下

(5)

(6)

(7)

(8)

式中Xe为筛选的能量信息最丰富的图像块组成的训练集。ik定义如下

(9)

利用KSVD算法对训练集Xe进行学习得到能量字典

(10)

同理，选取包含边缘细节信息最丰富的图像块构造细节信息字典

(11)

式中Xs为筛选的边缘细节信息最丰富的图像块组成的训练集；为了不让Xs与Xe重叠，jk定义为

(12)

利用KSVD算法对训练集Xs进行学习得到边缘细节信息字典

(13)

由此，综合能量信息和边缘细节信息的字典如式(14)

D=[De,Ds]

(14)

本文训练得到的字典如图2(c)所示。对比图2(a)传统KSVD算法学习的字典和图2(b)文献[12]提出的联合聚类算法学习的字典，本文方法得到的字典包含了更加丰富的特征信息，原子对比度也更高，具有更强的表达能力。

图2 不同方法构建的字典视觉效果

2.2 融合算法

(15)

最后利用字典和融合图像的稀疏表示系数，根据式(16)对融合图像块向量进行重构，得到第k块融合图像的列向量

(16)

通过式(17)对所有的融合图像块进行重构，然后将重构图像块矩阵化得到最终的融合图像

(17)

图3 本文提出算法的融合流程

在训练子块数量和时间消耗上，图4(a)、图(b)源图像为例，传统的KSVD字典学习方法(子块不经过筛选)需训练31250个子块，字典训练耗时713s,而本文提出的字典学习方法(子块经过筛选)只需训练21050个子块，字典训练耗时679s,从中也可以看出，本文提出的字典学习方法在训练量和训练时间上均有所改进。

3 实验分析

为客观地评价方法的融合性能，采用互信息[13](mutual information,MI)、边缘信息度量算子[14](edge information preservation values,QAB/F) 和视觉信息保真度[15](visual information fidelity ,VIF)3个客观评价指标对不同算法下的融合结果进行度量，数值越大说明融合效果越好。

文采用了离散小波变换(discrete wavelet transform,DWT)、非下采样轮廓波变换 (nonsubsampled contourlet transform,NSCT)、 非下采样轮廓波变换和SK相结合的方法[16](nonsubsampled contourlet transform-sparse representation,NSCT-SR)、联合块聚类[12](joint patch clustering based dictionary,JCPD)、自适应SR[8](adaptive sparse representation,ASR)等5个不同融合算法与本文算法进行对比。实验中，本文方法的图像块大小为8×8，求邻域能量和清晰度信息所用的邻域窗口大小为P×Q=5×5，重叠像素为6，稀疏表示的重构误差为0.1。

实验的两组CT/MRI医学图像及不同方法产生的融合结果分别如图4和图5所示。从中可以看出，DWT得到的融合图像对比度较低，容易出现伪影现象；NSCT在很大程度上克服了DWT的不足，但融合规则过于简单，导致融合图像的对比度不高，视觉效果较差。JCPD和ASR得到的融合图像对比度虽有所提升，但细节信息不够清晰，仍不利于人眼的观察和医疗诊断。相比之下，NSCT-SR方法和本文算法在对比度上均取得了很好的效果。但从融合结果的局部放大区域可以看出，源图像中的部分有用信息没有被NSCT-SR方法保留到融合结果中，而本文方法却能有效避免这一缺陷。此外，表1给出了2组CT/MRI图像在不同算法下的融合图像的客观评价数据，从中可以看出，本文算法在3个客观评价指标上均高于其他方法，客观上也证明了本文算法优于其他方法。

图4 不同方法获得融合结果比较

图5 不同方法获得融合结果比较

为进一步证明本文方法对其他类型的图像同样有效，图6给出了PET/MRI医学图像在不同算法下的融合结果，客观评价数据如表1中的图6列所示。也可以看出，本文算法具有一定的适用性。

图6 PET/MRI在不同方法下的融合结果比较

4 结束语

针对医学图像融合，提出了一种新的超完备字典构建方法，并利用该字典对医学图像进行了融合实验。结果表明：本文方法训练得到的字典能有效提升字典的表达能力，同时，克服了传统字典学习算法中图像块数量较多，字典学习效率较低的缺陷。在融合图像的视觉效果和客观评价指标上，本文算法均优于其他传统图像融合算法以及最新的基于SR的融合方法。在今后的研究中，重点将进一步优化字典学习方法，增强字典的适应性。

表1 不同方法在融合3组医学图像时的客观评价结果比较

[1] 林玉池,周 欣,宋 乐,等.基于 NSCT 变换的红外与可见光图像融合技术研究[J].传感器与微系统,2008,27(12):45-47.

[2] 朱 炼,孙 枫,夏芳莉,等.图像融合研究综述[J].传感器与微系统,2014,33(2):14-18.

[3] 何国栋,石建平,冯友宏,等.一种新的红外与可见光图像融合算法[J].传感器与微系统,2014,33(4):139-141.

[4] 张明源,王宏力,陈国栋.基于小波分析的多源图像融合去云技术研究[J].传感器与微系统,2007,26(11):19-21.

[5] Yin H T.Sparse representation with learned multiscale dictionary for image fusion[J].Neurocomputing,2015,148(19):600-610.

[6] Liu Y,Liu S P,Wang Z F.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

[7] Li S T,Yin H T,Fang L Y.Group-sparse representation with dictionary learning for medical image denoising and fusion[J].IEEE Transactions on Biomedical Engineering,2012,59(12):3450-3459.

[8] Liu Y,Wang Z F.Simultaneous image fusion and denoising with adaptive sparse representation[J].IET Image Processing,2015,9(5):347-357.

[9] Zhu Z Q,Chai Y,Yin H P.A novel dictionary learning approach for multi-modality medical image fusion[J].Neurocomputing,2016,214:471-482.

[10] 张贤达.矩阵分析与应用[M].2版.北京:清华大学出版社,2013:78-82.

[11] Elan M,Yavnef I.A plurality of sparse representations is better than the sparsest one alone[J].IEEE Transactions Information Theory,2009，55(10):4701-4714.

[12] Kim M,Han D K,KO H,et al.Joint patch clustering-based dictionary learning for multimodal image fusion[J].Information Fusion,2016,27:198-214.

[13] Qu G H,Zhang D L,Yan P F.Information measure for performance of image fusion[J].Electronics Letters,2002,38 (7):313-315.

[14] Xydeas C S,Petrovic V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):308-309.

[15] Sheikh H R,Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing,2006,15 (2):430-444.

[16] Liu Y,Liu S P,Wang Z F.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

Medicalimagefusionbasedonsparserepresentation*

QIU Hong-mei, LI Hua-feng, YU Zheng-tao

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

In the traditional K order singular value decomposition (KSVD)-based methods,the dictionary learning process is time-consuming and the learned dictionary can’t represent the source images well.Therefore,a novel dictionary learning method is proposed for the medical images fusion problem.In which,these image blocks with rich energy feature and detail information are firstly filtrated to form the training set and the dictionary is learned from the training set.Next,the sparse model is constructed according to the learned dictionary and the sparse coefficients are solved by the orthogonal matching pursuit(OMP) algorithm.Finally,the ‘max absolute’ rule is employed to obtain the fused coefficient and the final fused image is obtained. The experiment has verified that the proposed method is effective for different medical images.

sparse representation(SR); dictionary learning; medical image fusion; orthogonal matching pursuit (OMP)

10.13873/J.1000—9787(2017)10—0057—04

2016—09—12

国家自然科学基金资助项目(61302041，61562053，61363043)；云南省科技厅应用基础研究计划基金资助项目(2013FD011)

TP 391

A

1000—9787(2017)10—0057—04

邱红梅(1990-)，女，硕士研究生，CCF会员，主要研究方向为图像处理。李华锋(1983-)，男，通讯作者，博士，副教授，主要从事计算机视觉、模式识别、数字图像处理研究工作，E—mail: 1175266310@qq.com。