联合稀疏表示的医学图像融合及同步去噪

宗静静 邱天爽 郭冬梅

1(大连理工大学电子信息与电气工程学部，辽宁 大连 116024)2(大连交通大学电气信息学院，辽宁 大连 116028)3(大连医科大学附属第二医院放射科，辽宁 大连 116027)

联合稀疏表示的医学图像融合及同步去噪

宗静静1,2邱天爽1#*郭冬梅3

1(大连理工大学电子信息与电气工程学部，辽宁 大连 116024)2(大连交通大学电气信息学院，辽宁 大连 116028)3(大连医科大学附属第二医院放射科，辽宁 大连 116027)

将多模态医学图像的互补信息有机地融合在一起，可为临床诊断和辅助治疗提供丰富信息和有效帮助。基于联合稀疏模型，提出一种联合稀疏表示的医学图像融合算法，当图像被噪声污染时，该算法在融合的同时兼有去噪功能。首先，将配准的源图像编纂成列向量并组成联合矩阵，通过在线字典学习算法(ODL)得到该矩阵的超完备字典；其次，利用该字典得到联合稀疏模型下的联合字典，之后利用最小角回归算法(LARS)计算基于联合字典的公共稀疏系数和各图像的独特稀疏系数，并根据“选择最大化”融合规则得到融合图像的稀疏系数；最后，根据融合系数和超完备字典重构融合图像。将该算法与3种经典算法比较，结果显示其主观上亮度失真和对比度失真较小，边缘纹理清晰，客观参数指标MI、QAB/F在无噪声干扰和有噪声干扰时的统计均值分别为：3.992 3、2.896 4、2.505 5和0.658、0.552 4、0.439 6，可以为临床诊断和辅助治疗提供有效帮助。

联合稀疏表示；在线字典学习；医学图像融合；图像去噪

引言

层出不穷的生物医学成像技术为生物组织的影像学描述提供了新的工具，在临床诊断、外科手术、放射治疗、疗效评估等方面发挥着重要作用。为了综合多模态医学图像的互补信息，为临床医学提供更为充分有效的依据，医学图像融合在20世纪90年代作为医学图像后处理技术之一应运而生[1]。医学图像融合属于医学影像学与图像信息学交叉研究领域，它的出现为分子影像学的发展揭开了崭新的一页[2]。

医学图像融合有不同的分类方法，大体可归为两类——空间域算法和变换域算法[3]。空间域算法将亮度值作为特征进行融合，又可以分为像素级融合和区域级融合，区域级融合通过分块或分割的方法把图像分成多个小区域，选择空间频率、梯度能量等作为衡量区域显著度的活动级测量准则(activity level measurement，ALM)[4]，之后利用“加权平均”、“选择最大化”等融合规则进行区域融合；它充分利用了图像的结构信息指导融合，因此可以克服像素级融合对噪声敏感等缺点，但仍存在块效应等问题。变换域算法将图像在变换域的系数作为显著性特征进行融合，包括基于多分辨率分析的方法，以小波变换[5]、多尺度几何分析[6-7]为代表。由于图像的显著性特征在变换域比在空间域能更好地被描述[8]，因此变换域算法相对空间域算法性能更好，但其算法耗时、效率较低。不过，随着计算机软硬件性能的提高，这一问题将逐步变得次要。而近几年来，随着压缩感知[9]的兴起，基于稀疏表示的图像融合技术[3,10-11]被推向了一个新的高度。其中，自适应式字典学习算法[12-14]由于解决了固定字典原子单一的缺点，因此成为了亮点并备受关注。

综合考虑空间域算法和变换域算法的优点，结合自适应稀疏表示技术，笔者提出了一种基于联合稀疏表示的医学图像融合算法，在完成融合的同时兼有去噪功能。首先，利用在线字典学习(online dictionary learning, ODL)[14]算法获得待融合源图像的超完备冗余字典；其次，利用该字典组成联合字典，通过最小角回归(least angle regression, LARS)[15]算法求解源图像在联合稀疏表示模型下的稀疏系数，并用“选择最大化”规则融合各自独特稀疏系数；最后，重构融合图像。与3种经典算法的对比表明，本算法在主客观方面具有优越性。

1 方法

1.1 稀疏表示

信号稀疏表示模型是在给定的超完备字典中用尽可能少的原子来表示信号，以获得信号更为简洁的表示方式。设信号x∈Rn，超完备字典D∈RnK(n

(1)

式中，误差容限ε≥0，‖·‖p代表Lp范数，D可采用解析字典和学习字典。

解析字典通过某种数学变换来构造，其原子可用数学函数刻画，如DCT、DWT等。这种方法简单且易于快速实现，但原子形态单一，不能与图像本身结构形成最优匹配；学习字典(如KSVD[13])通过训练学习方法获得的原子数量较多、形态丰富，能更好地匹配信号或图像本身的结构，具有更稀疏的表示。式(1)一般是NP-hard问题，实际中常用近似最优追踪算法来解决，主要包括贪婪算法(如OMP[16])和凸松弛(如BP[17]、LARS)算法。

1.2 联合稀疏表示

联合稀疏模型(joint sparsity model, JSM)来源于分布式压缩感知(distributed compressed sensing, DCS)[18]，是DCS的核心内容。DCS将分布式信源编码与压缩感知理论相结合，由Duarte等在2005年提出。之后，Baron等提出了3种不同的联合稀疏表示(joint sparse representation, JSR)模型[19]：JSM-1、JSM-2、JSM-3。JSM-1模型指出：所有信号应具有相同的公共稀疏部分和各信号独有的稀疏部分。假设信号整体Γ={V1,V2,…,VK}，根据JSM-1模型，Γ中的每个信号可以表示为

(2)

式中，Vc为信号公共部分，Viu为第i个信号的独特部分，D为超完备冗余字典，sc表示Γ中所有信号的公共稀疏系数，si表示第i个信号独特部分对应的稀疏系数。

信号整体的联合稀疏可表示为

(3)

则式(3)可以简写为

(4)

结合稀疏表示理论，联合稀疏表示模型式(4)，

稀疏系数S可以通过求解下面的优化问题得到，即

(5)

式中，ε≥0，代表误差容限。

优化问题式(5)是一个典型的稀疏求解问题，无法直接求解，很多逼近算法可以有效逼近最优解，本文第1.1节中已作分析，这里不再赘述。

1.3 基于JSR的图像融合

由于多源传感器信号是相关的，所以待融合图像之间存在相似性，即源图像间存在联合稀疏性。在本研究中，基于JSM-1模型对源图像进行联合稀疏表示，提取源图像间的公共特征和各自特征，对各自特征使用“选择最大化”融合规则实现融合，算法框架如图1所示。

图1 基于联合稀疏表示的图像融合算法Fig.1 Block diagram of image fusion algorithm based on joint sparse representation

1.3.1 算法步骤

如图1所示，假定有两幅已经配准的源图像I1,I2∈RMN，图像受到高斯白噪声n1、n2的影响，算法步骤如下：

(6)

即

(7)

(8)

稀疏矩阵S的第j列sj可由下面优化问题求解，即

(9)

式中，vj和sj是矩阵V和S的第j列，T由噪声方差确定[20]。

在本文中，使用LARS算法求解稀疏系数S。

4)重构。由VF重构的融合图像矩阵IF相当于一个反滑窗过程，即将VF的列向量还原成图像块。由于使用了步长为1的滑动窗技术，图像块之间会有重叠，因此通过加权平均处理得到最终的融合图像IF。

1.3.2 算法优点

通过算法流程，可以看到本算法有以下两方面优点：

1)综合了空间域和变换域算法的优点。在空间域首先利用滑动窗技术对源图像进行分块，这种区域级融合做法可充分利用图像的结构信息来指导融合，也提高了图像在之后的稀疏变换域进行矩阵分解的计算效率，且使得基于稀疏表示的图像特征提取具备“移不变”特性，融合图像性能更好。

2)有效结合了融合规则的优点。算法对源图像进行联合稀疏表示后，将各图像的独特稀疏系数的L1范数作为ALM，利用“选择最大化”融合规则来选择源图像的最显著特征。在之后的重构融合图像过程中，使用“块平均”来重建融合图像。整体来看，融合过程相当于使用了基于块的“选择最大化”和“加权平均”两种融合规则，因而避免了使用单一融合规则的缺点，有效整合了两种融合规则的优势。

1.4 实验设置

为评测算法的有效性，进行编程实验。实验所用硬件配置为处理器Intel(R) @3.5 GHz 3.5 GHz，内存4GB；软件环境为Windows 8.1，Matlab2013。

1.5 评价准则

本算法性能由主观视觉效果和客观参数指标两方面综合评价。主观效果靠人眼观察，由3位放射科专家对图像融合结果进行评价；客观评价使用互信息MI[21]和QAB/F[22]两个参数来量化融合效果。其中，MI是一种基于信息论的评价方法，它是对两个随机变量相关性的一种定量测量，反映融合图像继承源图像信息量的大小，一般值越大反映融合效果越好；QAB/F通过度量融合图像继承源图像梯度信息的程度来评价融合结果，它反映融合图像对源图像边缘特性的保留情况，取值范围是0～1，越接近1 表明融合图像的边缘特性越好，图像纹理细节越清晰。

2 结果

本研究所用脑部数据来源于哈佛大学医学院(http://www.med.harvard.edu/aanlib/home.html#userconsent#)，肺部数据由法国大诺曼底地区肿瘤诊疗中心-鲁昂亨利·贝克勒尔癌症综合治疗中心(CHB)提供。限于篇幅，此处仅给出2组医学图像及其融合结果。图2、3分别为一脑部肿瘤患者和肺部肿瘤患者的源图像及各算法的融合结果，算法所使用的噪声为高斯白噪声。其中，(a)、(b)是无噪声干扰的源图像(等价于被标准差σ=0的噪声污染)，(c)、(d)是被噪声标准差σ=10的高斯白噪声污染的源图像，(e)～(h)是干净(无噪声干扰)源图像的融合结果，(i)～(l)是含噪声源图像的融合结果。

4种算法的客观评价指标如表1所示。为评价算法的鲁棒性，笔者统计了10组医学图像的融合结果，其中5组脑部CT和MR图像，5组肺部PET和CT图像，10组数据融合结果的均值如表2所示。在这两个表中，最优参数指标均以黑体标出。

图3 肺部肿瘤患者的源图像及融合结果。 (a) PET图像(σ=0)；(b)CT图像(σ=0)；(c) PET图像(σ=10)；(d) CT图像(σ=10)；(e)DWT融合结果(σ=0)；(f)NSCT_PCNN融合结果(σ=0)；(g) SR融合结果(σ=0)；(h)本算法融合结果(σ=0)；(i) DWT融合结果(σ=10)；(j) NSCT_PCNN融合结果(σ=10)；(k) SR融合结果(σ=10)；(l) 本算法融合结果(σ=10)Fig.3 Source images and fusion results of the lung cancer patient. (a)PET image(σ=0); (b)CT image(σ=0); (c) PET image(σ=10); (d) CT image(σ=10); (e) DWT-based fusion result(σ=0); (f) NSCT_PCNN-based fusion result(σ=0); (g) SR-based fusion result(σ=0); (h) Fusion result of the proposed algorithm(σ=0)；(i) DWT-based fusion result(σ=10)；(j) NSCT_PCNN-based fusion result(σ=10)；(k) SR-based fusion result(σ=10)；(l) Fusion result of the proposed algorithm(σ=10)

表1 4种算法的客观指标

表2 10组图像客观评价指标的均值

3 讨论

以下从主客观两方面对实验结果进行讨论。主观视觉效果方面，3位放射科专家在对图像融合结果评价后一致认为，经本算法融合的图像亮度和对比度较好，图像纹理细节较清晰，可较好地保留原图像的特征，具体如图2、3所示。从主观视觉效果来看，干净源图像的融合效果要好于含噪源图像的融合效果，图像对比度失真和亮度失真均较小，边缘纹理细节相对清晰，融合质量相对较好。这说明，受到噪声干扰时，融合图像主观视觉效果会有所下降。而无论含噪与否，从主观视觉效果对比4种算法，可以发现文献[5]的DWT融合算法效果最差，其对比度、亮度信息严重失真，边缘保持度较差，不能清晰分辨组织的纹理结构信息。文献[6]的NSCT_PCNN融合算法的亮度信息尚可，纹理保持度较好，但图像清晰度一般；当受到噪声干扰时，可看到融合图像对比度明显下降，且算法不能保证将图像显著性特征完整地融入到融合图像中去，如图2(f)所示的融合图像未将CT轮廓完整地融合到最终图像中，图3(f)中未将PET的亮度信息完整地融合到目标图像中。文献[3]的SR算法的清晰度优于NSCT_PCNN算法的晴晰度，但其纹理细节保持度不如NSCT_PCNN算法和本算法(见图2)。如图3所示，该算法亮度和对比度、保持度不如本算法，但优于其余2种算法。从融合结果来看，本算法得到的融合图像清晰度高，对比度较高，边缘纹理细节保持较好，优于其他算法。尤其对于含噪图像，本算法明显优于其他算法，抗干扰能力较强，在完成融合的同时兼有更好的去噪功能。综上所述，本算法的融合效果主观最优，其鲁棒性好，融合图像的亮度、对比度、相关性失真较小，边缘保持度较高。

此外，实验对应的客观参数评价指标如表1、2所示。可以看出：当源图像受噪声干扰时，其融合图像的客观参数指标相比干净源图像的融合指标有所下降，且噪声越大，融合图像的客观参数指标越差；就纵向比较而言，无论含噪与否，表2的统计结果表明本算法客观统计指标最优，SR算法和NSCT_PCNN算法居中，DWT算法的客观指标整体最差。

综合主客观评价结果，在上述实验中，本算法最优，DWT算法最差，SR算法和NSCT_PCNN算法居中。究其原因，DWT算法中，二维可分离小波基只能捕获有限方向的信息，使其对具有曲线状奇异性的图像内容表征能力不佳，导致融合图像存在边缘细节丢失、像素不连续、对比度下降等现象。NSCT变换具有多尺度、多方向、平移不变等特性，因此对纹理细节的融合度相对较好；但因其属于非自适应多尺度几何分析，图像变换的基函数与图像内容无关，因此该变换不能“更稀疏”地表示图像特征，变换系数的能量集中度不高，导致其非线性逼近能力较差，因而融合图像对比度相对较差。SR算法使用固定DCT字典作为超完备字典来稀疏表示源图像，其融合图像的对比度尚可，纹理细节表示能力居中。本算法所使用的自适应学习字典相比固定字典而言，更能产生与训练样本高度适应的超完备冗余字典，可以更有效地提取源图像的几何结构，更好地发掘图像信号的特征，并以更好的稀疏方式来表示，因而融合图像对比清晰，边缘纹理细节丢失较少，亮度失真小。可以看出，自适应的图像统计表示方法使得本算法优于其他融合算法。

4 结论

为了更好地融合多模态医学图像的信息，笔者提出了基于联合稀疏表示的医学图像融合算法。该算法利用滑窗技术对图像进行分块，之后利用联合稀疏模型对多模态医学图像进行联合稀疏表示，提取源图像的公共特征和各自独特特征，最后采用“选择最大化”规则来融合各自独特的特征系数，并重构融合图像。由于结合了空域变换域以及两种融合规则的优势，以及自适应字典学习算法的使用，使得本算法融合后的图像边缘清晰，平滑性好，整体效果优良。当图像受干扰时，本算法在完成融合的同时可以很好地去噪。与3种经典算法大量对比的结果表明，本算法主客观效果的优越性。

本算法取得了一定成果，可为同类研究提供有益参考。展望未来，还有许多可拓展的工作，包括：

1)鉴于医学成像的复杂性，医学图像噪声呈现多样性，有些噪声是非高斯分布的(如泊松分布噪声、脉冲噪声或混合噪声等)，而本研究所关注的是高斯白噪声。对于非高斯分布噪声或混合噪声的去除，是未来的研究内容。

2)医学图像有多种模态，本研究主要进行了基于CT和MRI的脑部图像、基于CT和PET的肺部图像的图像融合。对于全方位多模态医学图像(如MRI与PET、MRI与SPECT等)的融合，是未来的实验内容。

[1] 刘兴党．图像融合及其临床应用[J]．国外医学：放射医学核医学分册，1996，20 (4)：156-158．

[2] 刘惠，郭冬梅，邱天爽．医学影像和医学图像处理[M]．北京：电子工业出版社，2013：122．

[3] Yang Bin，Li Shutao．Multifocus image fusion and restoration with sparse representation[J]．IEEE Transactions on Instrumentation and Measurement，2010，59(4)：884-892．

[4] Huang W，Jing Z．Evaluation of focus measures in multi-focus image fusion[J]．Pattern Recognition Letters，2007，28(4)：493-500．

[5] Nikolov S，Hill P，Bull D，et al．Wavelets for image fusion[M]//Wavelets in Signal and Image Analysis．Amsterdam：Springer Netherlands，2001：213-241．

[6] Das S，Kundu MK．NSCT-based multimodal medical image fusion using pulse-coupled neural network and modified spatial frequency [J]．Medical & Biological Engineering & Computing，2012，50(10)：1105-1114．

[7] Wang Lei，Li Bin，Tian Lianfang．Multi-modal medical image fusion using the inter-scale and intra-scale dependencies between image shift-invariant shearlet coefficients[J]．Information Fusion，2014，19：20-28．

[8] Mitianoudis N，Stathaki T．Pixel-based and region-based image fusion schemes using ICA bases[J]．Information Fusion，2007，8(2)： 131-142．

[9] Donoho DL．Compressed sensing[J]．IEEE Transactions on Information Theory，2006，52(4)：1289-1306．

[10] Yu Nannan，Qiu Tianshuang，Bi Feng，et al．Image features extraction and fusion based on joint sparse representation[J]．IEEE Journal of Selected Topics in Signal Processing，2011，5(5)：1074-1082．

[11] Liu Y，Wang Z．Simultaneous image fusion and denoising with adaptive sparse representation[J]．IET Image Processing，2014，9(5)：347-357．

[12] Engan K，Aase S O，Hakon Husoy J．Method of optimal directions for frame design[C]//IEEE Signal Processing Society．Proceedings of the 1999 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP-99)．Phoenix：IEEE，1999：2443-2446．

[13] Aharon M，Elad M，Bruckstein A．K-SVD：An algorithm for designing overcomplete dictionaries for sparse representation[J]．IEEE Transactions on Signal Processing，2006，54(11)：4311-4322．

[14] Mairal J，Bach F，Ponce J，et al．Online dictionary learning for sparse coding[C]//Proceedings of the 26th Annual International Conference on Machine Learning．Montreal：Association for Computing Machinery，2009：689-696．

[15] Efron B，Hastie T，Johnstone I，et al．Least angle regression[J]．The Annals of Statistics，2004，32(2)：407-499．

[16] Mallat SG，Zhang Z．Matching pursuits with time-frequency dictionaries[J]．IEEE Transactions on Signal Processing，1993， 41(12)：3397-3415．

[17] Chen SS，Donoho DL，Saunders MA．Atomic decomposition by basis pursuit[J]．SIAM Journal on Scientific Computing，1998，20(1)：33-61．

[18] Duarte MF，Sarvotham S，Baron D，et al．Distributed compressed sensing of jointly sparse signals[C]//39th Asilomar Conference on Signals, Systems and Computers．Pacific Grove：IEEE Computer Society，2005：1537-1541．

[19] Baron D，Duarte MF，Wakin MB，et al．Distributed compressive sensing[C]//2009 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP 2009)．Taipei：IEEE，2009：2886-2889．

[20] Elad M，Aharon M．Image denoising via sparse and redundant representations over learned dictionaries[J]．IEEE Transactions on Image Processing，2006，15(12)：3736-3745．

[22] Qu Guihong，Zhang Dali，Yan Pingfan．Information measure for performance of image fusion[J]．Electronics Letters，2002，38(7)：313-315．

Simultaneous Medical Image Fusion and De-Noising with Joint Sparse Representation

Zong Jingjing1,2Qiu Tianshuang1#*Guo Dongmei3

1(FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian116024,Liaoning,China)2(SchoolofElectrical&InformationEngineering,DalianJiaotongUniversity,Dalian116028,Liaoning,China)3(DepartmentofRadiology,theSecondAffiliatedHospitalofDalianMedicalUniversity,Dalian116027,Liaoning,China)

The complementary information of multi-modality medical images can be integrated together, which can provide abundant information and effective help for clinical diagnosis and treatment. Based on the joint sparse model, a new medical image fusion algorithm based on the joint sparse representation was proposed in this paper, and this method could carry out image fusion and de-noising simultaneously while the images were corrupted by noise. First, the registered source images were compiled into column vectors and composed of a joint matrix, and then an over-complete dictionary was obtained through online dictionary learning algorithm(ODL). Second, a joint dictionary was obtained by the over-complete dictionary under the joint sparse model, then based on the joint dictionary, the common sparse coefficients and unique sparse coefficients were computed by the least angle regression algorithm(LARS), and the sparse coefficients of fused image were obtained according to the fusion rule "choose max". Last, the fusion image was reconstructed according to the fusion coefficient and the over-complete dictionary. Compared with three classical algorithms,the results showed that the proposed algorithm has small luminance distortion, small contrast distortion and clear edge texture in the subjective vision, the statistical mean values of the objective parameters MI,QAB/Funder noiseless and noisy case were 3.992 3, 2.896 4, 2.505 5 and 0.658, 0.552 4, 0.439 6, respectively. All of these can provide effective help for clinical diagnosis and treatment.

joint sparse representation; online dictionary learning; medical image fusion; image de-noising

10.3969/j.issn.0258-8021. 2016. 02.002

2015-08-21， 录用日期:2015-11-11

国家自然科学基金(81241059，61172108)；国家科技支撑计划项目(2012BAJ18B06)

TP391；TN911.73

A

0258-8021(2016) 01-0133-08

# 中国生物医学工程学会会员(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: qiutsh@dlut.edu.cn