基于多分辨率变换和压缩感知的PET/CT融合方法

王惠群，周　涛，，，陆惠玲，夏　勇，王文文

(1.宁夏医科大学 a.管理学院； b.理学院，宁夏　银川　750004；2.西北工业大学 计算机学院，陕西　西安　710000)

基于多分辨率变换和压缩感知的PET/CT融合方法

王惠群1a，周涛1a，1b，2，陆惠玲1b，夏勇2，王文文1a

(1.宁夏医科大学 a.管理学院； b.理学院，宁夏银川750004；2.西北工业大学 计算机学院，陕西西安710000)

摘要:针对移动医疗背景下医学图像融合信息交互的局限性问题，提出一种基于多分辨率变换NSCT和压缩感知理论的肺癌PET/CT图像融合算法。第一步，对源图像进行单层NSCT分解；第二步，通过分析PET和CT不同的成像机制和显像信息，对分解后具有较差稀疏性且主要集中源图像大部分能量的低频子带，采取高斯隶属度函数加权的融合规则，对主要呈现源图像细节信息的高频子带使用高斯随机矩阵进行压缩测量，选择基于平均梯度和区域能量的方法法对高频测量值进行融合；第三步，采取正交匹配追踪算法重构融合后的高频测量值；第四步，对低频融合图像和重构后的高频融合图像进行NSCT逆变换得到最终的融合图像；最后，对该算法进行了两方面的仿真实验：与其他压缩感知图像融合方法的比较以及与其他多分辨率图像融合方法的比较，实验结果表明，该算法是有效可行的。

关键词:多分辨率变换；NSCT；压缩感知；PET/CT；图像融合

1PET/CT图像融合方法

2014年世界卫生组织(WHO)发布的《世界癌症报告》显示，肺癌的发病率居首位，是最普遍和最致命的癌症[1]。对于肺癌来说，PET图像对肺癌的早期诊断有较高的灵敏性，但由于图像空间分辨率较低不能精确定位病灶；CT图像的高解析度可以为肺癌患者的临床诊断和分期问题提供病灶的精确解剖结构，但因软组织分辨率较低在定性诊断上有很大限制。PET/CT融合图像可同时呈现不同模态图像的信息，提高病变部位的可辨识度[2]，同时进行病灶的精确定位以及放疗靶区的勾画[3]，对肺癌的早期诊断、临床分期、病灶定位、制定治疗方案以及疗效评估等方面都有重要的临床应用价值。目前，PET/CT图像融合的研究主要集中于临床诊断方面，Hari Mukundan等[4]比较了MRI和PET/CT对患者头颈部鳞状细胞癌治疗后的诊断性能，结果表明PET/CT对术后评估的效果更好。

针对PET/CT图像融合算法的讨论相对较少，且以二维小波变换为主。在小波变换的基础上Do等[5]提出了轮廓波变换(Contourlet transform)理论，Contourlet变换是一种多分辨率、局域性和多方向的稀疏表示方法，文献[6]已经证明相比于小波变换以及改进的分层离散余弦变换，Contourlet 变换能更稀疏地表示图像。但由于Contourlet 变换不具有平移不变性，会产生频谱混叠现象，而基于非下采样Contourlet变换(NSCT)理论的提出解决了这一问题[7]。NSCT去除了下采样的环节，具备良好的方向性及平移不变性，可有效表达出图像的纹理特征，避免了Gibbs现象的发生[8-9]。但是NSCT在图像融合中的计算复杂度高，高频图像在多方向上的分解会产生大量的冗余数据，本文将多分辨率变换NSCT与压缩感知相结合应用与PET/CT图像融合，由于多分辨率NSCT分解后的高频子带满足压缩感知理论中稀疏先验条件，可以通过少量的观测数据恢复出原始信号[10]，因此本文将医疗成像设备获取到的源图像经过多分辨率NSCT变换后进行压缩测量再做融合处理，提高了PET/CT解剖型和功能型图像融合的质量，降低了医学图像融合在网络传输过程中的数据量，为移动医疗、智慧医疗提供技术支持。

本文提出一种基于多分辨率变换NSCT和压缩感知的肺癌PET/CT图像融合算法，针对移动医疗背景下医学图像融合信息交互的局限性问题，为克服异地传输对带宽的影响，考虑到PET与CT在成像机理上的不同，对低高频子带应结合各自特点采用相应的规则进行融合。本文在NSCT变换域对多方向的高频系数采用基于压缩感知的图像融合方法，低频系数的融合规则采用自适应局部区域能量加权的方法。实验结果表明，将多尺度NSCT变换和压缩感知的理论运用到PET/CT图像融合的工作中，降低了高频信号采样工作量，融合后的图像有较好的视觉效果，并且在客观指标评价上较其他算法有一定的提高。

2非下采样Contourlet变换

3压缩感知理论

图像的可稀疏表示是压缩感知的基础条件[13]，从数学角度而言，假设一大小为N×N的图像f(f∈RN×N)，变换基为Ψ，对f进行变换，则f可表示为

f=Ψα

(1)

式中：f是图像在时域的表示；α是图像在Ψ域的表示。若α的非零值K<

在稀疏先验条件下，构造一个与变换基Ψ不相关的测量矩阵Φ对信号进行线性投影得到感知测量值y，实现信号从N维降为M维，用以精确的重构信号或者图像[14]，采样过程可表示为

y=Φf=ΦΨα

(2)

式中：Φ为M×N大小的测量矩阵；y是图像f在测量矩阵Φ下的线性投影值，且M

(3)

重构算法是图像是否能精确重构的关键，并且该算法要求在可以精确恢复信号的同时，处理过程稳定、计算复杂度低、观测数量少[15]。

4基于多分辨率变换和压缩感知的肺癌PET/CT图像融合算法

4.1算法思想

1)首先对肺癌患者的PET及CT图像分别进行单层多分辨率NSCT变换，分解后分别得到1个低频图像和8个方向的高频图像。

2)变换后的低频图像大多是逼近信号且稀疏性较差，可直接进行融合以保持图像大量背景信息。

3)变换后的高频图像主要呈现原始图像的细节信息，相比于低频图像的稀疏度，高频图像的稀疏性更好，对高频系数进行压缩采样能得到更好的重构精度。因此，采用高斯随机矩阵对高频图像进行压缩测量，根据符合测量值物理特性的融合规则进行融合，然后利用正交匹配追踪算法重构融合后的高频图像。

4)最后，重构后的高频融合图像与融合后的低频图像经过NSCT逆变换得到最终的融合图像。融合框架如图1所示。

图1基于NSCT和压缩感知的肺癌PET/CT图像融合框架

4.2关键技术

4.2.1低频融合规则

源图像经过NSCT变换后的低频图像主要包含源图像的近似分量，稀疏性很小，如果使用随机测量矩阵对低频系数进行观测，会破坏低频系数之间的相关性，影响重构精度[16]，本文选择直接进行融合。由于PET与CT在成像机理上的不同，PET与CT图像的灰度差较大，通常出现互斥特性，代谢旺盛的恶性病变组织在PET图像中表现为较暗区域，而骨骼及脏器的分布在CT图像中能得到清晰的呈现，如果采用基于像素的简单平均融合算法会降低融合图像的对比度，使重要目标信息淡化[17]。本文中，首先对两幅源图像PET(A)和CT(B)经过单层NSCT变换的低频图像进行取极小值融合，融合后的图像再与PET的低频图像进行融合

LB=min{LA(i,j),LB(i,j)}

(4)

式中：LA和LB分别为PET和CT的低频图像分解系数。在此基础上选择模糊集理论中的高斯型隶属度函数计算融合算子，通过自适应加权的方法对低频子带进行融合。高斯型函数的表现形式为

(5)

(6)

式中：ωA和ωB分别为低频图像LA与LB的融合算子，即权重值；LF为最终融合后的低频子带系数。

4.2.2高频融合规则

PET与CT图像经过NSCT变换后得到8个方向的高频子带，包含了源图像在不同方向上的细节信息且稀疏性较好。由于压缩感知对图像信息的压缩采样是线性变换过程，高频系数转换为观测值以后仍然具有观测值越大包含图像信息量越大的特点，只是随机测量矩阵和NSCT变换矩阵之间存在不相关性，因此，高频系数的融合规则不能根据像素间的关系进行设置[18]。本文中，对高频子带分别进行压缩测量，尽可能保留源图像的边缘特征，采用线性加权的方法基于平均梯度和区域能量计算权值：平均梯度包含了图像细节信息和纹理特征的变化特征，更适合用于高频的细节分量；计算区域能量的方法能体现出高频测量系数的局部特征，因此，高频融合规则将测量值的共同信息和互补信息进行综合，使得重构恢复后的高频融合图像信息更加丰富。

首先构造高斯随机测量矩阵对两幅源图像的高频子带系数HA和HB进行线性测量，得到相应子带系数的测量值YA和YB。

(7)

得到高频子带的平均梯度为GradI和能量EI(I=A，B)，根据高频子带的平均梯度计算高频子带测量值YA、YB的权重ωYA和ωYB分别为

(8)

最后，根据高频子带测量值的融合规则表达式

(9)

对PET和CT图像分解后的高频子带测量值进行融合得到融合后的高频子带系数YF，再采用正交匹配追踪算法对YF进行重构得到高频融合图像HF。

5仿真实验及分析

5.1实验环境

硬件环境：仿真硬件平台为Pentium(R) Dual-Core CPU E6700，3.2 GHz，2.0 Gbyte内存，操作系统为Windows 7。

软件环境：软件Matlab R2012b。

实验数据：采用一组肺癌经配准后的PET及CT图像，如图2所示，均为灰度图像，大小均为256×256。

图2　源图像

NSCT变换参数设置：滤波层级为1，方向级数为3，其中NSP结构采用双正交小波分解，NSDFB采用梯形滤波器。

5.2实验结果及分析

1)实验一：与其他压缩感知图像融合方法的对比

为了验证非下采样Contourlet变换的优越性，将本文算法与其他压缩感知图像融合方法进行对比，对比方法分别为基于小波变换的压缩感知图像融合(Wavelet-CS)和基于Contourlet变换的压缩感知图像融合(CT-CS)。Wavelet-CS试验中稀疏变换矩阵选择小波正交基，融合规则是加权平均的方法；CT-CS实验中高低频融合规则与本文算法相同，3种方法的实验中测量矩阵均为高斯随机矩阵，重构算法均为正交匹配追踪算法，采样率分别设置为30%，50%，70%。表1为本文算法(NSCT+CS)和Wavelet-CS、CT-CS算法下得到的融合图像在客观评价指标下的数据。

表1不同采样率下客观评价指标数据

采样率组别标准差平均梯度空间频率峰值信噪比图像清晰度互信息信息熵30%NSCT+CS23.07024.147912.627017.38834.82181.91365.9361CT+CS21.10612.685212.272921.27293.99531.00596.1594Wavelet+CS20.74203.392610.702621.53814.35061.16866.099750%NSCT+CS23.27974.205113.721317.76944.99541.99475.9114CT+CS22.09523.127613.249521.24954.90671.02496.1582Wavelet+CS20.89324.036810.246119.56344.50751.35526.034470%NSCT+CS23.37914.651114.190918.00625.17262.05435.8864CT+CS22.25063.408413.608521.65294.96681.04296.1538Wavelet+CS20.94594.239611.797919.77114.60341.54666.0039

融合图像的评价方法一般包括主观评价和客观评价。主观评价对于图像质量检验来说最为可靠，尤其是在医学图像融合中，对临床医生的辅助作用很关键，但是主观评价需要设备、人员组织和严格的环境条件协同作用，在实际应用中较难实现。因此，本文选择客观评价指标来度量融合图像的质量和性能，包括标准差、平均梯度、空间频率、峰值信噪比、图像清晰度、互信息、信息熵。

从表1中的数据可以看出，在不同的采样率下，本文算法融合图像的标准差、平均梯度、空间频率、图像清晰度、互信息均高于其他两种算法，CT+CS算法下的融合图像的峰值信噪比和信息熵优于本算法与Wavelet-CS算法，可能是由于Contourlet变换会产生频谱叠加现象的原因，图像的灰度变化和边缘波动程度较大，使得图像信息量变大；而本文算法和CT-CS方法的指标数据均优于Wavelet-CS算法，可知多尺度、多分辨率的稀疏变换能使图像较小波变换更加稀疏，且保留多方向的细节信息。

2)实验二：与其他多分辨率图像融合方法的对比

为检验压缩感知理论在图像融合中的优势，本文算法将分别与NSCT变换图像融合和Contourlet变换图像融合进行比较，本文算法的采样率定为50%，NSCT变换与Contourlet变换的低频融合规则均为加权平均法，高频融合规则均为局部区域能量最大法。如图3为融合结果图像，表2为3种融合方法在客观指标上的比较，图4为客观指标测试数据柱状图。

图3　3种方法的融合图像

表2　3种方法客观评价指标数据

图4　3种方法客观评价指标柱状图

从融合图像的视觉效果可以看出本文融合算法将PET与CT图像各自的特征综合呈现在一幅融合图像中，患者肺部横断面的骨骼和脏器组织较为清晰，尤其是癌细胞代谢旺盛的病灶部位得到了更完整的保留，提高了病灶部位与毗邻组织的对比度，为病灶的精确定位提供高质量的影像依据。但是，相比于NSCT图像融合方法和Contourlet图像融合方法所得到的融合图像，本文算法的融合图像中骨骼亮度并不高，而且图像左上角信息标注的地方数字有些模糊，融合算法仍可做进一步改进以得到更好的视觉效果。

从表2、图3以及图4中可以看出，本文算法得到的融合图像的标准差为23.279 7、平均梯度为4.205 1、空间频率为11.721 3、图像清晰度为4.995 4，均远大于另两种多尺度的图像融合方法得到的结果；互信息为1.994 7，相对于另外两种方法提高的并不是十分明显；而峰值信噪比和信息熵的值均小于NSCT图像融合方法和Contourlet图像融合方法的结果，与实验二同理，Contourlet产生频谱混叠现象，所以峰值信噪比和信息熵为三种方法中最大；本文算法中结合了多尺度变换和压缩感知理论，多尺度变换使图像表达更加稀疏，压缩感知对高频图像的处理更加具体细致，在综合原始图像信息能力上有较好的优势，仅用高频图像50%的数据就能融合出高质量的PET/CT图像。

6结论

医学图像具有较大的稀疏性，针对非下采样Contourlet变换能实现图像最优稀疏表示的特点，本文提出了一种多分辨率非下采样Contourlet变换域为基础的肺癌PET/CT压缩感知图像融合方法。实验结果表明本文算法的融合图像能有效呈现出源图像的细节、纹理以及轮廓特征，病灶部位信息也更加丰富完整，在视觉效果和客观评价方面都证明了本文算法是切实有效的，尤其在低采样率情况下本文算法更具有优势，压缩感知域图像融合有利于降低融合过程中运算复杂度，为移动医疗、智慧医疗提供了技术支持。

参考文献：

[1]Cancer[EB/OL].[2015-08-12]. http：//www.who.int/mediacentre/factsheets/fs297/en/2015，02.

[2]张鑫，陈伟斌. Contourlet变换系数加权的医学图像融合[J].中国图象图形学报，2014，19(1)：133-140.

[3]邢力刚，孙晓蓉，于金明,等.PET-CT图像融合精度对非小细胞肺癌放疗计划的影响[J].中华放射肿瘤学杂志，2005，14(4)：314-318.

[4]MUKUNDAN H，SARIN A，GILL B S，et al. MRI and PET-CT：comparison in post-treatment evaluation of head and neck squamous cell carcinomas[J].Medical journal armed forces India，2014，70(2)：111-115.

[5]DO M N，VERTTERLI M. The contourlet transform： an efficient directional multiresilution image representation[J]. IEEE transactions on image processing， 2005，14(12)： 2091-2106.

[6]LEI Q，ZHANG B J，WANG W. Research of image sparse algorithm based on compressed sensing[C]//Proc.2012 IEEE Globecom Workshops(GC Wkshps).[S.l.]：IEEE Press，2012：1426-1429.

[7]CUNHA A L， ZHOU J P，DO M N. The nonsubsampled contourlet transform： theory， design， and applications[J]. IEEE transactions on image processing， 2006， 15(10)：3089-3101.

[8]CHAI Y，LI H F，LI Z F. Multifocus image fusion scheme using focused region detection and multiresolution[J]. Optics communications， 2011，284(19)： 14-16.

[9]CHRISTOPH S，FERNANDO P L， MARCO K. Information fusion for automotive applications—anoverview[J].Information fusion，2011，12(4)：244-252.

[10]石光明，刘丹华，高大化，等.压缩感知理论及其研究进展[J]，电子学报，2009，37(5)：1070-1081.

[11]邢雅琼，王晓丹，毕凯，等.基于非下采样轮廓波变换和压缩感知的图像融合方法[J].控制与决策，2014，29(4)：585-592.

[12]李超，李光耀，谭云兰，等.基于非下采样Contourlet变换和区域特征的医学图像融合[J].计算机应用，2013，33(6)：1727-1731.

[13]邵文泽，韦志辉．压缩感知基本理论：回顾与展望[J].中国图象图形学报，2012，17(1)：1-12

[14]尹宏鹏，刘兆栋，柴毅，等.压缩感知综述[J].控制与决策，2013，28(10)：1441-1453.

[15]沈燕飞，李锦涛，朱珍民，等.基于非局部相似模型的压缩感知图像恢复算法[J].自动化学报.2012，41(2)：261-272.

[16]任越美，张艳宁，李映.压缩感知及其图像处理应用研究进展与展望[J].自动化学报.2014，40(8)：1563-1575.

[17]李超，李光耀，谭云兰，等. 基于非下采样Contourlet变换和区域特征的医学图像融合[J]. 计算机应用，2013，33(6)：1727-1731.

[18]冯鑫.多尺度分析与压缩感知理论在图像处理中的应用研究[D].兰州：兰州理工大学， 2012.

王惠群(1991— )，女，硕士研究生，研究方向为医学图像分析与处理；

周涛(1977— )，博士，教授，硕士生导师，研究方向为智能计算、医学图像分析与处理、数据挖掘，为本文通讯作者；

陆惠玲(1976— )，女，讲师，研究方向为数据挖掘、医学图像处理；

夏勇(1978— )，教授，博士生导师，研究方向为医学影像分析、图像及多媒体信息处理；

王文文(1990— )，女，硕士研究生，研究方向为数据挖掘、模式识别计算机智能。

责任编辑：时雯

Lung cancer PET/CT image fusion based on multiresolution transform and compressive sensing

WANG Huiqun1a，ZHOU Tao1a，1b，2，LU Huiling1b，XIA Yong2，WANG Wenwen1a

(1a.SchoolofManagement；1b.SchoolofScience，NingxiaMedicalUniversity，Yinchuan750004，China；2.SchoolofComputing，NorthwesternPolytechnicalUniversity，Xi’an710000，China)

Abstract:In order to address the problem of information interaction for medical image fusion under the background of mobile medical， a method of lung cancer PET/CT image fusion based on a multiresolution transform： non-subsampled contourlet transform(NSCT)，in compressed sensing is proposed. Firstly， the source images were decomposed with NSCT. Secondly， according to the characteristics that low-frequency is not sparse and concentrated the major energy of the source image， a fusion rule based on self-adaption Gaussian membership function is adopted in low frequency. Then， the Gauss random matrix in high frequency is used for compression measurement， and a method based on energy and average gradient is utilized to fuse the high-frequency components which present details of source image. Thirdly， high frequency measurement is reconstructed using the orthogonal matching pursuit method after fusion. Fourthly， the final fusion image is acquired through the NSCT inverse transformation. Finally， two contrast tests are done： comparison experiment of the proposed algorithm and other methods of image fusion based on compressed sensing， and the proposed algorithm compared with other traditional algorithms. Experiment results suggest that the proposed method perform well.

Key words:multiresolution transform；non-subsampled contourlet transform；compressed sensing；PET/CT；image fusion

中图分类号:TP391

文献标志码:A

DOI：10.16280/j.videoe.2016.03.003

基金项目：国家自然科学基金项目(81160183；61561040)；宁夏自然科学基金项目(NZ12179；NZ14085)；宁夏高等学校科研项目(NGY2013062)

作者简介：

收稿日期：2015-09-12

文献引用格式：王惠群，周涛，陆惠玲，等.基于多分辨率变换和压缩感知的PET/CT融合方法[J].电视技术,2016，40(3)：11-16.

WANG H Q，ZHOU T，LU H L，et al.Lung cancer PET/CT image fusion based on multiresolution transform and compressive sensing[J].Video engineering,2016,40(3)：11-16.