结合NSST和LSWT的光学/被动毫米波图像融合

柳 菁，聂建英

(福州大学 数学与计算机科学学院，福建 福州 350108)



结合NSST和LSWT的光学/被动毫米波图像融合

柳 菁，聂建英

(福州大学 数学与计算机科学学院，福建 福州 350108)

提出了一种结合NSST和LSWT的图像融合算法，并应用到安检中。该方法首先采用NSST对被动毫米波图和可见光图进行分解得到一组高低频系数；接着对分解后得到的低频系数进行LSWT变换，得到新的一组高低频系数，分别对其采用基于区域方差融合规则和CS算法进行压缩、融合、重构后进行LSWT逆变换；再对第一步的高频系数采用改进的拉普拉斯算子进行处理；最后NSST逆变换处理得到融合图像。实验仿真结果表明，所提出的方法融合效果较好，实现了对隐匿物品的快速识别。

光学图像；被动毫米波图像；NSST；LSWT；图像融合

随着科技发展，现行的安检开始使用具有更高效率的毫米波扫描仪来检测居民身上是否有隐匿危险品。毫米波与可见光具有两种不一样形态的传感器系统，毫米波被动辐射计探测是通过场景中目标和背景的辐射特性的差异性来探测目标，可以显示隐匿的目标，但目标物体不仅有自身的辐射，而且会反射其周围物体、及天空等辐射温度，且辐射温度差边界一般不显著，因此毫米波被动成像图像的分辨率并不是很高；可见光传感器采用极强的光线敏感度，成像具有极高的分辨率和细节信息，但不显示隐匿的目标。对二者的不同特点，取长补短，可以为安检提供更准确可靠的信息，保护人们的安全。

近年来，学者们对于图像融合技术有着广泛的研究，比较典型的融合方法有小波变换、Shearlet变换、NSCT变换等。在此基础上，又各自取长补短，展开不同方法探讨，比如文献[1]提出Shearlet变换与稀疏表示结合的图像融合算法，文献[2]提出了基于NSST和高斯混合模型的图像融合算法，这些都是图像研究的扩展，具有较好的融合效果[1-3]。

Shearlet变换具有多方向性和多分辨率的优良特点，可以实现图像多方面细节信息的保留，但其计算复杂度较高，且随着图像进行多层数分解，其系数进行处理时将加大对硬件和软件的负担。因此可行的方案是采用提升小波变换LSWT和压缩感知CS一起配合，双管齐下，可以提高算法的优越性，加快算法的执行效率。提升小波是Sweldens教授和Daubechies教授等学者于20世纪90年代中期提出的，又称第二代小波。它具有优良的特性：结构简单，运算量低，较之经典的Mallat算法，计算量减少一半；原位运算(整个计算过程不需要申请辅助存储空间)，可节省存储空间。而将压缩感知(Compressed Sensing，CS)应用到图像融合，能够实现压缩和高精度重构，可以减少图像的存储量和计算复杂度。

本文通过综上分析，提出了结合NSST和LSWT的图像融合算法，实验结果表明该方法可以实现快速运算，并且能够增加分辨人体隐匿物品的准确度，提高安检的安全性。

1 基础理论

1.1 非下采样剪切波变换(NSST)

Shearlet变换是为了克服小波变换在方向性上的缺点而提出的[3]，能够多尺度、多方向地分析图像数据，得到不同的高低频子带系数。非下采样Shearlet变换(NSST)的实现主要分为两个步骤：非下采样的多尺度剖分和方向的局部化。其中，多尺度剖分采用非下采样金字塔分解(Non-subsampled Pyramid，NSP)的分解方式，与NSCT在多尺度分解步骤上是一致的；多方向分解式利用剪切波滤波器加以实现，避免了上采样和下采样步骤，保证了平移不变性。NSST的实现流程图如图1所示，更多的详细步骤理论见参考文献[4-6]。

图1 NSST流程图

1.2 提升静态小波变换(LSWT)

第二代提升小波步骤有3步，即可以采用分解(split)、预测(predict)和更新(update)三大步骤完成对信号的频率分解，可以克服之前传统小波的众多缺点。 实际上，小波提升的核心就是更新算法和预测算法，提升样式可以实现原位计算和整数提升，极大提高了运算速度。提升静态小波(LSWT)的实现流程图如图2所示，更多的详细步骤理论见参考文献[7-8]。

图2 提升静态小波分解和重构

1.3 压缩感知(CS)

压缩感知又称压缩采样，是由E. J. Candes等人在2004提出的[8]，其实现流程图如图3所示，更多的详细步骤理论见参考文献[9-11]。

图3 压缩感知模型

2 结合NSST和LSWT的图像融合算法

本文采用将NSST和LSWT相结合的办法，对光学和被动毫米波图像进行融合，融合流程图如图4所示，融合过程如下：

1)首先采用NSST对被动毫米波图和可见光图进行分解得到第一组高低频系数；

2)对1)中得到的低频系数进行LSWT变换，得到新的一组高低频系数，分别对其采用不同的融合规则后进行LSWT逆变换；

3)对1)中得到的高频系数采用基于区域方差的融合规则的融合规则处理；

4)将2)和3)步得到的结果采用NSST逆变换最后得到所需的融合图像。

图4 本文流程图

2.1 LSWT变换后的高低频系数的融合规则

低频部分：低频子带系数，主要是原图像滤掉细节后的近似部分，图像的大部分概貌都集中在低频分量中。以往的融合算法一般选用简单的加权平均方法等，算法简单但会丢失一些细节部分。本文采用基于区域方差的融合规则，将区域方差较大的中心点像素灰度值作为融合后的像素灰度值。本文选取区域为3×3，相关系数定义为

(1)

其中：CF,l(i,j)代表算法第1)步所得到的低频成分。

(2)

高频部分：为了能够在很少的信息损失情况下保留源图特性，本文采取CS算法进行压缩处理、重构，相关系数定义为

(3)

2.2 NSST变换后的高频系数的融合规则

NSST变换得到的高频系数具有多方向性，且基本都是零值左右波动，是近似稀疏的，具有较大的稀疏性。本文采用改进的拉普拉斯算子(SML算子)来保证大部分信息都能够采集到。相关系数定义为

(4)

其中，CF(i,j)代表算法第2)步所得到的低频成分；CA(i,j)，CB(i,j)代表算法第1)步中分解出来的两种不同图的低频成分。

(5)

(6)

式中：M,N为邻域大小(本文选取为3×3)；f(x,y)为(x,y)处的像素值；SML(i,j)为(x,y)处的拉普拉斯能量和。

3 实验结果及分析

为了验证本文方法的可行性，将本文算法与其他5种方法进行比较。方法1、方法2和方法3分别是用DWT变换、LSWT变换、NSST变换进行图像融合，采用规则为高频绝对值取大、低频取平均。方法4是采用DWT+LSWT变换进行图像融合，方法5是采用NSST变换后，高频采用CS处理。实验所用源图像及由5种不同方法得到的融合图像如图5所示。

图5a是光学图像，显示了全貌信息，图5b是被动毫米波图像，提供隐匿物品信息。图5c～图5i分别是由方法1到方法4以及本文方法得到的融合结果，从图5c、图5d和图5e的比较，图5f和图5i的比较可以比较直观地看出，NSST变换可以保留更多的源图像信息，精确度更高。由图5e和图5i的比较可以看出，低频系数采用取平均得到的融合图像质量较差，不能有效显示全部信息。

为了进一步验证本文算法的可行性，选取了第二组实验图像，结果图6所示。

图5 第一组源图像及其融合图像

图6 第二组源图像及其融合图像

可见光/被动毫米波融合的主要目的是希望通过将可见光图像和被动毫米波图像融合，辨别出确定人员所携带的危险物品的轮廓和隐藏位置。除主观评价外，还可以采用客观评价指标来对最后的融合图像进行评价，包括平均梯度(Average Grads，AG)、信息熵(Information Entropy，IE)、空间频率(Spatial Frequency，SF)、互信息(Mutual Information，MI)。AG代表图像的相对清晰程度；IE反映的是图像包含的信息量；SF反映了图像空间域的变化剧烈程度；MI表示集合间的相关性。这4个客观评价指标数值越大，融合效果越好，结果如表1。从数据显示可以看出，本文所采用的融合方法具有不可否认的优越性，融合效果较好。

4 结论

为实现安检中的需求，本文提出一种结合NSST和LSWT的毫米波被动图像和可见光图像的处理方法。该算法利用剪切波多方向多尺度的特点，结合了LSWT快速运算特性，能够较好地保留源图像信息，实现有效运算。经过试验分析可知，这种方法提高了视觉可见信息，萃集了原始图像的各自特性，便于安保人员进行判别，具有一定的实际应用价值。

表1 6种算法融合图像指标评价

[1] 郑伟，孙雪青，郝冬梅，等. Shearlet变换和稀疏表示相结合的甲状腺图像融合[J].光电工程，2015(1)：77-83.

[2] 刘帅奇，李会雅，张涛，等. 基于NSST和高斯混合模型的医学图像融合算法[J].电视技术，2015，39(23)：116-121.

[3] 王惠群，周涛，陆惠玲，等.基于多分辨率变换和压缩感知的肺癌PET/CT图像融合方法[J].电视技术，2016，40(3)：11-16.

[4] EASLEY G R，LABATE D，LIM W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and computational harmonicanalysis(S1063-5203)，2008，25(1)：25-46.

[5] 叶东毅，陈昭炯.一个新的差别矩阵及其求核方法[J].电子学报，2002，30(7)：1086-1088.

[6] YIN L Z，GUI W H，YANG C H，et al. Core set analysis in inconsistent decision tables[J].Information science，2013，241(20)：138-147.

[7] 蒋薇薇，鲁昌华，张玉钧，等. 基于提升小波改进阈值的光谱信号去噪研究[J]. 电子测量与仪器学报，2014(12)：1363-1368.

[8] 王丽.结合提升静态小波和灰色关联分析的图像融合算法[J].电视技术，2015，39(1)：15-18.

[9] CANDES E J，WAKIN M B. An introduction to compressive sampling[J]. IEEE signal processing magazine， 2008(25)：21-30.

[10] DONOHO D L．Compressed sensing[J]. IEEE transactions on information theory，2006，52(4) ： 1289-1306．

[11] WAN T，NISHAN C，ALIN A．Compressive image fusion[C]//Proc. the 15th IEEE International Conference on Image Processing.[S.l.]：IEEE，2008： 1308-1311．

柳 菁(1993— )，女，硕士生，主研小波分析及其应用、毫米波探测与目标识别技术；

聂建英(1958— )，博士后，教授，主要从事光波、毫米波复合探测与目标识别技术研究。

责任编辑：闫雯雯

Fusion of visual/PMMW image based on NSST and LSWT

LIU Jing， NIE Jianying

(CollegeofMathematicsandComputerScience，FuzhouUniversity，Fuzhou350108，China)

A method to deal with visual image and PMMW image for the security inspection is put forward， basing on Non-subsampled Shearlet Transform(NSST)and Lifting Stationary Wavelet Transform(LSWT). Firstly，two images’ low and high frequency components decomposed with NSST can be got. Next，the low-frequency components are decomposed by the LSWT to get the other componets which are fused based on regional variance and compressed， fused and reconstructed by CS.Then，do the lifiting stationary wavelet inverse transform. Thirdly，the first high-frequency components are dealed with Laplacian. Finally，the inverse NSST is used to get the final fused image.The experiment result indicates that the proposed method has a better result to realize speedy identification of the concealed.

visual image；PMMW image； NSST；LSWT； image fusion

江苏省资源环境信息工程重点实验室基金项目(JS201104)

柳菁，聂建英.结合NSST和LSWT的光学/被动毫米波图像融合[J].电视技术，2016，40(12)：12-16. LIU J， NIE J Y. Fusion of visual/PMMW image based on NSST and LSWT[J]. Video engineering，2016，40(12)：12-16.

TN911.73

A

10.16280/j.videoe.2016.12.003

2016-04-14