多进制小波与自适应PCNN的可见光/毫米波图像融合

林晨晖，聂建英

(福州大学 数学与计算机科学学院，福建 福州 350108)



多进制小波与自适应PCNN的可见光/毫米波图像融合

林晨晖，聂建英

(福州大学 数学与计算机科学学院，福建 福州 350108)

以安检中隐匿物品检测为应用背景，提出一种基于多进制小波与自适应脉冲耦合神经网络的可见光/毫米波图像融合算法。首先可见光图与毫米波图经多进制小波分解处理，得到低频分量与高频分量。其次，低频系数采取改进区域方差融合处理，高频系数则是将子带改进拉普拉斯能量和作为PCNN中对应神经元的链接强度β，将子带八方向边缘区域能量作为PCNN的外部激励输入，经点火处理得到点火映射图，通过判决算子选取融合图像的高频系数，然后重构得到融合图。实验仿真结果分析表明，提出的融合方法在主观与客观评价上均优于现有文献中的一些典型融合方法，能获得更好的融合效果。

多进制小波；自适应PCNN ；隐匿物检测；毫米波成像；图像融合

常用的X射线成像、手持扫描仪等安检手段威胁健康，且只能探测金属品，对复合材料、液体等违禁品却检测不到。新兴的摄像式毫米波安检仪是国内首套具有实时成像功能的安检仪，通过接收人体辐射的毫米波，采用合成孔径实时成像，迅速探测到人体衣物下、皮肤上的藏匿物，包括金属、非金属物品，且对汽油、酒精、凝胶炸药等具有高灵敏度，未来毫米波安检门产品前景广阔。

毫米波具有穿透性，通过接收物体自身辐射的温度成像，能检测隐匿物，但受天线衍射孔径等影响，毫米波辐射图分辨率低、可读性差；可见光图反映的是物体在光波段的反射特性，具有高分辨率、细节丰富的优点，但检测不到隐匿物；若将可见光与毫米波图像进行融合，使之优势互补，就能提高安检的准确率，在此背景下，本文主要研究可见光/毫米波图像融合。

图像融合是将多个传感器在同一时间或不同时间获取的信息加以处理，综合生成满足某种应用需求、具有更多信息的场景解释过程。可见光/毫米波图像融合涉及图像的多分辨率分解，以往的金字塔、Contourlet变换经上下采样导致图像频谱混叠，出现伪Gibbs现象；经典的小波变换(DWT)有良好的时频特性，能将图像分解为低频、高频部分，但存在方向有限、分解不彻底等缺陷。在小波变换基础上发展而来的多进制小波变换(Multi-band Wavelet)，能把图像分解到多个频带，克服了高频解不精细的缺点，兼顾对称性、光滑性、正交性等，适用于图像分解。对于分解系数，传统的平均加权法、像素绝对值取大等无法有效凸显可见光/毫米波图像的特性，会导致图像存在噪声影响视觉。Eckhom等根据哺乳动物的视觉原理提出的简化脉冲耦合神经网络模型(Pulse Coupled Neural Network，PCNN)，具有全局耦合与脉冲同步性，在系数处理效果上更适合人类视觉。且与BP和Kohonen神经网络不同，PCNN是单层模型，不需训练就能实现对图像分割、识别等，广泛应用于图像处理，如文献[7]中，崔天祥等将PCNN用于图像融中取得了较好的效果。

近年，国内外学者对可见光/毫米波图像融合进行了研究，文献[1]Yves，Jean Robert等人研制了一种红外、可见光与毫米波雷达集成的多传感器系统，分析多传感器探头和对获取的数据、信息进行融合；文献[2]张光峰等提出基于小波变换的分割敏感目标区域的可见光/毫米波图像融合算法；文献[3]胡泰洋等提出基于Contourlet变换的可见光/毫米波图像融合算法，他们取得了良好的效果，但仍有待改进[1-4]。在此基础上，本文针对传统可见光/毫米波图像融合中存在的不足，提出一种基于多进制小波与自适应PCNN的图像融合算法。

1　多进制小波变换

多进制小波变换能对图像进行精细划分，比如八进制小波对图像分解能得到1个低频、63个高频，很大程度上提升了对高频细节的分解能力，在信号分析上比二进制更具优势，其双尺度函数表示为

(1)

(2)

滤波方程为

(3)

通过多尺度分析，图像信号可以分解为低频与高频两部分，其分解公式如下

(4)

(5)

重构如下

(6)

2　脉冲耦合神经网络模型(PCNN)

上世纪末Eckhom等人提出的简化神经网络模型，其处理效果适合人类视觉，广泛应用于图像处理中。模型中每个神经元包括接收域、调制域、脉冲发生器。PCNN的数字图像模型由脉冲耦合神经元构成二维单层神经元阵列组成，神经元数目与图中像素数目一致且相对应，实际应用中其数学模型如下

Fij[n]=Sij

(7)

Lij[n]=e-αLLij[n-1]+VL∑klMijklYkl[n-1]

(8)

Uij[n]=Fij[n](1+βLij[n])

(9)

Eij[n]=e-αEEij[n-1]+VEYij[n-1]

(10)

(11)

tij[n]=tij[n-1]+Yij[n]

(12)

式中：n为迭代次数；下标(i，j)是神经元标号；Fij是神经元反馈输入；Lij是链接输入；Sij是外部激励输入(图像第(i，j)个像素值)；Uij是内部活动项；β是神经元间的链接强度；Eij是变阈值函数输出；VL和VE是放大系数；αL和αE是时间常数；Yij是脉冲输出。当Uij>Eij时神经元产生一个脉冲，即进行一次点火[7-9]。经n次迭代，得到图像的点火映射图ti,j，点火次数表示该处的特征信息。

3　基于多进制小波与自适应PCNN的图像融合规则

待融合的可见光图与毫米波图已配准，其融合步骤为：

1)对可见光图和毫米波图进行多进制小波分解，得到低频与高频子带。

2)对低、高频子带采用不同的融合规则，获得融合后系数。

3)对融合后系数进行重构，得到融合图。再进行对比度增强处理，以改善图像效果，得到最终的融合图像。

3.1低频系数融合策略

低频子带系数是图像的近似部分，包含原图像大量信息。在以往多聚焦图像融合中常采用加权平均法，但对于多源传感器图像并不合适。图像方差可以反映其所含信息量大小，方差越大，信息量越丰富，视觉效果越好，因此本文采取改进区域方差的融合规则处理低频系数，这样可以保留毫米波探测得到的隐匿物轮廓信息，以及可见光图的高分辨率。

改进区域方差定义

s=1，2

(13)

低频系数选取步骤如下：

1)逐一扫描两幅图像的低频系数，并计算其区域方差V1(i,j)，V2(i,j)。

2)根据下式确定融合图像的低频系数

(14)

式中：a1,a2,a12分别为可见光、毫米波、融合图的低频系数。

3.2高频系数融合策略

高频子带系数反映图像的细节部分，包括边缘，轮廓区等，是图像融合的关键。本文采用自适应PCNN模型处理高频系数。针对PCNN进行的自适应设定如下。

1)链接强度：神经元链接强度β代表像素间的紧密联系程度，在传统PCNN中它是个固定值，但是由于人眼对边缘信息的敏感，所以β值应随图像特征而变化，自适应地做出调整，才能体现图像特征。本文中将高频子带的改进拉普拉斯能量和SLP(i,j)作为PCNN的连接强度β(i,j)。改进拉普拉斯能量和定义如下

(15)

(16)

(17)

式中：ds(i,j)是可见光图(或毫米波图)的某一高频子带系数(其他高频子带类似处理)；ω(m，n)是权重矩阵，体现了远、近像素对能量和的贡献程度。

2)外部激励输入：传统PCNN中，外部激励输入即图像像素值，考虑到高频部分代表图像的边缘等细节，本文采用Sobel八方向边缘区域能量作为PCNN的外部激励输入Sij，其定义如下

Es(i,j)=(S1*ds(i,j))2+(S2*ds(i,j))2+…+

(S8*ds(i,j))2,s=1,2

(18)

即通过Sobel算子八方向模板Sk(k=1,2,…,8)对高频子带进行邻域卷积平方和计算得到图像的八方向边缘区域能量，它能有效地凸显边缘细节：

分别为0，45，90，135，180，225，270，315度的Sobel八方向模板。

高频系数选取步骤如下：

1)设d1(i,j)，d2(i,j)分别是可见光、毫米波图像的某一高频子带系数，通过计算得到其改进拉普拉斯能量和SLP1(i,j)，SLP2(i,j)；得到八方向边缘区域能量E1(i,j)，E2(i,j)(其他子带做同样处理)。

2)将SLPs(i,j)作为PCNN的链接强度β(i,j)；将Es(i,j)作为PCNN的外部激励输入Sij，带入算法得到点火映射图tS(i,j)。

(19)

式中：θ为阈值，点火次数差小于该阈值说明两图像细节相当，则取两子带的平均值作为融合系数。

算法流程如图1所示。

图1　算法流程图

4　实验仿真及结果分析

采用Matlab2010b作为仿真工具，验证算法的可行性。文中两组实验图像分别来源于文献[3](室外)、文献[4](室内)；实验参数设定：迭代次数n=200，VL=0.2，VE=20，αL=1.0，αE=2.0，W=[0.707，1，0.707；1，0，1；0.707，1，0.707]。实验一是室外仿真，在图2中展示了一组暗藏手枪、手雷的可见光图(图2a)、毫米波图(图2b)。可见光图像清晰，但检测不到暗藏的危险品；毫米波图成像模糊，但是两个高亮区显示了暗藏在衣物下的手雷与手枪轮廓。图2c是经本文方法得到的融合图像，可以分辨其中两个人物身上暗藏的手雷与手枪的位置、轮廓等。从上述分析和图像可以看出，此方法实现了隐匿物的检测。

图2　实验一(室外)

实验二进行室内仿真，在图3中显示了室内一组暗藏爆炸物的可见光图(图3a)和同一场景的毫米波图(图3b)。其前胸有一片高亮区，是暗藏在衣物下的爆炸物品。

图3　原始图像

融合结果如图4，图4a是5层拉普拉斯金字塔分解系数加权融合图(方法一)；图4b是二进制小波域内系数绝对值取大的融合图(方法二)；图4c是Contourlet域内的融合图(方法三，文献[3]方法)。分析这3种融合方法得到的效果图：图4a细节模糊不清，爆炸物对比度不明显；图4b整体太亮，且图4b与图4c存在噪声影响了视觉；图4d是本文方法得到的融合图，图像清晰，爆炸物细节明显，对比度强烈，图像质量提高很多，很好地实现了两幅图像有效信息的保留，融合效果最优[10-14]。

图4　实验二(室内)

其次，主观视觉难以区分图像的质量，本文从定量分析角度来说明融合效果。数据从均值、清晰度、信息熵、空间频率、标准差5个角度分析融合质量，其结果如表1所示。

均值反映图像整体亮度，清晰度反映图像质量，信息熵表示图像携带信息量大小，空间频率(SF)表示图像空间域的活跃程度，标准差反映了像素分布。后四者值越大，融合质量越高；均值在视觉良好的范围内即可。根据上表可知，本文方法融合图像的均值适中、清晰度高，图像携带信息量大，各种指标都很好。所以综合数据与视觉效果，本文融合图像质量最优。

表1实验仿真数据

图片均值清晰度信息熵SF标准差可见光图147.490.04396.917115.768036.609毫米波图184.140.02517.23139.001348.168本文融合图181.560.03377.346515.881056.274方法一167.780.04697.337016.863043.495方法二192.800.02507.09309.573045.630方法三184.400.02607.102010.350047.360

5　结束语

本文以安检应用为背景，提出一种新的基于多进制小波与自适应PCNN的可见光/毫米波图像融合算法，经实验仿真证实，算法利用可见光图的高分辨率弥补了毫米波成像模糊的不足，取得了较好的融合图像，使得可见光/毫米波图像融合技术更进一步。因此本文提出的融合方法，在对可见光图/毫米波图的融合中，有较好的清晰度、适中的均值、较高的信息熵等指标，肉眼也可分辨其融合图像质量较好，从而说明本文方法有其优点，具有一定的实际应用价值。

[1]张培琴.一种红外、可见光与毫米波雷达集成的多传感器系统[J].中国雷达，2000(2)：15-21.

[2]张光锋，张祖荫，郭伟.一种可见光与毫米波辐射图像的融合方法[J].激光与红外，2004，34(5)：386-388.

[3]胡泰洋，肖泽龙，陈磊，等.隐匿违禁物品探测的毫米波辐射图像融合方法[J].南京理工大学学报，2012，36(1)：106-111.

[4]王楠楠，邱景辉，邓维波.隐匿物品探测毫米波成像系统发展现状[J].红外技术，2009，31(3)：129-135.

[5]DONG J W，CHEN Y M，MATHEMATICS D O， et al. Introduction of multi-band wavelet and its applications[J]. Science & technology vision，2015(4)：186-187.

[6]董健卫，陈艳美.浅析多进制小波及其应用[J]. 科技视界，2015(4)：186-187.

[7]崔天祥，黄向东，谭久彬，等. 基于Contourlet变换和IPCNN的融合算法及其在可见光与红外线图像融合中的应用[J]. 红外与毫米波学报，2007，26(3)：217-221.

[8]陈广秋，高印寒.基于LNSST与PCNN的红外与可见光图像融合[J]. 光电工程，2014(10)：12-20.

[9]王盛年，徐卫亚，石崇，等. Numerical simulation of direct shear tests on mechanical properties of talus deposits based on self-adaptive PCNN digital image processing[J]. 中南大学学报(英文版)，2014，21(7)：2904-2914.

[10]郝文超，贾年. NSCT域内基于自适应PCNN的红外与可见光图像融合方法[J]. 西华大学学报(自然科学版)，2014，33(3)：11-15.

[11]叶银芳，聂建英.基于拉普拉斯金字塔变换的红外/被动毫米波图像融合[J]. 弹箭与制导学报，2014，34(2)：165-167.

[12]YIN M，LIU W，ZHAO X，et al. A novel image fusion algorithm based on nonsubsampled shearlet transform[J]. Optik-international journal for light and electron optics，2014，125(10)：2274-2282.

[13]ROMANAK K，SHERK G W，HOVORKA S，et al. Comprehensive and comparative study of image fusion techniques[J]. Energy procedia，2013，37(1)：4242-4248.

[14]谈世磊，张红民，王艳.基于NSCT和改进型PCNN的红外与可见光图像融合算法[J]. 红外，2015，36(6)：17-20.

林晨晖(1991— )，女，硕士生，主要研究小波分析及其应用、毫米波探测与目标识别技术；

聂建英(1958— )，博士，博士后，教授，主要从事光波、毫米波复合探测与目标识别技术研究。

责任编辑：时雯

Fusion algorithm for visible and PMMW image based on multi-band wavelet and adaptive PCNN

LIN Chenhui，NIE Jianying

(CollegeofMathematicsandComputerScience，FuzhouUniversity，Fuzhou350108，China)

A new fusion algorithm which combines multi-band wavelet with adaptive pulse coupled neural network(PCNN) is proposed in this paper. Firstly，the original images were decomposed in the multi-band wavelet domain. Secondly，the fusion ruler for low-frequency coefficients is based on local variance，and the high-frequency coefficients is based on adaptive PCNN. The coefficient improved sum of laplace energy as the PCNN link strength，and the edge-region energy of eight directions as the input of the PCNN.Finally，the fusion image is obtained by taking the inverse of multi-band wavelet transform.Lastly，the experimental results indicate that the method proposed performs better in subjective and objective assessments than a few existing typical fusion techniques in the literatures and obtains better fusion performance.

multi-band wavelet；adaptive PCNN；concealed detection；PMMW；image fusion

TN915

ADOI：10.16280/j.videoe.2016.10.006

江苏省资源环境信息工程重点实验室基金项目(JS201104)

2016-02-29

文献引用格式：林晨晖，聂建英.多进制小波与自适应PCNN的可见光/毫米波图像融合[J].电视技术，2016，40(10)：28-32.

LIN C H，NIE J Y.Fusion algorithm for visible and PMMW image based on multi-band wavelet and adaptive PCNN[J].Video engineering，2016,40(10)：28-32.