结合方向边缘检测的红外与可见光图像融合算法

李伟林

(中山大学新华学院，广东广州510520)

1 引言

随着数字多媒体技术的发展，使得传统的单源探测器无法满足人们的需求。为了克服单源探测器所具有的局限性与频段的单一性，使得多探测器技术得以快速的发展;其中红外与可见光探测器是典型的组合方式之一。因此，近几年人们根据红外图像与可见光图像各自的特性提出了很多红外与可见光的融合算法，如 Contourlet变换［1］、金字塔变换法［2］以及小波变换法［3］等。本文通过对传统的边缘检测算法的研究，发现在对边缘进行检测的过程中未能有效的利用小波变换所收集回来的方向特性，而且由于小波变换本身的局限性，使得图像的方向特性未能得到充分的调用，给边缘检测的精度提高带来了很大的问题。因此，根据小波变换的这一特性先对图像进行小波分解，并在此基础上提出了一种基于边缘检测的红外与可见光的融合算法，该算法对传统的边缘检测算法［4－5］进行改进，通过引入一个方向因子来提高算法的边缘检测精度，并对图像进行边缘检测。而由于各子带间小波系数的不同特性［6］，其中图像的低频子带中储存有图像大体能量，因此对其采用基于能量与边缘检测的融合规则，而在图像的高频子带中，主要存放着图像的细节信号，因此对其采用基于边缘模值比的融合规则。实验结果表明，该算法能够有效的提取图像中的边缘信号，而且能够较好的对目标信号进行突出。

2 本文算法

2.1 方向特性

通过对传统的二维小波变换的研究我们可以发现，小波变换分解能够有效地将高频子带分解为水平方向、垂直方向以及对角线方向［7］。而在现实采集回来的图像中，其图像不是简单的由这三个方向的信号组成，其实质是有多方向的图像信号组成的。这使得传统的二维小波变换具有一定的局限性。因此，为了有效地弥补小波变换在方向上的这一缺点，本文在其小波函数中引入了一个方向因子θ，其方法如下:

对于R2中的任一条直线来说，均可以选取适当的(x，y，θ)，即:

因此，设f(x，y)是N中的任一函数，通过引用一个方向角度θ变量，来反映图像的方向性质，即

根据函数 f(x，y，θ)∈ L2(R2)，令其方向小波函数为:

即:

该方向小波函数用来说描述函数f(x，y，θ)沿直线xcosθ+ysinθ－γ=0，其代表着小波变换的方向，而s是小波变换方向的尺度，此时用θ来描述Wψsf(x，y，θ)的变化情况。设 θ(x，y，θ)为平滑函数，则:

因此，可得到小波函数的模函数表述式:

使方向小波变换具备传统小波变换良好的时频局部化分析能力和方向分析特性。而图像中的边缘方向特性在图像的局部变化与沿着某一方向上的全局中体现，传统的小波变换无法体现这一特性，而方向小波变换却能反映图像边缘信号的这一特性。

2.2 在边缘检测算法的基础上提出新的边缘点检测算法

研究发现阈值的选取对图像中的边缘信号进行分离效果造成很大的影响。而传统的边缘检测算法的阈值选取是通常是通过令阈值λ=T×μ，其中，T 为权值，并且通过采用双重阈值法来保证所检测出所有边缘像素。

为了更好地将双重阈值法与本文的边缘检测算法相结合，对其进行如下定义:

根据双重阈值的定义，令阈值λ1=T1×μ，阈值λ2=T2×μ，且满足λ1≥λ2。

当 M2jf(x，y，θ)≥ λ1时，则表明该像素点为边缘点;当 M2jf(x，y，θ)≤λ2时，则表明该像素点不是边缘点;当 λ2＜ M2jf(x，y，θ)＜ λ1时，则此时对其进行再判断，此时令 M2jf(x，y，θ)=1，由于本文采用的是3×3的搜索框，则有当 M2jf(x，y－1，θ)∨M2jf(x，y+1，θ)=1时，则判定该像素点为边缘点;当 M2jf(x，y － 1，θ)∨ M2jf(x，y+1，θ)=0 时，则判定该像素点不是边缘点。

2.3 低频子带的融合规则

通过对小波变换其能量分布进行研究与分析［8］，可以发现图像的能量主要集中在最低低频子带LL3上，其能量总数占整体能量高达93%，而图像的高频子带中所含有的能量不足7%;因此，针对低频子带中的能量分布特点，本文提出一种基于能量与边缘检测的融合规则。

根据小波变换的区域能量计算公式:

即可得到图像A的能量为:

图像B的能量为:

其中，其图像边缘点的判断采用本文改进后的边缘检测算法进行判断。

当为边缘点时，则采用基于能量的融合算法;

根据小波变换区域能量的计算公式，比较图像A与图像B间的能量大小进行融合;

当为非边缘点时，则采用基于能量的加权融合算法:

为了获得视觉特性更佳、细节更丰富的融合效果，定义R(x，y)为以图像变换系数(x，y)位置为中心领域的匹配度，其函数表达式如下:

而为了更好地与本文方向小波变换相结合，则采用上述的方向小波系数f(x，y，θ)，即本文对算法中的能量公式进行改进，其改进后的区域能量计算公式如下:

其中本文采用的搜索框的大小为3×3;

当为边缘点时，则采用基于能量的融合算法;

根据小波变换区域能量的计算公式:

当为非边缘点时，则采用基于能量的加权融合算法;

其中MMAX、MMIN分别为能量的加权系数;

其中匹配度:

2.4 高频子带的融合规则

通过对小波分解的研究不难发现，图像中的细节信号大多都存储在图像的高频子带，因此本文采用的是边缘检测算法来对图像A与图像B的边缘信号进行边缘检测，设MJ1f(x，y)与MJ2f(x，y)为图像A、B的边缘信号模值，MJFf(x，y)为融合后的边缘模值，则图像A的边缘模值为:

图像B的边缘模值:

即可得边缘信号的模值比:

为了提高算法对边缘信号的处理速度，对其进行分类，即引入判断边缘强度的阈值λ3，其中λ3∈(0，1);通过对检测后的所得到的图像边缘信号的模值比进行判断，来获得融合后的边缘信号，其具体函数定义为:

其中，阈值λ3取0.85;基于图像边缘检测的融合方法通过针对高频分量中的边缘信号来重构生成融合图像，比较两幅图像中的边缘信号的强弱来实现对强边缘信号的保护，并将图像的重构误差控制在一个合理的范围内，进而有效的减少参加融合算法的像素点个数。

3 仿真实验

为了验证算法的可行性，本文采用 MATLAB7.10.0对算法进行仿真，其中采用两组不同类型图像作为仿真图，一组是多聚焦图像，大小为512×512;另一组是同一场景的可见光和红外图像，大小为480×640;通过采用基于小波变换的融合算法、基于边缘检测算法的融合算法以及文献算法［9］进行算法的比较。

实验一:多聚焦类图像的融合实验。

采用两幅聚焦变化的图像来检验算法的边缘融合效果，其目的主要是为了检测算法的目标检测效果与融合效果。其中图1(a)为右聚焦待融合图像，图1(b)为左聚焦待融合图像。通过采用上述几种算法进行融合实验，得:

图1 各算法的仿真效果图

通过观察所得的仿真效果图可以看到，本文算法所得融合图像的图像优于其他算法。通过与文献算法相比，可以看到虽然文献算法所得的图像的亮度比本文算法高，但其融合图像的边缘的保持程度弱于本文算法;而为了更清楚地证明本文算法的边缘保护优势，采用方差、信息熵以及清晰度这几种评价参数对算法进行评价。

方差σ2的定义:

信息熵的定义:

其中，pi为灰度值等于i的像素数与图像总像素数之比;L为灰度级总数。

图像清晰度采用图像的梯度法衡量，即:

其中方差越大表示图像灰度级分布越分散，说明包含的信息量越大;图像信息熵反映了图像携带信息量;熵值越大，则表明仿真后图像所包含的图像信息量越大;图像的平均梯度越高，说明其空间的分辨率越高，即图像越清晰。经实验得表1为各算法的融合性能评估表。

表1 各算法的融合性能评估表

由表1可以看到，本文算法的方差、信息熵以及清晰度都优于其他算法。与文献算法相比，本文算法的方差高出1.75，信息熵高出1.43，以及清晰度高出1.09，有效地证明了本文算法的在边缘保护以及信息保留方面的优势。

实验二:红外与可见光图像的融合实验。

采用由荷兰TNO Human Factors Research Instiute拍摄的“UNCamp”红外与可见光序列图，其中图2(a)为红外图像，能够清晰看到一个人，但其他景物比较模糊;而图2(b)的可见光图像虽然能够分辨出道路、灌木以及栅栏，却很难看到人。通过采用上述几种算法对图像进行融合实验，得图2为各算法的仿真效果图。

图2 各算法的仿真效果图

通过观察融合图像可以看到，本文算法在图像的边缘信号方面与红外目标信号的保护方面都优于其他算法。通过采用信息熵、标准差、空间频率［10］以及综合指标这几种评价参数进行检测。其中综合指标是采用信息熵、标准差、空间频率分别进行归一化处理，即各列数据分别除去各列中的最小值，求其和所得到的数。经测试得表2为各算法的融合性能评价表。

表2 各算法的融合性能评价表

通过观察表2可以看到，本文算法所侧得的信息熵、标准差、空间频率以及综合指标都是最大的;其中与文献算法相比，本文所测得的信息熵高出0.49，标准差高出0.98，空间频率高出0.78，而综合指标高出0.14;有效的证明了本文算法的有效性。

4 结束语

提出一种基于方向边缘检测的红外与可见光图像融合算法，该算法首先对传统的边缘算法进行改进，再通过利用改进后的方向边缘检测算法，对低频子带系数进行基于能量与边缘检测的融合规则的融合处理，而对于高频子带则是采用基于边缘信号模值比的融合规则进行融合处理。实验结果表明，本文所提出的融合算法能够在保留图像边缘信号的同时保留图像的光谱信息;且所得融合效果远优于基于小波变换的融合算法与基于边缘检测的融合算法。

［1］ Kong W，Lei Y，Lei Y，et al.Fusion technique for greyscale visible light and infrared images based on non-subsampled contourlet transform and Intensity-hue-saturation transform［J］.2011，5(1):75 －80.

［2］ ZHANG Qiang，WANG Long，LI Huijuan，et al.Similaritybased multimodality image fusion with shiftable complex directional pyramid［J］.Pattern recognition letters，2011，32(13):1544－1553.

［3］ Shah Parul，Merchant S N，Desai U B.Fusion of surveillance images in infrared and visible band using curvelet，wavelet and wavelet packet transform［J］.International Journal of Wavelets multi resolution and information processing，2010，8(2):271 －292.

［4］ HU Xiangyun，SHEN Jiajie，SHAN Jie，et al.Local edge distributions for detection of salient structure textures and objects［J］.IEEE geoscience and remote sensing letters，2013，10(3):466 －470.

［5］ WU Degang，ZHANG Yubo，CAO Li bo.Improved algorithm of fuzzy edge-detection［J］.Laser＆ Infrared，2010，40(12):1374 －1377.(in Chinese)吴德刚，张宇波，曹立波.一种改进的模糊边缘检测算法［J］.激光与红外，2010，40(12):1374 －1377.

［6］ Roy Sanjit，Howlader Tamanna，Rahman S M Mahbubur.Image fusion technique using multivariate statistical model for wavelet coefficients［J］.Signal，Image and Video Processing，2013，7(2):355 －365.

［7］ Saeedi Jamal，Faez Karim.Infrared and visible image fusion using fuzzy logic and population-based optimization［J］.Applied soft computing，2012，12(3):1041 －1054.

［8］ Dua Sumeet，Acharya U Rajendra，Chowriappa Pradeep，et al.Wavelet-based energy features for glaucomatous image classification［J］.IEEE transactions on information technology in biomedicine，2012，16(1):80 －87.

［9］ Han Jungong，Pauwels Eric J，de Zeeuw Paul.Visible and infrared image registration in man-made environments employing hybrid visual features［J］.Pattern recognition letters，2013，34(1):42 －51.

［10］ Shutao Li，Bin Yang.Multifocus image fusion using region segmentation and spatial frequency［J］.Image and Vision Computing，2008，26(7):971 －979.