基于区域平均梯度与区域能量的图像融合

巩稼民, 杨　潇, 杨　萌, 孟令贺, 徐嘉驰

(1. 西安邮电大学 电子工程学院, 陕西 西安 710121；　2. 西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

基于区域平均梯度与区域能量的图像融合

巩稼民1, 杨潇2, 杨萌1, 孟令贺1, 徐嘉驰1

(1. 西安邮电大学 电子工程学院, 陕西 西安 710121；2. 西安邮电大学 通信与信息工程学院， 陕西 西安 710121)

摘要:同时引入区域平均梯度和区域能量，给出一种改进的小波图像融合算法。对图像进行小波分解，得到各自的低频分量和高频分量，对低频部分采用区域平均梯度取大的规则进行融合，对高频部分以区域能量取大的规则进行融合，然后经小波重构得到融合图像。针对多聚焦图像进行的仿真实验结果显示，所给融合算法可改进基于区域平均梯度和基于区域能量的小波图像融合算法的性能，融合图像的模糊现象在视觉效果上有所改善，其峰值信噪比和互信息也有所提高。

关键词:图像融合；小波变换；多聚焦图像；区域平均梯度；区域能量

光学传感器对一个场景进行成像时，由于焦距范围有限，很难对场景中不同距离上的目标都清晰成像。解决这个问题的有效方法就是多聚焦图像融合[1]，即利用图像融合技术，对同一场景中不同目标分别聚焦的多幅图像进行融合，提取其清晰部分，综合形成一幅各个目标都清晰聚焦的新图像。多聚焦图像融合有利于后续对目标进行检测、识别或跟踪，被广泛应用于数码成像、机器视觉等领域[2]。

多聚焦图像融合主要有基于金字塔变换的图像融合方法和基于小波变换的图像融合方法。与金字塔变换相比，小波变换具有方向性和非冗余性，且拥有与人眼视觉系统相符合的层次结构，在图像处理领域应用更广[3]。

按照考察对象的差异，基于小波变换的图像融合算法主要分为基于单个像素的融合方法和基于区域的融合方法[4]。加权平均法和系数取绝大值法是两种基于单个像素的经典小波图像融合算法，与这两种算法相比，基于区域平均梯度和基于区域能量的小波图像融合方法考虑了小波分解之后系数区域特性，降低了对边缘的敏感程度，能获得视觉效果较好的融合图像[5]。

小波分解得到的高低频系数反映了图像不同的特性，各融合策略在对源图像细节特征的表达上侧重点往往有所差异，在图像融合时，对高低频分量用同一种融合规则进行处理，只单一地考虑图像的一种特性，而忽略其他特性，难免会影响融合效果[6]。平均梯度侧重于图像的细节、纹理特征，却忽视了图像的整体效果，以区域平均梯度作为高低频分量的融合规则时，虽然融合图像的边缘、区域轮廓清晰，但会出现轮廓与非轮廓区域之间模糊现象，影响视觉效果。区域能量虽然可以反映图像明显的亮度突变，但又忽略了微小的细节变化，以区域能量作为高低频分量融合规则时，虽然融合图像的整体效果较好，但图像的背景比较模糊，造成清晰度下降和信息熵减小。

低频部分包含了图像主要的背景信息，是图像变化缓慢的部分，决定着融合的整体效果的好坏[7]。平均梯度可以反映图像中的微小的细节差异和纹理变化，若以其作为低频系数融合的准则，则可保留低频分量的细节信息，使融合图像的背景更加清晰[8]。高频部分包含了图像的边缘、纹理等特征信息，是图像信息最为丰富的部分，体现在视觉上，即为亮度突变的部分。区域能量是描述图像的亮度特征的指标，用于评价图像信息的丰富程度，若以其作为高频系数选取的准则，则可保留图像的边缘和纹理等特征信息，使图像中的目标物体轮廓清晰，还能够保证图像信息的丰富性[9]。

本文拟同时引入区域平均梯度和区域能量，改进小波图像融合算法，即对低频部分采用区域平均梯度取大的规则进行融合，对高频部分采用区域能量取大的规则进行融合。

1改进的图像融合算法

1.1基于小波变换的图像融合

小波变换能够将图像分解到不同尺度的多个频带上，图像融合过程在各个尺度的各个子带上分别进行[10-11]。小波变换的图像融合过程如图1所示。

图1　基于小波变换的图像融合过程

基于小波变换的图像融合步骤可描述如下。

步骤1选取合适的小波基，对源图像A、B进行多层小波分解，分别得到低频近似图像和各个尺度及各个方向上的高频细节图像。

步骤2采取相应融合规则,对低频部分和高频部分进行融合，高频子带需要在各个尺度有及各个方向上分别进行融合。

步骤3由融合后的低频分量和融合后的各高频分量，经小波逆变换，重构出最终的融合图像F。

1.2图像融合规则改进

融合规则决定着融合算法性能的好坏。改进算法对低频部分采用基于区域平均梯度的融合规则，而对高频部分则采用基于区域能量的融合规则。

1.2.1基于区域平均梯度的低频融合规则

区域能量反映的是图像明显的亮度突变，而低频部分是图像变化缓慢的部分，所以会造成低频细节信息的丢失，导致融合图像清晰度下降、信息熵减小。平均梯度反映的是图像微小的细节差别，捕捉源图像细节信息的能力优于区域能量。因此，针对基于区域能量的小波图像融合算法产生的融合图像背景模糊现象，选择源图像区域平均梯度大的低频系数作为融合后的低频系数。

设待融合图像为A和B，融合后的图像为F，以j表示小波分解层数，则在以点(x,y)为中心，大小为M×N的区域w范围内，待融合图像A和B的第j层低频分量的平均梯度分别为[12]

Gj,A(x,y)=

Dj,A(x+1,y)]2+

Gj,B(x,y)=

Dj,B(x+1,y)]2+

式中，Dj,A(x,y)和Dj,B(x,y)分别表示待融合图像A和B的第j层低频分量在点(x，y)的小波系数值。

融合规则设定：若Gj,A(x,y)≥Gj,B(x,y),则

Dj,F(x,y)=Dj,A(x,y)；

若Gj,A(x,y)

Dj,F(x,y)=Dj,B(x,y)。

1.2.2基于区域能量的高频融合规则

平均梯度在反映图像的细节、纹理特征的同时，没有兼顾图像的整体效果，造成融合图像出现区域性的斑块和模糊现象，而基于区域能量的小波图像融合算法在整体效果上表现良好。针对基于区域平均梯度的小波图像融合方法所产生的，融合图像轮廓与非轮廓区域间的模糊现象，选择源图像区域能量大的高频系数作为融合后的高频系数。

设j为小波分解层数，k=h,v,d分别表示水平、垂直和对角3个方向，则在以点(x,y)为中心，大小为M×N的区域w范围内，待融合图像A和B的第j高频分量在方向k上的能量分别为[13]

2实验结果及分析

2.1实验参数及结果

选取2幅已配准的多聚焦图像[13]，用Matlab进行仿真实验,以验证改进算法的有效性。为了使结果更具对比性，将加权平均、系数绝对值取大、基于区域能量、基于区域平均梯度的融合算法和改进算法的融合结果进行比较。实验采用bior.2.4小波基对图像进行4层分解，融合时使用 3×3的区域模板。聚焦点在左侧的图像和聚焦点在右侧的图像，以及参考标准图像如图2所示。

图2　源图像

各算法的融合结果如图3所示。为了更直观地比较融合效果，分别截取基于区域能量、基于区域平均梯度和改进算法所得融合图像的一个相同区域，进行局部放大显示，如图4所示。

图3　融合结果

图4　局部放大

2.2视觉效果

实验结果显示，与基于单个像素的2种算法相比，3种基于区域的算法融合结果清晰度更高，细节更突出，亮度及对比度更高，图像整体效果明显更好。由基于区域能量的融合算法所得融合结果整体效果较好，没有明显斑块和区域模糊现象，但图像的背景具有轻微磨砂感，一些微小的细节信息不太清晰。由基于区域平均梯度的融合算法所得融合结果虽然重点比较突出，图像的边缘、区域轮廓等明显特征比较清晰，但却引入了轮廓与非轮廓区域的模糊现象的问题，图像背景出现了明显的斑块，边缘处产生的伪轮廓现象比较严重，影响视觉效果。改进算法明显改善了基于区域能量与基于区域平均梯度的2种融合算法所产生的问题，其融合结果的整体效果较好，亮度及对比度较高，边缘、区域轮廓等明显特征比较清晰，且图像背景没有出现明显的斑块，轮廓与非轮廓区域的模糊现象得到了改善,图像边缘处产生的伪轮廓明显减少。

2.3客观评价

为了更客观地评价改进算法的有效性，选取熵(Entropy，E)、标准差(StandardDeviation，SD)、平均梯度(AverageGradient，AG)、均方根误差(RootMeanSquareError，RMSE)、峰值信噪比(PeakSignaltoNoiseRation，PSNR)和互信息(MutualInformation，MI)，从不同方面对融合图像进行定量评价[14]。各算法的性能对比如表1所示，其中算法1指其于加权平均的融合算法，算法2指基于系数绝对值取大的融合算法，算法3指基于区域能量的融合算法，算法4指基于区域平均梯度的融合算法。

表1　不同融合算法的性能对比

改进算法的指标明显优于算法1、算法2和算法3。与算法4相比，虽然改进算法的信息熵、标准差以及平均梯度都略有下降，但降幅不多，说明融合图像保留了源图像的细节信息，包含有丰富的信息，且清晰度良好。另外，改进算法的均方根误差减小很多，且峰值信噪比和互信息得到很大提高，说明融合图像与标准图像更为接近。总体上，改进算法的融合结果与标准图像的差异最小，其信息丰富度与清晰度虽然介于算法3和算法4之间，但与最好的算法4之间差异较小。

3结语

同时基于区域平均梯度和区域能量，改进后的小波图像融合算法综合考虑了小波分解所得高低频系数的特性以及平均梯度和区域能量的特点，分别对低频系数采用了区域平均梯度的融合策略，对高频系数采用了区域能量的融合策略。应用于多聚焦图像融合的实验结果表明，改进算法可以改善仅基于区域能量或基于区域平均梯度的小波图像算法所产生的问题，既能保留图像的细节信息，又能保证融合图像信息的丰富性和融合的整体效果。

参考文献

[1]孟强强,杨桄,童涛,等. 基于小波变换的多聚焦图像融合算法[J/OL].国土资源遥感,2014,26(2):38-42[2015-11-13].http://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201402007.htm.DOI: 10. 6046/gtzyyg.2014.02.07.

[2]任真堃,魏维.基于拼接思想的小波域多聚焦图像融合[J/OL]. 西安邮电大学学报,2012,17(2):84-87[2015-11-13].http://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201202020.htm.DOI: 10.13682/j.issn.2095-6533.2012.02.020.

[3]陈浩,王延杰. 基于小波变换的图像融合技术研究[J/OL]. 微电子学与计算机,2010,27(5):39-41[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ201005011.htm.

[4]王正林.基于对比度的小波图像融合算法研究[J/OL]. 激光与红外,2014,38(9):1042-1044[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201409020.htm.

[5]赵青,何建华,温鹏.基于平均梯度和方向对比度的图像融合方法[J/OL]. 计算机工程与应用,2012,48(24):165-168[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201224037.htm.DOI: 10.3778/j.issn.1002-8331.2012.24.037.

[6]程塨,郭雷,赵天云,等. 一种基于小波变换的多聚焦图像融合方法[J/OL]. 计算机工程与应用,2012,48(1):194-196[2015-11-19].http://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201201055.htm.DOI:10.3778/j.issn.1002-8331.2012.01.055.

[7]杨莎莎,田小平,吴成茂. 基于小波变换的多聚焦图像自适应融合[J/OL]. 西安邮电大学学报, 2012, 17(3):24-29[2015-11-19].http://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201203007.htm.DOI: 10.13682/j.issn.2095-6533.2012.03.019.

[8]曾立庆,蒋年德.基于邻域内相关系数与平均梯度的图像融合方法[J/OL].计算机工程与设计,2010,31(7):1533-1539[2015-11-20].http://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201007039.htm.

[9]龚昌来.基于局部能量和小波系数相位特征的图像融合方法[J/OL].计算机应用与软件, 2009, 26(10):228-230[2015-11-20].http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ200910073.htm.

[10] 陶冰洁,王敬儒,许俊平.基于小波分析的不同融合规则的图像融合研究[J/OL].红外技术,2006,28(7):431-434[2015-11-21].http://www.cnki.com.cn/Article/CJFDTOTAL-HWJS200607013.htm.

[11] 龚昌来.基于局部能量的小波图像融合新方法[J/OL].激光与红外,2008,38(12):1266-1269[2015-11-22].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW200812026.htm.

[12] 李莹,朱文艳,袁飞,等.基于形态学和平均梯度的小波图像融合算法[J/OL].南京师范大学学报：工程技术版, 2013,13(4):76-81[2015-11-22].http://www.cnki.com.cn/Article/CJFDTOTAL-NJSE201304015.htm.

[13] 罗南超,向昌成.基于低频边缘特征和能量的多聚焦图像融合方法[J/OL].重庆工学院学报:自然科学版,2009,23(8):168-171[2015-11-21].http://www.cnki.com.cn/Article/CJFDTOTAL-CGGL200908037.htm.

[14] 张小利,李雄飞,李军.融合图像质量评价指标的相关性分析及性能评估[J/OL].自动化学报,2014,40(2):306-315[2015-11-23].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW200812026.htm.DOI: 10.3724/SP.J.1004.2014.00306.

[责任编辑:瑞金]

AnImagefusionalgorithmbasedonregionaveragegradientandregionenergy

GONGJiamin1,YANGXiao2,YANGMeng1,MENGLinghe1,XUJiachi1

(1.SchoolofElectronicsEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China；2.SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The concepts of regional average gradient in company with regional energy are introduced together to improve the wavelet image fusion algorithm. decompose the images with wavelet analysis to get their low frequency components and high frequency components, fuse the the low frequency components in accordance with taking the larger values of regional average gradient, and fuse the high frequency components on the basis of taking the larger values of regional energy, then, reconstruct the fusion image with the method of wavelet transform. the improved algorithm is used on fusing some multi-focus images, and the results show that, its performance is better than wavelet image fusion algorithms based on regional average gradient or regional energy only, the blurred phenomenon of the fusion image is improved on the visual effect, the peak signal to noise ratio and the mutual information are improved as well.

Keywords:image fusion, wavelet transform, multi-focus image, region averge gradient, region energy

doi:10.13682/j.issn.2095-6533.2016.03.008

收稿日期：2015-12-23

基金项目：西安邮电大学研究生创新基金资助项目(CXL2014-31)

作者简介：巩稼民(1962-)，男，教授，博士，从事光纤光学与图像处理研究。E-mail:gjm@xupt.edu.cn 杨潇(1992-)，女，硕士研究生，研究方向为光通信与光信息技术。E-mail:yangxiaomm1000@163.com

中图分类号：TP391

文献标识码：A

文章编号：2095-6533(2016)03-0054-05