基于边缘增强的多聚焦图像融合方法

万 莉，胡燕翔，马希荣，赵子平

（天津师范大学 计算机与工程信息学院，天津 300387）

基于边缘增强的多聚焦图像融合方法

万 莉，胡燕翔，马希荣，赵子平

（天津师范大学 计算机与工程信息学院，天津 300387）

提出一种基于边缘增强的多聚焦图像融合方法，对需要融合的2幅图像进行小波多尺度分解，根据绝对值最大的方法对高频细节分量图像进行融合，通过增强和提取原始图像的边缘信息强度指导低频近似分量的融合，以此突出融合图像中的边缘信息.采用信息熵和标准差等评价指标对该方法进行客观评价.结果表明：该方法融合效果良好，可以更好地突出低频域边缘细节信息，提高融合图像的清晰度，改善视觉效果.

边缘增强；多聚焦图像融合；小波变换；边缘信息强度

图像融合方法可以利用某种融合技术将2个或2个以上的传感器在同一时间（或不同时间）获取的关于某个具体场景的图像或图像序列信息加以处理和综合，生成一个新的有关此场景的更清晰的图像［1］，因此图像融合技术在许多领域受到越来越多的重视.图像融合算法主要包括加权平均法、拉普拉斯金字塔法和基于小波变换的融合方法［2］.由于小波变换具有多尺度、多分辨率分解和方向性等特性，因此在数字图像处理领域获得广泛应用.

本研究对基于区域能量的多聚焦图像融合方法进行改进，通过对源图像进行边缘增强处理获得突出边缘细节的参考图像，以参考图型的低频小波系数为指导构造加权平均的权重系数，以期提高图像融合的清晰度，改善融合效果.

1 传统的基于区域能量的小波图像融合

基于小波变换的图像融合是通过对源图像进行二维离散小波分解，将其分解在不同频段的不同特征域上，然后在不同的特征域内采用不同的融合规则进行融合，构成新的小波金字塔结构，再利用小波逆变换得到融合后图像的过程［3－4］，具体步骤如图1所示.

图1 基于小波变换的图像融合过程Fig.1 Process of image fusion based on wavelet transform

对于低频分量，基于区域能量的融合方法步骤如下［5－7］：

式（1）中：EJ（i，j）表示2－j分辨率下，以（m，n）为中心位置的局部区域能量；DJ表示2－j分辨率下低频分量的系数；w（m，n）为与DJ对应的加权系数；L和K定义了局部区域的大小（如3×3，5×5，7×7）.

（3）确定融合算子

首先定义匹配度阈值T，T为多次试验及经验总结所得.

2 基于边缘增强的多聚焦图像融合

2.1 设计思路

研究表明，图像的低频分量集中了图像的主要能量，反映了图像的近似和平均特性［8］.传统的基于区域能量的多聚焦图像融合方法虽然效果良好，但在低频分量的融合中没有考虑边缘区域和非边缘区域的差异，采用了统一的融合规则，造成在融合图像过程中无法显著突出边缘区域，有可能导致不显著边缘的模糊现象.考虑到边缘体现了图像的重要信息，反映了图像中目标物的主要特征，本研究提出基于边缘增强的多聚焦融合方法.其主要思想是先对2幅源图像进行边缘增强处理，利用边缘增强后的图像指导低频近似分量的融合.边缘增强的优势在于可以快速调整图像边缘细节的对比度，使细节更加丰富，锐化图像的边缘，保留总体的平滑度，同时尽量避免图像在锐化过程中的噪声问题.边缘增强后的效果如图2所示.

图2 滤波后的效果图Fig.2 Effect picture of filter

基于边缘增强的多聚焦图像融合的具体步骤如图3所示.

图3 基于边缘增强的多聚焦图像融合过程Fig.3 Process of multi－focus image fusion based on edge enhencement

2.2 改进的低频融合规则

式（5）中：EJ（i，j）表示2－j分辨率下，以（m，n）为中心位置的局部区域能量；DJ表示2－j分辨率下低频分量的系数；w（m，n）为与DJ对应的加权系数，L和K定义了局部区域的大小（如3×3，5×5，7×7）.

3 实验结果与分析

为验证基于边缘增强的多聚焦图像融合方法的正确性和有效性，本研究分别采用加权平均法、拉普拉斯金字塔法、传统的基于区域能量的方法和本研究方法对图像进行仿真实验.实验数据采用普遍使用的多聚焦图像，通过融合提取2幅图像中清晰成像的部分，不同方法形成的新的远近景均具有较高的清晰度，结果如图4所示.

图4 4种不同图像融合方法的融合结果Fig.4 Experimental results of four different methods image fusion

由图4可以看出，通过改进方法得到的融合图像具有较好的视觉效果，为了客观评价融合结果，本研究采用信息熵（Entropy，EN）、标准差（Square Difference，SD）、平均梯度 （Average Gradient，AG）和相关系数（Correlation Coefficent，CC）共4项客观评价指标评价融合结果，结果如表1所示.

表1 4种融合方法的评价指标比较Tab.1 Comparison of evaluation indicators of four fusion methods

由表1可以看出，改进算法的信息熵、平均梯度和相关系数指标均位列第1，标准差指标位列第3.这说明：（1）融合图像携带的信息量较多，融合效果较好；（2）从源图像中获取的信息较丰富，融合效果得到改进；（3）改进算法提高了图像的清晰度；（4）融合后图像的灰度级分布合理.

4 结论

由于传统的基于区域能量的多聚焦图像融合算法没有充分考虑边缘信息对于融合过程的指导作用，本研究结合小波变换域的特性，利用边缘增强后的小波系数构造以权值指导低频近似分量的融合方法，并进行仿真实验.实验结果表明：改进算法具有更高的正确性和有效性，可以更好地提取低频边缘信息，提高图像清晰度，改善视觉效果.

［1］ ZHENG R，PANG Q.Multi－focus image fusion based on weighted average of neighborhood variance［J］.Machinery，2009，47（541）：34－36.

［2］ LIN P L，HUANG P Y.Fusion methods based on dynamicsegmented morphological wavelet or cut and paste for multifocus images［J］.Signal Processing，2008，88（6）：1511－1527.

［3］ 罗南超，向昌成.基于边缘特征和能量的图像融合方法［J］.计算机工程，2010，36（15）：202－203.

［4］ 吴桂兰，黄晓鸣.基于局部区域能量的图像边缘检测［J］.计算机工程与应用，2007，28（5）：40－41.

［5］ 赵高鹏，薄煜明，陈益.基于区域的图像融合方法［J］.计算机应用，2008（2）：152－157.

［6］ LI S T，YANG B.Multifocus image fusion using region segmentation and spatial frequency［J］.Image and Vision Computing，2008，26（7）：971－979.

［7］ SASIKALA M，KUMARAVEL N.A comparative analysis of feature based image fusion methods［J］.Information Technology Journal，2007，6（8）：1224－1230.

［8］ ZHANG H，LIU L，LIN N.A novel wavelet medical image fusion method［J］.Multimedia and Ubiquitous Engineering，2007（4）：548－553.

Multi－focus image fusion method based on edge enhancement

WANLi，HUYan－xiang，MAXi－rong，ZHAOZi－ping
（College of Computer and Engineering Information，Tianjin Normal University，Tianjin 300387，China）

A multi－focus image fusion method based on edge enhancement is proposed.It adopts wavelet multi－scale decomposition in the image needs fusion.The high frequency detail images of the top layer are fused using absolute maximum，the edge information intensity of original image is extracted and enhanced to guide the image fusion of low－frequency approximation component，in order to highlight the edge information of image fusion.The method is objectively evaluated by using information entropy，standard deviation and so on.The experiment results show that the method is effective，and the edge detail information is better emerged and the clarity and visual effects of image fusion are improved.

edge enhancement；multi－focus image fusion；wavelet transform；edge information intensity

TP391

A

1671－1114（2012）03－0042－03

2012－03－08

国家自然科学基金资助项目（60970060）；国家自然科学基金资助项目（61103074）；天津市自然科学基金资助项目（11JC BJC00600）

万 莉（1986—），女，硕士研究生，主要从事数字图像处理方面的研究.

胡燕翔（1969—），男，副教授，主要从事数字图像与VISI设计方面的研究.

马希荣（1962—），女，教授，主要从事信息融合与情感计算方面的研究.

（责任编校 亢原彬）