一种新的基于图像增强的融合算法

张 雷，李 婧，李根全，杨兴强，仲志国，王肖霞

(1.南阳师范学院，河南南阳473061;2.中北大学，山西太原030051)

1 引言

随着传感器技术的发展和成熟，传感器在各个领域得到广泛地应用，对同一目标可以获得来自多个不同传感器传回的数据，图像融合作为综合处理多传感器图像数据的有效技术途径日益得到重视［1］，图像融合是指综合和提取两个或多个多源图像信息，获得对同一场景或者目标更为准确、全面和可靠的图像，使之更加适合于人眼感知或计算机后续处理。目前图像融合技术被广泛的应用于计算机视觉、自动目标识别等领域［2］。

图像融合通常可以分为像素级融合、特征级融合和决策级融合［3］，融合算法也很多，主要有像素加权平均算法、PCA算法、金字塔算法［4］、小波变换算法［5］、曲波变换算法等，每种融合算法都是先对来自不同传感器的图像进行各种变换，对变换后的图像采用不同的融合规则进行融合，一般在融合过程中很少对待融合图像做进一步处理，一般的处理主要是图像增强技术，主要包括［6］:扩展对比度、增强图像中对象的边缘、消除或者抑制噪声或者保留图像中感兴趣的某些特征，在增强某些信息的同时会造成图像中一些信息的缺失，忽略了融合算法本身就是通过对多幅图像间互补信息的处理来提高图像的清晰度，更全面地反应目标信息的特点。基于以上问题，本文提出一种新的融合算法，在图像预处理过程中，除了对待融合图像增强外，将图像融合算法引入图像增强中，将增强后的图像与源图像进行融合，不仅可以保留图像完整的信息，同时对图像进行了二次增强，最后在对二次增强后的图像再进行融合，使图像更加清晰符合人类视觉。

2 图像增强

CSSN(on-Center off-Surround Shunting Network)是根据人眼的几种视觉能力提出的动态方程，首先是能提取边缘的拮抗特性，二是即使人眼面对刺激强度范围很大的光照，均能自动适应的压缩动态范围特性，因此能够增强图像对比度、突出边缘和压缩动态范围，复合人的视觉特性［7］，因此本文首先采用视觉中心－环绕对抗受域神经网络模型增强图像的对比度，其公式如下:

式中，C1和C2为高斯核;常数A是向零值衰减的速率;I1和I2为输入图像;Ei，j为处理后的图像。对于单一图像来讲I1=I2。图1为源图像，图2为增强对比度的图像。

图2与图1相比较图像边缘信息和对比度得到增强，但是细节信息有所损失，为了使图像在增强对比度的同时不损失细节信息，将源图像与处理后的图像进行融合，从式(1)可以推断出 Ei，j＜1，因此可以采用频率调制的方法将源图像和增强后的图像进行融合，公式如下 :

式(2)中，h(i，j)为融合后的图像;f(i，j)为归一化后的源图像;g(i，j)为增强后的图像，图像归一化的公式为:

式(3)中，I(i，j)为源图像;Imin为源图像最小灰度值;Imax为源图像最大灰度值。图3为融合后的图像。

图3 融合后的增强图像

从视觉效果上看，图1整体较暗，视觉效果较差，图3获得了较为清晰的图像，更适应人的视觉特性。为了更好地说明增强后的图像效果，采用标准差、平均梯度、熵对图像进行评价，标准差越大，则灰度级越分散，平均梯度越大，图像越清晰，熵反映了图像的平均信息量［9］。公式分别如下:

表1 图像评价指标

从表1可以看出融合增强后的图像在清晰度和信息量上都比源图像高。

3 图像融合

多分辨率分析融合算法能够很好的保留图像的细节信息取得了比较好的效果，多分辨率分析算法主要有金字塔、小波分析、Contourlet变换、非采样Contourlet变换，非采样Contourlet变换克服了小波变换方向性和各向异性差的缺点，不仅具有多尺度性、良好的空域和频域局部特性和方向特性，还具有了平移不变性，同时克服Contourlet变换中频率混叠的缺点［10］，因此本文采用非采样 Contourlet变换对在增强后的图像进行融合。图4为非采样Contourlet变换的实现框图。

图4 非采样Contourlet变换的实现

4 融合规则

图像融合规则的选取一般要求能够最大限度地保留图像的重要信息，减少虚假信息，同时还要保证算法的可靠性和稳定性，低频系数主要反应图像的整体信息，其差异远小于高频分量的小波系数的差异，所以采用平均的方法能够有效地融合图像［11］，高频系数保留图像的细节信息，因此高频系数采用选取最大值的方法进行融合。公式如下:

式中，Cak(i，j)和 Cak(i，j)分别为非采样 Contourlet变换的低频系数;Hak(i，j)和Hbk(i，j)分别为非采样Contourlet变换的高频系数。

5 融合结果及分析

为了验证本文算法的有效性，采用非采样Contourlet变换直接融合和本文算法对多聚焦图像进行融合，图5为前视图像，图6为后视图像，图7为直接融合图像，图8为本文算法融合图像。

图5 前视图像

从视觉效果上看，本文融合算法与源图像和直接融合融合图像相比较整体更加清晰，且具有适合人眼特性的对比度优点。

表2 图像评价指标

从表2上看，本文融合算法比源图像和直接融合图像标准差、平均梯度、熵更高，说明采用本文融合算法图像的动态范围、清晰程度、细节信息以及所含信息量更高。

5 结论

本文在分析一般融合算法在单一图像预处理上存在的不足，将图像融合算法引入图像预处理中，对需要融合的图像采用融合的方法进行增强，在增强图像边缘以及对比度的同时，不损失其他细节信息，达到既增强图像特征又不损失图像信息的效果，为最后融合奠定更好的基础，实验结果表明，本文算法的融合结果在标准差、平均梯度、熵等方面都优于直接对图像进行融合的算法得到的融合结果，达到了预期效果。

［1］ Xue Qin，Fan Yong，Li Huizhuo，et al．Infrared and visible images fusion algorithm based on curvelet transform［J］，Computer Engineering，2011，37(3):224 －226．(in Chinese)薛琴，范勇，李绘卓，等．基于曲波变换的红外与可见光图像融合算法［J］．计算机工程，2011，37(3):224－226．

［2］ Chen Hao，Liu Yanying．An infrared image fusion algorithm based on lifting wavelet transform［J］．Laser＆ Infrared，2009，39(1):97 －100．(in Chinese)陈浩，刘艳滢．基于提升小波变换的红外图像融合算法研究［J］．激光与红外，2009，39(1):97 －100．

［3］ Li Yufeng，Feng Xiaoyun，Fan Yong，et al．A fast multisensor image mutual modulation fusion algorithm［J］．Opto-Electronic Engineering，2011，38(8):117 － 123．(in Chinese)李郁峰，冯晓云，范勇，等．多传感器图像互调制快速融合［J］．光电工程，2011，38(8):117 －123．

［4］ Tote A.Image fusion by ratio of low － pass pyramid［J］．Patter Recognition Letter，1989，9(4):245 －253．

［5］ Mallat SATheory for multi-resolution signal decomposition:the wavelet representation［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence 1989，11(7):674－693．

［6］ Zhang Hong．Digital image processing and analysis［M］．Beijing:China machine press，2007，4．(in Chinese)张弘．数字图像处理与分析［M］．北京:机械工业出版社，2007，4．

［7］ Wang Xueling，Jin Qinwei，Shi Junsheng，et al．Research on fusion schemes of MULTI－BAND color night vision images based on － opponent vision property［J］．Journal of Infrared and Millimeter Waves，2006，25(6):455 － 459．(in Chinese)王岭雪，金伟其，石俊生，等．基于拮抗视觉特性的多波段彩色夜视融合方法研究［J］．红外与毫米波学报，2006，25(6):455 －459．

［8］ Fan Changxin，et al．Principle of communication［M］．Beijing:National Defense Industry Press，2001，5．(in Chinese)樊昌信，等．通信原理［M］．北京:国防工业出版社，2001．5．

［9］ Wang Xuewei，Wang Shili．Novel method of image fusion［M］．Laser＆ Infrared．2012，42(9):1055 －1057．(in Chinese)王学伟，王世立．一种图像融合的新方法［J］．激光与红外，2012，42(9):1055 －1057．

［10］ Chen Musheng．Image fusion based on contourlet transform and fuzzy theory［J］．Laser ＆ Infrared，2012，42(6):695 －698．(in Chinese)陈木生．基于Contourlet变换和模糊理论的图像融合算法［J］．激光与红外，2012，42(6):695 －698．

［11］ Wang Xiaojun，He Tongdi．Multisensor image fusion using wavelet based on contourlet transform［J］．Laser＆ Optoelectronics Progress，2009，9:68 －72．(in Chinese)王小军，何同弟．基于小波－Contourlet变换的多传感器图像融合［J］．激光与光电子学进展，2009，9:68－72．