用于EVS的改进小波变换图像融合算法

0 引 言

EVS［1］是一种非常重要的飞机进近着陆辅助系统。在低能见度条件下，它实时融合可见光图像与红外图像等多种信息，将机舱外的视野以一种可视化的方式呈现给飞行员，增强飞行的安全性。根据图像融合的不同阶段，图像融合算法大体可以分为空间域融合算法和变换域融合算法［2－3］。与简单的图像融合算法相比，基于变换域的图像融合算法可以获得明显改善的融合效果。由于小波变换的多尺度和多分辨率特性，小波变换图像融合算法可以使融合图像能保留不同频率域的显著特征，是常用的变换域图像融合算法［4－5］。

在EVS中采用小波变换图像融合算法能获得较好的融合效果。但是小波变换图像融合算法的融合效果依赖于小波分解层数和融合规则，为了获得较好的融合效果，往往需要分解较多的层数和复杂的融合规则［6－7］，这就影响了算法的实时性，要在实时性要求很强的EVS中应用，必须提高算法的效率。本文结合像素矩阵的QR分解和小波变换图像融合算法，能增强算法实时性，同时保证较好的融合效果。

1 矩阵QR分解

矩阵论中，对于一个矩阵A＝ （aij）n×n，如果rank（A）＝n，则存在正交矩阵Q与上三角矩阵R，使得Q＝（qij）n×n与R＝ （rij）n×n满足

例如对矩阵aij＝ij×100，其QR分解如下

对于非方阵的一般矩阵B＝ （bij）m×n，同样可以应用QR分解。如果满足

则存在正交矩阵Qb＝ （qij）m×m和上三角矩阵Rb＝（qij）m×n使得B＝Qb×Rb［9］；如果m﹥n，利用B的转秩矩阵可得到同样的分解。

1.1 图像的QR分解

图像像素矩阵的秩为行数与列数中较小值的条件很容易满足。现实世界中，即使存在机场跑道那样平行的两条线段，但是由于摄像机的成像方式和摄像机存在旋转等原因，原始图像的像素矩阵不会存在两个完全相同的行向量或者列向量，根据式 （3），可以对红外图像与可见光图像的像素矩阵Mf和Mv应用QR分解

图像在计算机中以像素矩阵表示［10］，因此正交矩阵Qf与Qv、上三角矩阵Rf与Rv都可以看作图像的像素矩阵。

如果把式 （2）中的矩阵A看作原图像的像素矩阵，则对图像应用QR分解后可以得到对应的Q图像与R图像，并且由于矩阵Q的元素绝对值很小，而矩阵R的元素绝对值较大，在图像上表现为Q图像的灰度变化很小，R图像的灰度变化比较明显。这是因为Q为实正交矩阵，满足Q×QT＝E，Q的列向量的2范数为1且元素绝对值小于1，因此可以认为矩阵Q的元素变化很小，矩阵A元素的变化主要体现在QR分解后得到的上三角矩阵R中［11］。

1.2 改进的小波变换图像融合算法

根据图像的QR分解分析可知，图像QR分解后，其灰度变化主要体现上三角矩R中，因此可以对原始图像QR分解后得到的R图像应用小波变换图像融合算法进行融合。

记原始红外图像为I、可见光图像为V，改进的小波变换图像融合算法步骤如下：

（1）原始图像QR分解。对I与V的像素矩阵分别应用QR分解，得到对应的分解矩阵

（2）R图像的融合。对RI与Rv选取小波基进行分解，选取融合规则对分解得到的各频率域进行融合，记融合后得到的图像RIV。分解层数选取1，融合规则可以选取简单的小波系数取大或者加权平均。

（3）QR分解逆变换。融合结果记为IV，计算公式如下

式中：norm （I）——矩阵I的二范数。

2 实验结果与分析

实验中，原始图像采用图1（a）和图1（b）两幅浓雾下拍摄的红外与对应的可见光图像，大小为720576像素。图1（c）～图1（f）依次是加权融合、改进算法1层分解融合、改进算法2层分解融合与小波变换图像融合算法5层分解融合的结果。其中小波基均选取db4，改进算法融合规则选取小波系数取大，小波变换图像融合算法的融合规则为按邻域能量选取［12］。实验采用c＋＋并借助OpenCV［13］实现。

图1 红外与可见光图像融合结果

由融合结果图可以看出，改进算法很好的保留了红外图像中远处的车辆和可见光图像中的天空背景，保留了较多的原始图像信息，融合结果非常接近小波变换图像融合算法，但是对分解层数和融合规则的要求已经降低；同时改进算法选取分解层数1已经可以获得明显好于直接融合的结果，并且再增加分解层数融合效果不会明显改善，也就是说对于改进算法，选取1层分解和简单的融合规则可以获得较好的融合效果［14］。

2.1 与其他算法融合效果比较

实验主要对比了改进算法与直接加权融合算法和小波变换图像融合算法的融合效果，采用C＋＋并借助OpenCV实现。图2中，图 （a）、图 （b）为一组机场浓雾下拍摄的红外与对应的可见光图像，大小为720576像素；图 （c）是改进算法选取小波基db4、分解层数1、融合规则小波系数取大的融合结果；图 （d）为选取加权系数0.5直接融合的结果；图 （e）、图 （f）依次是小波变换图像融合算法选取小波基db4、分解层数3和5、融合规则小波系数取大的融合结果。

图2 3种算法融合效果

由融合结果图可以看到，改进算法融合结果比小波变换图像融合算法3层分解更清晰，更多的保留了红外图像浓雾中和可见光图像近处飞机的信息，接近小波变换图像融合算法5层分解的融合结果，降低了算法对分解层数和融合规则的依赖。

图像融合质量评价参数的比较如下：图像融合的质量可以从图像的统计特征进行评价，评价的参数主要有熵、交叉熵、相对标准差、相关系数等［15］。熵值的大小表示图像所包含的平均信息量的多少，值越大说明图像的融合效果越好；交叉熵、相对标准差和相关系数直接计算融合结果和理想图像对应像素的信息差异，评价规则是交叉熵越小，相对标准差越小，相关系数越大，融合结果和理想图像的差异越小。4种参数的定义如下：

（1）熵，pt为各灰度级像素出现的概率

（2）交叉熵，pt与qt为两幅图像各灰度级像素出现的概率

（3）相对标准差，Pij与Qij为两幅图像对应像素的像素值，m、n为图像像素大小

（4）相关系数，d1与d2为两幅图像的标准差，Pij与Qij为两幅图像对应像素的像素值，p与q为两幅图像的灰度平均值

由图2知道，小波变换图像融合算法分解5层时，融合效果最好，所以它的融合结果当作理想图图像。参数通过Matlab编程计算，3种算法融合结果图像的统计参数见表1。

表1 3种算法融合结果统计参数对比

通过对上述实验数据所反映统计意义的分析，可以得出结论：相对直接加权图像融合，改进算法融合效果更好；相对小波变换图像融合算法，除了熵值略小于小波3层分解外，其他数据也都表明改进算法的融合效果比小波3层分解融合好，更接近小波5层分解融合；熵值略小主要是由于小波变换的多分辨率特性，分解层数越多，对于细节信息保留也更完整，但是对于原始图像中我们更感兴趣的区域，比如红外图像中远处的飞机，改进算法的融合结果更清晰。

2.2 与其他算法实时性比较

图像融合的效率受图像尺寸的影响，表2给出了实验中采集的像素尺寸720×576视频的融合帧率。直接加权融合不用对原始图像做任何处理，因而融合速度最快，但是它的融合效果决定了它不能应用在EVS系统中；小波变换图像融合算法速度最慢，为保证融合效果，选取5层小波分解只能达到每秒5帧的融合速度，不能满足EVS实时处理的要求。改进算法融合速度能达到每秒12帧，较小波变换图像融合算法有较大提高。

表2 融合帧率对比

3 结束语

低能见度条件下，EVS系统需要实时融合可见光图像与红外图像，以提供飞行员机舱外的可视化环境。小波变换图像融合算法能较好的融合的红外图像与可见光图像，但是其融合效果非常依赖小波分解的层数和融合规则，不能直接应用于EVS系统。结合矩阵QR分解与小波变换图像融合算法，保留了小波变换图像融合算法能获得较好融合效果的优点，同时利用QR分解将原始图像的像素变化集中变换到上三角像素矩阵，降低了算法对分解层数和融合规则的要求，能以较少的分解层数和简单的融合规则获得实时性和融合效果都比较好的结果。

［1］Jacques Verly，Jeff Guell.Enhanced and synthetic vision ［C］.Orlando，FL，USA：The International Society for Optical Engineering，2007.

［2］Gonzalez R C.Digital image processing ［M］.RUAN Qiuqi，transl.Beijing：Publishing House of Electronics Industry，2007 （in Chinese）. ［Gonzalez R C.Digital image processing［M］.阮秋琦，译.北京：电子工业出版社，2007.］

［3］JING Zhongliang，XIAO Gang，LI Zhenhua.Image fusion：Theory and application ［M］.Beijing：Higher Education Press，2007（in Chinese）.［敬忠良，肖刚，李振华.图像融合：理论与应用 ［M］.北京：高等教育出版社，2007.］

［4］ZHENG Jiming，GENG Jinling.Research on application of wavelet transform in image fusion ［J］.Journal of Chongqing University of Posts and Telecommunications（Natural Science Edition），2008，20 （5）：561－566 （in Chinese）. ［郑继明，耿金玲.小波变换在图像融合中的应用研究 ［J］.重庆邮电大学学报 （自然科学版），2008，20 （5）：561－566.］

［5］ TAO Bingjie， WANG Jingru.Overview of wavelet－analysis－based image fusion ［J］.Computer Engineering and Applications，2005，25（5）：16－19 （in Chinese）.［陶冰洁，王敬儒.采用小波分析的图像融合方法评述 ［J］.计算机工程与应用，2005，25 （5）：16－19.］

［6］CHAI Qi，XU Haopeng，TONG Wuqin，et al.Performance evaluation of fusion algorithm for visual and infrared images ［J］.Fir Control ＆ Command Control，2009，34 （12）：57－60 （in Chinese）.［柴奇，徐浩彭，同武勤，等.红外与可见光图像融合算法性能评估 ［J］.火力与指挥控制，2009，34 （12）：57－60.］

［7］TAO Bingjie，WANG Jingru，XU Junping.Study on image fusion based on different fusion rules of wavelet transform ［J］.Infrared Technology，2006，28 （7）：431－434 （in Chinese）.［陶冰洁，王敬儒，许俊平.基于小波分析的不同融合规则的图像融合研究 ［J］.红外技术，2006，28 （7）：431－434.］

［8］ZHAN Shaofei，ZHAO Di. Matrix theory tutorial ［M］.Beijing：China Machine Press，2010 （in Chinese）. ［张绍飞，赵迪.矩阵论教程 ［M］.北京：机械工业出版社，2010.］

［9］Roger A Horn，Charles R Johnson.Matrix analysis ［M］.YANG Qi，transl.Beijing：Machinery Industry Press，2005（in Chinese）. ［Roger A Horn，Charles R Johnson.Matrix analysis［M］.杨奇，译.北京：机械工业出版社，2005.］

［10］ZHANG Yujin.Image engineering ［M］.Beijing：Tsinghua University Press，2006（in Chinese）. ［章毓晋.图像工程［M］.北京：清华大学出版社，2006.］

［11］ZHANG Guangjun，CHEN Xinglin.Amplification of small difference to digital image based on matrix LU decomposition［J］.Journal of Harbin University of Science and Technology，2009，14 （1）：16－18 （in Chinese）. ［张广军，陈兴林.矩阵LU分解对数字图像细微差别的放大作用 ［J］.哈尔滨理工大学学报，2009，14 （1）：16－18.］

［12］GONG Changlai.A new wavelet image fusion method based on local energy ［J］.Laser ＆ Infrared，2008，38 （12）：1266－1269（in Chinese）. ［龚昌来.基于局部能量的小波图像 融 合 新 方 法 ［J］. 激 光 与 红 外，2008，38 （12）：1266－1269.］

［13］Gary Bradski，Adrian kaehler.Leaning OpenCV ［M］.YU Shiqi，transl.Beijing：Tsinghua University Press，2009 （in Chinese）.［Gary Bradski，Adrian kaehler.Leaning OpenCV ［M］.于仕琪，译.北京：清华大学出版社，2009.］

［14］LI Yachun，WU Jingang，WANG Jing，et al.Analysis on image fusion rules based on wavelet transform ［J］.Computer Engineering and Applications，2010，46 （8）：180－182 （in Chinese）.［李亚春，武金岗，王净，等.小波变换图像融合规则性能的分析研究 ［J］.计算机工程与应用，2010，46（8）：180－182.］

［15］ZHOU Jingchao，DAI Ruwei，XIAO Baihua.Overview of image quality assessment research ［J］.Computer Science，2008，35 （7）：1－4 （in Chinese）. ［周景超，戴汝为，肖柏华.图像质量评价研究综述 ［J］.计算机科学，2008，35（7）：1－4.］