改进小波变换的红外与可见光融合方法研究

孙学蕾，高宏伟

(沈阳理工大学 自动化与电气工程学院，沈阳110159)

从传统意义上看，可见光图像存在很好的细节信息；而红外图像对目标轮廓更加清晰，但并不利于人眼观察获取具体信息，基于这种情况，图像融合在近年来飞速发展，在军事领域尤为突出。图像融合技术作为信息融合技术的一种，红外与可见光图像的融合方法按层次的高低可划分为像素级融合、特征级融合及决策级融合[1]；其中像素级融合最常见，像素级融合包括基于空间域的融合方法和基于变换域的融合方法。近几年，红外与可见光图像融合技术飞速发展，沈英等[2]提出了基于稀疏表示(Sparse Representation，SR)图像融合方法，其重点在于过完备字典的构造和稀疏系数分解算法。为满足高实时性需求，GUO Kanghui等[3]提出多尺度多方向性的剪切波变换，但其仍不具备平移不变特性，且相比于非下采样轮廓波变换(Nonsubsampled Contourlet，NSCT)拥有更高的计算效率。KONG Weiwei等[4]在NSST融合方法的基础上，引入区域平均能量和局部对比度的融合规则，将空间域分析和多尺度几何分析的优点最大程度地融合在一起。郝永平等[5]将近红外图像的高频部分、低频部分与可见光图像进行加权分配后，在矩阵维度上进行连接，传入卷积神经网络进行通道压缩与整合；但该方法仅对红外与可见光图像在通道上进行堆叠，双频融合信息在空间和语义上的高维特征关系并未得到体现。小波变换的概念最早由Grossman A等[6]于1984年提出，之后Mallet S G[7]根据信号分解和重建的塔式算法建立了基于小波变换的多分辨率分解理论。

本文针对不同光照条件下的红外与可见光坦克图像，采用IHS[8]图像模型和离散小波变换(Discrete Wavelet Transformation，DWT)及不同的高低频融合规则进行融合[9]，并与主成分分析(Principal Component Analysis，PCA)方法[10]对比进行指标评价。

1 改进的DWT变换高低频图像融合

传统的RGB(R：红色，G：绿色，B：蓝色)图像模型在生活中最为常见，但RGB图像模型在变换域的融合中不易被单独处理；而IHS模型(I：亮度，H：色度，S：饱和度)各自分量之间的相关性较低，不同的光照会导致I、H、S三个不同分量的强度产生变化，能够单独处理。

本文以IHS图像模型和DWT算法为核心。第一阶段，红外图像进行图像增强，可见光图像进行IHS转化，提取强度分量，红外图像增强处理；第二阶段，分别对可见光图像的I分量和红外图像通过不同的Harr小波基函数进行两次小波分解；第三阶段，分别对高频分量进行局部能量准则融合，对低频分量进行系数绝对值最大规则法融合，对高频和低频的融合结果进行增强处理；第四阶段，进行小波重构，将IHS图像转换为RGB图像。其中，高频分量进行局部能量准则融合和低频分量进行系数绝对值最大规则法融合的两种融合规则在小波变换中同时应用是本文的改进之处。本文算法在红外图像和可见光图像严格配准的条件下才可实现，算法完整流程见图1所示。

图1 本文的融合算法流程

算法的具体流程如下。

(1)对红外图像进行对数灰度变换，公式为

IA(x，y)=Clg(1+IB(x，y))

(1)

式中：IB(x，y)为灰度变换前的图像；IA(x，y)为灰度变换后的图像。

(2)对可见光图像进行圆柱体IHS变换，得到I、H、S三个分量，分别为

(2)

(3)对可见光的强度分量和已处理过的红外图像进行Haar小波分解，分别对高频和低频子带分量进行融合。本文选用Haar小波基函数[11]作为小波变换函数；二维图像Haar小波基处理过程见图2所示。

图2 Haar小波变换

Haar变换从水平和垂直两个方向进行高通和低通滤波处理，得出水平方向、竖直方向及对角方向的信息[12]，并输出图像信息。图2中l1为水平方向处理结果，h1为竖直方向处理结果，c1为对角方向处理结果，g为下采样。

小波分解后的高频和低频部分存在各自的特性[13]，高频部分是图像融合的关键，该部分反映整个图像的信息较多，包括区域细节、边界信息及亮度突变等[14]，因此对高频部分应用局部能量准则的融合方法。

局部能量准则选取区域能量的大小作为融合准则，由于高频部分反映亮度突变信息较大，因此选用局部能量较大的小波系数作为图像融合的小波系数[15]。源图像为IA和IB，局部能量的融合规则公式为

(3)

(4)

低频部分反映图像的整体信息，其包含的大部分弱能量信息反映出图像的平均信息，这部分采用系数绝对值最大规则法进行融合[16]。

采用滑窗技术将LA和LB图形块转换为列向量，用OMP算法和低频系数的训练字典计算出稀疏系数βA和βB，利用系数绝对值最大规则获得低频系数融合决策图MAPLm，其计算公式为

(5)

βF=MAPLm×βA+(1-MAPLm)×βB

(6)

式中：βA、βB为稀疏系数；m为图像块序号；MAPLm为决策图，初始为0；βF为加权融合获得的系数值。

利用加权融合方法获得βF，分块重构低频融合图像，计算公式为

LF=MAPLmβF

(7)

式中LF为重构后的完整图像。

(4)进行小波重构及IHS逆变换，完成红外与可见光的融合。

2 实验结果及融合指标

2.1 评价指标

图像融合常用的评价指标有图像平均梯度(AG)、图像的空间频率、峰值信噪比等。

(1)AG用来评价图像的清晰度[17]。梯度作为一种常用的运算方法，在图像应用领域的定义为

(8)

融合图像清晰的评价公式为

(9)

(2)图像的空间频率(SF)也是描述图像清晰度的一种常用方法，反映出融合后灰度图像的空间变化率。一般来说，图像的空间频率越高，图像的融合效果越好，图像越清晰，空间频率公式为[18]

(10)

式中：SF为空间频率函数；RF、LF分别为融合图像的行频率和列频率。

(3)峰值信噪比(PSNR)通过均方误差(MSE)进行定义，可用来评价图像融合质量。MSE表达式为

(11)

峰值信噪比PSNR为

(12)

式中MAXI为图片可能的最大像素值。

2.2 实验结果

彩色图像由于其自身的特点，比较适合采用主观的评价方法；灰度图像比较适合客观评价的方法。实验结果经过灰度化处理显示进行指标评价分析[18]。采用Intel i5 CPU、MVIDIA GeForce 620的计算机作为实验平台，利用VS C++语言和Opencv视觉库进行融合实验；采用Matlab 2018a进行图像融合指标评价，以观察算法融合图像和在不同光照条件下的融合效果。本文的图像融合处理结果见图3和图4所示。

图3 本文方法第一组融合结果

图4 本文方法第二组融合结果

本文算法通过两组红外与可见光图像融合的对比试验来进行指标评价，从平均梯度(AG)、空间频率(SF)、峰值信噪比(PSNR)、均方误差(MSE)、信息熵(EN)等几个方面进行融合评价，结果见表1和表2所示。

表1 本文方法第一组融合评价指标

表2 本文方法第二组融合评价指标

表1、表2中从图a～图c为光照强度依次增强的融合结果。从表1的第一组融合指标中可以看出，融合后图像的平均梯度(AG)、空间频率(SF)、峰值信噪比(PSNR)及信息熵(EN)随着光照增强数值依次增大，均方误差(MSE)依次减小；表明随着光照由黑暗到明亮时，融合效果更好，说明光照强度对融合效果起决定性作用，该影响主要作用于可见光图像。从表2的融合指标中可以看出，图4a和图4b符合光照越好，融合效果越好的规律；但图4c则相反，在图4c中，目标为白色物体，在光照特别好的情况下，白色物体的反光能力较强，融合效果较差；由此可知，光照为主要影响因素，目标物体的反光能力也决定着融合效果。在图像融合领域，除了光照及目标物体的颜色外，温度等物理条件也对其有一定影响。此外，还应用PCA算法进行实验，得出相应的处理结果及指标，见图5和图6所示。

图5 PCA方法第一组融合结果

图6 PCA方法第二组融合结果

融合评价指标见表3和表4所示。

表3 PCA融合第一组评价指标

表4 PCA融合第二组评价指标

应用PCA算法进行图像融合，符合本文算法的光照强弱影响规律，也符合物体颜色的影响规律，在表4的图6c中，同样也是白色物体的影响导致融合效果较差。通过将表1与表3的数据进行对比，在黑暗条件下，本文的融合算法所实现的融合效果明显好于PCA算法的融合效果。

3 结论

通过分析图像融合中的影响因素，对比不同环境下(主要为光照和目标颜色)所采集到的红外与可见光图像进行融合和指标评价，得出光照与目标物体对红外与可见光图像融合的影响。实验结果表明，光照越好，融合效果越好；白色物体融合效果较差，主要是由于可见光反射能力较强。通过与PCA红外与可见光图像融合算法对比，在黑暗条件下，本文算法的融合效果更好。