基于灰度能量差异性的红外与可见光图像融合

赵立昌,张宝辉,吴 杰,吴旭东,吉 莉

(1.南京理工大学 电子工程与光电技术学院，江苏 南京 210094;2.昆明物理研究所，云南 昆明 650223)

0 引言

图像融合技术是将多个图像传感器对同一场景进行图像采集，利用各个图像传感器的特点，将它们所采集到的图像融合成一幅新的图像。融合后的图像具有更加丰富的信息[1]，更适合人眼的观察以及计算机的后续处理。

红外与可见光图像的融合是图像融合领域的重要组成部分，红外图像是根据环境中不同物体所发出的热辐射差异来探测目标，因此它适合在低照度或者目标被隐藏的环境下识别目标，但是其缺点是细节信息的缺失;而可见光图像具有很高的分辨率，拥有丰富的细节信息，但是难以探测出在复杂环境条件下的目标。而红外与可见光图像的融合可以集成这两种类型图像的优势[2]，在计算机视觉、安防监控、地震遥感等领域有着广泛的应用[3]。

目前，多尺度变换的融合方法是应用于红外与可见光融合的最广泛的方法。常用的基于多尺度分解的图像融合方法有:拉普拉斯金字塔融合算法[4]、离散小波变换法(discrete wavelet transformation,DWT)[5]、双树复小波变换(dual tree complex wavelet transform, DTCWT)[6]、轮廓波变换(contourlet transform, CT)[7]、非下采样轮廓波变换(NSCT)等等。拉普拉斯金字塔分解算法不具备方向性;离散小波变换法分解的方向有限，不能很好地表示细节、轮廓等信息;双树复小波变换可得到6 个方向上的高频子带信息，但它是冗余的，对于n维信号，将产生2n:1 的冗余度;轮廓波变换进行了上、下采样操作，缺少平移不变性，容易产生伪吉布斯效应;非下采样轮廓波变换是对轮廓波变换的改善，在轮廓波的基础上添加了平移不变性，解决了伪吉布斯效应的产生，具有多方向、多尺度的特性，将NSCT 应用到图像融合中能够更好地提取源图像的细节特征和方向信息，保留更多源图像的信息。

融合规则对最终融合图像的质量有着至关重要的作用，传统的融合规则有加权平均法[8]、绝对值取大法[9]、区域能量法[10]等，这些融合规则没有从图像区域之间的相关性考虑，最终的融合效果并不是太理想。而对红外图像进行显著目标提取的融合算法是根据人类的视觉机制将人眼感兴趣的部分进行提取，背景进行抑制，融合后的图像具有突显目标特征，保留背景细节的优势。已有一些文章对此类算法进行研究，主要是对红外图像的显著性区域提取算法的研究，如基于文献[11]的改进流形排序的显著性区域检测，基于文献[12]的改进FT(frequency-tuned)算法的显著性区域检测和基于文献[13]的形态学滤波的显著性区域检测等。

为了进一步提高目标和背景之间的对比度，增强目标信息的辨识率，同时尽可能完整地保留可见光图像中的细节纹理，本文提出了一种基于灰度能量差异性的红外与可见光融合方法，首先通过基于灰度能量差异性的显著目标提取算法突出红外图像中的目标信息;然后使用NSCT 的分解框架对红外图像和可见光图像进行高低频的分解;利用计算得出的灰度能量差异图对红外图像和可见光图像的低频部分进行融合，对于高频部分采用加权方差的规则进行融合;最后对融合后的高频系数和低频系数进行NSCT 逆变换得到最终的融合图像。

1 基于灰度能量差异性的目标提取算法

基于灰度能量差异性的目标提取算法是一种在图像中提取人眼感兴趣的区域的显著目标检测算法，也是一种显著性检测方法，主要原理是计算某一灰度能量与其他灰度能量的差异，通过能量差异值将图像中的目标区域提取出来。以往的显著性检测方法，主要是基于像素点的灰度值之间的关联进行显著区域的检测，如文献[14]和文献[15]，而本文的显著区域检测算法是基于本文定义的像素点之间的灰度能量的关系，对于像素点之间的灰度差异具有更高的敏感性，更能突出显著目标。对于一幅8 位的灰度图像，定义该幅图像的灰度距离矩阵D为:

式中:dk=[k-0,k-1,…,k-255]T，表征像素值为k时与其他像素值的灰度距离。定义灰度能量差异值Ek为:

式中:

式中:Wi表示各个像素出现的频数;N表示图像总共的像素个数。将灰度能量差异值归一化得:

式中:Emin为能量差异最小值;Emax为能量差异最大值，以现在的灰度能量差异值取代原来的像素值，某区域灰度能量差异值越大，说明该区域越引人注意，是我们需要检测的目标，而其他灰度能量差异值小的区域则是我们不感兴趣的地方，因此可以有效地抑制背景信息，突出图像的目标特征。使用正弦函数对灰度能量差异图进一步增强，如下式:

图1是由文献[14]、文献[15]和本文算法所得到的显著区域比较图。图(a)是红外图像，图(b)是由文献[14]的算法所得出的显著图，图(c)是由文献[15]的算法得到的显著图，图(d)是由本文算法所得出的显著图。传统的图像增强算法在提高图像对比度时无法检测出显著目标，会对场景中一些其他的物体也进行增强，使得红外图像中细节、纹理等高频信息的缺失的区域无法有效地抑制，而后续的低频融合规则会以此作为融合权重，这会导致融合后的图像细节也会相应地缺失，从而使得成像的清晰度较低，成像质量较差。而像文献[14]和文献[15]的显著区域检测算法，虽然避免了对图像中高频信息缺失部分的增强，但是也没有很好地抑制这些区域。经本文算法处理后的红外图像能够有效抑制背景，增强图像中的目标信息，将人眼感兴趣的目标提取出来。

2 NSCT分解框架

NSCT利用非下采样金字塔(non-subsampled pyramid,NSP)和非下采样方向滤波器组(non-subsampled direction filter banks, NSDFB)实现对图像的多尺度、多方向的分解。首先通过NSP实现多尺度的分解，获取高频子带和低频子带，然后使用NSDFB对高频子带进行多方向的分解，得到高频各方向子带，然后对低频子带继续NSP分解，重复上述过程，即得到NSCT 的多层分解，分解过程如图2所示。NSCT取消了上、下采样过程，改为对滤波器直接采样，使得变换后得到的每一个子带图像都与源图像大小相同，有良好的空域和频域特性，并且具有平移不变性[16]。

3 本文融合策略

本文首先通过基于灰度能量差异性的目标检测算法突出表征红外图像中的目标特征;然后对红外图像和可见光图像采用NSCT 分解得到高频分量和低频分量;将基于灰度能量差异性的显著区域提取算法的结果作为融合权重对红外图像和可见光图像的低频部分进行融合，对于高频部分采用加权方差的规则进行融合;最后对融合后的高频系数和低频系数进行NSCT 逆变换得到最终的融合图像。融合框架如图3所示。

图1 红外图像的显著图比较Fig.1 Sali ency comparis on of infrared i mages

图2 NSCT分解框架示意图Fig.2 NSCT decomposition framework

图3 本文算法的融合框架Fig.3 Fusion framework of the proposed algorithm

3.1 低频系数融合规则

由于人眼的视觉系统主要是对图像中像素的对比度较为敏感，对像素的亮度不太敏感，背景等灰度变化较为缓慢的区域被保留在低频子带中，而传统的低频系数融合方法无法清晰地区分出目标轮廓与背景信息，全局对比度较低，本文提出了一种基于灰度能量差异的方法能够有效地提取红外图像中的目标区域。设红外图像和可见光图像经NSCT 后所得到的低频系数分别为CLIR(i,j)和CLVIS(i,j)，由本文算法所得到灰度能量差异图为EI，则融合后的低频系数为:

其中融合权重wLIR和wLVIS的值由下式可得:

3.2 高频系数融合规则

经NSCT 分解得到的高频子带能够表征图像的边缘、纹理等细节信息。本文的高频系数融合规则是基于方差制定。方差的大小可以表示为该区域包含细节信息的多少，方差越大，说明该点与周围区域的灰度值差距越大，在图像画面中表现的就是纹理等高频信息越丰富，本文所设定的方差分辨阈值主要是用来比较红外图像与可见光图像高频部分方差的大小，本文所取的阈值为0.24。由数学关系可知，两者所占的权重之和为定值1，则权重之积最大为0.25，此时表示红外图像与可见光图像的权重各占50%，说明两幅图像有着近乎相同细节信息。当一方所占权重≥40%并且≤50%，即权重之积大于等于0.24，可以认为两者方差之差较小，拥有相似的细节信息，两幅图像的高频部分对最终的融合图像的高频部分均有较大贡献，此时的融合图像的高频信息使用加权融合的方法;当一方所占权重小于40%，即权重之积小于0.24，说明两幅图像的方差之差较大，一方含有较多的细节信息，而另一方的细节信息较少，最终的融合图像的高频部分主要来自于方差大的一方，此时高频部分采用方差取大的融合方法。由于高频部分的融合规则是基于方差制定的，所以对于不同场景都能取得较好的融合效果。

设T为分辨两幅图局部方差差距的判断依据，T的表达式为:

式中:wIRH,k(i,j)表示在红外图像k方向上的高频子带在像素点(i,j)处所占的权重;wVISH,k(i,j)则表示可见光图像所占的比重。权重表达式可由下式求得:

式中:SIRH,k(i,j)表征红外图像k方向上的高频子带在像素点(i,j)处的方差;SVISH,k(i,j)表征可见光图像的方差，其具体表达式如下:

当T<0.24时:

当T≥0.224时:

式中:CFH,k表征两幅图像在k方向上的高频子带融合后的高频系数。

4 实验结果与分析

为验证本文算法的有效性，选取3 组典型的已配准的红外与可见光图像进行融合实验，并将本文算法与离散小波变换(DWT)、双树复小波变换(DTCWT)、非下采样轮廓波变换(NSCT)以及文献[17]和文献[18]的方法进行比较。实验计算机CPU 主频是2.8 GHz，内存为8G，实验软件平台为MATLABR2018a。本文中DWT、DTCWT 和NSCT 的融合规则均采用低频系数取均值，高频系数为局部能量取大。源图像与融合结果如图4～图6。

图4为Uncamp源图像的融合结果。红外图像中人物目标清晰，但无法分辨栅栏、灌木等景物的细节;而可见光图像中人物被遮挡，但是可以清楚地看到栅栏、灌木的细节信息。图(c)、(d)、(e)中左下角的树木的细节模糊，且目标人物与周围环境的对比度较低，没有突显目标特征;图(f)中整体亮度偏低，树木的细节看不清楚;图(g)中整体亮度偏高，背景信息丢失严重;图(h)是利用本文算法所获得的融合图像，可以看出融合图像既有红外图像中目标突出的优势，也能很好地保留可见光图像中树木、栅栏的细节信息，整体视觉效果更好。

图5为Quad 源图像融合结果。图(c)、(d)、(e)中行人、汽车较为模糊，图像对比度较低;图(f)亮度偏低，无法很好地分辨出行人，汽车等目标信息;图(g)整体亮度偏高，给人一种失真的感觉;图(h)为本文算法所计算得到的图像，可以明显看出该幅图像的清晰度更高，广告牌上的字以及行人汽车清晰可见，符合真实场景，更适宜人眼观察。

图4 Uncamp源图像融合结果Fig.4 Fusion resultsof Uncampsource images

图6为Kayak 源图像融合结果。可以看出图(c)、(d)、(e)对比度较低，视觉效果较差;图(f)有明显的阴影;图(g)保留的背景信息较为完整，但是整体亮度偏高，不符合人眼观察;图(h)是由本文算法计算出的融合图像，清晰度、对比度适宜，无伪影，亮度适中，视觉观感最佳。

根据以上3组图片，通过主观视觉比较可以看出本文算法在图像融合的成像质量、视觉效果上有着较大的优势，也可以通过客观参数指标对这几种算法进行比较，如表1所示。

从表1中可以看出本文算法在信息熵(information entropy,IE)、平均梯度(averagegradient,AD)、标准差(standard deviation,STD)、空间频率(spatialfrequency,SF)这4个指标中均位于前列，说明由本文算法处理所得的融合图像从源图像中获得的信息量最多、拥有更丰富的细节特征、对比度和边缘保持能力好、背景与目标可清晰分辨，与主观视觉所得出的结论相符。

图5 Quad 源图像融合结果Fig.5 Fusionresultsof Quad source images

图6 Kayak 源图像融合结果Fig.6 Fusion r esultsof Kayak sourceimage s

表1 客观指标对比Table 1 Comparison of objective indicators

5 结论

本文提出了一种基于灰度能量差异性的红外与可见光图像融合方法，通过对红外图像中目标信息的增强提取，融合后的目标特征更加显著，并且极大地保留了可见光图像中的细节，有效地解决了传统融合算法时出现的目标信息不够突出，细节、纹理模糊等缺点，并且利用3 组经典的红外与可见光图像进行融合实验，实验结果表明本文算法较其他算法清晰度更高，对比度更适宜，更适合人眼观察，STD、IE、AG、SF 等客观评价指标所得出的结论也与主观视觉感受一致，说明本文融合算法是一种行之有效的红外与可见光图像融合算法。