基于帧差检测技术与区域特征的红外与可见光图像融合算法

贺兴容 龚奕宇 范松海 吴天宝 刘益岑 刘小江

关键词： 红外与可见光图像融合; 信息互补; 帧差检测; 目标分簇; 图像分割; 算法复杂度比较

中图分类号： TN911.73?34; TP391                  文献标识码： A                   文章编号： 1004?373X（2019）01?0057?05

Abstract： An infrared and visible image fusion algorithm based on frame difference detection technique and region feature is proposed to improve the fusion quality of the infrared image and reduce its fusion complexity. The frame difference method is designed to detect the target in infrared image for target clustering and image segmentation. The target is accurately located by means of the information among frames. Some different fusion rules are designed according to the characteristics of target region， and the image fusion is realized by means of the effective information complementation of infrared and visible images. The theoretical analysis of the complexity of the fusion algorithm is carried out. The fusion experiments are performed for the unmoving observable target， and moving observable target in infrared and visible image. The experimental results show that， in comparison with the available image fusion techniques， the proposed technique has higher fusion quality， and its fusion image can reflect the target and background more accurately.

Keywords： infrared and visible image fusion; information complementation; frame difference detection; target clustering; image segmentation; algorithm complexity comparison

0  引  言

无人机（Unmanned Aerial Vehicle，UAV）是不需要机载飞行员就有飞行能力的飞机，可通过远程控制、半自主、自主或多种方式同时控制UAV，UAV能在许多领域中执行给定的任务[1]。为了完成各种各样的任务，UAV首先需要配备传感器载荷采集任务区域的图像并实现环境感知，传感器载荷包括红外传感器和可见光传感器。融合同一场景的红外和可见光图像是UAV目标检测和识别的基础。然而，机载传感器拍摄的图像是动态的，会增加可见光和红外图像融合的难度[2]。为了获得形势评估，提取目标信息是很重要的，事实上，可见光图像中的纹理和颜色信息非常丰富，而红外图像中的目标信息非常突出，尤其是人造目标，据此，为了更有效地利用目标信息，可以基于目标区域来划分图像区域。

图像融合分为四个信息表示层次，即信号、像素、特征和决策[3]。文献[4]提出基于稀疏表示与非下采样Contourlet变换的红外和可见光图像融合算法，通过对图像进行NSCT变换，获取其高频与低频系数，利用系数表示提取低频系数特征，再设计不同的融合规则，实现高频、低频系数融合，但该算法无法有效地采集目标信息。文献[5]提出一种基于色彩对比增强的红外和可见光图像融合算法，有利于目标检测和提高观察者性能。文献[6]提出一种基于数据同化和遗传算法（Genetic Algorithm，GA）的红外和可见光图像融合框架。文献[7]引入快速离散曲波变换（Fast Discrete Curvelet Transform，FDCT）和清晰度评价操作符来实现红外和可见光图像融合。其他红外和彩色可见光图像融合算法见文献[2，8?9]，其中基于离散小波变换（Discrete Wavelet Transform，DWT）的融合算法执行效果好，尽管NSCT、FDCT和其他新颖变换在部分性能上优于DWT，但变换并不是红外和可见光图像融合的关键和核心问题[10]。本文仅使用DWT来研究融合相关的目标检测和感知，DWT的計算复杂度较低[11]。文献[12?13]提出的可见光和红外图像融合算法，研究了目标融合检测在不同帧使用相关信息可以满足低实时融合的要求。

动态图像融合有其自身的特征，要求融合算法在时间和空间上一致且具有较强的鲁棒性。为了利用不同区域特征并且得到更有效的目标和背景信息，提出基于帧差检测技术与区域特征的红外与可见光图像融合算法。基于动态目标检测和目标区域分割，然后使用帧之间的信息实现稳定性和时间的共识，根据目标区域的特征设计不同的融合规则实现可见光和红外图像的融合。最后，测试所提算法的融合质量并分析其复杂度。

3.2  可见光和红外图像中目标运动且可观察

接下来，在可见光和红外图像中目标运动且可观察的条件下执行两幅图像的融合实验。源图像中存在多个运动车辆目标，给多源图像融合增加了难度。通过目标检测，将源图像划分成4个不同区域，即区域[R1，R2，R3，R4]和背景，如图5c）和圖5d）所示。依据不同的区域采用不同的融合规则，与基小波算法做对比研究。图5e）和图5f）中的结果表明，本文提出的算法比基小波算法背景更丰富，目标更凸显。

3.3  各融合算法的复杂度分析

为了更好地体现本文算法的优越性，将本文算法的复杂度与各个较为先进的算法进行比较，包括加权平均、主成分分析、拉普拉斯金字塔、梯度金字塔、对比度金字塔、离散小波变换，全局和局部特征的主成分分析（GLFP）[2]，增强Gabor特征的线性判别分析（EGFL） [4]，虚拟样本扩展的2DPCA（VSE?2DPCA）[9]，分块Fisher线性判别分析（BFLD）[2]，以及通用Fisher线性判别分析（GFLD）[11]算法进行对比，分别比较了训练时间复杂度、测试时间复杂度及空间复杂度，具体比较结果如表2所示，其中，[m]和[n]分别表示图像矩阵的行数和列数，[L，M]和[N]分别表示熵、互信息和边缘保持。

从表2可以看出，与加权平均算法相比，本文算法在分割阶段的时间复杂度稍微高了一点，其他均相同;与主成分分析算法相比，本文算法的各个复杂度均相当;与拉普拉斯金字塔、梯度金字塔算法相比，本文算法的分割阶段时间复杂度稍微高了点，但是融合阶段的时间复杂度比它们低了一半;与对比度金字塔、离散小波变换算法相比，本文算法的分割阶段、融合阶段时间复杂度及总体空间复杂度均低了很多。在提高识别率的同时，本文算法仍然能够保持与其他相关算法相当甚至更低的复杂度。

4  结  语

本文提出基于帧差检测技术与区域特征的红外与可见光图像融合算法，有助于UAV实现环境感知。不同于基于区域分割的传统融合算法，本文为目标检测提出一个帧差算法，用于分割源图像，而且本文基于目标区域设计了不同的融合规则来融合可见光和红外图像，能获得更多目标信息并且在源图像中保留更多背景信息。实验结果验证了所提算法的合理性与优异性。

参考文献

[1] LIU Zhanwen， FENG Yan， ZHANG Yifan. A fusion algorithm for infrared and visible images based on RDU?PCNN and ICA?bases in NSST domain [J]. Infrared physics and technology， 2016， 79（8）： 183?190.

[2] YIN Ming， DUAN Puhong， LIU Wei. A novel infrared and visible image fusion algorithm based on shift?invariant dual?tree complex shearlet transform and sparse representation [J]. Neurocomputing， 2016， 32（6）： 11?17.

[3] LIU C H， QI Y， DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J]. Infrared physics and technology， 2017， 83（4）： 94?102.

[4] 王珺，彭进业，何贵青，等.基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法[J].兵工学报，2014，34（7）：815?820.

WANG Jun， PENG Jinye， HE Guiqing， et al. Fusion method for visible and infrared image based on non?subsampled Contourlet transform and sparse representation [J]. Acta armamentarii， 2014， 34（7）： 815?820.

[5] 钱小燕，韩磊，王帮峰.红外与可见光图像快速融合算法[J].计算机辅助设计与图形学学报，2012，23（7）：1211?1216.

QIAN Xiaoyan， HAN Lei， WANG Bangfeng. A fast fusion algorithm of visible and infrared images [J]. Journal of computer?aided design and computer graphics， 2012， 23（7）： 1211?1216.

[6] 付炜，裴欢，廖晓玉，等.多源遥感图像融合的数据同化算法[J].自动化学报，2013，37（3）：309?315.

FU Wei， PEI Huan， LIAO Xiaoyu， et al. Data assimilation algorithm of multi?fountain remote sensing image fusion [J]. Acta automatica Sinica， 2013， 37（3）： 309?315.

[7] SUN Zhenfeng， LIU Jun， CHANG Qimin. Fusion of infrared and visible images based on focus measure operators in the curvelet domain [J]. Applied optics， 2012， 51（12）： 1910?1921.

[8] 李光鑫，吴伟平，胡君.红外和彩色可见光图像亮度?对比度传递融合算法[J].中国光学，2011，4（2）：161?166.

LI Guangxin， WU Weiping， HU Jun. Luminance?contrast transfer base fusion algorithm for infrared and color visible images [J]. Chinese journal of optics， 2011， 4（2）： 161?166.

[9] 邢雅琼，王晓丹，刘健，等.基于NSST域的红外和彩色可见光图像融合[J].系统工程理论与实践，2016，35（6）：536?544.

XING Yaqiong， WANG Xiaodan， LIU Jian， et al. Fusion technique for infrared and color visible image in non?subsample shearlet transform domain [J]. Systems engineering： theory and practice， 2016， 35（6）： 536?544.

[10] 杨风暴，董安冉，张雷.DWT、NSCT和改进PCA协同组合红外偏振图像融合[J].红外技术，2017，39（3）：201?208.

YANG Fengbao， DONG Anran， ZHANG Lei. Infrared polarization image fusion using the synergistic combination of DWT， NSCT and Improved PCA [J]. Infrared technology， 2017， 39（3）： 201?208.

[11] 刘卫，殷明，栾静，等.基于平移不变剪切波变换域图像融合算法[J].光子学报，2013，42（4）：496?503.

LIU Wei， YIN Ming， LUAN Jing， et al. Image fusion algorithm based on shift?invariant shearlet transform [J]. Acta photonica Sinica， 2013， 42（4）： 496?503.

[12] 赵春晖，刘春红，王克成.基于第二代小波的超谱遥感图像融合算法研究[J].光学学报，2015，25（7）：891?896.

ZHAO Chunhui， LIU Chunhong， WANG Kecheng. Research on fusion of hyperspectral remote sensing image based on second generation wavelet [J]. Acta optica Sinica， 2015， 25（7）： 891?896.

[13] ZHOU Zehua， TAN Min. Infrared image and visible image fusion based on wavelet transform [J]. Advanced materials research， 2014， 35（6）： 1011?1017.

[14] JING Z L， PAN H， LI Y K， et al. Evaluation of focus measures in multi?focus image fusion [J]. Pattern recognition letters， 2007， 28（4）： 493?500.