基于自适应增强与显著性检测的可见光与红外图像融合算法

陈思静，付志涛，李梓谦，聂 韩，宋加文

基于自适应增强与显著性检测的可见光与红外图像融合算法

陈思静，付志涛，李梓谦，聂 韩，宋加文

（昆明理工大学 国土资源工程学院，云南 昆明 650093）

为解决可见光图像可视性差与如何精确控制可见光与红外图像输入量的问题，本文提出一种结合图像自适应增强与独立性、聚焦度、对象性等显著性检测的可见光与红外图像融合算法。首先在可见光图像中引入自适应增强算法提高图像纹理细节的可见性，并对红外图像归一化处理，其次将处理后的图像利用引导滤波分解为细节层与基础层，利用显著性检测生成细节层的权重图，提高细节层中可见光图像背景信息与红外图像边缘信息的精确融合量，最终将依据权重值融合后的细节层与基础层组合得到最终的融合图像。为验证本文算法的优越性，选取图像熵、平均梯度、边缘强度、空间频率、视觉保真度、平均灰度等6种融合评价指标对融合图像定量分析，并利用YOLO v5（You Only Look Once）网络对各融合算法进行目标检测，结果表明本文算法在融合定性评价、定量评价与目标检测评价指标平均精度中达到最优。

图像融合；目标检测；引导滤波；多尺度分解；显著性检测

0 引言

图像融合是将两幅包含不同有效信息的图像融合成为一张图像，以提高成像质量并减少冗余信息[1]。其中可见光与红外图像融合是融合技术中的重要一项。可见光图像可以提供场景中背景细节信息。但图像质量易受一些特殊场景如夜间、树木阴影、低照度和过度曝光等情况影响。红外传感器能够捕捉人眼无法直接看到的场景中的热信息，能够抵抗这些不利场景的干扰[2]。但通常分辨率较低，纹理较差。可见光图像与红外图像的有效融合，可以提高图像质量，增强图像解译能力[3]。

在可见光与红外图像融合领域，主要的图像融合方法通常可以分为几类，即多尺度变换、稀疏表示、基于子空间、混合模型以及深度学习方法，大部分融合方法集中在多尺度变换[3]。但基于多尺度变换方法得到的融合图像容易出现伪影和信息冗余[3]。因此，学者们提出利用滤波器对传统多尺度分解进行优化，其中比较常用的滤波器有高斯滤波器和双边滤波器等[4]。但通过以上滤波器优化的方法会使图像边缘模糊，不利于图像中的物体识别[4]。Li等[5]首次提出基于引导滤波（Guided Filtering, GF）多尺度分解的融合方法来解决边缘模糊问题，既可以平滑图像噪声，又可以保持图像内物体边缘。该方法在融合过程中未对分解的基础层与细节层进行处理，导致融合结果易出现光晕现象。为此，谢伟等[6]提出一种融合梯度信息的改进引导滤波算法来自适应强化图像内目标边缘结构，该方法虽然在解决光晕现象中具有一定效果，但算法的时间复杂度较高。Fan Z.等[7]提出一种快速的基于引导滤波的同源金字塔多尺度分解策略实现可见光和红外图像融合，但融合后图像在边缘上的清晰度不够。Bavirisetti D. P.等[8]提出了一种基于图像引导滤波器的通用、简单、快速的融合算法。该方法通过多尺度分解、结构传递特性、视觉显著性检测和权值图构建，将源图像信息输入到融合图像中。但该方法并未解决由不利场景、对比度不明显以及红外可见光输入量造成的融合图像质量问题。叶坤涛等[9]将显著性检测与非下采样剪切波变换结合生成可见光与红外的融合图像，利用显著性图控制低频部分的融合分量，生成了对比度较高的融合图像，但由于显著性图没有对源图像低频部分的输入量进行精确控制，致使该方法最终结果可见光信息占比较大，使部分红外目标不清晰。

通过以上分析，基于引导滤波的多尺度分解方法在可见光与红外图像融合领域有了较快发展，但仍受可见光图像自然场景可视性差的影响，并且需解决如何更精确控制融合中可见光与红外图像输入量的问题。针对上述问题，本文提出一种基于引导滤波的高动态范围（High Dynamic Range，HDR）自适应增强算法和基于引导滤波多尺度分解的独立性、聚焦度与对象性（Uniqueness、Focusness and Objectness，UFO）显著性检测方法进行图像融合，该显著性检测方法综合独立性（）、聚焦度（）、和对象性（）等显著性因素在一定程度上提高了各类不利场景中目标检测性能[10]。为验证本文方法的有效性，本文将在融合定性评价、定量评价以及目标检测性能评价与目前主流的融合方法进行对比。

1 本文融合算法

本文提出一种面向目标检测的可见光与红外图像融合算法如图1所示，融合步骤如下：

1）利用基于引导滤波的HDR图像增强技术对可见光图像中的黑暗阴影与低曝光等区域进行自适应增强，红外图像则进行归一化处理。

2）基于引导滤波对处理后的可见光与红外图像进行多尺度分解，得到第一层的基础层1,21与细节层1,21，并由第一层的基础层生成第二层的1,22与细节层1,22，依此分解最终得到四层的基础层与细节层。并将可见光与红外图像第四层的基础层取平均得到平均基础层。

3）通过UFO显著性算法计算每层细节层的显著性图，并根据显著性图求取每层细节层的权重图1、2、3、4。

图1 本文方法流程图

4）将可见光图像与红外图像的每一层细节层通过权重图分别融合得到F1、F2、F3、F4，然后将四层相加，得到细节层融合图像，并与平均基础层进行组合生成最终融合图像。

1.1 图像自适应增强

在公式中lg表示对数的运算符，并令＝1以防lg的值为负。为了尽可能保留基础层的细节信息，利用比例因子在基础层上进行对比度压缩，并且基于参数恢复整体度：

根据公式可知，当＜1，基础层的对比度会降低。为保证值的范围，本文设置一个最低目标对比度，得到的计算公式：

由于比例因子对基础层进行动态压缩，造成了图像整体对比度降低，因此可令＞0恢复图像整体对比度，且保持最终结果不大于基础层的最大值，可以计算为：

最终，通过以下公式得到增强图像：

1.2 多尺度分解

利用引导滤波在多尺度图像分解和结构传递方面的优势，得到基于引导滤波分解的基础层与细节层[12]。多尺度分解流程如图2所示。

具体公式如下：

上述公式表示若处理可见光图像I1，则将红外图像I2作为引导图像，其中，rk,ek分别为第k层的邻域大小和调节参数。B1k、B2k是源图像第k级的基础层，细节层D1k、D2k为前一级基础层和当前基础层之间的差异。

1.3 显著性检测

式中：B表示边界像素m的整体聚焦度；为单一边界像素的聚集度；E表示内部像素n聚焦度；为单一内部像素的聚集度。由于图像边缘处变化强度大，使用图像边缘锐度作为权重值，利用DOG算子计算边缘像素的梯度值平均值，可得区域聚焦r(R)，将区域聚焦度分散向各个像素，获得整张图的聚焦度。

然后通过估计区域中可识别对象的概率，计算像素级的对象识别度：

继而将每个像素的对象状态分配给各自所在的区域R，得到区域R的对象状态：

式中：表示包括像素的任意区域，根据区域对象状态值得到整张图的对象状态。

利用区域之间的灰度距离度量(R,R)计算图像中的区域独立性r(R)：

然后将区域独立性分散向各个像素，获得整张图的独立性。

综合考虑聚焦度、独立性和对象状态定义显著性测量值：

＝exp(＋)×(12)

1.4 权重图的构建及融合

为减少计算的复杂度，并逐像素地整合互补信息，利用生成的细节层显著性图计算细节层权重图：

式中将每幅图像的细节层分为层，代表每层之间的数值范围，利用上式计算每个数值范围的权重，这种基于显著性信息的互补权重图构建过程可以自动集成每个层级的细节层信息，在此基础上对细节层进行融合：

对基础层融合：

融合后的图像由最终的基础层与细节层相结合得到：

＝F＋F(17)

2 实验数据与对比试验

2.1 实验设置与参数分析

2.1.1 实验设置

将本文方法与深度学习框架（Deep Learning Framework，DLF）算法[13]、具有多分类约束的生成对抗网络（Generative Adversarial Network with Multiclassification Constraints，GANMCC）算法[14]、多层高斯曲率滤波（Multi-level Gaussian Curvature Filterin，MLGCF）算法[15]、混合多尺度分解（Hybrid Multi-Scale Decomposition，Hybrid MSD）算法[16]、非下采样剪切波变换-脉冲耦合神经网络（Non-subsampled Shearlet Transform-Pulse-Coupled Neural Network, NSST-PCNN）算法[17]、结合视觉显著性图与加权最小二乘（Visual Saliency Map and Weighted Least Square，VSMWLS）算法[18]和梯度转移融合（Gradient Transfer Fusion，GTF）算法[19]等7种融合算法分别通过定性与定量评价进行对比。选取TNO与OSU数据集中的21组可见光与红外图像作为本文实验数据[1]，图3为数据集中部分图像对，第一行为可见光图像，第二行为红外图像。

2.1.2 参数分析

在本文方法中，图像增强中引导滤波器大小由公式＝0.04max(,)决定，其中和分别表示输入图像的宽度和高度，根据以往经验值，将滤波器中的边缘保持参数设置为0.01。基于以上参数，对最低目标对比度进行对比分析，将值分别设置为2，4，6得到增强结果，由图4可知，＝2时，增强过度，存在泛白现象，而＝6时目标增强不够明显，存在细节缺失，因此最低对比度设置为4。

针对后续GF分解层数的选取，选取可见光与红外图像融合数据集TNO中的7张图像进行分析，如图5所示。此次实验中设置分解层数为1～5层，根据经验设置滤波器尺寸为9，平滑参数为103，随着的增加在＝4的时候，数据值达到平稳状态，考虑时间成本问题，分解层数选择4层。

2.2 融合算法对比分析

2.2.1 融合图像定性分析

将本文算法与其余7种算法对图3数据集示例融合结果定性分析，融合结果如图6所示。

图3 本文实验部分数据集

图4 不同T值对比分析

(a) 随分解层数K增大EN值的变化(a) The change of EN value as the number of decomposition layers K increases(b) 随分解层数K增大AG值的变化(b) The change of AG value as the number of decomposition layers K increases (c) 随分解层数K增大EI值的变化(c) The change of EI value as the number of decomposition layers K increases(d) 随分解层数K增大SF值的变化(d) The change of SF value as the number of decomposition layers K increases (e) 随分解层数K增大VIFF值的变化(e) The change of VIFF value as the number of decompositionlayers K increases(f) 随分解层数K增大MEAN值的变化(f) The change of MEAN value as the number of decomposition layers K increases

图6 本文算法与其它算法的融合结果比较

综合8种融合算法定性评价结果，本文算法融合结果在图6中均有良好展现。在(a)组图像中，各算法均能清晰看到街道口人影与车辆，但在(a)组图像的商店橱窗中，本文算法较其他算法能看到橱窗边框与物体信息。(b)组图像中除本文算法外，门口树枝均存在轮廓模糊，尤其是GANMCC算法和GTF算法边缘没有很好的凸显出来。(c)组图像中仅本文算法看到地面信息，且其余7种算法除MLGCF与NSST-PCNN外图像中树木信息不能清晰识别，而MLGCF与NSST-PCNN算法中地板信息也不如本文算法明显。本文算法在(d)组图像中树木树枝信息可以清晰展现，但其余融合图像中明显丢失大量信息，造成细节模糊。(e)组图像树木枝丫不明显，造成大量纹理细节丢失，本文算法在保持人影清晰的基础上，得到较其它融合算法更为清晰的树木。在(f)组图像中，本文算法较其它算法更能看清打电话的人及其周边的绿植，得到较高的图像对比度。综上所述，本文所提方法在物体轮廓与纹理信息之间达到了较好的平衡，获得了清晰度更高的融合图像。

2.2.2 融合图像定量分析

在融合图像定量分析中，本文综合图像信息与边缘考量，选用图像熵（Entropy, EN）、平均梯度（Average Gradient, AG）、边缘强度（Edge Intensity, EI）、空间频率（Spatial Frequency, SF）、视觉保真度（the Visual Information Fidelity for Fusion,VIFF）、平均灰度（Mean grayscale，MEAN）6种定量评价指标对数据集中融合结果进行质量分析，这6种指标分别表示融合图像中信息量以及结构轮廓的变化。表1给出了本文方法与上述7种融合方法在6种指标下对融合图像的定量评价结果，加粗值为最优值。

由表1可见，本文方法在6种指标下均取得最优值。尤其是AG、EI和SF这3项指标值相对于次优算法有明显提升，表明在融合可见光与红外图像更多信息量的同时得到更为清晰的物体边缘。其余算法如DLF、GANMCC、GTF由于图像清晰度不够导致在6种融合指标上都表现欠缺，而其余4种算法存在的部分细节缺失和伪影现象使指标值低于本文方法。综合图6与表1可知，在主观评价与客观评价下均取得最优结果，表明本文算法既保持了图像纹理细节，又在边缘保持度上获得了显著提升。

2.3 目标检测结果分析

利用目标检测算法中的YOLO v5网络对本文方法的优越性进一步评估。即比较融合算法在目标检测下的平均精度mAP值。由表1可知，本文方法的mAP值在这8种算法中最高，目标检测表现最好。但相比之下，8种融合算法的mAP值并未有显著提升。究其原因，在复杂的数据采集环境中，一些不完全或无法采集到的目标严重影响着融合图像的质量，导致融合图像中仅有红外图像中白色区域代表物体整体轮廓，而且融合过程中部分信息丢失也会影响目标检测的精度。因此在复杂的环境下如何优化可见光与红外融合算法在目标检测的性能仍需不断探索。

表1 本文算法与其它算法的定量融合结果比较

Note："↑" indicates that the larger the value, the better the image quality

3 结论

本文提出了一种基于自适应图像增强与权重图构建的可见光与红外图像融合算法，该方法利用基于引导滤波的HDR图像增强算法处理可见光图像，并对红外图像归一化处理，随后对处理后的图像利用GF多尺度分解得到细节层与基础层，并加入UFO显著性检测算法计算细节层权重图，调节融合输入信息量。实验表明，本文所提出的方法在定性评价与定量评价方面均优于DLF、GANMCC、MLGCF、Hybrid MSD、NSST-PCNN、VSMWLS与GTF算法，相比其他算法，本文算法在保留图像纹理信息的同时，边缘信息也更加完整和清晰，在目标检测中结果更好。未来我们将致力于设计更有效的融合方法以提高算法的性能，并在此基础上针对目标检测领域对融合算法进行深入研究。

[1] ZHANG X C, YE P, XIAO G. VIFB: a visible and infrared image fusion benchmark[C]//2020(CVPRW), 2020: 14-19.

[2] 王君尧, 王志社, 武圆圆, 等. 红外与可见光图像多特征自适应融合方法[J].红外技术, 2022, 44(6): 571-579.

WANG Junyao, WANG Zhishe, WU Yuanyuan, et al. Multi-feature adaptive fusion method for infrared and visible images[J]., 2022, 44(6): 571-579.

[3] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45: 153-178.

[4] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]., 2016, 55(23): 6480.

[5] LI S, KANG X, HU J. Image fusion with guided filtering[J]., 2013, 22(7): 2864-2875.

[6] 谢伟, 周玉钦, 游敏. 融合梯度信息的改进引导滤波[J].中国图象图形学报, 2016, 21(9): 1119-1126. XIE W, ZHOU Y Q, YOU M. Improved guided image filtering integrated with gradient information[J]., 2016, 21(9): 1119-1126.

[7] FAN Z, YAN L, XIA Y, et al. Fusion of multi-resolution visible image and infrared images based on guided filter [C]//2018: 4449-4454.

[8] Bavirisetti D P, XIAO G, ZHAO J, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]., 2019, 38(12): 5576-5605.

[9] 叶坤涛, 李文, 舒蕾蕾, 等. 结合改进显著性检测与NSST的红外与可见光图像融合方法[J]. 红外技术, 2021, 43(12): 1212-1221.

YE Kuntao, LI Wen, SHU Leilei, LI Sheng. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]., 2021, 43(12): 1212-1221.

[10] PENG J, LING H, YU J, et al. Salient region detection by UFO: uniqueness, focusness and objectness[C]//, 2013: 1976-1983.

[11] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[J]., 2002, 21(3): 257-266.

[12] Bavirisetti D P, Kollu V, GANG X, et al. Fusion of MRI and CT images using guided image filter and image statistics[J]., 2017, 27(3): 227-237.

[13] HUI L, WU X , Kittler J. Infrared and visible image fusion using a deep learning framework[C]//,, 2018: 2705-2710.

[14] MA J, ZHANG H, SHAO Z, et al. GANMcC: a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]., 2021, 70: 1-14.

[15] TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J]., 2019, 58(12): 3064.

[16] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[17] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J/OL]., 2020: 1-21. https://doi.org/10.1007/s00521-020-05173-2.

[18] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[19] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

A Visible and Infrared Image Fusion Algorithm Based on Adaptive Enhancement and Saliency Detection

CHEN Sijing，FU Zhitao，LI Ziqian，NIE Han，SONG Jiawen

(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kumming 650093, China)

This paper proposes a visible and infrared image fusion algorithm to solve the problem of the poor visibility of visible images and control the input volume of visible and infrared images. The proposed method combines image adaptive enhancement with uniqueness (U), focus (F), and object (O) saliency detection. First, an adaptive enhancement algorithm was applied to the visible image to improve the visibility of the textural details and normalize the infrared image. Second, the processed image was decomposed into a detail layer and base layer using guided filtering. A weight map of the detail layer was generated using saliency detection to improve the accuracy of the fusion of the background information of the visible image and the edge information of the infrared image in the detail layer. Finally, the fused image was obtained by combining the detail and base layers. To verify the performance of the proposed algorithm, five fusion evaluation indices: image entropy, average gradient, edge intensity, spatial frequency, and visual fidelity, were selected to quantitatively analyze the fused images. The YOLO v5 network was used to perform target detection for each fusion algorithm. The results show that the proposed algorithm achieved the optimal average accuracy in terms of the qualitative, quantitative, and target detection evaluation indexes of fusion.

image fusion, target detection, guide the filtering, multiscale decomposition, significance detection

TP391

A

1001-8891(2023)09-0907-08

2022-06-22；

2022-08-10.

陈思静（1998-），女，山东济宁人，硕士研究生，主要研究方向为遥感图像融合及评价。E-mail：csj9804@163.com。

付志涛（1982-），男，河南开封人，博士，副教授，主要研究方向为异源图像匹配、融合及应用等。E-mail：zhitaofu@126.com。

国家自然科学基金（41961053）；昆明理工大学省级人培项目（KKSY201921019）。