结合改进显著性检测与NSST的红外与可见光图像融合方法

叶坤涛，李 文，舒蕾蕾，李 晟

〈图像处理与仿真〉

结合改进显著性检测与NSST的红外与可见光图像融合方法

叶坤涛，李 文，舒蕾蕾，李 晟

（江西理工大学 理学院，江西 赣州 341000）

针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题，本文提出了一种结合改进显著性检测与非下采样剪切波变换（non-subsampled shearlet transform, NSST）的融合方法。首先，使用改进最大对称环绕（maximum symmetric surround, MSS）算法提取出红外图像的显著性图，并进一步通过改进伽马校正进行增强，同时应用同态滤波增强可见光图像。然后，对红外图像与增强的可见光图像进行NSST分解，利用显著性图指导低频部分进行融合；同时设定区域能量取大规则指导高频部分融合。最后，通过NSST逆变换重构融合图像。实验结果表明，本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他7种融合方法，可以有效突出红外目标，提高融合图像的对比度和清晰度，并保留可见光图像的丰富背景信息。

图像融合；显著性检测；非下采样剪切波变换；最大对称环绕；同态滤波

0 引言

图像融合技术可以表述为将同一场景下捕捉的两幅或多幅传感器图像合成一幅组合了互补信息源、对场景信息描述更准确的图像，红外与可见光图像融合则是多源传感器信息融合领域中一个较为重要的分支[1]。它将红外图像的目标区域与可见光图像的细节信息相结合，形成一幅描述场景信息更全面的融合图像，能够克服红外传感器与可见光传感器各自成像时的缺陷，如红外图像的细节信息缺失、对比度和分辨率低，可见光图像易受反射光等外界环境的干扰，目标信息难提取等。当前，红外与可见光图像融合技术已广泛应用于红外夜视、资源勘探和生物医学等领域[2]。

NSST（non-subsampled shearlet transform）为一种近期较流行的多尺度变换方法，它具备较优的多分辨率性、各向异性及平移不变性等，能够克服图像边缘处的伪吉布斯现象[3]。基于NSST的图像融合方法表现良好，融合效果优于先前提出的小波变换、轮廓波变换以及非下采样轮廓波变换（non-subsampled contourlet transform, NSCT）等多尺度变换方法[4]。

近年来，随着视觉显著性检测的兴起，诸多显著性检测模型已被国内外学者先后提出[5]，同时视觉显著性检测也被成功应用在图像融合领域，并取得了较好的融合效果[2,6-8]。文献[6]利用引导滤波改进频率调谐（frequency-tuned, FT）显著性检测算法[9]，获取的融合图像突出了红外目标、保留了较多的可见光背景信息，但对比度提升不够明显且目标处可能存在伪影现象。文献[7]中，首先利用L0范数改进FT算法，其次对红外显著性图进行S型曲线拉伸变换，同时使用对比度受限的自适应直方图均衡化算法增强可见光图像，获取的融合图像中可见光细节信息丰富、红外目标区域突出，但该方法易使红外目标偏暗，还丢失了部分可见光背景信息。文献[8]提出暗抑制思想改进最大对称环绕（maximum symmetric surround, MSS）显著性检测算法[10]，并利用显著性图构成不同的规则来融合基础层和细节层，获取的融合图像的效果较优，红外目标突出，没有区域污染的现象，但其对比度与清晰度仍有待提高。文献[2]提出二维经验模态分解改进FT算法，并用灰度因子增强红外图像，该方法的红外目标亮度适用、融合图像清晰度较高，但融合图像对比度偏暗，还丢失了部分可见光背景细节。

针对上述问题，本文采用改进MSS算法提取出红外图像的显著性图并通过改进伽马校正进一步增强，同时用同态滤波增强可见光图像，结合NSST的各向异性、平移不变性等，提出了一种结合改进显著性检测与NSST的红外与可见光图像融合方法。实验结果表明，相比于其他7种图像融合方法，本文方法在主观视觉分析和客观指标评估上均取得最优。

1 基于改进MSS和改进伽马校正的红外图像显著性检测算法

1.1 MSS显著性检测算法

MSS算法属于FT算法的改进版本，通过像素点与图像边缘之间的距离来改变图像边界附近中心环绕的滤波带宽[8]。MSS算法不仅继承了FT算法的优势，还具有准确性高、速度快等特点，但易使图像背景处显著性降低。

MSS算法采用高斯差分滤波方法，该过程中高斯核尺寸为5×5，高频截止频率为p/2.75。对于一幅输入图像，其显著性图获取的公式表示为：

式中：表示输入图像中的某个区域，S表示区域的面积。的范围由式(3)表示；S的大小由式(4)表示：

式中：0与0取值范围可分别表示为0＝min(,－)，0＝min(,－)，其中与为输入图像的宽与高。

1.2 加权最小二乘滤波

加权最小二乘（weighted least squares, WLS）滤波为一种经典的边缘保持性算法，属于非线性滤波[11]。通过WLS滤波，平滑的结果图像与输入图像近似，并与边缘部分信息保持着一致，结果图像表示为：

式中：下标p表示像素位置，为正则化参数；a,p、a,p为平滑权重系数。(p－p)2的作用是使平滑图像与输入图像更相似。

1.3 伽马校正

伽马校正又称幂次变换，是一种灰度非线性增强方法，通过改变图像对比度达到细节增强，从而改善输出图像的整体视觉效果[12]。通常的伽马校正表示为：

式中：out(,)表示原始图像伽马校正后对应像素；in(,)表示原始图像的各处像素，像素范围为[0,1]；为常数；为伽马系数。

若＜1，高灰度值区域的动态范围变小，低灰度值区域的动态范围变大；＞1，与之相反。通过设定多个值，可以有效地调整图像的对比度和清晰度。

1.4 红外图像的显著性检测

为了较好地解决经典MSS算法在进行高斯模糊滤波时易引起图像边缘模糊、细节信息丢失等问题，同时提高显著性图的质量，本文提出利用具有较强的边缘保持、和细节增强能力的加权最小二乘法滤波器代替经典MSS算法中的高斯模糊滤波器，形成改进MSS算法来获取红外图像的显著性图，即：

式中：wls(,)表示输入图像经过加权最小二乘滤波后在像素(,)处的灰度值；wls(,)表示相应的显著性图。

获取显著性图wls后，本文提出使用改进伽马校正法来突出显著性图里的红外目标，并弱化背景信息，从而提高显著性图的整体质量。

首先，对wls进行归一化处理，得到归一化显著性图，表示为：

其次，对nom进行改进伽马校正。以红外图像的整体像素均值m作为标准，若显著性图wls内某点像素值wls(,)大于m的平方，可称该点为高灰度区域点，否则称为低灰度区域点。为了提高显著性图nom的整体对比度，更好地突出红外目标，弱化背景细节。可以对显著性图nom内的低灰度区域进行压缩，同时对其高灰度区域进行扩展，增强低高灰度区域之间的差异性，从而获取对比度增强的显著性图，表示为：

式中：gam(,)为进行改进伽马校正后的显著性图；0为较小常数，避免式(11)出现0值的情况，本文取0＝0.00001，1、2为自适应的伽马因子，为了有效地提高红外图像显著性图的对比度，需保证1＞1、2＜1。经过多次实验运算，当1、2可自适应地取为式(12)和式(13)时，本文方法的融合性能较优，即：

1＝1.4＋0.5×nom(12)

2＝0.6－0.5×nom(13)

最后，将3种经典的显著性检测算法，即LC（luminance contrast）算法[13]、FT算法、MSS算法提取的红外显著性图以及本文方法中显著性图wls、gam进行对比实验，并对显著性检测的结果进行主观评价，本文以红外图像“Camp”为例，5种显著性图的结果对比如图1所示。

图1 红外图像的显著性图

从人眼的主观视觉效果上观察图1，发现本文方法提取出的显著性图wls和gam的人物目标更清晰且突出，同时显著性图gam的背景信息最少，人物目标的宽度更接近于原始的红外图像，其边缘轮廓最清晰、亮度效果最佳。表明了显著性图gam在wls的基础上，进一步地抑制了红外图像的山坡、灌木等背景信息。通过前面的主观视觉分析可知，本文方法提取出的红外显著性图优于LC算法、FT算法和MSS算法所提取的红外显著性图。

2 结合改进显著性检测与NSST指导的图像融合

2.1 同态滤波

由于可见光图像常存在着因光照不足或清晨、夜间拍摄等原因造成图像整体偏暗，背景细节的清晰度不够高。本文决定对NSST分解前的原可见光图像进行预处理，适当地提高图像的整体亮度，同时增强背景细节的清晰度。图像预处理的常见方法有直方图均衡化法、中值滤波以及同态滤波等。

直方图均衡化法简单有效，对图像进行均匀变换，但对于图像中过亮或过暗区域无法实现有效的增强。中值滤波能够有效地抑制图像中的噪声，强调出图像细节部分，但易造成图像模糊。同态滤波是一种基于傅里叶变换的频域增强算法，它将图像空域特征与频域特征相结合，通过动态压缩图像的灰度值范围来调整图像的照射和反射强度，能在不丢失图像亮区细节的同时增强图像暗区细节，提升图像的整体对比度，从而提高非均匀光照条件下的图像质量[14]。本文综合考虑多种可见光图像的预处理方法后，决定采用优势较为明显的同态滤波，并对增强后的可见光图像进行归一化处理。

图2为分别应用直方图均衡化法、中值滤波法以及同态滤波法对可见光图像“Camp”进行增强的结果对比。

图2 可见光图像的增强结果

观察图2，发现图2(b)中的图像整体过亮，对比度过高，背景细节偏模糊，增强过度；图2(c)中的图像整体对比度较低，背景细节不清晰，边缘轮廓较模糊，增强效果一般；图2(d)中的图像整体视觉效果最佳，其对比度适中，边缘轮廓和背景细节清晰度最高，符合人眼的视觉特性，这表明经过同态滤波后的可见光图像有更优的增强效果。

2.2 非下采样剪切波变换

NSST分解后的子带图像与源图像尺寸相同，且具有高稀疏性、准确表征融合信息的性能。源图像经过3级NSST分解过程如图3所示。

图3 源图像的3级NSST分解过程

2.3 融合流程及融合规则

2.3.1 融合流程

本文提出的结合改进显著性检测与NSST的红外与可见光图像融合方法的流程框图如图4所示，具体融合步骤分为以下5步：

步骤1），输入已配准的红外图像IR和可见光图像VIS；

步骤2），利用改进MSS算法提取出红外图像IR的显著性图，再使用改进伽马校正进行增强，同时利用同态滤波法对可见光图像VIS进行增强；

步骤3），将红外图像IR和增强后的可见光图像VIS进行NSST分解，获取相应的低频子带IR(,)、VIS(,)和高频子带D,lIR(,)、D,lVIS(,)，其中为分解尺度，为尺度上的方向数；

步骤4），利用增强的红外显著性图指导低频子带融合，采用区域能量取大规则指导高频子带融合，获取融合后的低频子带F(,)和高频子带D,lF(,)；

步骤5），对F(,)、D,lF(,)进行NSST逆变换，获取融合图像F并输出。

2.3.2 融合规则

低频子带为源图像的近似成分，为了充分突出红外目标特征，并保留可见光图像的细节信息，本文利用基于改进MSS算法提取出的红外图像显著性图指导低频部分系数进行融合，融合规则为：

高频子带代表源图像的细节成分，常见的绝对值取大规则易使融合图像混杂许多无效信息，因此本文使用区域能量取大的规则来融合高频部分系数，表示为：

式中：E,l(,)表示某像素处的高频部分区域能量大小，表示为：

式中：M和N为区域窗口测度，表示区域窗口大小为(2M＋1)×(2N＋1)，本文取为3×3；w为窗口掩膜矩阵，越靠近中心点表明其权值相对越大，本文取。

3 实验分析

为了检验本文方法的有效性，将本文方法与LP[16]、CVT[17]、NSCT[18]、NSST-PCNN[4]、NSST- PAPCNN[19]、NSST-FT（低频采用FT算法获取的显著性图指导融合、高频采用区域能量取大规则指导融合的NSST方法）和文献[6]方法进行图像融合实验对比，实验中采用6组经典的红外与可见光图像，其中前5组来源于TNO数据集[20]，第6组为常规的轮船图像。6组图像已经过严格地图像配准，分别记为“Camp”、“Kaptein”、“Tree”、“APC”、“Marne”和“Steamboat”图像。

实验相关环境设置为：Intel Core i7-9750H，CPU主频为2.60GHz，内存为16GB，选用Windows10操作系统和Matlab2019a软件仿真平台。本文方法的实验中相关参数设置：NSST分解中，选择“maxflat”为NSST分解滤波器，分解方向数为{8,8,16,16}；加权最小二乘滤波中，＝0.7，＝0.6；同态滤波中，锐化参数＝2.0，高频增益为H＝3.2，低频增益为L＝0.75，截止频率为0＝80。则6组经典红外与可见光图像在8种融合方法下的融合结果如图5～10所示。

图5 “Camp”图像的融合结果

图6 “Kaptein”图像的融合结果

图7 “Tree”图像的融合结果

图8 “APC”图像的融合结果

图9 “Marne”图像的融合结果

图10 “Steamboat”图像的融合结果

首先，本文对6组图像融合结果进行主观视觉评价。观察上图5～10，发现8种融合方法都基本实现了红外目标和可见光细节的提取，但LP、CVT及NSCT三种传统方法的融合图像对比度和清晰度较低、边缘轮廓模糊，同时红外目标过暗，存在着明显的伪影现象。NSST-PCNN和NSST-PAPCNN方法的融合图像整体过亮，存在着红外目标与边缘轮廓模糊现象，NSST-PCNN方法丢失了较多的可见光背景细节，仅在“APC”图像上获取较好地融合效果，而NSST-PAPCNN方法在“Tree”、“Marne”和“Steamboat”图像上存在着严重的区域污染，直接降低了融合图像的质量。NSST-FT、文献[6]及本文方法的融合图像整体较清晰，对比度适中，优于3种传统方法、NSST-PCNN及NSST-PAPCNN方法获取的融合图像，但NSST-FT和文献[6]方法在“Camp”图像上存在伪影现象，树木、尘土等背景信息偏暗，使得融合图的对比度和清晰度弱于本文方法，在“Marne”图像的天空上方区域存在全黑的污染现象，同时“Steamboat”图像上的红外目标较暗。

本文方法的6组融合图像对比度适中，清晰度高，具有丰富的背景细节信息，例如林木、尘土和烟雾信息，这些背景信息边缘轮廓清晰且亮度适中，更符合人眼视觉系统对灰度图像信息的认知特性，红外目标突出；“Camp”图像中的人物目标清晰且周围无伪影，灌木、围栏等背景细节信息十分丰富；“Kaptein”图像中的人物目标特征突出，树木信息丰富；“Tree”图像中的视野信息保真度最高，整幅图像有明显地“去雾”效果，有效突显了林木图像的原始特征；“APC”图像中的纹理细节丰富，边缘轮廓清晰；“Marne”图像中，无任何天空区域污染现象，树木细节清晰；“Steamboat”图像中的人物目标亮度最佳，轮船和水面细节清晰。综上分析，本文方法的融合结果在主观视觉评价上表现最佳。

其次，本文选用互信息（mutual information, MI）、平均梯度（average gradient, AG）、信息熵（information entropy, IE）、空间频率（spatial frequency, SF）以及标准差（standard deviation, SD）共5项指标对6组图像的融合结果进行客观评价[7]。5项客观指标均为正项指标，其值越大表明融合效果相对更好。表1～2为选用5项客观指标的评价结果。

由表1～2可知，相比于其他7种融合方法，本文方法在5项客观指标值上有明显提升，这与主观视觉评价的结果相一致。对于前4组图像，本文方法在5项指标上均为最佳值，并在“Kaptein”、“Tree”图像上，本文方法的5项指标值与其他7种方法之间差距尤为明显。在“Marne”图像上，本文方法的MI低于NSST-PAPCNN方法；在“Steamboat”图像上，本文方法的MI低于NSST-PCNN方法，而其余4项指标均仍为最佳值。通过利用上述5项指标融合结果的客观评价，表明了本文方法的所获取融合图像所含信息量更丰富，同时融合图像的反差更大、清晰度和对比度更高。

表1 前三组融合图像的客观评价结果

表2 后三组融合图像的客观评价结果

通过主观视觉评价以及客观指标评价，充分证实了本文提出的改进方法融合性能优异，胜于另外7种传统、流行及基于显著性检测的融合方法。

4 结语

本文在经典的MSS算法基础上进行改进，同时考虑到可见光图像因成像机制存在偏暗的问题，提出了一种结合改进显著性检测与NSST的红外与可见光图像融合方法。在经典的MSS算法中混入加权最小二乘法滤波，提取出红外图像的显著性图，并进一步通过改进伽马校正增强显著性图，可以有效突出显著性图中的红外目标，同时抑制红外背景信息；利用同态滤波对可见光图像进行预处理，提高可见光图像的整体亮度，增强其背景细节清晰度；然后依据NSST分解原理，使用增强后的显著性图指导低频部分融合，同时使用区域能量取大规则指导高频部分融合。实验结果表明本文方法能够有效地应用于红外与可见光图像融合领域，属于一种实用性高、可行性强的红外与可见光图像融合方法。

[1] CHEN J, LI X, LUO L, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508(1): 64-78.

[2] 崔晓荣, 沈涛, 黄建鲁, 等. 基于BEMD改进的视觉显著性红外和可见光图像融合[J]. 红外技术, 2020, 42(11): 1061-1071.

CUI Xiaorong, SHEN Tao, HUANG Jianlu, et al. Infrared and visble image fusion based on BEMD and improved visual saliency[J]., 2020, 42(11): 1061-1071.

[3] CHENG B, JIN L, LI G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]., 2018, 310(10): 135-147.

[4] 郑伟, 赵成晨, 郝冬梅. NSST和改进PCNN相结合的甲状腺图像融合[J]. 光电工程, 2016, 43(10): 42-48,55.

ZHENG Wei, ZHAO Chengchen, HAO Dongmei. Thyroid image fusion based on NSST and improved PCNN[J]., 2016, 43(10): 42-48, 55.

[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]., 2013, 35(1): 185-207.

[6] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-363.

[7] 林子慧, 魏宇星, 张建林, 等. 基于显著性图的红外与可见光图像融合[J]. 红外技术, 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible images based on saliency map[J]., 2019, 41(7): 640-645.

[8] 安影, 范训礼, 陈莉, 等. 结合FABEMD和改进的显著性检测的图像融合[J]. 系统工程与电子技术, 2020, 42(2): 292-300.

AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]., 2020, 42(2): 292-300.

[9] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[10] Achanta R, Susstrunk S. Saliency detection using maximum symmetric surround[C]//, 2010: 2653-2656.

[11] 冯维, 吴贵铭, 赵大兴, 等. 多图像融合Retinex用于弱光图像增强[J]. 光学精密工程, 2020, 28(3): 736-744.

FENG Wei, WU Guiming, ZHAO Daxing, et al. Multi images fusion Retinex for low light image enhancement[J]., 2020, 28(3): 736-744.

[12] 吴京辉, 唐林波, 赵保军. 局部特征与全局信息联合的自适应图像增强算法[J]. 北京理工大学学报, 2014, 34(9): 955-960.

WU Jinghui, TANG Linbo, ZHAO Baojun. Local-to-global adaptive image enhancement algorithm[J]., 2014, 34(9): 955-960.

[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, 2006: 815-824.

[14] DONG S, MA J, SU Z, et al. Robust circular marker localization under non-uniform illuminations based on homomorphic filtering[J]., 2021, 170(1): 108700.

[15] 焦姣, 吴玲达, 于少波, 等. 混合多尺度分析和改进PCNN相结合的图像融合方法[J]. 计算机辅助设计与图形学学报, 2019, 31(6): 988-996.

JIAO Jiao, WU Lingda, YU Shaobo, et al. Image fusion method using multi-scale analysis and improved PCNN[J]., 2019, 31(6): 988-996.

[16] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540.

[17] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[18] ZHANG Q, GUO B. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.

[19] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[20] Figshare. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https:// figshare. com/articles/TNO_Image_Fusion_Dataset/1008029.

Infrared and Visible Image Fusion Method Based on Improved Saliency Detection and Non-subsampled Shearlet Transform

YE Kuntao，LI Wen，SHU Leilei，LI Sheng

(,,341000,)

To address the problems in the current infrared and visible image fusion method wherein targets are not prominent and contrast is low based on saliency detection, this paper proposes a fusion method by combining improved saliency detection and non-subsampled shearlet transform (NSST). First, the improved maximum symmetric surround algorithm is used to extract the saliency map of an infrared image, the improved gamma correction method is utilized to enhance the map, and the visible image is enhanced through homomorphic filtering. Second, the infrared and enhanced visible images are decomposed into low-and high-frequency parts through NSST, and the saliency map is used to guide the fusion of the low-frequency parts. Simultaneously, the rule of maximum region energy selection is used to guide the fusion of the high-frequency parts. Finally, the fusion image is reconstructed using the inverse NSST. The experimental results show that the proposed method is far superior to other seven fusion methods in terms of average gradient, information entropy, spatial frequency, and standard deviation. Thus, proposed method can effectively highlight the infrared target, improve the contrast and definition of fused images, and preserve rich background information of visible images.

image fusion，saliency detection，non-subsampled shearlet transform，maximum symmetric surround，homomorphicfiltering

TP391.41

A

1001-8891(2021)12-1212-10

2021-04-02；

2021-04-13.

叶坤涛（1972-），男，博士，副教授，硕士生导师，目前研究方向有MEMS、信号处理等。E-mail：mems_123@126.com。

江西省教育厅科学技术研究项目（GJJ170526）。