基于深度特征提取的红外与可见光图像融合

张 薇, 汪雷丹, 刘晓亮, 李坤煌

(1.广东粤港供水有限公司, 广东 深圳 518021;2.深圳高度创新技术有限公司, 广东 深圳 518000)

0 引言(Introduction)

水利工程建设旨在加强水资源保护,为人们的安全用水和社会的可持续发展提供保障。东江-深圳供水工程(简称“东深供水工程”)是党中央为解决香港地区同胞饮水困难而兴建的跨流域大型调水工程。在工程建设过程中,需要管理的设备多、涉及范围广,为保证工程的顺利实施,需要对这些设备进行安全监管。随着无人机领域的讯速发展,配备无人机自动巡检系统的无人机飞行器可自动进行巡查工作,通过配套的AI(人工智能)项目,可以实现图像的目标识别,如识别水面悬浮物等,但是无人机拍摄的照片会受到环境等因素的干扰,影响对目标物的准确识别。图像融合是图像处理和计算机视觉应用中的一项重要技术,已在目标识别、视频监督和图像增强等方面有较好的应用[1-3]。本文提出基于深度特征提取的红外与可见光图像融合算法。首先,引入滚动引导滤波对源红外与可见光图像进行多级分解,以提取更多的细节边缘信息。其次,针对基础层引入PCANet网络进行特征提取,指导基础层融合;针对细节层采用拉普拉斯滤波、高斯滤波和引导滤波指导细节层融合。最后,将融合之后的基础层与细节层叠加重构,得到最后的融合结果。该算法模型具有较好的泛化性,通过迁移学习可应用于水利工程无人机自动巡检系统的安全监测。

1 相关研究(Related research)

通过图像融合,同一场景的不同模态图像可以合并为单一的融合图像。融合后的图像可以提供更全面的场景信息,更有利于人类和机器的感知。基于多尺度变换(Multi-Scale Transformation,MST)的融合算法是目前最主要的红外与可见光图像融合算法[4]。比较常见的该类型算法有基于曲波变换(Curvelet Transform,CVT)算法[5]、基于双树复小波变换(Dual-Tree Complex Wavelet Transform, DTCWT)算法[6]、基于Tetrolet变换算法[7]及基于非下采样轮廓波变换(Non-Sampled Contourlet Transform,NSCT)算法[8]等。由于上述算法都是利用预先定义的基函数提取图像特征,所以对源图像的细节纹理信息等重要特征的提取效果不好,并且MST算法是将源图像投影到频率域,增大了计算复杂性。JIAN等[9]将滚动引导滤波器(Rolling Guided Filtering,RGF)[10]用于图像融合,充分利用该滤波器平滑小尺度结构和大尺度结构边缘恢复特性分解源图像,很好地保留了源图像细节边缘信息。基于深度神经网络(Deep Neural Network,DNN)的算法在红外与可见光图像融合方面具有很强的特征提取能力。ZHOU等[11]使用预训练网络VGG-19提取源图像的特征信息,从而使得融合图像保留更多的细节特征和结构信息。MA等[12]将生成式对抗网络(Generative Adversarial Network,GAN)用于红外与可见光图像融合,用生成网络生成融合图像,而对抗网络使融合图像具有更多的细节信息。CHAN[13]等提出一种更简单、高效的深度学习网络——PCANet,该网络在图像处理方面具有很好的特征信息提取性能[14]。

2 分解方法(Decomposition method)

RGF同时具有尺度感知和边缘保护的特性,并且其迭代收敛速度比较快,用其对源图像进行分解,能够有效保留目标的细节边缘信息[10]。该滤波器包括两个主要步骤:平滑小尺度结构和大尺度结构边缘恢复。

第一步使用高斯滤波器获取原始引导图像,可以有效去除源图像I中的小尺度结构,源图像I在中心像素a处的高斯滤波可表示如下:

其中:a和b分别表示中心像素和相邻像素,N表示中心像素a处相邻像素b的集合。根据尺度空间理论,结构尺度参数σs可以定义为高斯核的最小标准偏差,G表示原始引导图像。

第二步使用联合双边滤波器进行迭代式边缘恢复,该滤波器具有计算高效和边缘保留较好等特性。这一步是一个迭代过程,恢复的图像Jt被迭代更新,初始图像J1是高斯平滑的图像G。第t次迭代可表示如下:

(2)

迭代操作在保留大尺度结构边缘的同时,能很好地平滑不相关的细节。滚动引导滤波操作可定义如下:

U=RGF(I,σs,σr)

(3)

其中:RGF(·)表示滚动引导滤波函数,通过改变参数σs和σr,可以对源图像进行平滑处理,实现一系列不同尺度的分层,U是滚动滤波器的输出图像,I是输入图像。

本文引入RGF将源红外与可见光图像分别分解为基础层和多个细节层,与其他多尺度分解方法相比,该方法能够最大限度地利用源图像中的相关细节信息。假设有两张已经预配准源红外与可见光图像,其表示为Ik,k∈{1,2}。对于每一张源图像Ik,基础层可表示如下:

(4)

(5)

(a)源红外图像

(b)基础层

(c)细节层

(d)源可见光图像

(e)基础层

(f)细节层

3 融合规则(Fusion rule)

3.1 基于PCANet特征提取的基础层融合

基础层中还残余有用的低频信息,卷积神经网络能够有效提取图像中的信息,但考虑到卷积神经网络训练时间较长、调参比较复杂等,CHAN等[13]提出了一种简单、高效的能够适应不同任务和数据的深度学习网络PCANet。该网络采用主成分分析的方法学习多级滤波器组,不需要调节复杂参数和解决复杂数值优化问题,因此其网络结构简单且性能高效。PCANet框架图如图2所示。

图2 PCANet框架图Fig.2 PCANet framework chart

对于每张M×N大小的输入图像,PCANet通过一个K1×K2大小的滑动窗口(一般选取窗口大小为3、5、7个像素的正方形)获取输入图像的局部特征,并将获取的这些块组合在一起,即xi,1,xi,2,…,xi,MN∈K1K2,其中xi,j是输入图像Ii里面的第j个向量块。将获取的每个块减去其平均值,实现去均值操作,处理之后得到其中是输入图像Ii中的第j个去均值块。将全部输入源图像(K表示输入源图像数量)执行同样的处理,并将得到的结果放在一起,即

(6)

假设第i层使用滤波器个数为Si,则第一层滤波器个数为S1。根据主成分分析法,可得最小重构误差:

(7)

其中:U表示X通过第一层滤波器S1特征值所对应的特征向量组合而成的特征矩阵,IS1表示S1×S1大小的单位矩阵。由此可得PCA滤波器如下:

(8)

图3 PCANet处理过程Fig.3 Processing procedures of PCANet

3.2 基于显著图引导滤波的细节层融合

图像融合需要将两幅源图像中具有视觉意义的信息整合到一副图像中,可以通过给源图像的细节层分配适当的权重(不重要信息的像素分配低权重,重要信息的像素分配高权重)实现。人类视觉系统识别图像的细节层信息比其基础层敏感,本文采用基于显著图的权值图融合细节层。如图4所示,将拉普拉斯滤波应用于每张源图像,以获得高通图像Hk:

图4 GF处理结果Fig.4 GF processing results

Hk=Ik×L

(9)

其中:L是一个大小为3×3拉普拉斯滤波;Hk绝对值的局部平均值,用于构建显著图Sk:

Sk=|Hk|×grg,σg

(10)

其中:g是大小为(2rg+1)(2σg+1)的高斯低通滤波,参数rg和σg设置为5。

显著图可以很好地提供源图像中的细节信息。接下来,比较显著图以确定权值图,如公式(11)所示:

(11)

假设引导滤波的输出图像V是引导图像G在以像素p为中心的局部窗口wp中的线性变换模型,即

Vq=apGq+bp,∀q∈wp

(12)

其中:在窗口wp内,线性系数ap和bp都是常数,并且可以通过最小化输出图像V和输入图像I之间的平方差进行估计:

(13)

其中,ε表示正则化参数。利用线性回归[16]求解公式(13),得到线性系数ap和bp的结果如下:

(14)

(15)

因此,为了让对应的权重图具有与源图像相似的平滑度和锐化度(图4),以源图像Ik作为引导图像,对每个权值图Pk进行引导滤波处理,即

(16)

3.3 融合结果重构

最终目标是在主观视觉和客观效果上对融合结果进行改进。考虑到不同类型的层包含不同的特征信息,在重构阶段,针对基础层和细节层分别进行。

(17)

(18)

将融合的基础层和细节层叠加,得到最终的融合结果:

F=Fb+Fd

(19)

4 融合算法总体框架(The overall framework of the fusion algorithm)

融合算法框架图如图5所示。假设红外与可见光图像已经预配准,本文主要针对两张待融合源红外与可见光图像,并且当采用多张源图像时,融合算法的策略类似。本文所提融合算法的具体步骤如下。

图5 融合算法框架图 Fig.5 The framework diagram of the proposed image fusion algorithm

(4)将融合的细节层与基础层进行叠加,获取最终的融合图像为F。

5 实验结果(Experimental results)

本文采用的实验平台为AMD(R) Ryzen(R)5 3500X Geforce RTX 2070 SUPER 8 GB卡、16 GB 3200 MHz内存,在Windows 10专业版的64位操作系统上用MATLAB2020a进行仿真实验。实验测试数据通过无人机调度平台采集数据集和在TNO数据集[17]上选择的三组典型红外与可见光图像,即Nato_Camp、Bristol_Queen′s_Road和UN_Camp。

图6为第一组已经预配准Nato_Camp红外与可见光融合对比结果。图6(a)和图6(b)分别表示第一组测试源图像。图6(c)至6(h)分别表示不同红外与可见光融合的结果。可以看出,DTCWT的融合方法整体对比度较差,目标物边缘比较模糊,融合质量很差;LatLRR的融合方法中植物细节显示较差,目标物周围存在伪影;NSCT_SR的融合方法可以很好地突出目标物,但图中植物的像素与源红外图像像素差异较大,表明该融合方法过多地将可见光信息引入融合图像,使得视觉效果变差;VGG-19、ResNet50和本文所提方法的融合结果相对较好,并且采用本文提出的方法时图中的房屋和人物边缘信息保持较好、对比度较高且纹理细节较为清晰。

图7为第二组已经预配准Bristol_Queen′s_Road红外与可见光融合对比结果。图7(a)和图7(b)分别表示第二组测试源图像。图7(c)至图7(h)分别表示不同红外与可见光融合方法的结果。可以看出,上述融合方法基本能够保留图像中的目标人物和房屋边缘结构信息,但采用本文所提方法的图中框内的人物和房屋窗户细节信息上保留较完整,清晰度较高,具有很好的可视性。

图8为第三组已经预配准UN_Camp红外与可见光融合对比结果。图8(a)和图8(b)分别表示第三组测试源图像。图8(c)至图8(h)分别表示不同红外与可见光融合方法的结果。可以看出,DTCWT的融合方法整体比较泛白,图中框内的天空处缺失红外图像的细节信息,屋顶边缘结构信息缺失;LatLRR的融合方法图中框内的目标细节信息缺失,从而导致显示不够清晰,对比度较差;NSCT_SR的融合方法图中框内的天空发生了变形,并且引入过多的伪影,清晰度非常差;VGG-19和ResNet50的融合方法在结构信息上保持完整,噪声较少,但对比度较低;本文所提的融合方法可以很好地整合来自源图像的互补信息,有效保留大部分来自源图像的结构和细节信息,清晰度和对比度较高。

(a)源红外图像

(b)源可见光图像

(d)LatLRR

(f)VGG-19

(g)ResNet50

(h)本文方法

(a)源红外图像

(b)源可见光图像

(c)DTCWT

(d)LatLRR

(e)NSCT_SR

(f)VGG-19

(g)ResNet50

(h)本文方法

(a)源红外图像

(b)源可见光图像

(c)DTCWT

(d)LatLRR

(e)NSCT_SR

(f)VGG-19

(g)ResNet50

为了对实验结果进行定量评价,本文采用互信息(Mutual Information,MI)[19]、差异相关和(Sum of Correlations of Differences,SCD)[20]、信息熵(Entropy,EN)[21]、多尺度结构相似度测量(Multiscale Structural Similarity Measure,MS-SSIM)[22]和标准差(Standard Deviation,SD)[23]等经典评价指标对实验结果进行分析。其中,MI主要通过比较融合图像与源图像之间的相关程度表示融合图像包含源图像的目标信息量,而且MI越大,表明融合结果包含目标信息量越多,其融合效果就越好;EN主要是基于信息论的角度评价融合图像所包含源图像的信息量,EN越大,则表明信息量越多,融合效果越好,但该指标值会受到噪声的影响,融合图像中的噪声越多,该值也会越大;SCD主要是通过差异相关性之和评价融合结果,同样SCD的值越大,表明融合的效果越好;MS-SSIM主要通过衡量结构信息评价融合结果,其值越大,表明融合图像效果越好,图像结构越接近源图像;SD主要用来衡量融合结果对比度效果,SD的值越大,表明融合结果对比度高和视觉更好。本文选取三组对比实验,客观评价结果如表1所示。

由表1可知,与其他五种方法相比,本文提出的方法在评价指标EN、MI、MS-SSIM、SCD和SD都表现出不同程度的领先优势,尤其评价指标SD和SCD领先较多,表明本文方法的融合结果具有高对比度,融合图像信息与源图像具有很强的相关性,证明本文所提算法具有有效性。

6 结论(Conclusion)

本文提出一种将深度特征提取与滚动引导滤波结合的多模态图像融合算法,可用于无人机自动巡检系统。通过开展实验,与目前主流的红外与可见光图像融合算法进行对比,本文所提方法在突出源图像目标物体和保留完整的边缘细节方面具有很好优势。实验结果表明,本文所提方法在信息熵、互信息、多尺度结构相似度测量、标准差和差异相关和等客观评价指标上具有明显的领先优势,主观评价具有较好的可视性,有利于后续开展目标识别和探测等任务。下一阶段的研究重点将放在分解层数的自适应选择上,为减少噪声、伪影和保留更多的有效细节信息,制定更加有效的融合规则。