一种基于内容增强的可见光-红外线图像融合方法

冯福存, 常莉红

(宁夏师范学院 数学与计算机科学学院, 宁夏 固原 756099)

红外与可见光图像融合是多传感器图像融合领域的关键技术. 虽然红外线传感器利用物体表面的热辐射成像不受天气和光照的影响, 但所得的红外线图像具有细节不明显、 对比度低、 视觉感知差等缺点. 可见光图像是由可见光图像传感器通过接收物体表面光照反射成像的, 在良好的光照条件下, 可见光图像具有丰富的内容细节, 分辨率较高, 更适合于人的感知系统. 因此, 利用这两种图像的互补信息, 将二者融合的方法得到广泛应用[1-3]. 目前, 已有许多关于红外线图像与可见光图像的融合算法[4-6], 其中基于多尺度变换的(multiscale transform, MST)融合方法应用最广泛, 如Laplace金字塔变换(Laplacian pyramid, LP)[7]、 离散小波变换(discrete wavelet transform, DWT)[8]、 对偶树复小波变换 (dual-tree complex wavelet, DTCWT)[9]、 曲线波变换(curvelet transforms, CVT)[10]和非下采样轮廓波变换(nonsubsampled contourlet transform, NSCT)[11]等. 但传统基于多尺度的融合方法在低频部分采用分解系数取平均值, 高频部分取系数最大值的融合规则, 这种融合规则并不适合于红外线和可见光这种像素强度差异很大的图像融合, 特别是当可见光的光照条件较差时, 通常会严重降低融合图像的对比度, 损失红外线图像中的目标信息. Liu等[12]将稀疏表示的融合理论引入到多尺度分解的低频系数融合中, 改善了取平均的融合规则产生的对比度下降问题. 脉冲耦合神经网络(pulse coupled neural network, PCNN)是一种非常适合用于MST分解高频系数的融合规则[13], 但PCNN模型通常包含一系列自由选择的参数; Yin等[14]提出了一种参数自适应的脉冲耦合神经网络(parameter-adaptive pulse coupled-neural network, PAPCNN), 解决了参数选择的问题; 为进一步解决弱光环境下可见光图像对融合结果的影响, Zhou等[15]利用方向导波[16]对可见光图像中的细节信息进行增强, 使可见光低对比度的细节信息得到充分显示.

受上述分解方法和融合规则的启发, 本文基于方向导波的增强方法并结合NSCT分解工具、 稀疏表示和PAPCNN融合规则对可见光图像和红外线图像提出一种融合方法. 与传统的NSCT融合方法相比, 该方法对可见光图像在融合前进行动态压缩的内容增强, 在NSCT的低频部分采用稀疏表示的融合规则, 在高频部分采用PAPCNN融合规则. 实验结果表明, 该方法在视觉效果和客观指标上均有效.

1 相关理论

1.1 基于方向导波高动态范围压缩的图像增强方法

方向导波[16]具有良好的平滑和边缘保护特性, 可调节尺寸大小和平滑程度, 其数学表达式为

(1)

(2)

的解, 式中ε是防止ak过大的正则化参数,pi是式(1)中qi的优化位置量.

本文将方向导波算子记为GFr,ε(·),r和ε分别为控制滤波窗口大小和边缘保护程度的参数, 从而基于方向导波高动态范围压缩的图像增强方法过程如下：

步骤1) 用GFr,ε(·)作用于可光见图像I, 得到基础层Ib=GFr,ε(I);

(3)

(4)

步骤3) 在对数域中对基础层和细节层实现动态范围压缩, 即

(5)

步骤4) 最后增强的结果表示为

(6)

图1为一组基于方向导波动态压缩图像的增强结果, 其中： (A)为未增强的可见光图像, 光照条件较差, 很多场景内容都无法清晰看到； (B)为经所给算法处理后的增强结果, 可清晰看到图像中隐蔽的一些细节信息.

图1 一组可见光图像的增强结果

1.2 稀疏表示理论

稀疏表示(sparse representation, SR)理论是指用较少量基本信号(字典原子)的线性组合表示大部分或全部信号. 假设用一个M×N阶的矩阵表示数据集X, 则稀疏表示的优化模型可表示为

其中α为稀疏系数,D为完备字典, ‖·‖0为L0范数,ε为容忍参数且ε>0.

Yang等[17]将稀疏表示理论引入到图像融合中, 将稀疏系数向量作为活动水平测量, 用系数的L1范数最大为融合规则.

1.3 PAPCNN融合模型

传统PCNN模型为

其中Fij(n)和Lij(n)分别表示(i,j)处的神经元经过n次迭代后的反馈输入和链接输入,Sij为输入图像,Wijkl为神经元间的连接权值,VL为输入的链接振幅, 参数αf为衰减系数,δ为连接强度参数,Uij为内部活动项,αe和VE是相对应的Eij(n)的衰减系数和振幅,Yij为输出. 在PCNN模型中, 自由参数较多, 文献[14]取λ=βVL, 则参数间有如下关联:

(13)

(14)

其中σ(S)为输入图像S的标准偏差,S′和Smax分别表示标准化的Otsu阈值和输入图像的最大强度[16]. 这样所给的自由参数可自适应计算.

1.4 NSCT图像分解

NSCT[11]是一种有效的分解工具, 包括非采样金字塔滤波器组和非采样定向滤波器组, 具有良好的时频局部化、 多方向性和多尺度性, 比其他几种多尺度分解工具能较好地表示图像的信息. 图2为NSCT的分解示意图. 由图2可见, NSCT可以对源图像进行分解, 得到一个低频层和一系列高频层, 所得层与源图像大小相同.

图2 NSCT分解示意图

2 基于SR-PAPCNN的增强算法

假设所给源图像均已配准. 为描述方便, 本文记可见光图像为A, 红外线图像为B, 所给算法主要步骤如下：

1) 利用式(6)的基于方向导波动态压缩增强方法将可见光图像进行增强, 增强后的图像记为AE, 即

(15)

2) 对AE和B利用NSCT进行分解, 分别得到它们的一个低频层{LAE,LB}和一系列高频层{HAE,HB};

3) 因为低频层包含了图像的主要信息, 是源图像的一个近似, 所以在{LAE,LB}中利用稀疏理论进行融合;

② 利用L1范数最大原则进行稀疏系数融合:

(16)

(17)

(18)

4) 对融合的低频层LF和高频层HF进行NSCT逆变换, 得到融合结果.

3 实 验

3.1 测试图像

为证明本文方法的有效性, 对几组红外线和可见光图像进行测试. 图3为几组红外线和可见光图像, 图像源自http://figshare.com/articles/TNO_Image_fusion_dataset/1008029. 其中： (A)～(F)是可见光图像; (G)～(L)分别为(A)～(F)同一场景中的红外线图像.

图3 测试集

3.2 比较算法和融合评价指标

将本文方法(NSCTE)与基于LP[7],DWT[8],DTCWT[9],CVT[10],NSCT[11],SR[17]和NSCTSR[12]的融合方法进行比较, 给出视觉质量和5个客观评价指标的比较结果. 采用的客观评价指标分别为熵(entropy, EN)、 标准偏差(standard deviation, SD)、 互信息(mutual information, MI)、 基于结构相似度的梯度QG评价指标和相位一致性指标QP[18], 指标值越大说明融合效果越好.

3.3 实验结果分析

选取图3中一组图(C)和(I)为例对不同方法融合结果的目视效果进行分析, 所有多尺度分解的层数均为4. 图4为不同方法对图3(C)和(I)的融合结果.

图4 不同方法对图3(C)和(I)的融合结果

由图4可见： 基于传统的多尺度融合方法(低频取平均, 高频取最大的融合规则)的融合结果明显降低了图像的对比度, 如在图3(I)中较高亮度的目标信息, 在LP,DTCWT,DWT,CVT,NSCT方法的融合结果中明显变暗； 基于SR方法的融合结果, 虽然对比度损失较小, 但图像的细节损失严重, 如公交站台处的细节信息几乎看不清楚； NSCTSR方法(在低频部分采用稀疏表示, 高频取最大的融合规则)的结果虽然改进了NSCT和SR方法的缺点, 但由于源图像图3(I)中很多隐藏的细节未显示出, 所以融合的视觉效果也不理想; 而本文方法NSCTE既保留了源图像高亮(人、 灯、 车轮等)的目标信息, 还给出了丰富的图像信息, 如站台的扶手看的非常清晰, 第一辆汽车左前方骑自行车的行人, 第二辆汽车后方未发光的路灯等, 而且本文方法相比于其他方法融合图像的亮度有较大提高.

表1列出了图3测试集中所有图像经不同融合方法的融合指标值. 由表1可见, 本文方法的指标值在5个指标值中多数为最好, 进一步说明了本文方法的有效性.

表1 不同融合方法在测试集上的客观指标值

综上所述, 本文利用非下采样轮廓波变换, 并结合高频参数自适应神经网络的融合规则和低频稀疏表示的融合规则, 对基于方向导波动态压缩增强的可见光图像进行增强后与对应场景的红外线图像进行融合, 改善了传统NSCT和SR方法存在的缺点. 通过实验及所给5个评价指标的数据分析可知, 该方法在平均信息量、 细节的提取、 图像的对比度及边缘信息的保留方面均有较大优势, 取得了较好的视觉效果. 由于该方法在图像的对比度方面有绝对优势, 因此更适合光线条件较差的图像融合.