红外和可见光图像快速融合算法研究*

张振杰 李 岩 石 敏 贾 丽

（中国人民解放军91977部队 北京 100036）

1 引言

红外和可见光图像融合是多传感器信息融合研究的重要方向，是图像处理、计算机视觉、人工智能等领域要解决的重要问题。图像融合是一种增强技术，对同一场景下不同传感器获取的图像进行处理，获得一幅信息更丰富的图像，便于后续处理和辅助决策。红外图像能够通过物体的红外辐射差异实现目标的检测，能够全天候全天时工，但清晰度和空间分辨率低，场景细节获取能力差；而可见光图像具有较高的空间分辨率和丰富的场景细节信息[1]。红外和可见光融合图像既可保留目标场景细节信息，又能凸显目标，广泛应用于侦察监测、目标识别和目标跟踪等领域。

红外和可见光影像常用的融合方法是基于变换域，该方法的基本步骤是将图像变化到特定的图像表示域，然后利用融合规则对图像表示系数进行融合，最后利用逆变换得到融合图像。主要算法有小波变换[2]、contourlet变换[3～4]、稀疏表示（SR）[5]等。

在现有算法研究的基础上，本文提出了一种红外和可见光图像快速融合算法。相较于现有算法，提出的算法有更好的融合效果，同时提高了融合效率，拓展了融合算法的应用范围。

2 提出的图像融合算法

本文针对红外和可见光图像融合问题，提出了一种基于显著性检测和双尺度图像分解的快速融合算法。首先基于视觉显著性检测算法将原始图像分解为显著性部分和冗余部分，利用双尺度图像分解算法将原始图像分解为基础层和细节层；接着通过双尺度图像分解算法将显著性部分进一步分解为基础层和细节层；通过融合策略对原始图像的显著部分和细节层分别进行融合处理，最终得到红外和可见光图像的融合图像。

2.1 基于谱残差的视觉显著性检测

基于谱残差[6]的视觉显著性检测是基于空间频域分析的方法，算法实现过程如式（1）所示，首先对图像进行傅里叶变换，得到幅值谱和相位谱，然后计算幅值谱的对数谱，进而计算得到谱残差，最后对谱残差进行傅里叶逆变换得到显著图。该算法与图像中的目标特征、种类和其他先验知识无关，算法适用性强；算法简单，实时性好。

其中，I(x)为空间域图像，A(f)为幅度谱，P(f)为相位谱，L(f)为对数谱，hn(f)为均值滤波器，R(f)为谱残差，g(x)为高斯滤波器。

2.2 双尺度图像分解

双尺度图像分解[7]可以将原始图像I分解为基础层Ib和细节层Id，即I=Ib+Id。其中，基础层Ib包含了图像的大部分信息，细节层Id为图像的局部结构信息。

基础层可通过解算式的优化问题得到：

其中，I为原始图像，Ib为分解后的基础层，gx=[-1 1]，gy=[-1 1]T，η为正则项参数。

从原始图像I分解得到基本层Ib后，根据式（2）进而可以得到细节层Id=I-Ib。

2.3 图像融合

图像融合可分为分解、融合策略和重构三个过程。图像分解是基于显著性检测和双尺度分解将原始图像分解为不同部分；融合策略分为局部信息融合和全局信息融合；将两部分融合结果通过重构得到最终的融合图像。

1）图像分解

对红外图像I1通过显著性检测得到显著部分I1_s和冗余部分I1_r，结果如图1所示；对可见光图像I2通过显著性检测得到显著部分I2_s和冗余部分I2_r，结果如图2所示。

图1 基于显著性检测的红外图像分解

图2 基于显著性检测的可见光图像分解

对红外图像I1通过双尺度分解处理后得到基础层和细节层，结果如图3所示；对可见光图像I2通过双尺度分解处理后得到基础层和细节层，结果如图4所示。

图3 基于双尺度分解的红外图像分解

图4 基于双尺度分解的可见光图像分解

对显著图I1_s和I2_s再次进行双尺度分解，得到，以及。

2）融合策略

融合策略可分为局部信息融合和全局信息融合。

局部信息的融合是对原始图像的显著部分和细节层的融合，融合策略如式（3）所示，融合结果如图5（b）所示。

图5 图像重构

全局信息的融合是对原始图像的基础层的融合，包含了原始图像的大部分信息，融合策略如式（4）所示，融合结果如图5（a）所示。

其中，w1和w2是权值参数，这里取0.5。

3）图像重构

将局部信息和全局信息进行重构，可得到最终融合图像F，如式（5）所示，融合结果如图5（c）所示。

3 实验与分析

实验所用的数据为21组不同环境条件下、不同分辨率、经过严格配准的红外和可见光图像，如图6所示。

图6 红外和可见光图像对

在算法性能上，比较了以下三种算法。

1）CSR[8]，基于卷积稀疏表示的图像融合算法；

2）LatLRR[9]，Li提出基于 LatLRR的图像融合算法；

3）Proposed method，本文提出的图像融合算法。

算法的运行环境：Matlab R2017a，3.2 GHz Intel（R）Core（TM）CPU ，8 GB RAM。

对21组红外和可见光图像，分别采用CSR算法、Li提出的算法和文中提出的算法进行融合处理。其中一组图像的处理结果如图7所示，图中（a）～（c）分别为不同算法处理的融合图像。

图7 不同算法的图像融合结果

为了进一步验证本文中提出算法的有效性，客观地评价不同算法的融合结果，实验中选取了四个图像融合质量评价指标作为量化评判标准。这四个指标分别为 Qabf[10]、Nabf[11]、SCD[12]和SSIMa[9]，Qabf、Nabf表示。对于这四个指标，Qabf、SCD和SSIMa的值越大，Nabf越小，图像融合效果越好。不同算法的图像融合质量评价指标值如图8所示，指标均值如表1所示，不同算法的时间如图9所示。

图8 不同算法的图像融合质量评价指标值对比

图9 不同算法的时间对比

表1 不同算法的指标参数均值对比

综合实验结果，可以得到以下结论。提出的算法Nabf、SCD和SSIMa指标参数均优于其他算法，提出的算法不仅有较好的融合效果，算法效率也得到大大提高，显著优于其他算法，能够应用于对实时性要求较高的场合。

4 结语

本文针对红外和可见光图像融合问题，提出了一种基于显著性检测和双尺度图像分解的快速融合算法。实验结果表明提出的算法在融合效果方面优于比较的算法，同时算法效率得到有效提高，能够应用于目标跟踪等实时性要求较高的场合。