基于生成对抗网络的可见光图像融合方法

吴永琢

青岛酒店管理职业技术学院，山东青岛 266100

0 引言

可见光图像融合的研究目的在于解决从不同源或不同条件下捕获的图像之间的视觉差异，生成具有更高视觉质量和更丰富信息的融合图像。这种技术主要应用于军事、太空探索、公共安全、环境监测等领域。可见光图像融合所带来的意义在于提高图像的空间与时间分辨率，减少噪声，增加对比度等，从而给人们提供更多、更准确的信息，方便进行持续监测、环境分析以及做出决策。例如，可见光图像融合应用于军事方面，可以帮助判断敌方军事目标；应用于太空探索，可以提供更清晰的星球和宇宙景象图像；应用于公共安全方面，可以帮助警方追踪罪犯或走失者的行迹；应用于环境监测方面，可以帮助科学家更好地了解大气污染、气候变化等环境问题。

因此，可见光图像融合的研究和应用具有非常重要的实际意义，可以为人们提供更多、更准确、更丰富的信息，方便人们做出决策和行动。为了进行目标识别和监控以及视觉任务的应用，需要采集可见光图像。但是，可见光图像容易受到外界因素的影响，因此需要通过红外传感器或孔径雷达等工具进行目标检测，将目标信息和可见光图像背景信息放置在一张图像中。为了更好地融合这2 方面信息，需要研究有效的融合方法。许多人对这个问题进行研究，并取得了多项研究成果。其中，周华兵等人[1]提出了一种基于语义分割的可见光图像融合技术，通过语义分割算法，针对不同区域设计损失函数，对可见光图像中的目标区域进行分割，区分出多种类型的提取区域，再对目标和背景区域进行融合。蒋一纯等人[2]提出了一种基于图像退化模型的可见光图像融合方法，通过图像退化模型，在不同的退化过程中获取退化图像，并对照高清数据集进行训练，以实现可见光图像的无干扰融合。

为保证可见光图像的更好融合，本文采用生成对抗网络技术作为研究前提。该技术不需要参考图像特点，可以直接构造不同的融合板块，以此设计可见光图像的融合方法，并且为融合图像过程中的细节处理和抗干扰提供理论支持。

1 提取源图像的预融合通路与采集路径

可见光图像通常具有较高的空间分辨率，可观的细节和明暗度，因此，需提取源图像的像素强度与纹理信息，且源图像需由不同的传感器获取，因此具有不同的重要特征。为将源图像的重要信息进行有效融合，需要考虑2 组图像之间的差异性[3]。为增强图像的差异性特征，需提取源图像信息预融合通路，提取源图像的像素强度与纹理信息采集路径如下：

其中，h为通路中的操作机制；gj为第j层的输出结果；l(·)为突显函数[4]；k为带有强度与纹理信息的图像；df为纹理参数。

2 设置生成网络的结构参数

本文的图像融合过程是基于生成对抗网络技术，并使用生成器和判别器优化网络结构。通过设置网络结构参数，构建了无监督学习模块，以便判断源图像的具体采集路径。判断器和生成器主要是为了实现图像高质量融合，因此，以提取纹理信息和强度信息作为基础，针对性地对源图像进行相似性约束和判断。

以训练数据集合为基础，采用生成器对源图像进行分析，在其包含的信息中进行融合判断，并依据判断器获取融合的基础性特征[4-5]。在整个流程中生成器的作用较为重要，其能够感知到源图像中的亮度区域或者阴暗区域，以此区分可见光图像与其他图像的背景信息。对生成器的具体网络结构参数进行设定，具体如表1 所示。

表1 生成器网络结构参数

如表中内容所示，z为卷积核的尺寸；x为移动步长；b、b"为原始和预处理后的可见光图像；c1、c2为输入和输出通路数；m为亮度权重；l-relu为网络结构的激活函数；v为激活参数。通过对网络结构的参数设计，确定可见光图像的特征变化范围，以亮度为主要提取特征。

为了计算可见光图像的亮度特征值，可以将图像转化为分量空间，对图像中的亮度领域进行格式转化。在颜色空间中选择某一个颜色通道，将其转化为不同层级的图像，并提取出图像中的亮度特征，根据生成对抗网络技术实现可见光图像的融合。

3 可见光图像融合方法设计

在获取图像特征和生成网络参数的基础上，提取图像中的亮度特征，通过上文中设置的生成网络结构，构建无监督学习模块，判断源图像的具体融合路径，方法如下：

对选择的激活函数进行泛化，将“relu”函数作为线性修正单元，可以对权重进行更新，“l-relu”函数是由“relu”函数变形得来，主要对较小的图像参数特征更新，具体为：

其中，λ为较小参数；Z为图像数据，当输入的Z＞ 0 时，且其梯度不为0，则可通过“relu”函数进行权重更新；若Z＜ 0 时，其梯度为0，则“relu”函数不能进行权重更新，以此选择“l-relu”函数进行变形。

针对输入的图像数据Z，将其放置于对抗网络中的中心区域，并对图像中隐含的神经元进行排布，避免梯度的消失。在对抗网络中分为平移和扩展，在2组参量的归一化处理中，源图像可近似于正态分布形式，以此增加图像的网络表达能力。基于此，对可见光图像进行融合：

其中，B为融合结果；N、M为输入图像的宽、高；Z↓为输入的可见光图像；Z↑为另外一组图像，可为红外图像或者热成像图像或者雷达图像；为范数；∇ 为 梯度算子；ς 为平衡参数。至此，本文基于生成对抗网络完成可见光图像的融合方法设计。可见光图像融合结构图如图1所示。

基于生成对抗网络完成可见光图像融合的部分伪代码如下所示：

4 实验测试分析

上文基于生成对抗网络设计新的融合方法。为验证该方法能够应用于可见光图像融合中，采用对比测试方法进行论证。分别选择文献[1]提出的基于语义分割的融合方法和文献[2]提出的基于图像退化模型的融合方法作为对照组，与本文模型进行比较，验证不同方法的有效性。

4.1 搭建测试环境

为保证测试的准确性，以Windows 操作系统搭建测试环境，选择PyCharm 和MATLAB 编程软件进行图像训练学习的建模，并支持3 组融合方法的连接。

在搭建好的测试环境中选择40 组不同场景的需要融合的数据，另一组传感器获取的图像为红外图像，将所选取的图像设置为统一的尺寸大小，将所有的图像输入至测试平台中，设置测试参数，并对其具体含义进行说明，如表2 所示。

表2 测试参数设定

根据表2 内容所示，在测试前先将图像放置在模型中进行训练，使其尺寸达到设定要求，当随机选择的图像能够具有融合特征后，再将其进行数据扩增，选择出待融合的测试图像组。以训练完成的图像数据集合作为测试对象，设定此次不同方法融合效果的评价指标，对比不同方法的融合效果。

4.2 设定评价指标

选择客观评价指标进行后续的融合评定，对融合图像的本身质量评价选择信息熵指标，在融合图像与源图像的关联性评价中选择差异相关和作为指标，信息熵值越大，说明包含的平均信息量越多，图像融合的质量越高。差异相关和反映图像之间的信息互补性，指标越大，说明融合效果越好。

4.3 不同方法的融合效果对比

此次选择的测试集合中包含长波红外图像、短波红外图像以及热成像仪图像，将这3 种类型图像与可见光图像进行融合，图像中的场景包含人物、建筑和树木3 个内容。由于传统方法的融合过程为已知状态，直接展示本文方法融合后的图像，以“热成像仪图像和可见光图像”融合为例，结果如图2 所示。

如图2 所示，此次以热成像仪图像和可见光图像为例，在本文方法应用下能够进行有效融合，为具体验证不同类型图像的融合效果，依次对其他类型图像进行融合，并将结果传至测试平台，通过指标进行评价。

首先比较信息熵指标的评分，结果如图3 所示。

由图3 可知，在本文方法应用下，长波红外图像、短波红外图像、热成像仪图像与可见光图像融合，均可以获取较高的信息熵，说明融合后的平均信息量包含较大，具有较高的图像质量，而2 组传统方法在热成像仪图像与可见光图像的融合后，获取的信息熵值较低，且其余2 组融合的信息熵值也比本文方法低，综合说明本文方法更加有效。

另外，比较图像融合后的差异相关和指标，结果如图4 所示。在本文方法应用下，融合后的图像差异相关和最高，长波红外图像、短波红外图像、热成像仪图像均可以取得较大的差异相关和值，相比传统方法，具有一定的融合优势，说明可以应用在可见光的图像融合中。

5 结束语

本文通过生成对抗网络技术设计新的可见光图像融合方法，并通过实验测试论证新方法具有有效性，能够改善传统方法的不足之处，具有一定的应用价值。但研究过程中仍存在不足之处，如在可见光的融合测试过程中没有采用真实的图像进行分析，在实际应用中可能会出现一定的偏差，需要在后续的研究中选择不同类型的真实图像进行验证，为可见光图像的融合提供理论支持，保证图像细节的提取和应用。