基于深度学习的电气设备图像融合

郭桂豫

（安徽理工大学电气与信息工程学院，安徽淮南，232000）

0 引言

众所周知，电力系统在电网中起着十分重要的作用，由于这种特殊性，它必须具备长期运行、供电安全、方便操作等特点。在这种情况下，为了维持电力系统能够长期正常运行，变电所中的高压电气设备就需要长期维持运行状态，由于这种因素，电力设备就会很容易出现故障情况，比如器件缺失。除了恶劣天气（大雾、微雨、冰雹）条件会受到影响，电气设备自身也会因为使用寿命限制发生故障。尽管电气设备发生故障问题较多，但多数电气设备的故障情况还是可以避免的。通常电气设备出现故障前，会出现温度异常情况。普遍情况是温度过高，如果无法及时确定故障类型，会延误最佳维修时间，造成更大的经济损失。在日常生活中，维修师傅需要手持红外热成像仪定期对电气设备进行拍照，通过温度差异变化检测故障部位，进行故障分析。因此，定期对大型电气设备巡检变得尤为重要。由于高压电气设备分布地理位置的特殊性，目前电网的检测工作主要使用智能巡检机器人、无人机和人工检测三种方式。这些自动化检测装置的工作原理是运用多模态成像传感器和图像处理技术，配备多模态（即红外和可见光图像）传感器的巡逻机器人和无人机，旨在捕捉电力设备在运行状态下的图像，并将检测数据上传到变电站进行状态监测和故障诊断。因此，开发电力设备的自动图像处理技术，如图像融合就变得尤为重要了。

图像融合是图像处理的一个重要领域。它是将两种或多种源图像进行特征融合，使得融合图像特征信息能够互补。根据实践的不同，应用的领域也不尽相同。主要包括：多时遥感图像融合[1]、医学图像融合、多曝光图像融合[2]、红外与可见光图像融合、人脸识别等其他方面。传统的图像融合方法需要手动设计融合规则，随着结构的复杂，计算量增加，给研究者带来了不小的困难和挑战。常见的方法有基于金字塔变换、基于PCA、多尺度变换等的图像融合方法。随着人工智能的普及，基于深度学习的方法应用到实际生活中。与传统的图像融合方法不同，基于深度学习的方法需要大量的数据集进行训练，无需手动设计融合规则，只需搭建好网络模型结构，调整好参数就可以开始训练了。目前研究者已提出了多种图像融合方法，李辉[3]等人提出的DenseFuse图像融合方法，网络模型结构是由编码器、融合层和解码器组成的，首先编码器对输入源图像进行特征提取，融合层进行特征融合，解码器对融合特征进行重构，最终输入融合图像。马佳义[4]等人提出的FusionGAN图像融合方法，将红外与可见光图像融合问题看作是生成器与鉴别器的对抗博弈。但以上方法只能提取浅层特征，不能有效提取图像深层特征信息导致图像细节缺失较为严重。因此，针对以上问题，提出在DenseFuse图像融合方法的基础上对网络模型进行改进。

1 数据集制作与预处理

由于电网环境的特殊性，高压电气设备的红外图像与可见光图像对不易获得，需要现场采集图像。从现有情况看，目前网上的公共红外与可见光图像数据集多为景物，电气设备的源图像对少之又少，在采集完图像之后为了能够最大限度利用图像特征信息，需要对其进行图像预处理。由于图像在采集时，会因为拍摄角度等不同影响图像融合的准确性，因此还需要进行图像配准。图像配准是图像融合前的重要环节之一，红外图像用到的设备是红外热成像仪，成像原理是通过温度差异变化成像，可见光图像使用高清照相机拍摄，成像原理是自然光反射。两者使用设备、焦距不同，导致拍摄的图片大小不一致，这都会影响最终图像融合效果，为了保证图像融合质量，图像配准就变得尤为重要。

图像配准是两幅源图像实现一对一对齐的过程。基于特征的配准方法是图像配准方法中研究者们目前最常用的配准方法，配准前参考图像与待配准图像要匹配的特征应该是同类型的，之后对输入源图像进行图像的特征提取，提取的匹配特征必须一一对应，通过两幅图像特征之间的匹配关系建立图像之间的配准。假设现场采集的红外与可见光图像对是经过配准的，数量有100张。由于现有采集的数据集数量不够，无法达到模型训练要求。为了扩充数据集，通过对称、平移、镜像、旋转等方式对数据集进行扩充。通过扩充，红外与可见光数据集有1000张图像对。

2 网络模型

2.1 图像融合算法框架

目前许多基于深度学习的图像融合方法都是利用卷积神经网络来进行图像的特征信息提取，但这样的话图像特征提取信息有限，许多由中间层获得的有用信息会大量丢失，这样会使得图像融合效果并不太理想，而这些大量丢失的图像特征信息对图像融合很重要。为了改变这种情况，针对红外与可见光图像融合算法，李辉[3]等人提出一种新的图像融合网络结构—DenseFuse。它是由编码器、融合层和解码器组成的网络结构，网络模型在训练阶段和测试阶段采取不同的策略，在训练阶段，网络模型结构由编码器和解码器构成，使用MSCOCO公共数据集[5]训练网络模型，目的是重建输入图像，训练结束后会生成权重，通过反复进行训练，调整参数，确定最优权重。在测试阶段，引入融合层，用训练好的编码器对源图像进行特征提取，通过合适的融合策略对这些特征进行融合，最后将融合后的特征送入解码器进行特征重构输出融合图像，测试图像融合效果，图像融合算法框架图如图1所示。

图1 图像融合算法框架图

2.2 注意力机制模块

图像融合算法的关键在于如何尽可能多地提取红外与可见光图像特征信息，使得融合图像保留较多的红外图像的热辐射信息和可见光图像的纹理细节信息。在这种情况下，为了能够让网络聚焦于显著性区域的特征信息，可以引入注意力机制[6]。卷积层的每个卷积只能捕捉到局部信息比如图像的浅层特征，有些关键性的信息像深层特征无法捕捉，引入注意力机制可以使网络专注于重要区域信息，改善深度神经网络性能，提升特征信息表达能力。为了获得更多的图像特征信息，将空间注意力和通道注意力组成注意力模块加入网络模型中，提升特征信息传递。

注意力机制模块包含通道注意力CA和空间注意力SA，使用通道注意力的目的是让输入图像更清晰，根据不同通道的特征，对重要特征进行增强，对无关特征进行抑制，通过网络计算出输入图像各个通道的重要性，提升特征表示能力。空间注意力是在这个基础之上，基于通道的方向，找到哪一块位置信息聚集得最多，找出空间显著性目标，通过两者进行结合，获得更多的特征信息，提升信息表达能力。

2.3 网络结构

为了保留更多的图像特征信息和提升图像融合效果，在DenseFuse图像融合算法的基础之上，对编码器的网络结构进行了一些改进，为了选择性地聚焦显著性区域位置，增强目标特征信息，引入空间注意力模块SA[7]和通道注意力模块CA[8]，改进后的网络结构如图所示。其中v1和i1分别表示配准好的红外图像与可见光图像，f1表示融合图像，为了提取更多的有效特征，在编码器中引入了注意力模块，如图2所示。

如图所示，在编码器中，c1为3×3个滤波器，用于提取粗糙特征。密集块是为了更多的保留深度特征信息，由DC1和DC2两个卷积层组成，包含3×3个滤波器，每一层的输出级联作为下一层的输入。注意力模块由空间注意力SA和通道注意力CA组成的，有效学习特征信息分布。融合层对提取到的特征进行融合，解码器是由四个卷积层组成的，过滤器大小是3×3，对图像特征进行重构，最终输出融合图像f1。使用这种方法，输入图像可以是彩色图像或者是灰度图像。

在训练阶段，网络结构是由编码器和解码器组成，首先输入源图像，进行特征提取，密集块是为了尽可能多地保留图像特征信息，注意力机制是为了专注于图像中的有用信息，抑制无用信息。在测试阶段，引入融合层，对图像进行特征融合，再进行融合特征重构，最后输出融合图像。

3 环境设置

3.1 实验数据集

实验是在两个数据集进行的：(1)训练阶段使用MSCOCO公共数据集作为训练集，作为公共数据集，MSCOCO收集了大量自然背景下复杂的日常生活场景图片，图片中的物体都单独进行了标注，这样是为了对物体进行准确定位。(2)测试和验证阶段使用自己现场拍摄经过配准过的图像对作为测试集，图像是高压电气设备红外与可见光图像数据集。

3.2 模型训练环境

在模型训练前，需要对环境进行配置。主要分为硬件环境以及软件环境，如图3所示。

表1 硬件环境以及软件环境

在硬件环境方面，CPU版本是Intel(R)Core(TM)i5-1035G1，GPU版 本 是NVIDIA Geforce MX350，内 存 版本是ChannelA-DIMMO。在软件环境方面，操作系统版本是Window 10，编程语言是Python，深度学习框架为tensorflow，版本是3.6。

4 实验结果与分析

4.1 实验过程

搭建好网络模型结构，调整好参数就可以开始训练模型了。选择MS-COCO公共数据集训练网络模型。通过反复训练网络，调整参数，得到最优权重。在测试阶段，选择测试集进行测试，得到融合图像。图像从上至下依次对应红外图像、可见光图像、图像融合效果图，实验结果如图3所示。

图3 红外图像、可见光图像、图像融合效果图

从实验结果可以看出，红外图像反映热辐射信息，不受光照条件影响，可见光图像分辨高，主要反映了图像的纹理细节信息，经过图像融合后，融合图像包括了红外图像的热辐射和可见光图像的纹理细节信息，第三张图片效果最为明显，红外图像轮廓不太清晰，可见光图像有纹理细节，经过图像融合后图片融合效果变得清晰，可以看到轮廓细节信息变得更加明显。与源图像相比，图像质量得到提高。

4.2 图像融合的性能评估

目前图像融合的评价方法有主观和客观评价方法。由于主观评价方法主观性强，具有片面性。因此我们需要与客观评价方法结合对融合图像进行综合评价。客观评价指标主要有结构相似性、信息熵、空间频率和相关系数。

5 结语

目前基于深度学习的方法已经广泛应用于人们日常生活中，涉足于多种场景和领域，将深度学习的方法应用在高压电气设备上，实现红外与可见光图像融合，实时检测电气设备故障诊断的图像融合方法还不是很多，需要不断进行探索，由于电气设备的种类多种多样，器件结构复杂程度不同，为了提高红外与可见光图像融合清晰度，需要根据具体情况改进网络模型不断优化。