基于卷积神经网络图像融合算法的电力巡检系统研究

曹中森

(福建永福电力设计股份有限公司，福建 福州 350108)

0 引言

电力系统对国民经济的发展具有至关重要的影响，伴随着国民经济的快速发展，输电量和输电距离快速增加，输电线路容量越来越大，距离越来越远，同时输电电压也逐渐提高，这对输电线路的安全性提出了更高的要求。近年来，频繁发生的自然灾害对电网安全产生了巨大的威胁，利用专用无人机对高压电力线路进行巡检成为大势所趋。对于无人机电力巡检系统而言，其采用现代光电技术，通过搭载高性能的照相机来获取数据，从而达到自动拍摄电力设备的目的。牛姣蕾等对图像融合与拼接算法在无人机电力巡检系统中的应用进行研究，具体包括图像的预处理、图像的配准、图像的拼接与缝消除等，并通过具体的实验验证了提出的方法能够对存在一定重叠和旋转的多幅图像进行自动拼接，获得无缝、清晰的大视场图像[1]。董安勇等基于卷积神经网络的红外和可见光图像融合进行研究，结合高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应调整非下采样剪切波变换(Non-Subsampled Shearlet Transform，NSST)域低频子带的融合模式，通过实验验证了提出的算法不仅能够解决低频子带融合模式给定的问题，同时也有效地克服了脉冲耦合神经网络手动设置参数的缺陷[2]。该文在前人研究基础上，提出基于卷积神经网络的图像融合算法并应用于电力巡检系统。

1 电力巡检图像处理

无人机电力巡检是通过在无人机上搭载高性能摄像机，通过高性能摄像机来获取视频流图像，通过对图像的处理来达到电力巡检的目的。电力巡检图像处理算法流程如图1所示。

1.1 图像预处理

无人机在对输电线路进行图像采集的过程中，受到天气、噪声、曝光等因素的影响，这导致无

图1 电力巡检图像处理流程

人机搭载的探测器所获取的图像和原始图像之间往往具有一定的差异，要通过图像预处理来消除采集图像和原始图像之间的差异。直方图均衡法能够在一定程度上达到增强局部对比度的目的，但是对图像细节增强的控制难度比较大。将幂次变换和直方图均衡法相结合，通过参数调整可以有效地达到增强图像局部细节的目的。幂次变换公式为[3]

s=crγ

(1)

式中，c为增强后图像最大灰度级，r为直方图均衡变换函数，γ为调节参数。

很明显，当c=255，γ=1时，退化为传统直方图均衡法；当探测器获得的图像过亮时，即曝光过量，那么选择调节参数γ>1，此时图像的高灰度区拉伸程度比较大；当探测器获得的图像过暗时，即曝光不足，那么选择调节参数γ>1，此时图像的低灰度区拉伸程度比较大。

1.2 图像配准

采用无人机对高压输电线路进行电力巡检，无人机上往往搭载多个传感器，需要对不同传感器获取的多幅图像进行匹配、叠加。图像配准的方法有很多种，如变换频域法、基于块的模板匹配法等。考虑无人机获取图像的特征，对图像的配准采用基于块的模板匹配法，具体流程如图2所示。

图2 图像配准流程

1.3 图像拼接及拼接缝消除

高压输电线路所处环境恶劣且复杂，无人机对高压输电线路巡检时受到光照、环境等多种因素的影响，这导致待拼接图像重叠区域可能会存在比较大的差别。为了得到高清的图像，必须采取有效的图像拼接技术，即确保拼接的边界平滑过渡，同时消除拼接缝。平均值法是比较常见的图像拼接技术，采用平均值法对无人机拍摄的图像进行拼接。设f为拼接后图像，f1和f2为待拼接图像，那么[4]

(2)

采用平均值法对图像进行拼接的本质是对图像低通滤波，拼接之后的图像会有比较明显的带状，同时拼接痕迹明显，影响电力巡检。采用图像梯度场能量函数法消除拼接缝，消除图像拼接缝的几何错位。设I为图像拼接结果，I1和I2为配准图像，α为两幅配准图像的重叠区域，ω1为配准图像I1除去α的区域，ω2为配准图像I2除去α的区域。

有界TV函数常常被用来对函数的不连续性进行估计，为了对函数不连续性进行估计，用TV范数来衡量原图像与目标图像之间的梯度场差异，即

(3)

式中，Δ为梯度算子。

引入梯度场V，那么

(4)

设ω1区域颜色值I1不发生改变，α区域颜色值通过重新插值计算，那么利用拼接结果I就可以求解能量函数的最小值，即

·‖ΔI(p)-ΔI2(p)‖

(5)

X(p)={0.5p∈α

0 p∈ω2

(6)

引入二进制掩码，即

Y(p)={1p∈α

0 p∈ω2

(7)

那么

(8)

采用迭代法求解(8)就可以得到用于消除图像拼接缝的方法[5]。

1.4 图像融合

图像融合是将多来源的多幅图像经过图像融合算法输出一幅或几幅包含原有图像信息特征且除去冗余信息的图像处理技术，将图像融合技术应用于电力巡检工作中可以很大程度提高电力巡检的精度。卷积神经网络(Convolutional Neural Network，CNN)是典型的深度学习模型，局部感知、权值共享、池化是CNN的核心，有效确保了CNN的平移与缩放不变性[6]。将CNN应用于图像融合中具有良好的融合效果，具体的融合过程如图3所示。

图3 图像融合流程图

1)将待融合图像A和图像B输入CNN中，通过CNN实现权值共享，得到权重图W。图像经过卷积操作之后通过下采样操作来缩小图像的尺寸，该过程为CNN的池化过程。CNN的池化操作可以很大程度降低过拟合发生的概率和特征图的维度，提升图像融合的效率。

2)对待融合图像A和图像B进行局部拉普拉斯金字塔分解，在每一个分解水平上进行图像融合操作[7]。设L{A}l为图像A进行局部拉普拉斯金字塔分解的第l层，L{B}l为图像B进行局部拉普拉斯金字塔分解的第l层，L{W}l为权重图W进行局部拉普拉斯金字塔分解的第l层。

3)计算每一层L{A}l和L{B}l的能量，即

(9)

通过图像融合相似度的计算来确定图像融合的规则，融合相似度计算公式为[8]

(10)

很明显融合相似度的取值范围为[-1,1]，融合相似度值越接近1，那么图像的相似性越高，设置阈值t，通过比较Ml(x,y)和阈值t的大小来选择对应的图像融合规则。

当|Ml(x,y)|≥t时，那么

L{F}l(x,y)=G{W}l(x,y)·L{A}l(x,y)+(1-G{W}l(x,y))·L{B}l(x,y)

(11)

当|Ml(x,y)|

L{F}l(x,y)=

(12)

4)对L{F}l(x,y)进行局部拉普拉斯金字塔重构得到融合图像F。

2 实例分析

2.1 图像来源

伴随着我国高压输电线路的延长，高压输电线路所处的环境也越来越复杂，对丘陵、山区以及多河流地区的电力巡检采用传统的人工巡检方式不仅效率低、成本高，同时巡检的难度也比较大。采用无人机进行电力巡检不仅可以提高巡检的效率，同时也可以降低电力巡检的成本。采用无人机拍摄多丘陵、多河流地区电力设备图像，结果如图4所示。

由无人机拍摄的原始图像可知，不经过图像融合无法判断输电线路的运行状态，如输电线路是否需要维护、杆塔是否需要维护、杆塔是否倾斜等。必须对图像进行融合，从而获得清晰度高、视场大的图像。

2.2 融合结果分析

对无人机拍摄的图像进行融合，采用幂次变

图4 无人直升机拍摄原始图像

换和直方图均衡法对探测器采集到的图像进行预处理，根据电力巡检无人机飞行的速度和相机拍照的时间间隔来计算图像的像素偏移量。采用基于块的模板匹配法来进行图像配准，同时采用平均值法对图像进行拼接并消除图像的拼接缝。将图4中的图像1和图像2拼接得到的图像记为图像A，图4中的图像3和图像4拼接得到的图像记为图像B。将图像A和图像B采用CNN进行图像融合，最终得到融合后的图像，如图5所示。

图5 融合后图像

很明显，融合后的图像不仅包含了原图像的整体信息，同时也包含了原图像的细节信息，为大视场图像。对于电力巡检工作人员来讲，其无需直接去现场就可以进行电力巡检，确保了电力巡检人员的安全，提高了电力巡检的效率和质量。

3 结论

传统电力巡检成本高、效率低，基于无人机的电力巡检成为电力巡检的主要方式。对无人机探测器拍摄图像的处理直接影响了电力巡检的质量，基于卷积神经网络图像融合算法构建了电力巡检系统，并将其应用于我国某多丘陵、多河流地区的电力巡检中。结果表明，基于卷积神经网络的图像融合算法不仅确保了融合后图像包含了原图像的整体信息和细节信息，同时得到的图像为大视场图像，图像的清晰度明显增强，可以满足电力巡检人员对高压输电线路的安全排查工作。