基于深度卷积网络的复杂环境中绝缘子串特征检测

(西安工程大学 电子信息学院，西安 710048)

0 引言

输电线路中出现绝缘子串表面污秽、自爆、破损和裂纹等故障严重威胁着输电线路的安全可靠运行。基于视频分析的输电线路监测平台是智能电网核心组成部分。随着极端天气比如沙尘暴、雾霾、以及暴风雪等对现场输电线路监测的影响，因而采用优秀的图像显著特征检测算法来更清晰提取绝缘子串或导线的实时状态显得越来越重要。

目前对于远程采集的绝缘子串或导线工作状态图像的处理方法包括：基于颜色特征的绝缘子串和导线的状态监测[1]，该类方法依据单一特征变化量监测识别，如果采集的图像背景较复杂时，绝缘子串和导线的特征检测效果较差，影响输电线路的工作状态实时检测。

近年来，显著物体检测受到了广泛的关注，作为一种在图像处理领域高效使用的预处理方法，显著特征检测在各种图像处理领域应用变得至关重要，例如，物体检测和分割，图像重新定位，对比度增强，图像融合，图像分类等。

显著性检测模型可以分为两类：从元素的角度来看类。第一类是基于像素的方法，这些方法受到非均匀突出显著区域的影响会产生不连续的边界；为了克服这些缺点，已经提出了第二类基于超像素的方法，首先，与基于像素的方法相比，基于超像素的方法包括一些基于区域特征，如颜色直方图，这比单个像素的颜色更有效。

基于区域的方法很好地保留了显著对象的形状，而基于像素的方法忽略了物体形状的多样性。全局特征检测方法是以整个图像为对象来计算显著特征，通过整体稀有度和唯一性预测图像的显著区域，并将噪声敏感到边缘等高频图像内容。当区域与背景类似时，全局方法无法突出显示纹理的效果。

对于不同尺度的显著性检测，一些超像素可能包含完全突出的对象，忽略异构的局部细节特征，不能得到准确完整的显著特征，影响显著区域的检测效果。

深度学习在各领域的应用越来越广泛，该模型是参考人脑分层工作原理，从底层输入信号到高层输出语义之间建立映射关系。将卷积神经网络(CNN)应用于显著性检测模型中可以提取图像的高级特征，提高检测的效率。

近年来特征检测领域出现很多代表性模型：LC模型[2]：该模型将一幅图像划分为不同的区域, 计算各区域之间颜色元素的差异度，相比于全局对比度模型能更好的提取显著目标的细节；Goferman等人[3]先通过局部对比方法产生较模糊显著图，利用区域协方差对对结构信息进行编码，并在不同的特征图上进行非线性积分得到显著区域；文献[4]提出了UCF模型，是在特定卷积层之后构建一个不确定的内部特征集合，用于提高显著性检测的鲁棒性和准确性。文献[5]的显著性检测方案是对前景依照颜色和纹理线索，依次在每个特征集群中集成它们，再通过两幅显著图的线性组合生成最终显著图，该方法鲁棒性较好，但算法耗时较多。

本课题以提高绝缘子串特征检测效果为目标，引入视觉显著机制与深度学习算法，改善在遮挡或背景较复杂时对于绝缘子串的检测效果，达到无颜色沾粘，更清晰完整，减少算法运行时间，提高电网系统可靠性。

1 算法分析

本课题首先采用多尺度方法将图像分解为不同的层，然后采用SLIC[6]将每层图像分解为不同的超像素，采用超像素特征来描述多尺度图像的某个区域的特征信息，计算各超像素的纹理特征和信息熵特征得到图像的粗略显著区域，并作为样本集输入Region Net网络，最后通过多次网络迭代训练得到显著物体特征。采用上述方法对输电线路中的绝缘子进行提取，并对状态进行监测，提高特征检测的准确性和完整性。

1.1 显著前景区域紧凑性计算

对于较复杂的图像，对象特征检测容易错过一些显著信息，比如显著对象周围存在杂乱背景，或者物体和背景之间的对比度较低等[7]。由于显著对象可能出现在图像不同的尺度上，与背景形成不同的对比度，因而本课题引入超像素和统计方法来降低复杂场景的难度。采用多尺度方式将图像分解为不同的层，然后通过SLIC将每层分解为不同大小的超像素，超像素优势表现在保证特征信息不变的情况下大大减少运算量，多尺度结构可以保持不同尺度下获得的显著区域之间的一致性，同时有效地组合区域和边界特征获得更完整的显著特征。

图1 不同k划分结果图

(1)

(2)

式中，w(l)和w(l,m)是两个维度矩阵nl×nl和nl×nm。w可以通过矩阵表示为：

(3)

上式中应中的每个子矩阵的对角元素都设置为0。

为了对上述算法进行对比说明，图2展示了使用单尺度和多尺度处理的效果进行对比。可以得出：使用基于多尺度划分的方法可以比单尺度方法更准确的定位显著信息，同时剔除周围部分噪声。

图2 单尺度与多尺度对比

2 基于Fast-CNN模型[8-9]的改进设计

由于复杂背景下绝缘子串图像易受光照、雾霾等影响，会产生色差、变形以及部分遮挡，本课题提出将改进的卷积神经网络(CNN)和显著性检测的方法相结合，用于绝缘子串特征提取，提高绝缘子串特征的检测的准确性。图3为卷积神经网络工作的流程图。

图3 卷积神经网络流程图

将CNN应用于显著性检测网络可以自动学习图像的结构化特征功能，通过端到端的传播方法提取图像的特征，代替复杂的手工提取特征，大大提高特征提取的效率。

针对实时采集的输电线路工作图片，通过本课题算法对图片中有效区域进行监控，本课题提出了Region Net网络，该网络结构简单、效率高，Region Net利用CNN具有完全连接的层，各层负责不同特征的提取，并利用区域细化方法用于实现显著区域的精确计算，进一步提高了检测精度。基于CNN的显著区域细化处理的特点是基于物体特征的稀有性和独特性，考虑整个图像信息以检测出突出区域，从而检测出尽可能多的显著对象。由于该方法检测出的显著特征不同于对高频图像中的敏感的边缘和噪声特征，该方法减少背景特征和噪声特征的影响。

本课题提出的显著性检测框架如图4所示：首先对图像进行预处理，然后将1.1节中提取粗略显著区域(如图4中b图)和原图(如图4中a图)分别送入到Region Net，通过Region Net能够预测端到端的准确的显著区域，分别为图4中的FS和FC，最后形成整个图像的显著特征图FH，明显提高显著对象检测性能。

图4 区域网路框图

本课题提出的显著特征检测网络中，采用VGG16 CNN[10]进行训练。VGG16的训练是先从各层中提取特征后进行线性组合，增强对输入图像的显著特征提取，然后使用子模型从前到后依次经过3个卷积层(见图3)依次为：Conv3、Conv4、Conv5以及一个完全连接的层(FC)。同时每一个卷积子模型增加三层卷积，接着是三次ReLU操作，最后送入池化层。显著特征图计算如公式(4)所示：

S=STD×eSBU

(4)

(5)

(6)

在式(4)中，S表示输入图像经过计算得到的显著特征图，SBU表示自下而上的显著特征图，STD表示建议的自上而下的显著图。在等式2中，n代表子模型数{conv3，conv4，conv5，fc}，SLayer_n表示从VGG16中的子模型获得的特征映射；Wn表示对应的权重每个特征图，中心偏置加权M=1-d，缩放到d∈{0.25-1}，大小为224×224。

实验首先将SLayer_n的行和列调整到224×224，然后对每个SLayer_n进行高斯模糊操作，提高显著性检测的整体性能，最后采用归一化操作来计算最终显著图，如公式(7)所示：

(7)

Region Net的池化操作是对每个Region Net中的特征按一定的比率进行聚合(本课题实验中为7×7)。

误差反向传播需要计算误差，误差通过Om与理想输出Ym的差值得出；然后采用极小化误差算法调整权值。训练第m个样本的误差函数计算方法如式(8)所示：

(8)

将显著对象检测作为二元分类问题，形成端到端的显著图像，采用该方法能够更完整准确的提取图像中的高级特征，高级特征能更好的反映图像的显著物体的特征，能够显著对象特征提取更准确，同时降低计算成本。

3 实验运行结果分析

为验证本课题提出的算法的高效性，首先选取不同光照环境、阴影环境、以及恶劣环境下各类绝缘子串的不同工作图像，然后进行绝缘子的显著特征提取结果对比实验[3]。采用不同的显著检测模型分别检测绝缘子串特征。包括CSD模型[3]、FT模型[2]、GU模型[11]、GC模型[3]、SR模型[1]以及本课题提出的模型。其中实验环境选择Intel 酷睿i7处理器，主频3 GHz，内存8 GHz的配置，编辑环境为Matlab 2017a和VS2010。

3.1 不同光照条件下识别分析

实验选取在不同光照对比明显的三幅图像进行绝缘子串特征提取，实验结果如图5所示，可以得出：在光照较弱的时，CSD模型、GU模型、FT模型和SR模型、GC模型以及本课题提出的模型都能很好的提取绝缘子的特征，但在光照强度增大后，采集的绝缘子图像特征对比度越来越低的时候，GU模型、FT模型和SR模型、GC模型提取的绝缘子特征图中含有的噪声较大。

图5 不同光照下绝缘子串特征检测

3.2 不同阴影条件下识别分析

实验还选取不同阴影环境下工作的两幅绝缘子图像，采用不同的方法提取绝缘子串特征，实验结果如图6所示，可以得出：在阴影部分较多时，CSD模型、GU模型、FT模型和SR模型、GC模型提取绝缘子的特征信息丢失严重。

图6 不同阴影下绝缘子串特征检测

3.3 绝缘子破损检测

通过实时读取摄像机的数据，由于绝缘子特征与背景对比度较大，因而采用本课题算法和其它的显著性检测算法对图片进行处理，得到绝缘子串特征，结果如图5所示。表明本课题算法能更好的检测到绝缘子破损区域。

图7 恶劣天气下识别结果图

根据图像在不同光照、阴影以及恶劣天气条件下的实验结果得出：本课题模型比CSD模型[11]、GU模型[12]能更好的突出显著物体的边缘连续性和准确性,能更好的去除背景信息；比FT模型[3]和SR模型[1]能更完整、清晰的提取显著物体局部信息，适用于场景变化不大的场合；比GC模型[3]提取的绝缘子串图像对比度更好。

3.4 评价标准

评价标准中的客观性能评价包括准确率-召回率(precision recall, PR)曲线、F-measure 和平均绝对误差(mean absolute error, MAE)的值[10]。MAE值的计算通过式(13)得到：

(9)

式(13)中H表示图像中像素点的总数,h表示任意像素点,该评价标准可以表明显著图与真值图之间的相似度。本课题采用F-Measure进行评估， F-Measure的计算公式为：

(10)

本课题采用PR曲线对所有算法进行评价, 首先设定阈值为 0～255，获得PR 值可描绘成曲线作为对 PR 曲线的补充,其中,θPRE和θRE分别表示显著结果图与原图对比的准确率和召回率。为了给予准确率更高的权重, 本课题设置η2=0.3。

图8 不同算法ROC曲线特征

3.5 算法复杂度对比实验

复杂度对比实验是从室外拍摄的不同环境中绝缘子串工作的图像库中选取500幅图像平均分成5组进行处理，分别计算每组处理方法所用的平均时间。表1测量6种不同算法的运行时间对比。测试结果表明本课题提出的算法运行速度仅次于SR 算法, 但本课题提出的算法效果明显优于SR 算法。

表1 不同方法每张图像平均计算时间

4 结论

本课题将人类视觉注意模型中感知前景的显著区域和改进后卷积神经网络相结合，提取不同环境中的绝缘子串特征图。实验效果通过PR曲线、F-measure、MAE值和算法运行时间综合对比各模型性能。结果表明本课题算法能更清楚提取绝缘子串内部信息，同时也较完整的保留绝缘子串的边缘信息。本课题算法将输电线路中的绝缘子串工作状态检测效果得到提升，避免人工巡视的缺陷，提高巡视的自动化程度和效率。

下一步研究工作：可将本课题算法模型应用于更多类型的典型输电线路故障识别，比如绝缘子自爆识别、绝缘子串污秽和导线断股等方面[13-15]。