基于联合分量灰度化算法和深度学习的玻璃绝缘子目标识别算法
2022-04-14黄新波高玉菡伍逸群孙苏珍
黄新波,高玉菡,张 烨,赵 隆,伍逸群,孙苏珍
(西安工程大学 电子信息学院,陕西 西安 710048)
0 引言
输电线路跨越城市、山川、森林、河流等复杂的地理环境,玻璃绝缘子所呈现的颜色特征往往受树木、河流颜色等相近色彩干扰,同时户外光照条件的多变性,使得采集到的玻璃绝缘子图像中的背景和目标难以区分,从而影响玻璃绝缘子目标的准确识别与提取[1-2]。因此,如何从复杂背景图像中准确检测出玻璃绝缘子目标是亟待解决的基础问题,也是后续玻璃绝缘子破损、自爆、污秽等故障识别与诊断的前提条件。
为了实现绝缘子的准确识别,国内外学者针对绝缘子检测展开了大量研究。在传统算法方面,ZHAI Yongjie 等结合图像浅层特征提出一种显著性像素聚合算法进行绝缘子定位,并建立损伤区域颜色模型完成绝缘子表面损伤识别[3];WANG Wanguo等依次利用形态、颜色和纹理特征量实现了绝缘子目标区域生成、定位和缺陷分析[4];IRUANSI U 等提出利用主动轮廓模型检测绝缘子区域[5];徐俊良等提出一种将单像素点属性判断和局部均值法相结合的分割算法[6]用于绝缘子目标识别,但该类传统算法的检测性能取决于手工特征的稳定性,在复杂多变的电力场景中,其普适性受限,检测难度显著提升。近年来,电网智能化运行水平不断提升,图形处理器(GPU)计算单元的普及和电力图像数据的激增使得深度学习方法被逐步应用到绝缘子检测中。在深度学习算法方面,王义军等通过构造具有空洞卷积和多尺度池化运算的卷积神经网络用于绝缘子检测,并引入双任务损失函数提升模型的检测效果[7];白涛在更快速的基于区域建议的卷积神经网络(Faster R-CNN)算法基础上,首先利用绝缘子形状特征等先验知识对锚框比例等参数进行调整,然后插入注意力学习模块以优化网络识别性能,从而增强了原算法的预测准度和定位精度[8];廉启旺提出一种Yolov3 与模式识别相结合的定位算法,通过反向传播(BP)算法调整权重参数以降低特征冗余信息,解决了回归框冗余背景多的问题[9]。
本文基于当前研究现状[10-11],对现场采集的大量玻璃绝缘子图像进行分析后发现,多变的光照条件、复杂的相近色背景容易导致玻璃绝缘子的颜色特征不明显,从而影响玻璃绝缘子目标的识别精度。例如:强光下玻璃绝缘子表面会出现白色反光点;弱光下或被遮挡时其表面又会出现阴影区;背景包含森林、草地、河流时,玻璃绝缘子与背景难以区分。传统灰度化方法不仅无法有效突出绝缘子目标和背景的灰度差异,还损失了绝缘子本身的色彩信息,进而导致绝缘子目标识别结果出现明显的过分割、欠分割现象。为此,本文首先根据玻璃绝缘子的颜色特征提出一种联合红色分量R、绿色分量G、蓝色分量B、色调分量H、饱和度分量S这5个颜色分量的联合分量灰度化算法,有效突出了玻璃绝缘子目标区域;然后,对进行灰度补偿后的玻璃绝缘子图像进行均匀分块,在此基础上利用动态分块阈值实现玻璃绝缘子图像粗分割;同时,为了准确滤除粗分割结果中的背景像素,本文还提出了一种双尺度分类卷积神经网络算法获取玻璃绝缘子各子块图像的精细化识别结果;最后,通过合并各子块图像实现玻璃绝缘子目标的准确提取。本文方法有效解决了玻璃绝缘子目标识别中相近色彩干扰、光照不均等问题,提高了复杂背景下玻璃绝缘子的识别效率和鲁棒性,为进一步辨识绝缘子本体缺陷和故障诊断奠定了基础。
1 算法整体流程
针对绝缘子目标识别中存在的问题,本文根据玻璃绝缘子目标与背景存在色彩差异,以及光照变化与玻璃绝缘子图像的颜色分量H、S存在弱相关性的特点,首先联合R、G、B、H、S这5 个颜色分量对采集的图像进行联合分量灰度化处理,然后利用均匀分块和动态分块阈值进行玻璃绝缘子图像粗分割;其次,通过引入融合注意力机制的特征提取网络获取玻璃绝缘子图像的高维卷积特征,并结合基于全卷积运算的感兴趣区域ROI(Region Of Interest)候选网络搭建并训练双尺度分类卷积神经网络模型;同时基于粗分割结果,根据深度学习分类模型搜索并保留含有玻璃绝缘子目标的子块图像,实现玻璃绝缘子图像细分割;最后,合并所有二值子块图像实现相近色及光照干扰下玻璃绝缘子目标的准确识别。具体流程见附录A图A1。
2 联合分量灰度化算法
2.1 颜色分量特征分析
玻璃绝缘子因组成材料不同而呈现不同的颜色特征,例如加入氧化钴、氧化铬的玻璃绝缘子分别呈现蓝色、绿色特征,见附录A 图A2。因此,颜色特征是最直接可靠的玻璃绝缘子目标识别特征依据。
红绿蓝(RGB)颜色模型中R、G、B这3 个颜色分量的耦合度高,直接对各颜色分量的灰度化图像进行分割,势必存在分割不完整或误分割等现象。基于此,相关研究提出利用色差法[12]对灰度化图像进行处理以优化分割识别结果。但是该算法由于目标对象单一、权值固定且依赖经验主义,无法直接应用于玻璃绝缘子目标识别。为此,本文对传统的色差法进行改进,将与玻璃绝缘子目标强相关的颜色分量完全保留,对弱相关的颜色分量赋予自适应权值α、β,由R、G、B分量的线性加权组合构成图像灰度化的第一特征算子O1,如式(1)所示。
色调-饱和度-亮度(HSI)颜色模型中H、S和亮度I这3个分量相互独立,因此常用于彩色图像处理,通过在HSI 颜色空间分析大量玻璃绝缘子图像发现:无人机进行侧光拍摄时,玻璃绝缘子目标的色调特性显现,利用H可集合色调一致的玻璃绝缘子目标区域;无人机进行逆光拍摄时,玻璃绝缘子目标的饱和度特性显现,利用S可保留饱和度高的玻璃绝缘子目标区域并滤除饱和度低的背景区域;无人机进行顺光拍摄时,玻璃绝缘子目标同时具备色调、饱和度特性,利用H或S均可进行玻璃绝缘子目标识别。根据这一特点,本文将H、S分量作为图像灰度化的第二特征算子O2。
通过调整权值组合(α,β),可使O1最大限度地提取玻璃绝缘子目标区域的颜色特征,同时联合O2,能够对玻璃绝缘子目标区域进行灰度补偿,从而有效增强目标与背景的对比度。基于此,本文提出一种联合分量灰度化算法,该算法可有效突出玻璃绝缘子目标区域,显著提升玻璃绝缘子的识别精度。
2.2 构造特征算子
本文提出的联合分量灰度化算法主要是利用R、G、B、H、S这5 个颜色分量构造2 个特征算子O1和O2,再联合O1和O2对玻璃绝缘子图像进行灰度化处理,将得到的灰度图像称为联合分量灰度JCG(Joint Component Graying)图像。特征算子O1和O2的构造与联合过程如下。
O1的具体定义见式(1)。为了优化O1的灰度化结果,引入特征算子O2用于灰度补偿,具体定义为:
式中:S′为S的反色分量,在逆光拍摄时取S的反色分量作为O2参与计算可取得较优的视觉效果。
无人机拍摄方式判断规则为:对无人机采集的图像进行色调-饱和度-亮度分解,若H分量图像呈现双峰性,则为无人机侧光拍摄;若S分量图像呈现双峰性,则为无人机逆光拍摄;若H、S分量图像均呈现双峰性,则为无人机顺光拍摄。
玻璃绝缘子图像中强相关分量的判定规则如下:
1)无人机逆光拍摄时,如果[B-0.5(G+R)]∩S′>[G-0.5(R+B)]∩S′,则说明B为强相关分量,否则G为强相关分量;
2)无人机侧光拍摄时,如果[B-0.5(G+R)]∩H>[G-0.5(R+B)]∩H,则说明B为强相关分量,否则G为强相关分量;
3)无人机顺光拍摄时,可任选规则1)或2)进行判断。
无人机逆光和侧光拍摄时,联合O1和O2的灰度化公式分别如式(3)和式(4)所示。
不同的权值组合对应不同的灰度化结果,本文取目标和背景对比度最大的JCG 图像为最佳JCG 图像,其对应的最佳权值组合为(α′,β′)。
2.3 最佳JCG图像的确定
为了确定最佳JCG 图像,本文采用穷举搜索算法[13]进行查找。首先,以权值组合(α,β)=(0,0)为起点,0.1 为步长,[0,0.9]为遍历范围;然后依据式(3)、(4),分别计算各JCG 图像的类间和类内方差比存入候选解空间中,并查找其中的最大类间、类内方差比,返回对应的最佳权值组合(α′,β′);最后,将(α′,β′)代入式(3)、(4)得到最佳JCG图像。
无人机顺光、侧光和逆光拍摄的玻璃绝缘子图像联合分量灰度化过程分别如附录A图A3(a)—(c)所示。此外,以附录A 表A1 所示的6 幅测试图像为例,其最佳权值组合(α′,β′)及最佳JCG 计算公式如附录A表A2所示。
3 基于深度学习的玻璃绝缘子目标识别算法
经过本文联合分量灰度化算法处理后的JCG 图像,在补偿玻璃绝缘子区域灰度特征的同时,有效增强了图像中玻璃绝缘子和背景的对比度,为基于灰度阈值的玻璃绝缘子图像分割提供了有利条件。但是,全局阈值分割法对于不同物体的灰度重叠区域分割效果差,局部阈值分割法的分割效果有所提升,但其计算较复杂。因此,本文提出了一种基于动态分块阈值和深度学习的检测算法,该算法无需逐像素确定阈值,利用高维特征信息即可精确滤除背景像素,有效提高了识别准度与精度。
3.1 基于动态分块阈值的玻璃绝缘子图像粗分割
图像分块不仅能降低分割算法的复杂性,还可有效补偿光照和反射的不均匀性,进而提高识别算法的鲁棒性。因此,本文首先对最佳JCG 图像进行均匀分块,然后再计算各子图像的动态Otsu 阈值,进而得到各子图像的粗分割结果,具体步骤如下。
1)设待处理的最佳JCG图像大小为m×n,以h×h的窗口进行划分,将得到的子图像逐列存储,并编号为Ii(i=1,2,…,(m/h)×(n/h),其中 (m/h)×(n/h)∈N+),最佳JCG 图像分块编号方式见附录A 图A4。原始图像、最佳JCG图像分块结果、RGB图像分块结果分别如附录A图A5(a)—(c)所示。
2)利用Otsu 阈值依次计算子图像Bi的动态分块阈值ti,利用ti对相应的子图像Ii进行分割。
3)依次存储步骤2)所得各子图像分割结果Bi,得到的玻璃绝缘子图像粗分割结果见附录A图A6。
3.2 基于双尺度分类卷积神经网络的玻璃绝缘子图像细分割
由于粗分割过程主要针对JCG 图像,无法完全避免背景干扰,而深度学习算法恰好可以弥补玻璃绝缘子图像粗分割中损失的色彩、边缘等高维信息。因此,本文利用深度学习算法在RGB 分块图像中检测包含玻璃绝缘子目标的子块图像,以实现玻璃绝缘子图像细分割。
3.2.1 双尺度分类卷积神经网络
本文基于注意力分类算法思想[14],提出一种双尺度分类卷积神经网络,该网络无需框坐标、像素类别等标注信息,仅通过双尺度结合、半监督的学习方式就能快速定位到输入图像的ROI。双尺度分类卷积神经网络的结构见图1,其由不同尺度的特征提取网络、分类网络和ROI候选网络组成。
图1 双尺度分类卷积神经网络结构图Fig.1 Structure diagram of dual-scale classification convolutional neural network
1)特征提取网络。由于用于大规模图像识别的更深卷积神经网络(VGG)通过级联一系列堆叠的3×3、1×1 卷积层和多个可实现非线性映射的激活函数,在快速减小图像尺寸时仍保持着较大的感受野,同时还增加了网络层的深度,有效提高了深度卷积神经网络的分类识别精度[15]。因此,本文选择了结构简洁、分类精准的VGG-16 模型作为特征提取网络,如图1 中的C1、C2所示,其各自具有适应不同图像尺度的网络参数。此外,为了进一步准确定位ROI,本文还在网络C1、C2最末端加入了具有注意力机制的用于卷积神经网络的注意力模块(CBAM)[16],如附录A 图A7 所示。本文所提改进特征提取网络通过串联通道和空间注意力模块,有效抑制了特征提取网络中的无用信息流,节省了计算开销,实现了输入图像有效特征图的精细化,有利于ROI 掩膜函数的生成;同时,改进特征提取网络还可以根据实际任务的需要进行更换。
2)ROI 候选网络。为了能够提供具有不同尺度信息的ROI,同时在特征提取网络发生替换时仍能实现ROI 的计算,本文提出一种能够接受任意输入尺寸的全卷积网络[17]用于构造ROI 候选网络,如附录A 图A8 所示。该网络由3 层卷积层构成,每层卷积核个数依次为1 024、1 024 和3,卷积核大小均为1×1,其输入为改进特征提取网络获得的精细化高维特征图,输出对象为ROI 区域的中心坐标点(x,y)和半边长r。
要确定细尺度网络的输入图像ROI,需要构造ROI 掩膜函数。首先,定义该ROI 区域的左上角坐标为(xl,yl),右下角坐标为(xr,yr),这2个点的坐标可由 中 心 点(x,y) 及r得 到,即(xl,yl)=(x-r,y-r),(xr,yr)=(x+r,y+r),则ROI 区 域 为{(x,y)|xl<x<xr,}yl<y<yr;然后,根据ROI坐标的大小关系,对其进行sigmoid 二分类函数映射,可以实现ROI 内函数值为1、区域外函数值为0 的变换,由此可得ROI 掩膜函数M=[fsig(x-xl)-fsig(x-xr)][fsig(y-yl)-fsig(y-yr)],其中fsig(·)为sigmoid 函数;最后,将粗尺度网络S1的输入图像与ROI 掩膜函数M进行对位相乘,再结合局部区域插值算法得到玻璃绝缘子目标区域的ROI图像作为细尺度网络S2的输入,从而实现图像多尺度特征信息的融合,同时双尺度分类卷积神经网络还通过逐尺度输入ROI 图像进行训练,有效抑制了冗余信息向下一层流动,由此形成的注意力机制极大地提高了网络对图像信息的处理效率与准确性。
3)分类网络。分类网络结构见图1 中的d1、d2。双尺度分类卷积神经网络首先获取粗尺度和细尺度网络得到的卷积特征;然后通过各尺度网络下的全连接(FC)层和Softmax 函数计算输入图像的分类结果;最后采用辅助分类损失函数Lcls1和主分类损失函数Lcls2计算最终的分类结果。双尺度分类卷积神经网络的损失函数L(X)定义如下:
式中:X为输入图像;s为尺度参数;f为网络预测的输入图像类别;f*为输入图像的真实类别。Lcls1只在训练过程中使用,其可在训练时充当正则约束,迫使粗尺度网络S1也具备良好的分类能力,进而使得深层尺度网络S2可逐步精细化定位到ROI,从而得到准确的分类结果。
3.2.2 网络训练及识别
首先,按照C1、C2的结构加载预训练模型参数;然后定义S1、S2中最后一层的分类类别数为2,即类别为背景(标签为0)和玻璃绝缘子(标签为1);最后,将动量设置为0.9、权值衰减系数设置为5×10-4,并对其他各项超参数进行设置,结合参数组思想对特征提取网络赋予较小的学习率或进行冻结,其余各层及ROI 候选网络使用较大的学习率,并利用现场采集的4000幅无人机图像对整个网络进行训练,直至模型收敛,其余各层参数不变。
网络训练完毕后,将各RGB 子图像输入到双尺度分类卷积神经网络中,利用网络权重参数求取各块子图像的类别,见附录A 图A9。同时,将粗分割结果代入式(8)进行计算,即当子块i被判定为玻璃绝缘子时,其类别标签为1,保留对应的Bi;否则判定为背景,其类别标签为0,滤除对应的子图像Bi(置0)。
3.3 子图像合并及形态学滤波
将基于深度学习算法得到的各子图像进行合并,如附录A 图A10 所示,具体合并过程为:从第1个子图像开始,每隔m/h个子图像合并为一列,直到第(m/h)×(n/h)块子图像,一共得到n/h个子图列;再将n/h个子图列横向合并,即可得到完整的绝缘子目标识别结果,如附录A图A11(a)所示。
为了进一步优化绝缘子目标识别结果,本文首先采用形态学开运算填充目标区域的孔洞,弥合其中的断裂区域;其次运用闭运算去除背景中的伪目标和孤立噪点,形态学处理结果见附录A 图A11(b);最后将形态学处理后的二值图像与原始彩色图像进行点乘,即可实现玻璃绝缘子目标的完整提取与准确识别,玻璃绝缘子目标提取结果见附录A图A11(c)。
4 实验结果与分析
为了验证本文的联合分量灰度化算法、基于深度学习的绝缘子目标识别算法的有效性,利用不同的无人机拍摄方式得到的玻璃绝缘子图像数据集进行实验验证,具体如下。
1)以无人机悬停拍摄、缩放到分辨率为640 像素×480 像素的玻璃绝缘子现场图像为测试图像,进行如下实验:
(1)联合分量灰度化算法与传统灰度化算法的对比实验,以验证本文方法的有效性与稳定性;
(2)基于最佳JCG 图像,验证本文玻璃绝缘子目标识别算法的有效性与可靠性,并与Otsu 阈值、分水岭、Faster R-CNN、RetinaNet、掩膜区域卷积神经网络(Mask R-CNN)算法进行对比分析。
2)为定量分析联合分量灰度化法和基于深度学习的识别算法的性能,以无人机悬停拍摄和遥拍的玻璃绝缘子现场图像为测试图像,通过消融实验量化不同算法对于最终识别结果的贡献度,以综合评价不同算法的性能。
4.1 联合分量灰度化实例分析
本文给出了6 幅代表性玻璃绝缘子图像灰度化过程的对比实验,结果见附录A 表A1,可以看出由本文的联合分量灰度化算法得到的结果中,玻璃绝缘子与背景对比明显,灰度差异最大。对于表A1中的图像①、②,经传统灰度化算法处理后,玻璃绝缘子和背景存在明显的灰度重叠,而经本文的联合分量灰度化算法处理后绝缘子区域的整体灰度明显高于背景灰度。对于表A1中的图像③和图像④,由于光照不均,经传统灰度化算法处理后,玻璃绝缘子表面出现了显著的明暗对比,而经本文的联合分量灰度化算法处理后,绝缘子表面灰度均匀,较好地弥补了光照不均的干扰。同时,从表A1中每幅灰度化结果图像所对应的灰度直方图可以看出:经传统灰度化算法处理后,灰度直方图中的大部分像素点聚集于某一灰度区间形成单峰,玻璃绝缘子目标与背景无法分离;而经本文的联合分量灰度化算法处理后,玻璃绝缘子目标像素与背景像素分别聚集在无交叉的灰度区间,呈现明显的双峰性,如附录A图12所示。
此外,本文还以VGG-16 和ResNet-18 模型在包含千余张玻璃绝缘子图像的数据集上训练5 轮,迭代20000次得到的Grad-CAM 可视化结果为例,与本文的联合分量灰度化算法进行对比,结果如附录A图A13 所示。由图A13(a)、(b)可以看出,深度学习模型对于玻璃绝缘子目标的学习效果整体呈现出无法完全并精确地映射到玻璃绝缘子区域,甚至存在误映射的情况,同时,对于不同的玻璃绝缘子图像,VGG-16 和ResNet-18 模型的学习效果也存在差异,总体上后者处理效果优于前者。这是由于VGG算法堆叠的卷积、池化运算造成信息丢失,从而导致出现误映射现象,而ResNet 算法通过引入自学习的映射单元,在网络层数加深的情况下,仍较好地实现了图像的特征抓取,一定程度上避免了对背景内容的误学习。由图A13(c)可以看出,本文灰度化算法能够通过调整O1的权值组合,并联合O2增强玻璃绝缘子和背景的灰度差异,从而准确映射到玻璃绝缘子区域,达到了目标显著性检测的效果,对有效定位玻璃绝缘子目标产生了积极影响。
综上所述,本文的联合分量灰度化算法能够有效补偿光照不均并解决相近背景色干扰问题,显著增强绝缘子目标和背景的对比度,为绝缘子的后续故障识别奠定了良好基础。
4.2 基于深度学习的玻璃绝缘子目标识别算法实例分析
本文通过9 幅代表性的玻璃绝缘子图像对比不同绝缘子目标识别算法,结果见附录A 表A3。由表可见:在Otsu 阈值和分水岭算法的识别结果中,存在明显过分割和欠分割现象,无法滤除相近背景色系干扰;Faster R-CNN 算法虽然能够准确定位和识别玻璃绝缘子,但不能分离提取背景、目标像素。
为进一步验证本文玻璃绝缘子目标识别算法的有效性,本文还选取了目标尺度小的玻璃绝缘子图像和存在干扰目标的玻璃绝缘子图像,分别利用RetinaNet、Faster R-CNN、Mask R-CNN 和本文算法对图像进行处理,3组图像的处理结果分别如附录A图A14(a)—(c)所示。横向对比来看:RetinaNet 算法所得结果的置信度分数处于50%~70%的低水平位置,当设置较高的交并比(IOU)阈值时可能出现绝缘子目标漏检的问题;Faster R-CNN 算法虽然能全数召回玻璃绝缘子目标,但回归框仍存在明显的位置偏差;Mask R-CNN 算法的生成掩膜对玻璃绝缘子边界的跟踪性能较弱,未能保留玻璃绝缘子的螺旋形边界;本文算法可有效滤除背景干扰,实现玻璃绝缘子目标的高质量识别提取,相对而言更有优势。
综上所述,本文的玻璃绝缘子目标识别算法具有显著的稳定性和鲁棒性,能够完整提取和识别复杂环境和背景下的玻璃绝缘子目标。
此外,为了定量评估本文绝缘子目标识别算法的性能,分别采用Dice 参数D(Dice)、杰卡德系数J(Jaccard-index)[18]对不同算法的绝缘子目标识别结果进行评价,D、J的计算公式分别如附录A式(A1)、(A2)所示。以附录A 表A3 中的9 幅代表性绝缘子图像为例,表1 给出了本文玻璃绝缘子目标识别算法所得结果的各项评价指标。可以看出,对于9 幅图像,D均达到91%以上,J可达82%以上,说明本文的玻璃绝缘子目标识别算法的识别结果与标准识别结果的一致性高,能够准确识别出玻璃绝缘子目标,受相近色和光照的影响小,具有较高的准确率和鲁棒性。
表1 本文的玻璃绝缘子目标识别算法所得结果的评价指标Table 1 Assessment criteria of results obtained by proposed glass insulator object recognition algorithm
此外,本文利用无人机悬停拍摄的2000幅现场玻璃绝缘子图像构建数据集,对不同绝缘子目标识别算法的性能进行了比较,对比结果见表2。表中:VmAP为识别准确度均值;VAvg为识别指标平均值,计算公式见附录A 式(A3)。针对2 000 幅玻璃绝缘子图像,相对于仅依靠灰度阈值的Otsu 阈值算法和对光照、噪声敏感的分水岭算法,本文玻璃绝缘子目标识别算法结合了高维特征信息,VAvg分别提升了23.9%和16.7%;RetinaNet、Faster R-CNN、Mask R-CNN 和本文玻璃绝缘子目标识别算法的VmAP依次为75.0%、87.6%、92.5%和88.5%;相较于仅优化交叉熵损失函数而忽略了对特征信息有效利用的RetinaNet 算法,和通过筛选候选区域保证检测准确度的Faster R-CNN 和Mask R-CNN 算法,本文的玻璃绝缘子目标识别算法无需进行大量的坐标标注和像素分割,仅需图像类别标签和多尺度特征信息即可有效提高玻璃绝缘子目标识别的准确性和鲁棒性。
表2 不同的玻璃绝缘子目标识别算法的整体性能比较Table 2 Overall performance comparison among different glass insulator object recognition algorithms
4.3 算法有效性评估
为了评估本文所提算法的效果,首先仅采用本文的联合分量灰度化算法(记为算法1)进行玻璃绝缘子目标识别;然后在联合分量灰度化算法的基础上加入第3 节中的深度学习算法(记为算法2)进行玻璃绝缘子目标识别,结果见附录A 表A4。表3 为在不同数据集上算法1、2 的消融实验结果。表中:数据集A 为无人机悬停拍摄数据集,其包含2 000 张调整为640 像素×480 像素的图像;数据集B 为无人机遥拍数据集,其包含2000张5472像素×3648像素的图像。由表3 可见,引入深度学习算法后,VAvg分别提高了22.5%和19.2%,证明联合分量灰度化算法和深度学习算法均可以准确保留目标区域的有效信息,前者可获得利于目标提取的灰度特征图,后者则可融合多尺度特征信息,获得利于目标分类的高维特征图。相比于传统灰度化算法及分割算法,本文基于联合分量灰度化算法和深度学习的玻璃绝缘子目标识别算法对提高玻璃绝缘子目标识别的泛化能力具有显著效果。
表3 消融实验结果Table 3 Results of ablation experiment
5 结论
本文针对不同光照条件下存在相近背景色干扰时玻璃绝缘子目标识别困难这一问题,本文提出一种基于联合分量灰度化算法和深度学习的玻璃绝缘子目标识别算法。
1)为了降低光照变化和相近背景色干扰,提出一种联合分量灰度化算法,有效增强了玻璃绝缘子目标和背景的对比度,改善了灰度图像直方图的二峰性,为后续绝缘子目标识别检测提供了便利。
2)基于联合分量灰度化处理结果,提出一种基于深度学习的玻璃绝缘子目标识别算法,通过构造具有注意力机制的双尺度分类卷积神经网络,可在任意尺度上有效区分玻璃绝缘子目标区域和背景,算法的识别指标平均值高达92.0%,为后续玻璃绝缘子缺陷检测与故障诊断创造了有利条件。
3)随着深度卷积神经网络的兴起,绝缘子目标识别的研究多以深度学习方式展开。然而,目前国内尚缺开源的权威绝缘子图像数据集用于研究,因此,基于深度学习的绝缘子目标识别多以模型微调为主,同时,该技术手段虽然可以部分迁移到复合绝缘子应用场景,但仍存在局限性,由于受色差算子影响,本文算法只对具有红、绿、蓝三基色的绝缘子有效。因此,实现多种颜色的全类别绝缘子分割识别是本文未来仍需持续关注和努力的方向。
附录见本刊网络版(http://www.epae.cn)。