复合绝缘子夜间巡视图像智能处理技术研究
2022-06-14王仁书吴文斌董懿飞梁曼舒刘志鹏
王仁书 吴文斌 董懿飞 梁曼舒 刘志鹏
(1.国网福建省电力有限公司电力科学研究院,福建 福州 350007;2.福州大学电气工程与自动化学院,福建 福州 350108;3.国网福建省电力有限公司莆田供电公司,福建 莆田 351100)
0 引言
据统计,自1980年以来,已有600多万支复合绝缘子在现场使用。长期使用的复合绝缘子,受到潮湿环境、工业污染、近海盐雾等因素影响,会出现不同程度的酥朽老化、污闪、异常发热等问题,给线路的安全运行造成隐患。因此,需要在巡视过程中及时发现这些问题。
目前,开始广泛使用无人机作为巡视拍摄工具,其中以大疆御2行业进阶版和M300为代表,具备了同时拍摄可见光和红外图像的功能,极大提升了线路巡视效率,但仍存在以下问题:①目前巡视工作主要是在白天开展,由于日照升温、阳光干扰等因素,影响巡视红外图像的拍摄效果,甚至无法进行异常发热判断;②复合绝缘子上污闪放电现象较微弱时,在日间阳光干扰下难以发现;③目前的红外图像分析主要依赖人工方式进行温度查看和状态诊断,效率低且易出错[1-3]。因此,为了实现准确、高效的线路巡视,一方面需要减少巡视过程中的干扰,如采用夜巡方式提高故障发现的概率;另一方面需要借助先进智能算法,提升结果分析的可靠性。
夜间巡视有利于发现异常放电点和红外图像拍摄,但也存在两个问题:一是现场作业光线不足,作业人员难以发现巡视目标;二是现场进行红外图像分析存在一定困难。针对上述问题,本文开展夜巡图像(包括可见光和红外图像)的处理技术研究。首先,进行可见光图像的处理,自适应增强图像照度和放电点标识,辅助作业人员发现缺陷目标;其次,基于深度学习算法对红外图像进行智能识别,从红外图像中识别复合绝缘子,同时提取绝缘子温度,并且进行绝缘子缺陷的智能判断。通过采用智能分析技术,实现夜巡图像快速处理,实现复合绝缘子的状态快速诊断。
1 整体流程介绍
为了配合提升夜间巡视现场作业效率,在现有的无人机巡视作业流程基础上,进一步融合了可见光和红外图像智能处理算法,具体流程如图1所示。
图1 夜间巡视流程中的图像处理
在夜间无人机巡视作业过程中,作业人员先进行可见光图像的拍摄,通过可见光图像增强和放电点的自动标识,辅助作业人员在夜间照度不足的情况下快速发现故障目标;在确定故障目标后,进行红外图像拍摄,拍摄的红外图像使用深度学习智能算法先进行智能分割,提取目标绝缘子在红外图像中的位置,然后再提取温度值,为故障状态智能判断提供基础。
2 可见光图像处理方法
2.1 可见光图像处理流程
可见光图像处理流程如图2所示,首先进行图像照度检测,对输入的可见光图像判断照度数值是否满足设定值,如果不满足设定值要求,则需要进行照度增强处理。其中,照度设定值是使用检测方法对日常巡视图像进行照度检测后得出的合理照度值范围。若图像照度已满足要求,则进一步进行放电点的标识,当完成放电标识后,即结束可见光图像处理流程。
图2 可见光图像处理流程
2.2 照度增强理论
图像增强是采用量化处理技术改善图像的视觉效果,并选择性地突出图像中所关注的特征[4]。其中,针对图像亮度不足的情况,Land于1963年提出Retinex图像增强方法[5]。如图3所示,该方法认为人眼观测到的图像亮度是由光源照射分量和物体反射系数决定的,通过滤除照射分量,保留物体反射属性,实现低照度图像的增强。与一些线性图像增强只能处理某一类特征不同,Retinex方法可以综合平衡动态范围压缩、边缘增强和颜色恒常等因素,从而实现对不同图像的自适应增强[6]。
图3 Retinex理论中的图像分解
可用以下公式表示:
S(x,y)=R(x,y)·L(x,y)
(1)
其中,S(x,y)为最后拍摄观测到的图像,R(x,y)为反射图像,L(x,y)为亮度图像。基于Retinex方法的图像增强方法中,图像由入射图像和反射图像构成。图像的处理公式如下:
(2)
上式中,r(x,y)为处理后图像的对数值,F(x,y)是中心环绕函数,c为高斯环绕尺度,λ是调节尺度。因此,得到图像表达式如下:
r(x,y)=logS(x,y)-log[F(x,y)⊗S(x,y)]
(3)
从上式可以看出,Retinex算法通过中心环绕函数实现图像的处理。
2.3 放电点的自动标识
在图像增强处理后,放电点在图像以淡蓝色区域呈现,为了进一步标识出放电点区域,采用区域生长算法进行放电区域标识。
①在已有的历史图像中,提取包含放电点的图像区域,并分析图像区域中心点的图像像素特征值,并设定为种子像素的选择标准。
②对待处理的图像进行扫描,进行种子像素的特征匹配,确定图中的第i个种子像素(xi,yi),并设置堆栈Ti。
③以(xi,yi)为中心,以r为半径进行区域扩展,搜索区域内与种子像素匹配的点,如果匹配,则将该点写入堆栈Ti;如果未发现匹配的像素点,则结束生长。
④在第3步中完成堆栈写入后,继续增加生长半径为r+step,其中step为生长次数,并重复第3步计算。
3 红外图像智能处理方法
3.1 红外图像处理流程
目前,学者针对红外图像处理技术开展了诸多研究,特别是深度学习算法逐渐成为处理红外图像的有效方法,但在红外图像目标提取以及温度解析方面,不同研究之间还存在差异,需要根据具体场景进行优化设计[7-9]。本文根据无人机拍摄红外图像特点和现场作业流程,制定红外图像处理过程如图4所示。原始的红外图像中包括温度数值信息,通过图像预处理得到了RGB图像和温度数值矩阵。然后,为了提升目标分割提取的准确度,在利用U-net模型进行绝缘子分割时,将红外图像和温度数值都进行特征挖掘和融合。在分割图像后,再进一步定位绝缘子中心线,并映射到温度矩阵中,从而得到绝缘子的中心线温度。最后,再利用卷积神经网络模型对绝缘子的状态进行智能诊断。
图4 基于特征融合的红外图像处理流程
3.2 基于U-net的分割模型
3.2.1 U-net模型简介
U-net算法最早由 Olaf Ronneberger等人于2015年首次提出,并成功应用于医学影像的分割[10]。U-net由下采样路径、上采样路径和跨层融合三部分组成,构成了一个“U”型结构,如图5所示。U-net网络采用了编码器—解码器的结构。其中,编码器是对图像进行特征提取,通过多层卷积运算和下采样,得到尺寸较小的特征图;解码器则是通过上采样对特征图进行尺寸恢复,同时在尺寸恢复过程中,通过跨层连接,将下采样过程的中间输出特征与上采样的特征进行融合,直至恢复到原始图像的大小。
图5 原始U-net模型框架
3.2.2 复合绝缘子目标处理
首先进行红外图像温度数值提取。对无人机拍摄的红外图像,利用Thermal SDK温度数值转化程序进行转化,如图6所示。通过温度数值转换,实现了红外图像中每一个像素点温度数值的解析。
(a)红外原图 (b)数值矩阵(Excel色阶)
在红外图像温度数据提取的基础上,进一步开展绝缘子的分割提取和定位,如图7所示。
图7 红外图像分割及中心线定位
对于红外图像和温度数值矩阵,通过利用U-net进行特征提取和特征融合,可以得到红外图像中的复合绝缘子图像。在红外图像分割的基础上,需要进一步对绝缘子在图中的位置进行定位。定位算法以单个绝缘子为对象进行中心线定位。分割后,可以得到绝缘子上的点集合为I={(ix1,iy1),(ix2,iy2),...,(ixn,iyn)},中间存在一条中心线,有m个点C={(cx1,cy1),(cx2,cy2),...,(cxm,cym)},满足以下条件:
①C⊆I;
②根据绝缘子的坐标范围,判定绝缘子是水平还是垂直方向,得到分割绝缘子的长度值为l;
③垂直于复合绝缘子长边方向,将绝缘子划为k个切片,第i个切片中,Si={(si,x1,si,y1),(si,x2,si,y2),...,(si,xp,si,yp)},在每个切片中,选取一个中心点si,c=(si,xj,si,yj),该点到切片内其他点的距离之和最小,即min sum(d((si,xj,si,yj),(si,xq,si,yq))),其中q=1,2,...,p,且q≠j。
④在确定k个切片中心后,根据长度l进行插值计算,得到与绝缘子长度一致的中心线。
3.3 复合绝缘子缺陷诊断
在红外图像绝缘子中心线定位的基础上,通过中心线的坐标可以映射得到对应的温度曲线(沿绝缘子长度方向的一组序列数据),因此,对绝缘子的状态分析就是对序列数据进行分类。
根据历史数据统计,复合绝缘子的缺陷类型可分为芯棒酥朽、污闪导致伞裙发热、高压端发热问题。其特征总结为:
①芯棒酥朽。绝缘子有多处发热点,且一处发热点跨越多个伞裙;随着酥朽程度的增加,温升可达到40℃以上。
②污闪导致伞裙发热。由于污染物、盐雾等附着在绝缘子表面,导致电气距离下降而引发闪络,通常会有多处发生闪络且是在两个伞裙之间,温升范围在3~12℃。
③高压端发热。由于护套受潮、老化等因素,导致绝缘子靠近高压部位发生温升,发热部位跨越多个伞裙,主要的温升范围在2~20℃之间。
根据上述不同缺陷特征,利用卷积神经网络进行复合绝缘子温度序列数据的分类,如图8所示。
图8 绝缘子温度序列分类处理
首先对数据进行归一化预处理。考虑在还需要进行序列填充(在序列的一端填充0),为避免填充数值影响结果,因此将不同绝缘子的温度数值统一转化在[10,20]之间。
tg,i=10+(ti-tmin)/(tmax-tmin)×10
(4)
然后,对不同长度的序列数据进行填充。考虑绝缘子的最大长度约占图像的75%~80%,因此,填充后的数据长度设置为500。
最后,对填充序列进行一维卷积计算,输出序列分类结果。
4 图像处理测试结果
4.1 可见光图像处理
夜巡图像放电点查找中受到的干扰主要来自周围光源,以福建地区某110kV线路夜巡图像为例,选取2种不同背景下的巡视图像,如图9所示。图9(a)为杆塔周围有光源的情况,图9(b)为杆塔周围中无灯光的情况。
(a)背景有光源的图像 (b)无明显光源的图像
对图像照度进行检测,得到以上图像的照度情况。其中,图9(a)照度数值为37.91,图9(b)照度为17.33(参考基准为日常巡视正常图片的照度数值约为120)。针对上述两图分别进行图像照度增强,结果如图10和图11所示。可以看出,绝缘子上放电部位都被标识出,尤其是故障绝缘子上放电点的发现率超过80%,并且与红外图片中的发热区域对应。
(a)原始图像 (b)增强图像
(a)原始图像 (b)增强图像
4.2 红外图像处理
4.2.1 基本配置
本文所采用的红外图像数据集来源于某220kV以上输电线路的复合绝缘子无人机红外巡检图像库。通过运用Labelme软件标注复合绝缘子区域,生成JSON文件并获得二值标签图,作为网络模型训练的标签。在训练服务器上进行模型训练后,在应用电脑上部署智能识别软件。部署电脑的软硬件配置情况如表1所示。
表1 配置参数
4.2.2 绝缘子温度提取
直接利用历史数据进行红外图像处理模型测试,在绝缘子目标提取的基础上,可以进一步进行绝缘子温度的提取分析,如图12所示。
图12 红外图像中绝缘子分割及温度曲线分析
通过分析融合图片和温度数据矩阵的特征,有效防止特征的梯度消散,保证目标区域的正确选取,同时降低了背景及周围物体的干扰。在分割出的图片中,目标绝缘子边缘清晰,可以准确定位中心线位置,并实现绝缘子温度值的提取。在得到绝缘子温度分布曲线后,可以直接诊断绝缘子状态。根据历史数据特征,可以判定图12中的复合绝缘子分别为污闪、正常状态。
4.3 现场应用测试
在实现可见光和红外图像处理功能的基础上,为了实现夜间巡视图像的现场快速处理,通过软件开发将可见光图像照度增强、红外图像绝缘子识别定位、绝缘子状态判断等功能进行集成。2021年11月,作业人员使用M300无人机对莆田地区某220kV输电线路杆塔复合绝缘子进行夜间巡视,同时拍摄可见光图像和红外图像,并利用开发的软件在现场进行图像处理,如图13所示。其中,可见光增强后的图像能够有效辅助作业人员在黑暗条件下进行杆塔目标的辨识;红外图像复合绝缘子自动诊断,帮助作业人员快速完成对绝缘子状态的判断。
图13 夜巡功能集成及现场测试应用
5 结束语
本文提出了夜间巡视可见光和红外图像的处理技术,针对输电线路绝缘子目标,完成以下工作:
①对于夜间低照度可见光图片,利用图像照度增强算法实现图像照度增强,并在图中标识出放电点,辅助夜间作业。
②以U-net模型为基础,充分挖掘红外图像信息,将图像特征和温度数据特征进行融合,提升了红外图像中的绝缘子目标提取的准确度。
③在图像分割的基础上,实现了复合绝缘子温度提取,辅助作业人员进行绝缘子状态的判断,同时开展基于温度数值的绝缘子状态智能分析。
此外,首次在现场实现了夜间巡视图像的就地分析处理,有效提升了夜间巡视的作业效率和设备状态判断的准确度,后续还将继续完善相关功能与作业流程的结合。