图像识别技术在变电站智能巡检中的应用综述

明志勇，杨顺吉

（1.贵州电网有限责任公司铜仁供电局，贵州 铜仁 554300；2.贵州大学电气工程学院，贵州 贵阳 550025）

2017年，中国国务院发布《新一代人工智能发展规划》[1]，人工智能的研究被纳入到国家战略。国家电网公司和南方电网公司都在规划和部署电网智能化研究和应用方案，加快推进人工智能技术在生产技术领域广泛应用。变电站是电网的重要组成部分，运行中的传统变电站具有布点数量多、地域分布广、多处于远离工业或居民集中区域等特点，现阶段变电站仍以人工巡检为主，一线作业仍然存在着结构性缺员、工作强度高、任务重、运维效率低下等问题。针对上述问题，为了保障变电站的高质量运行，开展基于图像识别技术的变电站智能巡检研究和应用是十分必要的。

随着人工智能技术和数字图像处理技术的迅速发展，图像识别技术[2]在理论研究和实际应用中不断发展和改进，图像识别的效率和准确率都有很大程度的提高。目前，图像识别技术在电力生产技术领域的研究与应用，国内外都进行了不少有益的探索，但是大部分的研究成果主要集中在输电领域，如输电线路的图像采集、红外检测、简单部件的缺陷识别等，提高了传统人工巡线的工作效率和安全性。在变电领域，目前变电站智能巡检开展的一些应用与研究，主要以固定摄像头、智能机器人、智能无人机等装置为图像智能采集终端，主要应用于变电站设备外观、仪表计数、设备缺陷的识别以及异常信息巡视等方面。然而，变电站设备种类繁多、场景复杂，仍然面临着图像智能采集终端智能化水平不高、设备状态识别准确率不高、设备缺陷样本难获取、设备综合故障难诊断等挑战，实现变电站巡检无人化的目标依然任重道远。

1 图像识别过程与图像识别方法

图像识别的过程，包括图像采集获取、图像处理、特征提取和图像分类一系列流程，如图1所示。

图1 图像识别步骤

图像采集获取，须借助智能采集终端，采集待识别目标的图像或视频流数据，在智能终端端侧进行初步处理，传输至智能网关边侧，甚至云端服务器中进行图像识别。图像处理，首先是对图像进行去噪、增强、锐化等传统方法进行图像预处理，目的是去除干扰、噪声及差异，使其具备像素、清晰度、灰度值等一致的希望特性；然后通过边缘检测、图像分割、灰度投影等技术实现获取图像轮廓、增强细节和切割目标的目的，将原始图像变成适用于特征提取的形式，方便后续使用。特征提取，即通过提取目标图像的特征信息来识别目标的本质属性，每幅图像既有反应图像整体特点的全局特征，如颜色、纹理、形状等，也有突出图像细节部分的局部特征，如角点、边缘和斑块等，若按提取方式划分可分为人工特征提取与机器学习特征提取两种方式，若按特征描述范围划分又可分为全局特征提取与局部特征提取。图像分类，即设计分类器，在特征空间中对目标图像进行归类与识别，分类器的性能是准确识别目标的关键；分类器的设计方法结合了机器学习、模式分类等技术，通过样本训练，不断优化得到丰富的训练样本集，确定规则后与测试样本比较使样本分类误差最小，判断出图像的状态或本质，从而达到图像识别的目的。

图像识别首先进行全局、局部特征的提取，然后进行目标检测，最后设计分类器来对图像进行识别。图像识别方法主要有3类，分别是传统方法、浅层的机器学习方法、深度学习方法[3-5]。

图像识别的传统方法，一般有模板匹配法、椭圆拟合法、特征点匹配法等。模板匹配法[6]，使用遍历的方法在原始图像上窗口平移来寻找特定的目标，与模板做相似度匹配，相似度最高时输出检测结果；该方法模板数量需求多，计算量大，稳定性较差，在目标出现多尺度变化或者光照变化时适应性差。椭圆拟合法[7]，常用有快速圆检测法和Hough变换检测圆算法，根据目标的边缘特征，检测待测图像中的近似为圆形目标；该方法使用圆形目标检测，响应速度快，但在背景中多个圆形目标同时出现时极易发生检测错误。特征点匹配法，主要指SIFT[8]和SURF[9]特征点匹配法，等首先用提取出待测图像中特征集，然后与特征集中进行特征点匹配，输出检测结果；该方法应用广泛，检测精度对尺度、方向的变化不敏感，但易受光照、待测图像形变、背景遮挡等外界因素的影响。

图像识别的浅层的机器学习方法，常用的有神经网络和支持向量机等。人工神经网络[10]，通过对图像进行规格化预处理后特征提取，然后经过隐藏层的层层传递，不断抽象出更高层的特征，在图像识别上有一定优势；该方法结构简单，但须人工设计相关参数，泛化能力弱，容易出现过拟合、欠拟合现象。支持向量机[11]，是一种依据统计学理论提出的一种机器学习方法，它首先提取图像中显著特征，作为支持向量机的分类输入参数，然后对训练集中的图像数据进行训练，最后通过用于测试的图片数据来对模型进行相关的评估和改进，构造出结构风险最小的分类器模型，实现目标检测；该方法具有结构简单、容易训练的特点，泛化能力较强，但输入特征量须人工设计，图像识别的效果取决于所设计的特征量的质量。。

图像识别的深度学习方法，常用的有：深度信念网络、循环神经网络、卷积神经网络。深度信念网络[12]，由若干层受限玻尔兹曼机（RBM）和一层某种分类器结合而成的一种概率生成模型；模型训练时，可以采用神经网络（BP）方法对不同层次的参数进行联合学习和分散化，加快训练时间并缩短收敛时间；该方法在同类数据的处理上具有优势，但是对于分类问题，存在分类精度不高、模型训练复杂等问题，且输入数据的平移不变性要求高，易出现过拟合现象。循环神经网络[13]，其隐藏层之间的神经元是相互连接的，这些神经元具有记忆功能，能够保留之前时刻的信息，并用于当前输出计算中，该方法对序列数据建模有巨大优势，适用于语音识别和手写字识别，但训练参数复杂，训练时间长，容易出现梯度消散或梯度爆炸问题，不具备特征学习能力。卷积神经网络[14]，由人工神经网络演化而来，是一种特殊的深层前馈网络，主要包含输入层、卷积层、池化层、全连接层以及输出层；其中最重要的卷积层和池化层用来提取特征，为了减少模型训练时间，提取到丰富特征，通常使用的网络模型有LeNet-5、AlexNet、ZF-Net、VGGNet等。该方法训练参数较少，模型的适应性强，对输入数据的要求不高，但容易出现梯度消散问题，空间关系辨识度差，当识别目标旋转超出一定角度后，该方法的识别准确率会大大降低。

2 图像识别技术在变电站智能巡检中的应用

变电站的主要设备包括变压器、断路器、隔离开关、母线、互感器、仪表、保护装置、通信装置等，这些设备的运行状态直接决定了电气系统运行的稳定性、可靠性。通过覆盖全站的搭载不同载体的智能采集终端，开展变电站设备图像识别技术研究是新一代智能变电站建设的重要课题。

2.1 表计类设备读数识别

变电站大量电气设备配置了表计，这些表计大致可以分为以下几类：指针式表计，如SF6压力表、油温表、避雷器在线监测表、油位计等；数字式或者电子式表计，如温湿度表、数字电压表、数字电流表、主变档位表等。

指针式表计识别方法主要分为表计目标检测和读数识别两个步骤。针对目标检测，常用的传统方法，如上文所述的模板匹配法、椭圆拟合法、特征点匹配法等，这些方法在固定摄像头拍摄、实时性要求高时有一定优势，但往往受光照变化、背景干扰、目标旋转变化等因素的影响，泛化能力差，当巡检机器人远距离、多角度拍摄变电站的表盘时，在表计的指针读数识别中容易出现很大误差；而深度学习的方法，特别是卷积神经网络方法在表计目标检测方面获得良好的效果，鲁棒性高，抗干扰能力强，样本足够时，识别准确率高，但样本训练难，识别效率低。

针对指针识别，常用的算法主要有Hough直线变换法、中心投影法、减影法、最小二乘法等。Hough直线变换法[15]，即通过Hough变换检测直线，确定指针的位置，计算零刻度所在的直线与指针所在的直线的夹角来读数。中心投影法[16]，利用指针在起止刻度两种情况确定表盘的圆心，将待识别指针图像特征投影到圆心处，检测出指针位置。减影法[17]，对两幅表计图像进行灰度相减操作，新图像中获得原图像各自的指针，再进行分割二值化操作，确定指针位置。最小二乘法[18]，拟合指针所在直线和刻度所在直线，判断指针与刻度所在的两条直线是否重合，利用距离法获取仪表读数。

上述指针识别的传统方法，虽然响应速度快，有一定抗噪能力，适用于固定角度拍摄的场景，但是都对图像质量要求较高，图像变形、环境阴影、表盘条纹干扰或者起雾会对读数造成很大影响。很多学者通过图像处理技术、传统算法的改进与结合，甚至研究新型算法来解决其中的一些不足。针对变电站表盘出现的表盘起雾与运动模糊等问题，文献[19]引入暗原色先验去雾算法和Lucy-R ichardson算法，再通过Hough变换算法检测指针来解决这类问题；但该方法在目标发生尺度变化或背景干扰时检测精度低。文献[20]选择ORB、SIFT特征点匹配算法，提取待测图像中的表计区域，然后采用改进的快速Hough变换检测指针所在直线；该方法具有一定的抗噪能力，响应速度快，固定摄像头采集时检测精度高，但检测精度会受光照变化、形变、指针模糊的影响。文献[21]采用多尺度模板匹配法指针式表计的定位，通过表计轮廓分离法拟合表盘所在圆，利用最小二乘法确定圆心，最后采用径向分割算法来提取指针；该方法对宽窄指针、表盘凝露、拍摄距离具有较好的抗干扰能力，但光照变化仍会对指针定位产生干扰。文献[22]引入了深度学习中的目标检测和图像分割技术，Faster R-CNN模型提高了表计目标检测的准确性，而改进的U-Net图像分割技术适用于小目标的检测，抗干扰能力强；但该方法目标检测速度慢，在表盘脏污、曝光欠光时读数识别漏检率高。文献[23]采用全卷积网络FCN从含有表计的图像中提取表计的图像，利用图像处理技术去除对指针检测的干扰，采用改进的Hough变换识别表计中指针的位置。该方法的FCN网络模型训练所需样本少，目标检测效率高，但在表盘倾斜和环境阴影时读数准确率降低。

数字字符识别，常用的方法主要有模板匹配法、穿线法、七段特征法以及BP神经网络法、k邻近算法等。模板匹配法[24]对于每种类型的数字字符均要在前期制作模板，同时对每个字符均进行模板检测然后比较相似得分，工作量大，泛化能力差。穿线法[25]须扫描等分线上的像素点，识别准确率受图片质量、图像预处理效果的影响较大，抗噪性能差。七段特征法[26]须统计每个字符7个不同区域像素的和是否达到阂值来判断每个区域是点亮状态，该方法对于字符图片质量、倾斜角度要求高。

上述数字字符识别的传统方法，都是基于字符分割、滤波、二值化等方法，首先分割算法得到各个数字字符，然后识别字符获取仪表读数，虽然原理简单，响应速度快，但受环境变化、拍摄角度变化影响，对图片质量要求高。BP神经网络法，在手写字体、数字字符的识别方面有优势，识别率较高，抗干扰能力较强，但网络模型训练收敛速度慢，训练参数依赖人工设置。文献[27]提出了一种用于识别数字字符的改进BP神经网络算法，先对数字字符进行分割归一化处理，然后通过PCA（主成分分析法）算法降低输入层与隐含层间的权值矩阵的维度，缩短了训练时间。KNN算法易受表计字符图片噪声和拍摄角度干扰，对此，文献[28]提出了一种基于密度特征和KNN算法的仪表字符识别算法，识别效果好，鲁棒性高，但是密度特征的维数须通过大量实验选择，网络训练速度慢，实时性不强。

2.2 基于可见光图像的电气设备目标检测识别

通过采集变压器、隔离开关、断路器分合指示、高压开关柜、屏柜等电气设备的外观图像，识别设备中的零部件，并对其进行准确定位，才能进一步对设备的状态与运行工况展开分析。对变电站电气设备进行目标检测识别，是实现变电站智能巡检亟待解决的问题。变电设备的检测识别的主要任务目标电气设备精确定位，并进行分类和识别运行状态，其中最重要的就是目标检测算法。常用的目标检测算法主要分为两类：传统算法和卷积神经网络算法。

传统的目标检测算法主要包括模板匹配、SIFT、机器视觉等以及在上述算法的基础上的优化与改进。文献[29]提出了一种识别电气设备图像的二次模板匹配算法，识别速度快，定位准确；但图像样本是基于固定摄像头拍摄，背景单一，干扰因素少。文献[30]首先采用SIFT算法提取目标特征点，然后利用模板匹配法进行目标定位，最后进行Hough变换提取直线来判别隔离开关状态。文献[31]基于隔离开关图像的灰度投影特征，通过计算投影的连通区域个数，可以有效识别隔离开关的分合状态，识别效果较好；但未考虑复杂背景下开关区域被部分遮挡的情况。

为了提高目标电气设备定位和识别精度，卷积神经网络模型是一种较好的实现方法，该模型大幅提升了检测稳定性。基于卷积神经网络模型的目标检测算法主要有R-CNN、Fast R-CNN、YOLO、SSD等以及在上述算法的基础上的优化与改进。文献[32]首先采用CNNs-AlexNet模型提取电气设备图像特征，然后利用随机森林（Random Forest，RF）算法来替换CNNs-Softmax算法对图像进行识别，识别准确率提高；但未研究基于小样本数据的电气设备部件检测。文献[33]采用一种改进的CNNs算法对隔离开关的绝缘子和刀闸位置精确定位，并检测刀闸区域长宽比和与绝缘子区域的连通性来综合判别隔离开关的分合状态，该方法改善了复杂环境下多隔离开关的干扰问题。文献[34]提出了一种基于电气设备连通域连通域处理的Faster R-CNN改进方法，提高了目标检测的精度和速度；但未考虑复杂背景下电气设备相互遮挡或干扰的问题。文献[35]提出了一种改进型单阶段多框检测算法，该算法检测速度快，适用于小样本电气设备样本集的分类和定位；但在复杂背景下对小目标的检测精度不高。

2.3 电气设备红外图像识别

目前，变电站电气设备红外巡检的主要还是人工化，运行人员在现场通过红外热像仪采集设备图片，后续再人工分析，但该方式工作效率低，识别精度受运行人员主观影响。随着新一代智能变电站的建设，变电站巡检机器人、无人机搭载红外热成像仪对电气设备进行红外图像识别成为变电站红外巡检的一种新趋势。

由于红外图像分辨率低、边缘模糊，细节表达能力较差，电气设备红外图像识别技术研究及应用还较少，已有研究大多基于传统的图像分类识别方法，一般使用目标的形状结构特征进行目标分类识别，如傅里叶描述子、Hu不变矩、Zernike不变矩等。文献[36]结合最大类间方差法和区域生长法对设备的红外图像进行分割，并基于设备的傅里叶描述子、Hu矩等形状特征建立设备分类特征向量。文献[37]采用具有旋转与缩放不变性的Zernike矩提取待识别变电设备的特征，并基于相关向量机进行电气设备分类识别。上述方法通过先验知识对红外图像进行分割图像以及提取特征，对图像有较强描述能力，并且具有一定的抗噪声能力，但在分割图像中，却只针对一些背景较为单一、简单的电气设备，而对于背景复杂多样的电气设备，这类方法不再适用。

卷积神经网络目标检测算法已广泛应用于可见光物体检测领域，文献[38]基于Faster R CNN算法对多类变电站电气设备进行目标检测，实现目标设备的精准分类识别。文献[39]将Faster R-CNN算法应用于可见光条件下无人机巡检图像的电气部件识别中，对多种类别的电气部件识别定位，可以达到较快的识别速度和较高的准确率。文献[40]提出了基于改进FP-FRCNN模型的电气设备红外图像识别算法，一定程度上解决了小尺寸电气设备红外图像较难识别以及视觉特征较难提取的问题。

此外，还有研究结合可见光和红外双通道图像对电气设备进行识别，文献[41]先采用改进的FAST-Match算法进行电气设备可见光图像多目标定位，然后综合利用红外图像和可见光图像之间的近似仿射变换关系，实现电气设备红外图像的定位识别。

3 总结与展望

通过前文的回顾与总结，可以看出，图像识别技术在变电站智能巡检中的应用已取得了诸多成效，但应用研究还不尽完善，有值得改进的空间，实现变电站智能巡检的目标任重而道远。

变电站表计种类繁多、大小不一，还可能存在设备遮挡、拍摄角度不正、表盘模糊破损、曝光欠光等问题，表计目标检测和读数识别还面临以下挑战：（1）传统的目标检测算法在响应速度上有优势，但在图像背景干扰、曝光欠光时鲁棒性差、稳定性低；而主流的深度学习方法检测精度高又难以满足实时性要求。（2）在表计读数识别方面，重点在于如何提高读数的准确性，目前以Hough变换为代表的传统方法很难解决表盘模糊、反光曝光、表盘倾斜带来的读数难题；（3）多类型的表计识别问题，如何用一种通用的方法解决相似表计的识别问题，也是须要研究的难点之一。

变电站内电气设备分布密集、种类较多，同类电气设备还存在不同外观和状态，基于可见光图像的电气设备目标检测识别还面临以下挑战：（1）现有的研究大多集中在电气设备及其部件外观的分类识别上，而对设备或部件破损、锈蚀、污秽以及漏油等缺陷的识别还有待进一步研究。（2）隔离开关、信号灯、压板等同一类设备都具有不同外观和状态，所研究的图像识别算法模型只能在限定场景内适用或者只针对某几种特定类型，局限性大，未来有必要研究一种通用性高、鲁棒性强的方法。（3）采用基于深度学习的图像识别算法需要海量的样本和较强的算力，但现实中面临海里样本获取及训练困难，移动式智能巡检装置算力较差，为了保证识别的准确性和稳定性，可以积极探索基于小样本集算法模型和轻量化算法模型研究。

基于红外图像的分类识别方法一般包含3步，一是对红外图像进行分割并找到找到目标识别区域，二是对目标区域的视觉特征进行提取，三是对电气设备状态进行分类。变电站电气设备红外图像识别研究还处于起步阶段，面临以下挑战：（1）目前大部分变电站智能巡检装置只负责采集红外图像，然后采用红外测温技术标定温度，最后人工进行电气设备红外图像识别及缺陷诊断，因此变电站红外巡检实际上处于半自动化水平，一定程度上影响了变电站红外智能巡检的应用发展。（2）当目标电气设备图像复杂或需要识别多个设备或部件时，会导致分类识别准确率低、泛化能力差，常用的红外图像识别方法难以适用于复杂背景环境的变电站电气设备识别的要求。（3）虽然变电站巡检机器人或者无人机均可以搭载可见光和红外双目摄像机，但两个传感器之间信息的交互涉及较少，未来的研究工作可以进一步融合可见光和红外双通道图像对电气设备进行识别。