一种采用航拍图像识别高压输电线路防震锤缺失的检测算法
2021-11-29吴志成林秀贵许家浩叶倩李庆武
吴志成，林秀贵，许家浩，叶倩，李庆武
1.国网福建省电力有限公司 泉州供电公司，福建 泉州 362000 2.河海大学 物联网工程学院，江苏 常州 213022
高压输电线路在电力系统中扮演着电能传输的重要角色，架空输电线路暴露在自然环境中，受到空气中风力的影响时刻处于震动状态[1]。高压输电线上的防震锤是为了减弱导线因微风扯起振动而设的，防震锤安装后能产生与导线振动相位相反的运动，从而使导线振动消除或减弱[2]。输电线路长期暴露在露天环境下，使高压线上的防震锤经受风霜、雨雪、雷电等各种恶劣的自然条件影响，因此重锤部分可能生锈脱落，若不及时更换缺失的防震锤，会导致架空导线震动加剧，使导线局部疲劳断股的风险增加，最后可能造成整根导线折断的事故[3]。因此，在输电线路巡检过程中，对高压输电线路上的防震锤进行缺失检测非常重要。
国家电网公司在“十二五”规划中提出，要建立巡检设备的自动定位、跟踪、巡检全过程的数字化记录和在线智能诊断修复等功能[4]，以此可以有效地支撑对输电线路运行状态的可控、能控和在控[5]。近些年来，无人机与图像处理技术相结合的自动化设备与系统已在输电线路巡检中使用[6−9]。但是，使用无人机巡检系统对导线、杆塔、绝缘子等大目标的检测居多，对防震锤的缺失检测主要还是依据作业人员观测的方式[10]。由于防震锤悬挂于高空高压输电线上，距离地面数十米，且由于尺寸相对较小，肉眼很难准确排查防震锤是否存在缺失，人工巡检很难对高空中的防震锤进行准确有效地定位与缺失检测。本文采用机器学习与图像处理技术结合的方式，对无人机航拍图像中的防震锤进行定位、分割并作出缺失判断。
防震锤在无人机航拍图像中只占一小部分，由于其使用金属材质，重锤部分在阳光照射下容易反光，且航拍图像是在无人机上拍摄，难免存在轻微的运动模糊，会使图像的清晰度受到影响，使防震锤的定位与缺失检测存在困难。
本文分析了防震锤的结构特征与其在航拍图像中的位置、角度，提出了一种高压输电线上的防震锤缺失检测算法，首先采用方向梯度直方图(histogram of oriented gridients,HOG)特征的支持向量机(support vector machines,SVM)分类器对航拍图像中的防震锤进行定位并对定位到的防震锤区域进行缺失分析，缩小缺失检测的处理范围，然后将防震锤变换到水平状态，计算防震锤上两端重锤到线夹之间的距离差异，将二维图像转换为一维数据分析，以此来判别图像的缺失情况，降低了拍摄时的拍摄颜色和光照对检测结果的影响，适用性广，实用性强。
1 航拍图像中防震锤目标检测与分割
无人机航拍图像中防震锤区域的检测与分割是防震锤缺失检测的重要前提步骤，对航拍图像中的防震锤进行识别与分割，属于目标识别领域。在图像的目标识别中，机器学习由于识别性能高、鲁棒性能好以及操作便捷等优点备受关注[11]。金立军等[12]采用类Haar 特征与级联AdaBoost 算法的防震锤识别方法对防震锤进行识别，为防震锤的缺失检测奠定基础，王森[13]针对金立军的方法中鲁棒性不强的问题，提出了一种基于深度学习的防震锤检测方法，他们的方法对防震锤定位的准确率都很高。但是在无人机输电线路巡检中，由于缺失的防震锤与完整的防震锤特征相差较大，若仅对完整防震锤进行定位，往往会忽略缺失的防震锤，导致缺失的防震锤被漏检，那么对防震锤进行检测定位就没有意义。
本文采用HOG 特征和SVM 分类器对防震锤进行检测，在正样本中加入一些单个缺失的防震锤，以免缺失样本的特征与正常样本的特征差异太大，出现缺失防震锤直接被漏检的情况，使用SVM 分类器训练的模型对航拍图像进行防震锤定位后，再将定位到的防震锤区域逐个进行缺失检测，最后得到防震锤的定位与缺失检测结果。
HOG 特征与SVM 分类器是法国研究人员Dalal 等[14]首先提出的用于行人检测的算法，如今目标检测的算法层出不穷，但由于HOG 特征是在图像的局部方格单元上操作，图像的几何特性与光学特性都能很好保持，能容许样本之间的细微差异，在样本有细微变动增加的情况下不影响检测效果。基于HOG 特征的目标识别采用了滑动窗口机制提取图像的外观边缘特征并对目标进行定位，如今已经广泛使用[15−18]。HOG 特征与SVM分类器进行目标检测是速度和效果综合性能较好的检测方法，因此被广泛应用与图像识别中[19−23]。使用HOG 特征与SVM 分类器对航拍图像中的防震锤进行定位的步骤如图1 所示。
图1 使用HOG 特征与SVM 分类器对防震锤定位流程
1.1 提取样本的HOG 特征并训练SVM 分 类模型
1)准备大量的正负样本。其中正样本中不仅包含有未缺失的防震锤，还加入了一些存在单个缺失的防震锤，以免缺失样本的特征与正常样本的特征差异太大，出现缺失防震锤直接被漏检的情况。
2)提取正负样本的HOG 特征。
3)将正负样本的HOG 特征数据送入SVM 训练器进行训练，得到检测模型。
1.2 测试样本
1)采用固定大小的滑动窗口在测试样本上滑动，每滑到一个位置计算其HOG 特征。
2)将HOG 特征送入检测模型得出检测结果。若测试样本中存在许多误检区域，说明误检区域的HOG 特征与正样本的HOG 特征相似，将误检区域放入负样本中，并截取一些与误检区域相类似的区域作为负样本，再进行训练。采用这种调整正负样本的方法训练多次，可以提高检测的正确率。航拍图像中防震锤定位效果示意图如图2 所示。
图2 防震锤定位效果
2 防震锤区域的缺失检测
防震锤一般由固定线夹、钢绞线与重锤3 部分组成，重锤固定在钢绞线两端，使用时由固定线夹固定于高压线上，防震锤的型号总体可分为F 型(对称)与FR 型(非对称)，不同型号的防震锤重锤摆放角度不同，但两端重锤距离固定线夹的位置相近。航拍图像中的防震锤多以天空为背景，天空背景较为纯净但是颜色略有差异。防震锤在图像中的角度多样化，没有固定状态，且表面存在反光等现象，使防震锤二值图中呈现出重锤部分有凹陷的假象，在一定程度上影响对防震锤的缺失检测。
防震锤缺失检测需要对定位到的防震锤区域作进一步处理，判断出定位到的航拍图像中的防震锤是否存在缺失。本文根据防震锤的结构特征与其在航拍图像中的状态，提出了一种相对距离判别法来对防震锤进行缺失检测，具体步骤如图3 所示。
图3 防震锤缺失检测流程
2.1 图像预处理
1)使用锐化增强算法对防震锤定位区域进行锐化增强，得到图像Img。
2)利用Canny 边缘检测算法检测对防震锤图像 Img进 行检测，得到边缘图像 ImgEdge。
3)对边缘图像 ImgEdge进行灰度化处理，得到灰度化图像 I mgGray。
2.2 图像旋转变换
1)采用Hough 变换检测边缘图像 ImgGray中的直线 Line[i]，i可 取1 ,2,···,n，n表示检测到的直线的数量。
检测出来的直线为防震锤固定线夹所在电线的边缘，由于电线有上下2 个边缘，所以检测到的直线通常不止一条，采用Hough 变换检测到的直线可由式(1)表示：
式中：ρi为 第i条 直线与坐标原点的距离；θi为第i条直线与横坐标轴的的夹角；(x,y)为直角坐标系中直线上任意一点的坐标。
2)计算所检测的直线与横坐标轴的夹角平均值 θave。
设检测到的直线 Line[1]，Line[2]，…，Line[n]与横坐标轴的夹角分别为 θ1,θ2,···,θn，则
3)根据所检测的直线与横坐标轴的夹角平均值计算旋转变换矩阵，实现图像的校正，使防震锤旋转至水平状态。
设变换后的图像各点像素坐标为 (X′,Y′)，原图像 Img的 各点像素坐标为 (X,Y)，若图像绕着图像原点顺时针旋转，则满足
式 中：α=cosθ，β=sinθ，且θ=θave=(θ1+θ2+···+θn)/n。图4 为图像旋转示意。
图4 图像旋转示意
图像进行旋转变换后，图像画布的大小从Irows×Icols变 成了h×w，且
式中：Img.rows 表 示原图像的高度；Img.cols表示原图像的宽度；h表示变换后图像的高度；w表示变换后图像的宽度。为防止图像旋转后跑出画布，将图像绕着图像中心点 (Icols/2,Irows/2)旋转，图像旋转变换后的中心位置为 (w/2,h/2)，则有
设图像的变换矩阵为M，则
4)采用OTSU 算法对防震锤图像 Img进行二值分割，得到防震锤为黑色，背景为白色的二值图 Imgbin。
5)根据图像变换公式(2)对图像 Imgbin进行旋转变换，旋转变换后图像的画布大小已经改变，使用白色像素对空缺画布进行填充，避免填充后对防震锤产生影响，影响后续处理，图像旋转变换后为 Imgbin，变换后的效果如图5 所示。
图5 防震锤旋转变换效果
2.3 防震锤的缺失判定
1)对图像 ImgRot进行水平投影，求出防震锤所悬挂的高压电线的直径。
已知图像 ImgRot的 高度为h像素，宽度为w像素，统计图像 ImgRot中每一行黑色像素的总数，记为hor[j]，j表示图像的行数，j∈{0,1,···,h−1}，根据每行的黑色像素画出水平投影图，将j从0 取到h−1，记录首个hor[j]≥a·w时 对应的行数j1与首个hor[j]
2)对图像 ImgRot进行垂直投影，求出两侧防震锤到线夹的距离。
统计图像 ImgRot中每一列黑色像素的个数，记为ver[k]，k表示图像列数，k∈{0,1,···,w−1}，根据每列黑色像素画出垂直投影图。防震锤水平投影与垂直投影进行缺失检测的原理如图6 与图7。
图6 完整的防震锤投影检测示意
图7 缺失的防震锤投影检测示意
在图像的每一列中，防震锤线夹部分所在列的黑色像素总和最多，记录ver[k]中的最大值为vmax，由于vmax可能对应垂直投影图中的多个横坐标，因此从垂直投影图中找到线夹的两侧对应的横坐标，再进行防震锤到线夹的距离计算，具体步骤如下：
首先，找出左侧防震锤重锤与线夹的相对距离dl。
将k从 0 取到h−1，找出首个满足条件ver[k]≥a1·di的k值，记作hl，同时找出首个满足条件ver[k]≥vmax−b的k值，记作cl，a1与b皆为常系数，则dl=|cl−hl|。由于电线的直径比防震锤上钢绞线的直径大，比防震锤上重锤部分的直径小，为避免防震锤缺失后钢绞线对缺失检测的影响，实验时取a1=2。若防震锤未缺失，定位到重锤部分对应位置，若防震锤缺失，定位到线夹的边缘位置。为减少垂直投影锯齿现象对线夹部分定位的影响，b取[0，5]皆可。
其次，找出右侧防震锤重锤与线夹的相对距离 dr。
将k从h−1取 到0，找到首个满足条件ver[k]≥a1·di的k值，记作hr，同时找出首个满足条件ver[k]≥vmax−b的k值，记作cr，则
最后，比较 dl与 dr的差异，判断是否缺失。
若dl≥a2·dr，则防震锤右侧缺失，若dr≥a2·dr，则防震锤左侧缺失，否则防震锤不存在缺失，其中a2为缺失判定阈值，防止误检和漏检，实验中a2可取 [ 2，3]。
3 实验结果与分析
为验证本文方法的可行性，采用大疆无人机搭载相机至高压输电线周围，以镜头微斜向上且与防震锤间无遮挡的角度拍摄防震锤，获得高压电力线上的防震锤图像。实验从防震锤定位的准确性测试和防震锤缺失检测的准确性测试两方面进行测试。
3.1 防震锤定位的准确性测试
将无人机航拍图像分为训练样本集和测试样本集，其中训练样本集中有280 张包含防震锤的航拍图像，280 张图像中包含昏暗天气图像、轻微运动模糊图像与正常晴天拍的图像，测试样本集中包含昏暗光线航拍图像。运动模糊航拍图像与正常光照航拍图像各35 张，航拍图像的大小为2 048×1 536。为避免过拟合现象产生，测试样本集中的图像与训练样本集中的图像互不相同。从所有的训练样本中截取共1 500 张防震锤图片作为正样本集，截取了2 700 张非防震锤图片作为负样本集。将正负样本分别提取HOG 特征并投入SVM 分类器中进行训练，根据训练结果调整数据集后再训练一次。
使用精确率和召回率来评价防震锤检测的准确性，3 种类型的防震锤检测情况如表1 所示。其中，
表1 不同类型的航拍图像中防震锤检测数据分析
由表1 中的数据分析可以看出，使用HOG 特征与SVM 分类器训练的模型对正常光照的航拍图像、光线昏暗的航拍图像与无人机抖动时的航拍图像的精确率与召回率都比较高，通过召回率能看出航拍图像中的防震锤的漏检情况。
光线昏暗的情况下对检测的准确率没有很大影响，反而误检率数目有所降低，原因是航拍图像中通常包含电力塔和其他电力设备，难免存在与防震锤相近的结构，且由于金属材质在光线较强时会存在反光原，昏暗光线下的防震锤结构与其他结构区别增大，且几乎不存在反光现象，使误检率降低。航拍图像在无人机上拍摄，难免存在轻微的抖动现象，使得拍摄到的航拍图像有了轻微运动模糊，对轻微抖动图像进行检测时，误检数量稍有增加，但是召回率与正常图像的差距不大。无人机航拍图像存在严重运动模糊时，防震锤的结构特征发生较大的变化，精确率与召回率都比较低，实验的意义不大。
部分检测结果示意如图8 所示，其中图8(a)、图8(b)两列分别为正常光照时的航拍图像与检测结果；图8(c)、图8(d)两列为无人机轻微抖动时的航拍图像与检测结果；图8(e)、图8(f)两列为无人机在黄昏时刻光线昏暗时拍的照片。图8(c)中存在一个误检区域，由于表1 中的训练数据集的正负样本仅调整了一次，若再整理一些误检测区域和与物检测区域相近的区域投入负样本中进行训练，误检数量能明显降低。
图8 使用HOG 特征与SVM 分类器对防震锤的检测效果
3.2 防震锤缺失检测的准确性测试
定位到航拍图像中高压线上的防震锤位置后，对防震锤所在的图像区域进行缺失检测。取航拍图像中的防震锤正确检测样本与训练样本集中的部分图像作为防震锤准确性检测的测试样本集，共取训练样本与测试时正检样本共1 400 张进行测试，实验数据如表2 所示。其中，
表2 防震锤缺失检测数据分析
测试样本集中部分样本如图9 所示，防震锤的角度各异，背景颜色变化不一。在防震锤缺失判断中，Hough 直线检测与OTSU 图像二值化是图像能否被判别与能否被准确判别的关键步骤。若图像太模糊、边界不清晰等都可能影响缺失检测的准确性。
图9 防震锤缺失检测测试样本集中部分样本
由于防震锤为金属材质，在光照较强时，防震锤重锤部分表面存在严重反光，使得重锤的颜色与天空背景颜色融为一体，在缺失判断过程中，二值化图中的重锤部分凹陷严重，容易将反光严重的部分识别为缺失部分，实验证明缺失检测的误检图像部分为反光严重的图像，部分为存在遮挡的图像。测试图像中无法识别的图片大多为运动模糊剧烈、背景干扰严重与遮挡面积较大的图像等，判别错误样本与无法判别样本示意如图10。图10 中a 行表示防震锤判别错误的样本示意，b 行表示无法判别的防震锤样本示意。防震锤缺失判定的主要步骤为Hough 直线检测、OTSU 图像二值化、图像旋转校正、水平投影确定电线直径与垂直投影确定两端重锤到线夹之间的距离。缺失的防震锤检测过程示意如图11。图11 中分别包含防震锤较小、光线昏暗、正常光照和轻微运动模糊的防震锤图像检测过程示意。
图10 判别错误与无法判别的防震锤示意
图11 防震锤缺失检测过程示意
3.3 防震锤定位与缺失检测的总体效果分析
对航拍图像进行防震锤定位后，将定位到的防震锤进行缺失检测，再将检测结果反馈至航拍图像上，用绿色框表示定位到无缺失的防震锤，用红色框表示定位到缺失的防震锤，检测效果如图12 所示。图13 给出了防震锤缺失检测软件界面，该软件的功能包括图像读取、防震锤定位与缺失检测等，同时可进行多次图像增强；展示界面原图、检测效果图、缺失的防震锤定位图与检测结果图；该软件能生成相关工作报告，工作报告包含图像中定位到的防震锤总数量、缺失防震锤数量、缺失防震锤的位置与方位。
图12 航拍图像中防震锤缺失检测效果
图13 防震锤缺失检测软件界面
4 结论
由于防震锤在航拍图像中的占比很小，因此在使用无人机进行巡检时常常被忽略，在以往的研究中对于输电线路上防震锤目标检测的论文较少，对其进行缺失检测也少有看到。本文使用机器学习的方法，再结合防震锤的结构特征，实现对防震锤的缺失检测。首先使用HOG 特征值与SVM 分类器对航拍图像中的防震锤进行定位，然后对定位的防震锤进行缺失检测：
1)通过Hough 直线检测求得防震锤所在高压线在图中的斜率。
2)对图像进行二值分割，并根据求得的斜率将防震锤旋转至水平状态。
3)对旋转后的图像进行水平投影与垂直投影，通过投影图分别求出防震锤两端重锤到线夹之间的距离，根据两侧重锤到线夹之间的距离差异判断出防震锤是否缺失。
实验证明，该方法对航拍图像中高压线上的防震锤缺失检测的准确率较高，对光线昏暗的图像与存在轻微运动模糊的图像检测率都较高，且计算简单，将复杂的二维图像分析转换为简单的一维数据分析，在保证检测准确率的同时简化了分析问题的难度，加快了处理速度，具有较高的工程应用价值。
由于无人机对电力线巡检时通常以平行角度拍摄电力线，所以防震锤的背景多为天空背景。若防震锤的背景复杂，会影响到缺失检测的准确率。因此对复杂背景的防震锤进行缺失检测还需进一步研究。
