基于颜色差异特征与边缘复杂度的输电铁塔螺栓螺帽目标检测算法

邬才斌，范荣全，刘友波，谢 伟，李海龙，胡 勇，刘俊勇

（1.国网南充供电公司，四川 南充 637003；2.国网四川省电力公司建设部，四川 成都 610041；3. 四川大学 电气工程学院，四川 成都 610065）

0 引 言

螺栓作为输电铁塔连接的关键部件，其松动与否直接关系到铁塔的安全质量评估，因此对其连接结构的持续健康检测具有重要意义。输电铁塔上螺栓检测的对象主要为螺帽、螺尾及空洞，对三者的准确识别能及时反映铁塔上存在安全隐患的未安装部件。

目前，在螺栓的识别检测领域，研究人员多采用机器视觉相关方法对螺栓的安全状态进行检测。深度学习的方法在螺栓的识别检测领域颇受欢迎。例如，王振针对铁路钢轨螺栓故障问题提出了一种改进的YOLOv4网络，用于检测螺栓是否松动，其平均准确率达到84.8%。为达到螺栓扣件定位识别的目的，饶家义将Mobilnetv3-TL网络应用到钢轨螺栓检测中，其识别准确率高达93%。张洪源等结合SPP-Net及ResNet，通过NMS算法得到螺栓检测结果，其测试精度达到91.67%。还有研究者们提出了一些传统图像处理方法。例如，Singh等人使用多尺度Canupo分类器，结合随机样本一致性（RANSAC）形状检测算法，提出了一种鲁棒性较好的螺栓识别算法，其总体质量指标为78.54%；Kong等人对螺栓使用前后的图像加以比较，并对前后两幅图片做像素减法，从而达到定位松动螺栓的目的。Koike等人针对固定区域内螺栓的空间位置特点，提出了一种颜色对比与模板匹配的方法。林永鹏提出了一种采用模板匹配的故障识别算法，其对螺栓识别率接近94%。

目前已有的基于视觉的螺栓识别定位系统大多针对铁路钢轨、货车制动配件等领域，针对铁塔上螺栓识别的研究很少，且多是通过量化螺栓预紧力、振动信号检测等方法对已投入应用的铁塔进行螺栓的松动检测，而针对刚搭建完成仍未投入使用的铁塔螺栓安装状态的计算机自动检测方法的研究相对空白；目前的工程实践中仍采用人工检测的方式，不仅耗时耗力且容易出现漏检误检情况。针对以上问题，本文提出了一种针对输电铁塔上螺栓安装状态的自动检测算法，基于对螺栓（包括螺帽和螺尾）及空洞的目标检测实现对螺栓安装状态的自动检测，以便及时识别铁塔上存在安全隐患的未安装部件。由于此应用场景中拍摄到的目标较小，深度学习网络学习到的目标特征有限，易出现错检情况。为得到更准确的目标检测结果，本文在深度学习目标定位的基础上进一步提出了基于颜色差异特征与边缘复杂度的螺栓、空洞目标检测方法，以实现对铁塔目标的精确识别。

1 基于颜色差异特征与边缘复杂度的螺栓安装状态自动检测算法

本文提出的基于颜色差异特征与边缘复杂度的螺栓安装状态自动检测算法总体流程如图1所示。首先，应用Faster-RCNN目标检测网络实现螺栓（包括螺尾和螺帽）及空洞的ROI区域分割。在ROI区域内进行颜色差异特征提取，并根据该特征将目标图像分为两类：将颜色差异较大的目标图像认为是空洞、螺尾或其他类，并按照目标尺寸及边缘特征继续实现三种类别的分类；对颜色差异较小的目标图像进行边缘复杂度计算，边缘复杂度较高的目标图像判别为螺尾，边缘复杂度较低的目标图像判别为螺帽或空洞，并基于圆检测算法，进一步实现螺帽与空洞两种类型的分类。

图1 基于颜色差异特征与边缘复杂度的螺栓安装状态自动检测算法的总体流程

1.1 基于改进Faster-RCNN网络的螺栓及空洞ROI区域自动分割

本文采用目标检测网络Faster-RCNN实现对螺栓及空洞ROI区域的自动分割。由于本文是多目标检测，在网络模型对目标拟合不够好的情况下，容易出现同一个目标被检测成多种不同结果，即同一个目标上出现多个重叠检测框的情况。因此，本文在原网络模型的基础上，加入了检测框IOU判别机制，避免了多个检测框重叠的情况，实现螺栓及空洞ROI区域的自动分割。

1.1.1 Faster-RCNN目标检测网络

Faster-RCNN目标检测网络采用两阶段算法，先生成候选框，再进行分类，使得其准确率相比一阶段算法更高；同时，其结构中使用RPN网络代替传统目标检测网络中的选择性搜索算法完成产生候选区域的功能，目标检测时间大大缩短，检测速度更快，被广泛应用于着装规范检测、行人追踪、小尺度目标识别、字体识别等领域。Faster-RCNN网络由四大模块组成：卷积层、区域提案网络RPN（Region Proposal Networks）、ROI池化层和分类层。其中，卷积层通过多层卷积池化深度挖掘图片特征信息，得到输入图片的特征图用于后续定位识别；RPN网络分为两条路，一条通过softmax层将特征图中的候选锚框分为前景或背景两类（前景即为检测目标），另一条利用边界框回归算法对锚框进行修正，得到精确的候选区域；ROI池化层将前面层得到的特征图和候选区域信息进行综合计算得到候选特征图用于后续分类；分类层利用已获得的候选特征图对每个候选目标进行具体分类，并再次利用边界框回归算法获得每个候选目标的位置偏移量，回归得到更加精确的目标检测框。本实验选择ResNet101作为Faster-RCNN网络的卷积层部分，ResNet101的残差结构使得其同时兼顾了网络的深度和准确率，从而具有较强的图片信息提取能力。Faster-RCNN网络结构如图2所示。

图2 Faster-RCNN网络结构

1.1.2 本文提出的检测框IOU判别机制

应用Faster-RCNN网络目标检测后会出现一个目标检测出多个重叠框的情况，为解决这一问题，本文在原Faster-RCNN网络的基础上增加了检测框IOU判别机制，通过计算各个检测框之间的交并比将重叠框中分类概率较小的框去除。

Faster-RCNN网络在对目标进行定位及分类识别时，会对候选区域属于各类别的概率分数进行计算，本文将网络检测到的各类别概率分数均小于0.5的框滤除，对剩下的检测框进行两两交并比计算，判断其是否重叠，并删除其中概率分数更低的一类，使用的交并比计算公式如下：

其中：IOU为两检测框交并比；为两检测框相交部分的面积；down、up、right、left分别代表两检测框并集所在位置的最小行数、最大行数、最小列数、最大列数；、分别为原矩形框面积。

将IOU的判别阈值设为80%，即当两检测框重叠部分面积超过其面积和的80%时，认为其检测对象为同一个目标，对其中概率分数更低的检测框执行滤除操作，使得同一个目标处只保留一个概率分数最高的检测框。图3显示了增加检测框IOU判别机制后目标检测的结果变化。由图3可以看出，检测框IOU判别机制的设置可有效去除目标检测的冗余框，解决了对同一目标检测出多个重叠框的情况。

图3 增加检测框IOU判别机制后目标检测的结果对比

1.1.3 基于Faster-RCNN网络的螺栓及空洞ROI区域自动分割

本文基于改进的Faster-RCNN网络实现螺栓及空洞的目标检测，将检测到的目标矩形框作为螺栓及空洞的ROI区域，流程如图4所示。

图4 基于Faster-RCNN网络的螺栓及空洞ROI区域自动分割流程

由图4可得，经过基于Faster-RCNN网络的螺栓及空洞ROI区域自动分割步骤后，输入图片中的每一个目标ROI区域均被单独分割出来，作为下一步识别的输入。

1.2 本文提出的基于HSV颜色空间的颜色差异特征算子

由于受拍摄环境、光照条件及检测目标自身结构的影响，拍摄到的螺栓及空洞的目标ROI区域颜色差异有所不同，因此本文针对待检测目标的颜色差异，提出了基于HSV颜色空间的颜色差异特征算子，以实现对目标内外部颜色差异的量化提取，并基于该颜色差异将目标分为颜色差异较大和颜色差异较小两大类。

颜色差异较大的一类包括：

（1）背景为其他的空洞：空洞的内部颜色取决于拍摄过程中其后部背景的颜色，所以其类型可分为背景为铁塔和背景为其他两类，对于背景为其他的空洞，其内外部颜色差异较大。

（2）光照较强环境下拍摄的螺尾：螺尾具有复杂的多螺旋结构，在光照较强的环境下拍摄时，目标图像的整体颜色差异也会较大。

（3）其他错检目标：在深度学习目标检测过程中也会检测到一些与周围环境颜色差异较大的错检目标。

对应的颜色差异较小的一类包括：（1）背景为铁塔的空洞；（2）光照较弱条件下拍摄的螺尾；（3）螺帽。

各类目标的颜色差异对比如图5所示。

图5 颜色差异较大和较小类目标对比

HSV颜色空间中、、三个颜色向量分别代表色调、饱和度和明度，由于色调、饱和度、明度差异受光照等环境因素的影响依次递增，因此本文对上述三个颜色向量分别设置了横纵两个方向的差异特征算子，并按照色调、饱和度、明度依次递减的规则设置了算子权重，以减少环境因素对颜色差异提取的影响。各算子结构如图6所示。

图6 本文提出的基于HSV颜色空间的颜色差异特征算子结构

用上述算子分别遍历图像除最外圈外每一个像素对应的颜色向量值，并将求得的三个向量的值求和以获得图像上每个像素与周围像素的颜色差异，对该差异值求取方差来进一步量化表征整幅图像的颜色差异变化，具体计算公式如下：

经大量图片实验验证后，将判别阈值设定为30，若针对当前目标图片求得的颜色差异特征值大于该阈值，则认为其是空洞、螺尾或其他类。通过提取目标尺寸与边缘特征，实现进一步的分类，其具体步骤为：（1）提取目标ROI区域的大小：由于深度学习网络的错检目标多为塔座上的大型固定用螺栓，所以将ROI区域过大的认为是其他类（错检目标），结束分类，其余目标进入下一步；（2）边缘提取：根据边缘连通域个数，将边缘连通域多且更为复杂的判别为螺尾，边缘连通域少且较为简单的判别为空洞。

1.3 基于轮廓差异性提出的边缘复杂度提取算法

作为本文的检测目标，空洞、螺帽及螺尾之间的形状存在较大差异，其中螺尾的多层螺旋结构的轮廓与空洞的近圆形和螺帽的近六边形相比更为复杂。因此，本文基于各目标种类之间的轮廓差异提出了边缘复杂度提取算法，实现对上一步骤中颜色差异特征值小于设定阈值目标的进一步判别。

螺尾的多层螺旋结构使得其边缘的连通域个数相比螺帽和空洞更多、边缘连通域质心更为分散，且在整体图像中的分布范围更广。基于上述特点，本文提出的边缘复杂度包括三个特征：边缘连通域个数、边缘连通域质心分散度、边缘连通域质心区域分布比，其具体提取步骤如下：

（1）边缘连通域个数提取

本实验利用Canny算子对目标定位框图片进行边缘提取，对提取后的边缘进行连通域检测，检测到的连通域个数即为边缘连通域个数。

（2）本文提出的边缘连通域质心分散度计算

边缘连通域质心分散度由各连通域质心到其总质心欧氏距离的离散系数表征，其计算公式如下：

其中：(,)表示求得的总质心坐标；d表示第个连通域质心到总质心的欧式距离；(x,y)表示第个连通域质心的坐标；、分别表示目标图像的行数、列数；、分别表示各连通域质心到总质心欧式距离的均值与方差；num表示连通域的个数；为各连通域质心到其总质心欧氏距离的离散系数，即求得的边缘连通域质心分散度。

（3）本文提出的边缘连通域质心区域分布比提取

连接图像的两组对角顶点，将图像分为4个区域，分别统计4个区域的边缘连通域质心数量，将连通域质心数量最高的区域对应的质心数量值的一半设为阈值，计算不小于该阈值的区域数占总区域数的比例，即为边缘连通域质心区域分布比，该特征可量化表征连通域质心的分布广泛度。图7为边缘连通域质心区域分布比提取算法示意图。

图7 边缘连通域质心区域分布比提取算法示意图

图7中三个特征共同组成表征边缘复杂度的特征集，当且仅当目标图像的三个特征均超过设定阈值时，认为其边缘复杂度较高，分类为螺尾；否则，认为当前目标为螺帽或空洞类（背景为铁塔）。经过大量图片实验后将边缘连通域个数阈值设为10，边缘连通域质心分散度阈值设为0.3，边缘连通域质心区域分布比阈值设置为0.5。图8展示了螺尾、螺帽、空洞三种不同类型目标的边缘连通域质心分布对比。

图8 螺尾、螺帽、空洞的边缘连通域质心分布对比

由图8可得，螺尾本身边缘较为复杂，边缘连通域质心数量多、分散度高且分布广；螺帽边缘较为简单，边缘连通域质心数量少，相应的分散度及分布范围也小；空洞自身边缘简单，但由于其面积较小、相对于定位矩形框的面积也较小，使得其受周围环境的影响较大，在边缘检测时易检测出多余的干扰线条，但连通域质点往往分布较为集中，且数量仍与螺尾有差距。由以上信息可得，本文提出的边缘复杂度特征集对于铁塔上的螺尾、螺帽及空洞具有一定的区分度，可作为识别上述各类型目标的可行特征之一。

1.4 本文提出的目标轮廓类圆度量化算法

根据上述分析，边缘复杂度较低的目标被认为是螺帽或空洞类，而螺帽的边缘呈近六边形，空洞的边缘呈近圆形。虽然受光照等环境影响，目标图像在边缘提取过程中易产生不属于真实边缘的干扰线条，但是提取出的边缘仍可反映目标轮廓的大致形状。因此，本文基于空洞和螺帽的轮廓形状差异特征，利用对提取边缘的圆检测及检测圆到真实边缘距离计算方法，量化反映目标轮廓的类圆度，从而实现对螺帽和空洞的分类识别。具体步骤如下：

（1）边缘提取及预处理

首先利用Canny算子对目标轮廓进行边缘提取，为减少边缘提取过程中干扰线条的影响，对提取后结果进行连通域检测，并去除其中连通域较小的部分。

（2）霍夫圆检测

利用霍夫圆检测方法，对上一步边缘检测及预处理后的结果进行圆检测，将最多能检测到圆的个数设置为1，即每个目标图像中只有一个目标。若检测不到圆，则直接认为其为螺帽，结束分类步骤；否则，进入第3步检测圆到真实边缘距离的计算。图9显示了在条件设置下利用霍夫圆检测空洞的圆检测结果。

图9 在条件设置下利用霍夫圆检测对空洞的圆检测结果

由图9可以看出，将检测圆个数设置为1后，霍夫圆检测对于空洞类型的目标取得了较好的检测效果。由于空洞本身边缘形状圆度较高，其真实边缘与检测圆基本拟合，两者之间距离较小。

（3）检测圆到真实边缘距离的计算

由于边缘检测受光照等环境条件影响会出现多余干扰线条，经上一步预处理也无法完全去除，因此，最终在边缘会检测出多个连通域。分别计算每个连通域到检测圆的距离，计算公式如式（15）和（16）所示，将所有连通域中的最小距离作为检测圆到真实边缘的距离，该距离可表征目标轮廓的圆度，圆度越高，距离越小。

其中：d表示连通域上第个点到检测圆的距离；(x,y)表示连通域上第个点的坐标；(,)表示检测圆圆心的坐标；表示检测圆半径；num表示当前连通域上点的个数；即为求得的当前连通域与检测圆距离。

（4）目标分类识别

在本实验中，将距离判断阈值设为8个像素点，若超过该阈值，则认为其圆度较低，判别为螺帽类；若不超过该阈值，则认为其圆度较高，判别为空洞类。

2 实验结果及分析

本实验针对铁塔上的螺栓及空洞提出了一种新的螺栓安装状态自动检测算法，该方法将深度学习与数字图像处理方法相结合，在Faster-RCNN目标定位的基础上提出了一种基于颜色差异特征与边缘复杂度的螺栓、空洞目标检测算法，与单一的深度学习目标检测方法相比实现了目标识别准确率的提高，为及时识别铁塔上存在安全隐患的未安装部件提出了一种可行的解决方案。

2.1 实验数据

本实验视频数据由双目相机在国家电网施工现场铁塔底部实地拍摄所得。其中，双目相机选取的是Stereolab开发的ZED 2系列相机，该相机基线距离为12 cm，视场110°，深度检测范围可达0.3～20 m，采集视频分辨率为2 K，帧率为15 fps。该设备小巧便携，可佩戴于铁塔施工工人头部进行实时拍摄检测。

本实验数据包括两个供电铁塔拍摄的371张图像，其中100张图片用于Faster-RCNN网络训练，200张图片用于算法测试，测试用图片包含目标2 304个。

2.2 基于颜色差异特征与边缘复杂度的螺栓安装状态自动检测算法实验结果

基于本文识别未安装部件的实验目的，本实验对空洞和螺栓目标的检测结果分别进行了统计，并用准确率、错检率和漏检率三个指标对检测结果进行了量化评估，检测结果见表1所列。

表1 螺栓及空洞自动检测结果

由表1结果可得，本实验整体的识别准确率可达86.24%，其中错检率为12.72%，漏检率为1.04%；而从空洞和非空洞两种类型结果对比来看，漏检情况主要存在于空洞中。观察实验数据发现，漏检的空洞主要是背景为铁塔的空洞，漏检原因可能是该类型目标的颜色特征不明显且边缘较为简单，深度学习网络难以辨别；而两种类型的错检率较为相近，说明本文所提出的算法对于不同类型的目标均能达到较高的准确率，鲁棒性较好。

2.3 本实验算法与Faster-RCNN网络目标检测结果对比

Faster-RCNN作为深度学习目标检测网络的经典代表性网络之一，其本身即可实现对目标的定位及识别，但由于深度学习方法对训练集数据具有高度依赖性，并不适合本实验中对情况多样的铁塔上螺栓及空洞此类小目标的检测需求。图10显示了改进后的Faster-RCNN网络的目标检测结果。

图10 改进后的Faster-RCNN网络的目标检测结果

由图10可得，改进后的Faster-RCNN网络对目标的漏检率较低且定位框位置较为准确，但存在错检情况，因此在深度学习目标定位基础上进行后续的识别优化操作是必要的。本文在Faster-RCNN定位基础上利用数字图像处理技术提出了基于颜色差异特征与边缘复杂度的螺栓、空洞目标检测算法，有效地提高了目标检测准确率，本实验算法与Faster-RCNN网络目标检测算法的检测结果对比情况见表2所列。

表2 本实验算法与Faster-RCNN网络目标检测算法结果对比

由表2可得，Faster-RCNN网络的目标检测准确率为67.75%，而本文所提出的基于颜色差异特征与边缘复杂度的螺栓安装状态自动检测算法的准确率为86.24%。这一对比结果说明，与单一的深度学习目标检测网络对比，本算法有效提高了目标识别的准确度。

3 结 语

本文将深度学习与数字图像处理方法相结合，在Faster-RCNN网络目标定位的基础上，提出了一种基于颜色差异特征与边缘复杂度的螺栓安装状态自动检测算法。在该算法中提出了一种基于HSV颜色空间的颜色差异特征算子，可以量化反映图片的整体颜色变化。同时，还提出了包含边缘连通域个数、边缘连通域质心分散度及边缘连通域质心区域分布比的边缘复杂度特征集，可量化表征图片中目标的边缘复杂度。经在国家电网施工现场铁塔底部实地拍摄的271张图像（包含2 304个目标）验证，本文所提出算法准确率可达86.24%；与单一的深度学习目标检测方法相比，有效提高了目标识别准确率，有望成为及时识别铁塔上存在安全隐患的未安装部件的一种新的解决方案。