铁塔螺栓松动的视觉检测方法研究

张建立，王亚龙

（郑州大学机械与动力工程学院，河南 郑州 450001）

1 引言

高压输电铁塔螺栓的松动检测是铁塔检修的重要环节，螺栓松动的主要原因是输电线舞动产生方向交替变化的拉力使得塔身振动，积累到一定程度就会导致螺栓连接发生松动［1］。对于铁塔螺栓松动问题，通常情况下检测人员会定期攀爬铁塔进行排查，这种方法工作量大，对检测人员的要求较高，存在一定的危险性。目前已经被提出的新型螺栓松动检测方法主要是利用压电阻抗技术［2-5］、声学技术［6-8］、螺栓连接振动特性［9-10］等接触式的方法，都需要布置大量的应变片和传感器，并不适用于高压输电铁塔。

针对高压输电铁塔用六角螺栓在经历单次输电线舞动后会产生较小程度的松动问题，研究了视觉检测方法的可行性，设计了主要应用图像配准技术的完整检测流程，通过处理螺栓松动前后两次拍摄的图像，得到发生松动的螺栓位置，以实现无接触、低成本的螺栓松动检测。

2 粗配准

粗配准过程首先使用加速版的具有鲁棒性的特征检测算法（Speeded Up Robust Features，SURF）［11］对输入的基准图像和浮动图像进行特征点检测与匹配，并利用随机抽样一致性算法（Random Sample Consensus，RANSAC）［12］剔除错误的匹配对，由匹配点的坐标估计透视变换矩阵的参数，最后对浮动图像执行透视变换。

2.1 SURF特征检测

基于尺度空间理论，SURF特征检测算法在图像上任意点（x，y）上构建不同尺度的Hessian矩阵，计算该矩阵的判别式，当判别式取得局部极大值时，确定当前点为关键点。不同的尺度空间结构是通过更改高斯模糊的大小来获得的，不同的图像金字塔层具有不同的高斯模糊大小，并且同一图层也会具有不同的图像模糊大小。用Hessian矩阵获得极值后，在3×3×3三维邻域中进行非最大抑制，只有都大于或都小于上层尺度、下层尺度及本层尺度周围的26个邻域值的关键点才能作为候选特征点。在选定了特征点之后，要分配特征点的主方向并构造特征点描述符，这两步都是依据特征点邻域内的harr小波特征实现的。最后通过计算特征点间的欧氏距离确定匹配度，此外，SURF 算法会排除Hessian矩阵迹符号不同的匹配［13］。

2.2 筛选匹配对

通过SURF算法得到的匹配对数量较多，其中也包含部分误匹配，采用RANSAC 算法剔除错误匹配，其具体实现流程如下［14］：（1）从SURF算法得到的匹配对中随机选取4对作为样本。（2）由样本坐标计算单应性矩阵M。（3）计算在合理误差范围内，满足矩阵M的一致集，统计一致集内元素个数。（4）判断当前一致集是否最优，即元素个数最大，若是则更新最优一致集。（5）更新当前错误概率t，若t大于允许的最小错误概率则重复（1）～（4）继续迭代，直到当前错误概率t小于允许的最小错误概率。

筛选后的匹配效果，如图1所示。

图1 筛选后的匹配对Fig.1 Filtered Matching Pairs

3 螺栓中心匹配

为了进一步修正浮动图像中每一个螺栓的位置，并且消除背景差异对判定过程产生的干扰，提出了与对象检测相结合的螺栓中心配准算法。

3.1 对象检测

螺栓中心配准算法使用的对象检测器是应用YOLO（You Only Look Once）深度学习框架［15］训练的，训练集包含150张原实验图像、原实验图像旋转90°后的图像以及旋转180°后的图像，共计450 张图像，所有图像均被压缩为（416×416）大小，并使用labelImg工具对图像中的螺栓进行标注。对象检测器可以对输入的实验测试图像进行检测，得到图像中所有螺栓的位置，每一个螺栓都单独处于一个小的矩形框里，程序会将每一个矩形框的大小和位置信息输出［16］。

在对象检测的基础上，将每一个包含螺栓的检测框定义为一个感兴趣区域，并在每一个感兴趣区域内对图像进行后续操作。

3.2 边缘检测

首先使用（5×5）的高斯核对图像进行高斯滤波，模糊螺栓表面图案以及在制造过程中产生的表面缺陷和在自然环境中发生的表面腐蚀。选用Sobel算子作为边缘检测的卷积模板［17］，卷积阵列为：

其中，Gx和Gy分别作用于x方向和y方向。并使用式（2）、式（3）计算梯度幅值G和方向。

采用非极大值抑制和双阈值法对边缘像素点进行筛选，这里选取的梯度上、下限阈值分别为200和100。

3.3 轮廓提取与筛选

对边缘检测后的二值图像进行轮廓提取，利用轮廓的层次结构和长度信息对轮廓进行筛选。在轮廓图像中，某些形状位于其他形状内，类似于嵌套模型，这种情况下将外部轮廓称为父级轮廓，内部轮廓称为子级轮廓，轮廓彼此之间就具有了层次结构。在一个螺栓检测框中，利用轮廓的层次结构筛选掉所有的子级轮廓，只保留不具有父级轮廓的最外层轮廓，利用轮廓的长度信息可以筛选掉与最外层轮廓交叉的轮廓，最终形成螺栓的边界，如图2所示。

图2 轮廓提取与筛选结果Fig.2 Contour Extraction and Filtering Results

3.4 计算轮廓中心坐标

图像中螺栓头部表面的几何中心可以等效为重心，图像中任意形状的重心位置可以通过计算轮廓的几何矩得到，轮廓的（p+q）阶几何矩如下：

式中：P（x，y）—点（x，y）的像素值。重心坐标（x，y）为：

3.5 中心点匹配

设基准图像中螺栓中心点集为I，其中各点坐标为（xi，yi）；粗配准的图像中螺栓中心点集为T，各点坐标为（pt，qt），将两组中心点放置在同一直角坐标系内，点集I中任意一点相较于T中任意一点的距离为L，如式（6）所示。

对于点集I中的每一点，在点集T中寻找满足L最小的点，将这两点初步归入匹配点对。当遍历了I中每一点之后，计算所有匹配点对最小距离的平均值，剔除最小距离大于2倍该值的匹配点对。

中心点对匹配完成后，根据匹配结果，对粗配准后的浮动图像进行仿射变换，进一步调整了螺栓位置，得到最终的配准图像。对基准图像和浮动图像加权计算并二值化，可以得到准确显示差异位置的二值图像，如图3所示。

图3 差异图像Fig.3 Difference Image

4 判定螺栓松动的方法

在提取并筛选了螺栓轮廓之后，利用求和函数统计每个螺栓内部的像素点个数M，等效为螺栓头部表面的面积；在得到差异图像后，统计每个螺栓内部灰度值大于50（根据具体对象的表面灰度值设定）的像素点个数N，等效为差异区域的面积。经过建模计算得知，当螺栓转动10°时，N与M的比值约为0.03 999 301。考虑到视角、螺栓表面质量、光照条件的综合因素的影响，设置阈值为0.03，在一个螺栓检测矩形框内，当N与M的比值大于此阈值，判定该螺栓松动。判定后的输出图像，如图4所示。

5 实验结果与分析

5.1 算法流程

这里的算法流程，如图5所示。输入的基准图像与浮动图像先经过粗配准过程，图像的尺度、视角等趋于一致，再经过螺栓中心匹配处理，校准每一个完整螺栓的位置，加权计算后得到包含准确差异信息的图像，通过统计螺栓位置明亮像素的数量判断是否为松动螺栓，最终输出诊断图像。

图5 这里算法流程图Fig.5 Algorithm Flow Chart of this Paper

5.2 实验设备

实验设备包括图像采集对象、一台独显笔记本和MV-U300型号的CCD 相机，相机的初始分辨率为（1536×2048），算法运行平台是Intel（R）Core（TM）i5-4200M CPU，NVIDIA GeForce GT 755M GPU，8 GB 内存，OpenCV 版本为4.0.0，Windows 10旗舰版系统。图像采集对象是一块装有6只铁塔螺栓的连接板，连接板尺寸为（600×150×5）mm，螺栓采用铁塔用8.8 级螺栓，直径为24mm。实验设备，如图6所示。

图6 实验设备Fig.6 Experimental Equipment

5.3 实验结果

为了方便检测器识别，将采集到的图像的分辨率调整为（1080×1440），采集的第一张图像作为基准图像，在不转动螺栓的情况下随机改变相机位置，采集40 张图像作为第一组实验图像；转动2 只螺栓，转角在（10～50）°之间，随机改变相机位置，采集40张图像作为第二组实验图像。以同样方式，再分别采集40张3只螺栓转动和4只螺栓转动的图像。图像采集完成以后，分别使用SURF算法和这里的算法对图像进行实验，实验结果，如表1、表2所示。

表1 使用SURF算法的实验结果Tab.1 Experimental Results Using the SURF Algorithm

表2 使用这里算法的实验结果Tab.2 Experimental Results Using this Algorithm

统计结果中的过检率和成功率计算公式，如式（7）～式（8）所示。

5.4 实验分析

结果显示两种检测流程都不存在漏检的情况，通过分析算法原理可知：对于转动螺栓的判定是基于差异图像中不重叠区域与整个螺栓的面积比，如果图像配准的效果不佳，面积比会变大，仍会被判定为转动螺栓。因此，检测过程中的错误检测只有过检的情况。

仅使用SURF算法进行检测的结果中过检率较高，而且有随着转动螺栓数目增加而升高的趋势，通过观察特征点匹配图像，发现转动螺栓附近的正确匹配对数目明显减少，正确匹配对的数量会直接影响配准的效果。使用这里算法进行检测的成功率在90%以上，较SURF配准有很大提升，能够大幅度减少人工检修的工作量。检测的最终结果主要是受中心定位精度的影响，受粗配准过程中匹配对数目的影响较小，因此，提高螺栓中心定位的精度是算法的主要改进方向。

6 结论

针对铁塔螺栓在输电线发生舞动后会产生较小角度的松动问题，提出了一种基于图像配准技术的检测方法，实现了无接触式检测。检测的算法是在SURF图像配准基础上，利用螺栓中心点匹配实现螺栓位置对齐，通过对基准图像和配准图像加权得到直接显示不重合区域的差异图像，最后利用对象检测的输出结果对检测到的螺栓逐个进行判定。算法检测转角在（10～50）°范围内的铁塔用六角螺栓成功率在90%以上，一个检测循环的程序运行时间在14s以内，在铁塔螺栓松动检测工作中具有一定的可行性。