基于图像识别的高强度螺栓松动检测方法的研究*

郭珍珠 赵 伟 陈涵深 吕 硕

(1.江苏科技大学土木工程与建筑学院，江苏镇江 212000；2.浙江交通职业技术学院，教育部公路水运钢结构桥梁应用协同创新中心,杭州 311112；3.青岛理工大学土木工程学院，山东青岛 266525)

在钢结构桥梁连接中，高强度螺栓连接因具备强度高、耐久性好、现场施工简便等优点，已经基本取代铆钉连接、销轴连接和焊接连接而成为钢结构现场主要连接方式[1]。随着桥梁服役的年限逐年增长，钢结构桥梁在投入运行中承受的疲劳荷载及强迫振动等作用，使高强度螺栓的松弛断裂现象不断增加，给钢桥连接长寿命、高品质服役带来隐患。另外，螺栓失效现象发现不及时，将严重影响桥梁的节点连接性能，降低承载能力，甚至引发灾难性的后果。因此，有必要开发钢桥高强度螺栓快速松动检测及预紧力评估技术以增加桥梁连接可靠性，提高钢结构桥梁的承载力性能。

目前，钢桥运营期间高强度螺栓连接的松动检测方法以人工目测和小锤敲击检查为主。人工目测法效率低、安全性差、结果差异性大，无法实现螺栓松动检测的快速、准确。近年来发展起来的基于接触传感法如基于声学、基于压电主动传感和基于阻抗等[2-4]方法虽然具有一定的应用基础，但存在检测设备价格高昂，操作过程需人工辅助，设备定期更换不易等问题，无法应用于钢桥中高强度螺栓长期、大批量的松动检测。

1 研究现状

随着检测需求日益增加，基于视觉的图像识别技术在结构健康监测(SHM)领域崭露头角。大量学者已在路面裂缝检测、基坑深度监测和钢结构锈蚀等[5-7]方向进行了卓有成效的研究。在螺栓松动检测方面，国外学者对基于机器视觉的图像识别螺栓松动检测法也进行了初步研究。Park等提出了基于视觉螺栓松动检测法[8]，他们将霍夫(Hough)变换和坎尼(Canny)边缘检测算法相结合，通过跟踪螺栓边界的旋转轨迹推算螺栓松动的角度，结果精度可达4°；Cha等在Park等方法基础上提出了一种基于视觉的新算法[9]，他们将图像处理算法与支持向量机相结合，对螺栓杆及螺母图像进行分割，通过识别螺栓杆的高度来推算螺栓松动角度。该算法适用于摄像机拍摄角度31°～51°、拍摄距离78～122 mm、有明显松动状态的螺栓，但对螺栓的微小松动角度检测效果不佳，运算量较大、对处理器要求较高；Ramana等通过将Viola-Jones算法与支持向量机相结合，在Cha等的方法基础上做了进一步改进，对螺栓头部尺寸及栓杆外露螺纹长度进行识别[10]，结果表明其算法可以检测外露螺纹长度不小于5 mm的松动螺栓，且适用于多种几何形状的螺栓头，但受拍摄角度的限制，无法对微小松动角度进行检测。Zhao等使用单次多盒检测器对螺栓识别定位，考虑不同角度光照对网络稳定性的影响，并对该方法的检测精度进行了试验验证[11]，结果表明该方法不受光照角度影响，具有较好的稳定性，但最小识别角度仅达10°。虽然图像识别法在结构健康监测领域展示了良好的效果，但其算法运算速度及精度仍无法满足钢结构桥梁高强度螺栓大批量松动检测的要求。

针对提高机器运算速度及检测精度需求，提出了一种基于图像识别的高强度螺栓松动检测方法。该方法利用螺栓角点位置识别算法对螺栓图像样本进行了白色掩膜构建、掩膜小型噪点剔除和感兴趣区域(ROI)分割等处理，确定螺栓角点位置坐标，结合相机成像相似映射原理推算螺栓松动角度，进而根据螺栓松动角度评估预紧力损失。对不同型号螺栓在不同水平视距下旋转10°、20°、30°采集样本，并将其导入算法，对该图像识别方法在高强度螺栓连接松动检测及预紧力评估中的鲁棒性进行验证。

2 识别思路

识别的思路主要分为螺栓角点位置识别、松动角度计算和预紧力损失判定三部分。其中，螺栓角点位置识别算法的流程如图1所示。在相机机型、螺栓尺寸规格、拍摄距离参数已知情况下，获取螺栓图像样本并将其输入算法，监测螺栓图像特征标记点的空间坐标，由相机成像的坐标系转换原理推算螺栓的松动角度，通过松动角度与预紧力的关系，对螺栓预紧力损失进行评估，为预紧力阈值的提出奠定基础。

图1 螺栓角点位置识别算法的流程Fig.1 The flow chart of position recognition algorithm for the bolt corner

2.1 螺栓角点位置识别

螺栓角点位置识别按下面4个步骤进行：

1)构建白色掩膜(mask)。首先，输入图像尺寸为1 624×1 240像素。为消除由于外界杂质使图像产生的强度随机信号，首先采用高斯滤波对图像进行降噪处理，调节高斯滤波模板尺度为5×5[12]，平滑参数σ设为1.0;其次，采用COLOR_BGR2HSV颜色空间通道转换，调节彩色阈值，使图像颜色特征限定在红色范围内；接着，为节省存储空间，提高指令运行速度，对图像进行二值化处理、与操作，构建mask，对ROI无关背景进行遮挡，此时色调颜色模型图片中在颜色范围内的区域变成白色，其他区域变成黑色。

2)剔除mask中其他小型噪点。针对mask图像中可能存在其他的离散点、游丝、毛刺线等小型噪点，调用形态学开运算[13]。首先，应用腐蚀操作，使用卷积核尺寸为3×3的结构元像素对待测图像进行卷积遍历，将卷积核邻域像素点的极小值赋予锚点指定像素，从而对图像前景像素的边界进行黑暗处理，去除像素间断点；其次，使用膨胀操作对图像前景像素的边界进行扩张，对图像前景像素的边界进行高亮处理，连接相近间断点，从而清晰mask轮廓特征。为提高运行速度，腐蚀与膨胀函数迭代次数均为1次。

3)分割ROI。首先，对mask区域面积进行统计，对矩形尺寸长宽比大于8的图像轮廓做自动放弃处理，并对mask轮廓的垂直边界最小正矩形进行提取，留下符合要求的ROI；其次，对ROI的连续轮廓点的内部进行填充，并沿其外接轮廓进行切割使之形成独立图像，轮廓边缘线宽设为2像素。

4)确定角点位置。首先，计算ROI轮廓的中心并采用十字交叉线进行标志；其次，计算ROI的中心距，以图像窗口左上角像素点为初始原点，对ROI中心坐标(xn,yn)进行计算自动输出，ROI的中心作为角点的坐标，随即完成螺栓角点位置识别。

2.2 松动角度计算

上述算法依据相机成像相似映射原理将图像从世界坐标系向相机坐标系过渡转换，转化原理如图2所示。

图2 试验原理Fig.2 Experimental principles

由图2推得螺栓图像像素点与相机型号及拍摄距离之间的关系，如式(1)所示：

(1)

式中：Df为相机焦距尺寸；D0为镜头到物体的距离；Xc为单个像素点对应物体的实际长度；Xccd为工业相机像元尺寸。

即单个图像像素点对应物体的实际长度为：

(2)

将采集的螺栓图像样本导入算法中，利用算法对螺栓旋转前后角点进行检测并进行坐标计算。螺栓旋转过程中角点检测原理如图3所示。

图3 螺栓旋转过程中角点检测原理Fig.3 The principle for detection of corner points during rotation of bolts

由图3可知，螺栓旋转引起的角点像素变化个数和角点轨迹变化弦长分别为：

(3a)

Dc=Npxc

(3b)

式中：p1(x1,y1)、p2(x2,y2)分别为螺栓旋转前后标记角点像素坐标；Np为螺栓旋转引起的角点轨迹弦长的像素点个数；xc为单个像素点实际对应物体的长度；Dc为螺栓旋转引起的角点轨迹变化弦长。

螺栓松动角度与螺栓旋转角点检测长度关系如图4所示。计算公式为：

图4 螺栓松动角度与螺栓旋转角点检测长度示意Fig.4 The schematic diagram of the detection length for looseing angles or rotation of bolts

(4a)

(4b)

式中：R为待测螺栓角点旋转半径；θ为螺栓角点旋转角度。

当使用相机型号MV-CA020-10GC、像元尺寸为4.5 μm、镜头到物体的距离为0.5 m时，对M30型号螺栓单个像素点进行识别，该试验精度可达0.18°(由式(4)计算得到)。

由式(4b)分析可知，试验精度主要取决于相机型号、螺栓尺寸和拍摄距离；上述工况的识别精度理论上可达0.18°，完全满足工程中对螺栓的松动角度精度的要求。

2.3 预紧力损失判定

已知螺栓连接的自松动过程包括两个不同的阶段。第一阶段是材料的循环塑性变形，第二阶段是螺母的后退。针对螺栓第二阶段的自松动过程建立松动角度与预紧力的关系，为螺栓紧固评判标准的提出提供数据支撑。

螺栓松动角度与预紧力损失值之间的关系[14]为：

(5)

式中：Kt为螺栓连接的拉伸弹簧常数；Kc为被联接件的压缩弹簧常数；φ为螺母的转角；p为螺距(单头螺纹)。

将式(5)导入算法，即可建立螺栓旋转角度与预紧力损失的关系，从而对螺栓预紧力损失进行评估。

3 试验验证

为验证方法的有效性，进行了试验。试验在CPU Inteli7-8700、内存8 G的硬件环境，采用python语言，基于OpenCV3.4库在操作系统为windows 10的软件环境下运行。采用海康威视工业相机MV-CA020-10GC，传感器型号为IMX430，传感器类型为CMOS，靶面尺寸为14.8 mm，像元尺寸为4.5 μm，分辨率为1 624×1 240像素，画面传输帧数为60帧/s，GigE接口，焦距为12 mm工业相机,分别对M20和M30型号螺栓在镜头与螺栓中心点距离0.5，0.8 m处进行定机位采样，试验装置如图5所示。

图5 试验装置Fig.5 The experimental setup

3.1 图像采集

分别设定相机拍摄距离为0.5，0.8 m，将螺栓角点初置于0°，对M20、M30螺栓进行10°、20°和30°旋转，在不同水平视距下M20和M30螺栓的图像采集分别如图6、7所示。

a—距离0.5 m;b—距离0.8 m。图6 M20螺栓数据图像Fig.6 The digital images of bolt M20

a—距离0.5 m;b—距离0.8 m。图7 M30螺栓数据图像Fig.7 The digital images of bolt M30

a—0°；b—10°；c—20°；d—30°。图8 0.5 m处摄得的不同旋转角度的M30螺栓图像Fig.8 The images of bolt M30 rotated different angles from a distance of 0.5 m

0.5 m时，对M30螺栓依次进行旋转获得的待测螺栓样本如图8所示。依次将角点初设角度为0°、10°、20°和30°的待测螺栓图片输入算法中，检测螺母角点坐标实际效果如图9所示，其他工况类似。

图9 算法检测角点实际效果Fig.9 The actual effect of the algorithm to detect feature points

3.2 数据处理

已知M20螺栓角点旋转直径为37 mm，将水平拍摄距离为0.5 m的螺栓图像导入算法，识别螺栓角点坐标分别为x1=925，y1=772；x2=943，y2=771；x3=960，y3=769；x4=976，y4=768。识别准确率、预紧力损失值计算见表1。

表1 水平视距为0.5 m时M20螺栓样本识别结果Table 1 Recognition results of specimen bolt M20 at a horizontal distance of 0.5 m

同理，将水平拍摄距离为0.8 m的螺栓图像导入算法，识别准确率、预紧力损失值计算见表2。

表2 水平视距为0.8 m时M20螺栓样本识别结果Table 2 Recognition results of specimen bolt M20 at a horizontal distance of 0.8 m

已知M30螺栓角点旋转直径为56.63 mm，将水平拍摄距离为0.5 m的螺栓图像导入算法，测得螺栓角点坐标分别为：x1=734，y1=765；x2=759，y2=770；x3=784，y3=766；x4=809，y4=758。识别准确率、预紧力损失值计算见表3。

表3 M30螺栓、0.5 m水平视距样本算法识别结果Table 3 Recognition results of specimen bolt M30 at a horizontal distance of 0.5 m

同理，将水平拍摄距离为0.8 m的螺栓图像导入算法，识别准确率、预紧力损失值计算见表4。

表4 M30螺栓、0.8 m水平视距样本算法识别结果Table 4 Recognition results of specimen bolt M30 at a horizontal distance of 0.8 m

试验数据表明，该算法识别角度与螺栓实际转动角度值相符，检测准确率可达90%以上，满足实际桥梁螺栓批量检测要求；随着螺栓转动角度幅度、螺栓尺寸的增加，算法识别的准确度越高。经分析得到：M20螺栓每松动1°，预紧力平均降低3.6 kN；M30螺栓每松动1°，预紧力平均降低8.0 kN。这与经验值相符。

4 结束语

1)提出了一种基于图像识别的高强度螺栓松动检测方法，该方法能有效检测高强度螺栓实际松动的角度，检测准确率可达90%以上。

2)图像识别算法的精度主要与所用相机型号、螺栓尺寸、拍摄距离有关。

3)该方法可有效评估预紧力损失，为检测或监测高强度螺栓松动提供量化指标。