基于防松线分割的螺栓松动全角度检测方法*

康晶杰

（中国兵器科学研究院宁波分院，浙江 宁波 315000）

螺栓作为现代工业标准紧固件的典型，重大应用需求[1-4]等领域起至关重要的作用。但由于所紧固结构件作业时的机械振动或铸造材料的先天缺陷，难免会使螺栓发生诸如松动、疲劳断裂等失效情况，造成难以估量的损失[5-6]。为确保螺栓安全有效服役，对螺栓定期的检查紧固显得尤为重要[7]。相较于传统人工或接触式方法巡检检修，通过基于机器视觉的螺栓自动检修设备中图像处理及分析方法巡检螺栓服役状态，具有非接触、可追溯以及智能化开发程度高等优势[8]。

近几年，对螺栓的松动视觉检测方法主要有传统图像处理和深度学习两种。传统图像处理方面，Park J H 等[9]首先通过对螺栓上的圆形特征进行圆形霍夫变换定位，然后利用霍夫直线检测方法确定螺栓外部的直线特征相对图像坐标系的转动角度；Nguyen T C 等[10]利用直线霍夫变换检测螺母图像边缘检测后上的直线特征，采用计算各直线未松动和松动时所呈角度取平均值的方式定量计算螺栓松动角度。深度学习方面，王勇等[11]使用Faster-RCNN目标检测算法检测螺栓，在确保RCNN 算法检测精度的基础上加快了检测速度，提升了检测的效率，利用螺栓松动前后的厚度变化定性判断螺栓的松动行为。为了克服上述双阶段算法检测速度慢的缺点，Pan X 等[12]提出的螺栓识别检测算法YOLOv3-tiny建立于杨培盛等[13]使用的原始YOLOv3 算法架构之上，大大提高了检测速度，同时仍保持较高的精度，之后通过基于光流的免标靶目标跟踪算法，实现连续监测和量化检测螺栓的松动角度。

上述基于深度学习的方法因螺栓的应用场景甚广，因此无法通过单一的识别模型做到定位的普适化；基于传统图像处理的方法因螺栓服役环境存在场景复杂、光照不均等干扰，难免会使霍夫变换造成误检。受现有人工目视巡检螺栓方法，即通过在螺栓上标画防松线快速初判服役状态的启发，可利用防松线相对周遭环境的明显颜色差别来分割防松线图像，并对螺栓松动前后防松线形状特性变换来表征螺栓松动行为[14-18]。由于该方法的核心是在颜色空间中利用防松线的颜色特征对其进行分割及后续处理来定性或定量螺栓松动，其利用了颜色特征的直观性和仅需处理防松线的特殊性，相比基于图像边缘全局信息的螺栓整体形状特征识别，显著降低了处理数据的复杂度。同时，考虑到颜色特征的普遍性，使得该方法能够适用于各种不同的场景和条件。因此，在计算成本和普适性上对比上述两类方法均存在明显优势。然而，上述学者均未仅基于此方法对螺栓松动角度进行定量研究，更不必说松动全角度（0°～360°）检测，而全角度检测相对角度受限检测在建立螺栓松动角度和预紧力损失关系[19]、无人机等自动巡检设备检测或定量拧紧螺栓[20]等诸多研究起着极为重要的完善作用。针对上述问题，本文开发了一种基于防松线分割的螺栓松动全角度检测方法。实验结果表明，本文提出的方法能够实现基于颜色分割和矢量运算的方法对螺栓松动全角度进行检测，检测精度符合工程要求。同时，该方法还具备结构简单、实施难度较低、易于应用于工程实际的优点。

1 全角度检测方法

本文的研究场景如图1 所示。在螺栓和基座上标画红色防松线，其中随着螺栓松动而转动的为转动防松线，固定在基座上的为固定防松线，图中分别用圆点框和点划线框框出，后文不再说明。通过螺栓和基座上防松线所呈角度来量化螺栓的松动角度。基于此研究场景，本文的方法概述如图2 所示。

图1 研究场景

图2 方法概述

首先，考虑到红色防松线标记相对背景具有明显的颜色特征，因此利用一种基于Lab 和RGB 颜色空间中先后进行a分量非线性拉伸和R分量最优阈值分割的颜色分割方法来分割红色防松线区域；其次，对分割得到的防松线图像进行开运算，在不改变防松线图像的前提下，去除无用连通域；然后，利用一种角度递进最小包围方法分别找出两条防松线的最小外接矩形并确定防松线的方向矢量；最后，利用四象限反正切函数和一个角度规则来计算两条防松线方向矢量在规定方向的方向夹角。

2 检测方法原理

2.1 基于颜色空间转换的防松线分割

2.1.1 颜色空间转换

图像处理中图像通常采用RGB、HSV 和Lab等几种颜色空间描述，其中以RGB 颜色空间最为常用，RGB 颜色空间将图像分为R（红色）、G（绿色）和B（蓝色）3 个分量，3 个分量分别取值后混合，即得到了现实世界中的大部分颜色，常见于显示器中的图像显示。但针对防松线分割这类红色标记分割问题，Lab 颜色空间相对RGB 颜色空间具有更高的分量分离度，分量不易受光照影响的优势，更符合人眼视觉，使得红色像素点分割更为高效。Lab 颜色空间由L（亮度）分量、a和b两个颜色对立分量组成。由于Lab 和RGB 颜色空间无法直接转换，因此需要分两步，先将RGB 颜色空间转换为XYZ过渡颜色空间，再转换为Lab 空间模型[21-22]。

RGB 颜色空间转XYZ过渡颜色空间，转换过程如下：

然后，XYZ过渡颜色空间转Lab 颜色空间，转换过程如下：

式中：Xn、Yn和Zn分别是三原色XYZ在白光条件下的刺激值，取值为

在后续的图像分割中为了消除光照的影响，可以利用Lab 颜色空间的分量分离度高的特点，将Lab 颜色空间模型中的L、a分量和b分量剥离（可设为0），仅将a分量作为研究对象。如图3 所示，对原图（图3a）进行处理，并进行Lab 颜色空间转RGB 颜色空间后，防松线图像（图3b）被粗分割出来，但通过仔细观察依旧能够发现周围存在诸多噪声点。

图3 原图及仅考虑a 分量处理后RGB 颜色空间示意图

2.1.2a分量非线性拉伸

在Lab 颜色空间中，图像的a分量正轴代表像素点接近红色的程度，在灰度图像显示中拥有更高的灰度级。为了在后续算法中，直观地突出红色像素点相对背景的显著差异，考虑使用非线性函数对a分量进行拉伸。拉伸的目标为突出红色像素点，但同时尽可能不影响其他像素点的颜色。拉伸后a分量如下：

式中：a（i,j）表示拉伸前图像中像素点（i,j）的a分量的值；anew（i,j）表示拉伸后图像中像素点（i,j）的a分量的值；k1和k1为该非线性变换中的参数。选择合适的参数，如k1=0.005，k2=3。拉伸效果如图4 所示，a分量非线性拉伸后转RGB 颜色空间（图4b）相比于拉伸前RGB 颜色空间（图4a），标记线明显灰度级更高。结合2.1.1 节，仅考虑a分量的效果如图5 所示。

图5 仅考虑a 分量处理的效果图

2.1.3 原图像中的标记线分割

综合2.1.1 节与2.1.2 节，仅考虑a分量且进行非线性拉伸、转RGB 颜色空间后，防松线区域较之前更为明显，且易于分割。拉伸后在Lab 空间中仅考虑a分量存在后，转换为RGB 颜色空间后的R分量如图6b 所示。

图6 原图RGB 空间下的R 分量与仅考虑a 分量的非线性拉伸且转RGB 颜色空间后的R 分量对比图

相比于图6a，图6b 仅存在防松线图像和与前者存在明显差异的背景像素点，背景像素点由a分量非线性拉伸带入。考虑利用OTSU 算法[23]对图像的R分量进行分割，分割效果如图7 所示。

图7 防松线图像分割结果

2.2 形态学操作

图像在基于颜色空间的分割后，除目标防松线区域外，存在2.1.3 节中的非目标区域连通域。为了后续算法的顺利开展，需要形态学操作来对其进行消除。使用形态学操作中的开运算对图像进行处理，参考式（5），开运算首先使用结构元B 对图像中的连通域集合A 进行腐蚀，接着B 对腐蚀结果进行膨胀操作[24]。

式中： ⊙为形态学处理中的腐蚀操作， ⊕为形态学处理中的膨胀操作。

2.3 防松线连通域的面积最小外接矩形

将图7 所示图像在进行形态学处理后，命名两条防松线连通域中随着螺栓松动转动的转动防松线连通域为markLine1，将固定防松线连通域命名为markLine2。考虑使用一种角度递进最小包围方法找出防松线连通域面积最小外接四边形反映防松线连通域的直线方向，进而确定两防松线方向矢量。以markLine2 为例，所提出的角度递进最小包围方法如下。

步骤1：首先画出长边和短边均分别平行于图像横轴纵轴的连通域外接矩形，记录面积S。

步骤2：以图像上一个固定点旋转目标图像。目标图像上任一点（xi1,yi1）绕一固定点（x0,y0）逆时针旋转角度 α后得到（xi2,yi2），其对应关系为

步骤3：旋转目标图像0°～90°，间隔1°，求解每次旋转后图像的外接矩形的面积、顶点及旋转的度数。

步骤4：比较旋转过程中外接矩形的面积，并记录下面积最小的外接矩形，获得该矩形的顶点坐标及旋转度数。

步骤5：将步骤4 中矩形反方向旋转相同的角度，即为面积最小的连通域外接矩形。

利用上述方法找出的markLine2 最小外接矩形如图8a 所示，图8b 所示为放大示意图。markLine1最小外接矩形求解过程同理。

图8 markLine2 最小外接矩形示意图

2.4 基于方向矢量处理的防松线夹角计算

规定第2.3 节中由图像中心出发沿求解出的最小外接矩形长边，朝向图像边界且大小为最小外接矩形长边的矢量为防松线的方向矢量，如图9 所示，其中实线箭头（左）为转动防松线方向矢量，虚线箭头（右）为固定防松线方向矢量。

图9 防松线的方向矢量

将两个方向矢量进行单位化处理，记转动防松线的单位向量为e1=（x1,y1），固定防松线的单位向量为e2=（x2,y2），则两向量的点乘与叉乘分别为

式中： θ为向量e2到e1的夹角。结合式（7），由式（8）可获得螺栓松动的全角度：

式中：arctan2（四象限反正切）函数[25]可以返回两个数值的反正切，其值域为（-π,π]。若函数解得的角度为正，那么角度值就在（0,π]范围内，表示逆时针方向；若函数解得的角度为负，那么角度值就在（-π,0]范围内，表示顺时针方向。由于螺栓的松动方向为单方向，因此可设定逆时针为螺栓松动方向，顺时针为松动方向的研究过程同理。由于逆时针螺栓松动的全角度为θ ∈（0,2π]，则对式（8）所求的角度加上360°，并与360°进行取模操作，使得所有松动角度均符合检测要求：

3 实验及结果分析

为验证该角度检测方法的效果与工程实用性，搭建实验平台，如图10 所示。在实验装置中的钢板表面固定有用于螺栓角度检测精度验证的圆形尺，并用M20 螺栓贯穿，实际应用中可将圆形尺去除。在圆形尺上画红色固定防松线markLine2，在螺栓表面画红色转动防松线markLine1。图像采集由智能手机iPhone 13 mini 上自带相机完成，相机主要参数见表1，距离实验装置25 cm。图像处理算法平台硬件环境为intel i7，内存为32 G，显卡为NVIDIA Quadro T1000。软件环境为Windows11、Matlab R2019a。算法中选取的参数见表2。螺栓松动全角度测量结果见表3。绝对误差测量结果如图11 所示。

表1 相机参数

表2 算法选取的参数

表3 螺栓松动全角度测量结果

图10 实验平台

图11 角度测量绝对误差结果

实验结果表明，本文方法能够检测螺栓0°～360°的松动角度，最大测量绝对误差为0.71°，最大相对误差为1.43%。对于任意角度的检测结果误差均相对稳定，且符合实际工程误差标准，同时还具备较高的测量精度。对0°～30°松动角度的识别上，绝对误差不超过0.22°，相对误差不超过1.45%，对螺栓早期松弛阶段同样具备较好的监测效果。检测误差主要来自以下几个方面：

（1）防松线的标画。由于本文方法的核心是利用防松线所呈夹角来量化螺栓松动角度，因此人为标画防松线时，其呈现的方向会影响式（7）所计算的结果，继而影响最后的检测角度。

（2）颜色分割算法的分割效果。由于本文中的颜色分割方法是一种全局分割方法，对防松线边缘颜色的判定上针对性欠佳，因此会存在一定误差，继而影响到后续算法中连通域面积最小外接矩形的确定。

（3）螺栓松动后圆形尺的测量误差。由于与检测结果对比的螺栓实际松动角度由人为从圆形尺测量得到，因此也会存在一定的测量误差。

3.1 不同标线下螺栓松动全角度检测实验

为了验证本文提出方法的可重复性及泛化能力，更换型号同样为M20 且经表面镀锌处理后的螺栓，并重新在螺栓表面和基座标画防松线对螺栓松动全角度进行检测，更换螺栓并重新标画防松线检测场景，如图12 所示。算法中选取的参数见表2。不同标线下螺栓松动全角度测量结果见表4。绝对误差测量结果如图13 所示。

表4 不同标线下螺栓松动全角度测量结果

实验结果表明，在更换不同螺栓并重新标画防松线后，本文方法依旧能对螺栓进行松动全角度检测，最大测量绝对误差不超过0.58°，最大相对误差为1.12%，说明本文方法即使在使用不同标画线的情况下依然具有良好的识别结果和检测精度。

4 结语

本研究开发了一种基于防松线分割的螺栓松动全角度检测方法。该方法结合了颜色空间转换、图像分割和方向矢量处理等技术，为螺栓松动评估提供了可靠、高效的解决方案。通过理论描述和实验验证，实现了区别于现有其他方法的角度定量检测策略。采用智能手机上的相机作为数据采集设备，对画有防松线的松动螺栓进行定量检测，检测结果最大相对误差为1.43%。这表明该方法具备高精度、低成本的优点的同时，还可实现自动化、非接触的螺栓松动全角度测量。未来的研究可以进一步考虑诸如螺栓倾斜等情景，探索更为广泛的实际应用。