TFDS中螺栓故障的自动识别算法研究

费垚东，李柏林，范 宏

（西南交通大学机械工程学院，四川 成都610031）

1 引言

铁路系统作为交通运输的主要方式，在国民经济发展和国防建设中扮演着举足轻重的角色。近年来，我国铁路系统得到快速发展，规模逐渐增大，截至2018年底，全国铁路运营里程已达到13.1万公里以上，其中高铁2.9万公里以上。高安全性和高可靠性是轨道交通永恒的话题，然而随着我国铁路营运里程的持续增加，传统耗时、费力的人工巡检模式已经不能满足现阶段铁路系统的养护要求，急需开发自动巡检设备以提高铁路巡检质量和效率。计算机硬件和图像传感器的发展，使得机器视觉技术在自动检测方面的应用成为可能。铁路公司也正试图将机器视觉技术引入铁路检测的许多方面，例如钢轨表面缺陷检测［1］、接触网故障检测［2-4］、货车故障检测［5、6］、扣件故障检测［7、8］等。

近年来，基于图像识别的零件故障检测［9］已经取得了一些成果，文献［10］中采用随机的Hough变换方法确定螺栓位置，进而通过灰度值判断螺栓是否丢失，但该方法扩大了感兴趣区域，计算量大，识别率低。文献［11］利用基于混合注意力子网络的卷积神经网络进行图像识别，从而判断螺栓是否缺失，但实验的步骤偏多，增加了处理时间。文献［12］用Sobel梯度法预处理图像后提取特征，再利用交叉核函数支持向量机分类，判断螺栓是否丢失，但该方法对噪声敏感。文献［13］基于降噪的LBP算法来提高铁路扣件识别的准确率，但识别速度明显降低。文献［14］基于Hough变换原理确定感兴趣区域，通过梯度直方图特征和角度距离相似性来确定挡件是否丢失，但该方法不能有效的抗噪声。文献［15］考虑中心点与上下邻域关系的局部二值模式编码方法，有效识别全部或部分缺失的铁路扣件，然而该方法存在对噪声抑制不足的弊端。使用TFDS采集到的货车图像，基于机器视觉技术，重点研究货车螺栓故障的自动检测算法。该算法首先根据先验知识确定各螺栓的ROI（Region of Interest），然后使用提出的自适应局部三值编码算法提取螺栓的特征，最后将特征送入训练好的SVM（Support Vector Machines）中实现故障螺栓的识别。

2 TFDS简介

TFDS（Trouble of Moving Freight Detection System），即铁路货车运行故障动态图像检测系统，是5T系统的重要组成部分，是一套集高速数字图像采集、大容量图像数据实时处理和精确定位模式识别技术于一体的智能系统。该系统使用高速摄像机对运行中的货物列车的关键部位进行高速摄像，将图像实时传输到监控室，由室内检车员按照制动、钩缓、侧架、中间部等八个工位在电脑中对图像进行分析，找出相关部件的故障，并将故障信息反馈给室外检车员，进行“定向”排除，从而实现安全行车远程可控。图像采集设备由底部图像采集装置（如图1（a）所示）和侧面图像采集装置（图1（b））组成。TFDS使用高速线阵CCD相机捕捉动态货车图像，最高拍摄速度为68000线/秒，分辨率为（1400×1024）像素，可以适应的货运列车运行速度为（1～160）km/h。部分采集到的货车图像，如图2所示。

图1 TFDS图像采集设备Fig.1 Image Acquisition Equipment of TFDS

图2 TFDS图像Fig.2 Image of TFDS

TFDS有效降低了工人在货运列车故障检测中的劳动强度。但是，该系统只负责捕获，传输和存储图像，不能实现计算机自动识别故障图像。目前，室内检查员的人眼仍然完成了货车故障检测仍以室内检查员人眼识别为主。但是，随着货运列车的增加，检查人员的工作量将大幅增多。此外，动态检车员的经验不足与疲劳都容易导致故障的漏报与错报。因此，通过图像处理的手段实现螺栓故障的自动识别具有重大意义。

3 算法

3.1 感兴趣区域（ROI）提取

由于原始图像覆盖的区域很大，直接在原始图像中识别螺栓将会是一个巨大的挑战，为此我们采用由粗到精的搜索策略，首先提取螺栓的ROI，然后在ROI中识别螺栓故障。ROI的提取，是至关重要的一步，精准定位螺栓的位置，可以省去许多不必要的运算，为后续的图像识别过程节省时间。TFDS系统通过线阵扫描方式拍摄整列通过列车，配合智能磁钢装置，再利用车轮信息可以精确提取图像，即列车的各个部件在图像中的位置基本保持稳定，位置误差很小。因此，我们可以利用图像的先验信息，直接从原始图像中截取包括待检测螺栓在内的合适区域作为ROI，部分螺栓的ROI，如图3所示。

图3 螺栓ROI图Fig.3 ROI Figure of Bolts（a）Boltsat The End of Shaft；（b）Bolts at The Tail Frame Pallet；（c）Bolts at The Hook Joist.

虽然ROI包括了螺栓在内，但是由于图像采集设备存在一定误差，导致螺栓在ROI内的位置不是固定的，而是在列车行驶方向上存在一定的波动。因此，这里采用模板匹配方法实现丢失螺栓的精确定位，采用归一化相关性（Normalized Cross Correlation，简称NCC）作为相似性测度［16］。假设S（x，y）是大小为m×n的搜索图像，T（x，y）是大小为M×N的模板图像，NCC的相似性测度公式如下：

在实现螺栓精确定位时，T为丢失螺栓模板图，直接从原始图像中截取得到，如图4（a）所示；S（x，y）为螺栓ROI。首先根据公式（1）计算搜索子图与模板的相似度，遍历整个搜索图，得到相似性矩阵R；然后找到相似性矩阵R中的最小元素的坐标，并将此坐标映射回ROI图像中，即得到故障螺栓在ROI中的精确位置，从而得到所需的螺栓子图。轴端螺栓定位结果的例子，如图4（b）所示。

图4 轴端螺栓匹配Fig.4 Bolts Matching at The End of Shaft

3.2 螺栓局部特征提取

在得到精确的螺栓子图之后，需要对其提取特征以供分类器做出分类。一个合适的特征提取算子可以大大简化后续的目标识别过程。TFDS图像数量巨大且容易受到光照的影响，而局部模式描述子又具有算法简洁、光照不变等优点，因此这里采用局部模式描述子对螺栓子图提取特征。首先简述LBP（Local Binary Pattern）算子，即局部二值模式；然后介绍原始的LTP（Local Ternary Pattern）算子，即局部三值模式；最后详细介绍这里提出的改进的LTP算法，并完成螺栓的特征提取。

3.2.1 局部二值模式（LBP）

原始LBP算子由文献［17］提出，他们将窗口中心点的灰度值作为阈值，通过比较邻域点灰度值与中心点灰度值的大小进行编码。如果灰度值比中心点的大，则将对应像素点的值设为1，否则设为0。然后根据制定的编码方向，对应位置的值乘以相应的权重，将二进制转换成一个十进制求和，并将该值作为此中心点的LBP特征值，如公式（2）所示。

其中，

式中：gc-中心点Pc的灰度值；gn-邻域点Pn（n=0，1，...，N-1）的灰度值。

为了更直观的表达上述内容，以3×3窗口的LBP特征值的计算过程为例作说明，如图5所示。以窗口中左上角的像素点为起点按顺时针方向旋转一周得到此窗口的二进制序列，将序列中等于1的点乘以对应的权重并相加得到LBP特征值为27。

图5 LBP算子计算过程示意图.Fig.5 Schematic Diagram of Calculation Process of LBP Operator.

3.2.2 局部三值模式（LTP）

LBP算子的主要弱点是二进制s（x）函数的阈值是中心点像素的值，这使得该算子对噪声敏感，特别是在近乎均匀的图像区域。为了克服这个弱点，文献［18］提出使用三元编码（LTP），LTP是在LBP的基础上得来的，是对LBP的扩展。LTP描述子在均匀区域中具有更强的区分性和抗噪声的能力，通常被用于纹理分类［19］，人脸识别［20］，人体动作识别［21］等。为了实现三元编码，在规范LBP的s（x）函数中引入阈值τ，该函数变为：

那么，LTP算子三元编码的自然展开就是这样的：

式中：qp-邻域像素值；qc-中心像素值；τ-手动设定的阈值。

为了降低特征直方图的大小，根据以下二进制函数bc(x)，c∈{-1,1}，原始LTP编码被分成正负两部分：

最后，将这两部分根据二进制模式计算的直方图连接起来以形成特征向量。在一个3×3邻域中，计算LBP和LTP的过程对比，如图6所示。

图6 LBP与LTP的关系（LTP编码分为正（LTP+）和负（LTP-）两部分）Fig.6 Relationship of LBP And LTP（LTP Coding Is Divided Into Positive（LTP+）And Negative（LTP-）Two Parts）

3.2.3 改进的LTP算子

由于TFDS系统的图像采集设备安装在室外环境中，极易受到天气、光照、污迹等因素的影响，导致采集到的车体图像噪声严重，这就要求特征提取算子具有抗噪声的特性。现有的LTP算子的阈值是固定的，对阈值没有加以限制，但是由于噪声的存在，导致螺栓图像的灰度或平缓或起伏，原始的LTP算子不能有效处理这种情况。因此，这里提出一种改进的LTP算子以克服图像中的噪声影响。在原始LTP算子的基础上，首先计算局部区域的均方差，然后利用此均方差确定此区域中心点编码所需的阈值，实现阈值的自适应性。改进的LTP算子根据不同区域的特点自动调整所用的阈值，使得该算子具有更好的描述性和对抗噪声的能力。改进LTP算子的阈值τ通过以下公式计算：

式中：v-中心像素邻域内的标准方差；d-预设的参照标准差；Th-预设的阈值。

原始LTP与改进LTP的编码图如图7所示，从图中可以看出改进LTP保留的信息比原始LTP的更丰富，并突出了螺栓的关键特征，这有利于后续的分类识别。使用改进的LTP算子对螺栓子图完成编码后，还要统计直方图才能形成分类器能够识别的特征向量。LTP直方图通过以下公式计算：

图7 LTP编码对比图Fig.7 Comparison of LTP Codes

其中，

4 实验与分析

4.1 实验准备

为了检验这里算法的性能，由国内某车辆段提供的TFDS图像用于实验.图像测试集由不同光照条件下的列车图像组成，包括正常图像与故障图像（真实故障与人工合成故障），图像总数为30000幅，图像库明细如表1所示；图像大小为（1400×1024）识别算法使用VS2010编码实现，实验计算机平台配置为：2.71G Hz Core i5 CPU，8G内存。

表1 测试图像库明细Tab.1 Testing Details of The Image Library

实验所用算法的参数设置为：改进LTP算法的邻域点个数P=8，邻域半径R=2，计算标准差v使用的邻域半径为13，标准差参照值d=30，LTP阈值Th=10。

4.2 螺栓故障检测实验

螺栓图像的信息比较单一，且故障螺栓的样本数量极少。由于SVM（支持向量机）处理小样本、非线性和高维模式的问题表现良好，因此这里使用SVM进行分类更适合。图像库中30000幅图像均被用于测试故障识别算法的性能。SVM的核函数使用线性核函数，实验采用交叉验证的方式，交叉率为0.8。使用漏检率（未检出的故障图像占总故障图像的比值）、误检率（错误检出的故障图像占总测试图像的比值）和准确率（正确检出的故障图像占总检出图像的比值）作为评估实验性能的指标。分别使用原始LBP、原始LTP和改进LTP对扣件子图提取特征，将它们的统计直方图送入同一个SVM分类器完成故障分类，对比结果如表2所示。

表2 螺栓故障识别结果Tab.2 Identification Results of Bolt Fault

由表2可知，由算法得到的误检率与漏检率均低于其余两种算法，其中漏检率为0.36%，误检率为3.33%，正确率为90.88%。由于TFDS采集的图像极易受天气、光照不均的影响，图像质量不稳定，常常伴随有大量噪声，提出的自适应阈值的LTP算子具有较强的抗噪声能力，因此取得了较好的结果。

5 结束语

目前使用的TFDS系统主要负责在室外抓捕图像，列车故障识别仍然以人眼识别为主，只有个别故障实现了计算机自动化识别。针对TFDS图像中的螺栓故障，提出一种基于自适应阈值LTP的螺栓故障识别方法。实验结果表明，这里提出的算法对不同光照下的螺栓图像检测效果良好，包括钩尾框托板螺栓、钩托梁螺栓、轴端螺栓。该检测算法同样可以用到TFDS系统中其他零件的检测，只需要重新设计模板图像即可。未来，我们将收集更多的图像数据对算法进一步验证并作改进，同时要开展其他零部件的自动检测研究工作。