基于局部结构化特征稀疏编码的手制动机故障检测

刘盛亚，Philip Yamba，邹荣，许桢英，崔世林

基于局部结构化特征稀疏编码的手制动机故障检测

刘盛亚1，Philip Yamba1，邹荣1，许桢英1，崔世林2

(1. 江苏大学 机械工程学院，江苏 镇江 212013；2. 南阳理工学院 电子与电气工程学院，河南 南阳 473004)

列车机械部件故障检测为铁路安全运营提供保障，而机器视觉技术的发展使得目标故障检测成为检测的主要手段。针对铁路货车手制动机链条丢失故障，由前端视觉图像传感器采集手制动机链条图像，并根据链条具有丰富纹理结构的特点，提出一种新颖的低层次结构化特征；通过稀疏编码构建出中等层次结构化特征，在空间金子塔架构下实现手制动机链条丢失故障的检测。由于结构化特征隐含了图像中的空间结构关系，使得故障检测性能获得极大提高，相应的实验表明，在线性SVM下的故障检测率达到了98%左右，而检测速度达到了9帧/s，具有很好的实时性和很高的检测精度。

视觉故障检测；手制动机链条；局部结构化特征；稀疏编码；空间金字塔

机械部件故障检测在铁路交通领域扮演着重要角色。为防止危险情况的发生，这一任务被反复地执行。以往一直采用人工巡检方法，存在容易受环境和巡检员自身因素的影响，以及无法对运行列车进行在线检测等诸多不足[1]。随着机器视觉技术的快速进步，基于视觉图像的机械部件故障检测正逐渐成为铁路领域机械故障检测的最佳手段[2−3]。LI等[4]提出针对铁轨表面的视觉检测，通过实时视觉检测系统，首先对铁轨表面进行图像采集，再用追踪算法提取轨道部分图像并用局部归一化来增强图像的对比度。最终用基于投影的故障定位来进行铁轨检测。NAN等[5]提出针对铁路货车交叉杆端部紧固螺栓的视觉故障检测，通过获取紧固螺栓组件部位图像，利用梯度方向直方图特征训练线性支持向量机准确定位紧固螺栓的位置。最后利用线性模式来确定交叉杆端部紧固螺栓故障。ZHOU等[6]则提出列车折角塞门把手故障的自动化视觉检测方法。此外，铁路领域视觉故障检测技术还用在诸如集尘器故障检测[7]，铁轨紧固件故障检测[8]，轮轴缺陷检测[9]和裂纹检测[10]等方面。但从视觉检测的角度来看，铁路领域视觉故障检测仍是一项艰巨的任务。目标物体外观(如表面纹理、大小姿态等)以及环境条件(如光照、背景环境等)变化较大，使得该领域的视觉检测问题尤其具有挑战性。本文针对铁路货车中手制动机故障自动视觉检测展开研究。制动装置是列车中最重要的部件之一，铁路货车制动可分为空气制动部分和人力制动部分，相对空气制动，人力制动部分受重视程度较低，但通过近几年的中国铁路故障统计发现，人力制动机故障发生频率很高。由于货车运行过程中的振动、温差变化等因素导致手制动机链条常会发生脱落、断开，造成列车途停或挂坏行车设备等(因手制动机链脱离造成拦停列车的事故也发生了多起)，对行车安全造成重大隐患。如图1所示，用于采集铁路货车手制动机部位图像的前端视觉传感器被安装在铁轨下方枕木间隙处，固定在道床上面，包含3个DALSA HM1400高速数字CCD相机和8组频闪补偿光源，相机曝光时间最小为4.7 us，通过选择固定焦距为6 mm镜头获取图像，全分辨率1 400× 1 024像素下最高拍摄帧率可达60帧/s。

(a) 前端视觉图像传感器；(b) 手制动机链条部位图像；(c) 抗阳光干扰摄像机；(d) 频闪补偿光源

由于高速相机在拍摄时与手制动机部位的相对位置基本保持不变，使得手制动机链条基本都呈现于图像的上半部或下半部(图2中矩形表示链条所在的区域)。因此手制动机链条区域实际可分为如图3所示的4种状态，据此不同于已有柔性目标物体的检测方法，而将链条缺失故障的检测问题转化为4类不同状态分类问题，在提取低层次局部结构化特征基础上，通过稀疏编码构建出新颖的更具判别性的中等层次结构化特征，以实现对链条缺失故障的实时精确检测。

图2 手制动机链条所在区域

(a) 状态1，上部区域，无故障；(b) 状态2，上部区域，有故障；(c) 状态3，下部区域，无故障；(d) 状态4，下部区域，有故障

1 局部结构化特征

由图4所示，链条本身具有丰富的纹理结构特点，寻找好的描述纹理结构的特征是检测任务的关键。中心变换(CT)是一种反映局部范围内像素数据变化的非参数变换方式[11−12]，有效地捕捉了局部区域的结构信息，完成了对局部空间的编码。而本文提出的局部结构化特征是CT一种新颖的扩展，包含了不同大小的邻域，进一步增强了中心变换对图像局部结构特征的获取能力。这种二值模式的形式可以在不同尺度和位置上检测边缘、线、点、平坦区域和角状等多种图像结构，可以表达图像中那些大尺度的目标物体结构。

局部结构化特征(LSF)通过中心矩形块的平均灰度g和其相邻的9个矩形块的平均灰度{0,…,8}相比较获取，按此方式可生成一个二值序列，其结果按下式计算

式中：g是中心块的平均灰度；g(=0,…,8)是中心块附近邻域的矩形块，而()函数为

在最终应用时还可采用梯度图像以进一步突出结构因素。尽管提取好的低层次特征是现实可靠故障检测的关键，但无论采用何种低层次特征，都是使用固定的特征描述模型，其弊端在于特征的形成缺乏自适应性，很多情况下可能会丢失一些具有判断力的细节信。在图像检索领域已经证明，高层次特征具有很强的判别性，采用较高层次的特征进行图像检索时往往找到的是和训练样本几乎重复的图像，而采用低层次特征往往找到的是和训练样本相类似的图片。因此，基于低层次局部结构化特征，采用稀疏编码进一步构建中等层次的结构化特征。

图4 中心变换编码块特征的生成

2 稀疏编码

稀疏编码是一种多维数据描述方法，数据经稀疏编码后仅有少数分量同时处于明显激活状态，它用来寻找一组“超完备”基向量来更高效地表示样本数据。记是在维空间中包含个局部结构化特征向量的一个集合，即

基矩阵

表示由个基向量(视觉单词)构成的码书(视觉字典)，系数矩阵

表示利用视觉单词进行稀疏分解得到的输入矩阵相对稀疏编码矩阵，利用训练好的视觉词典，求解稀疏矩阵，即求解优化问题

在编码阶段，每一幅图像代表一个特征集合，稀疏编码仅在集合下通过最优化公式获取。选择稀疏编码作为图像表达是因为其具有大量优良特性：首先，由于其有较为宽松的约束，可获得更低的重构误差；其次，稀疏使得表达更有针对性，可以捕捉图像的显著特征；最后，在图像统计学方面的研究清楚地揭示了图像本身就是一种稀疏信号。

令是对特征集合采用式(6)进行稀疏编码的结果，通过预先选择的汇聚函数

计算中等层次的图像特征，式中汇聚函数作用于的每一列，而的每一列对应于视觉词典中低层次特征的所有响应。因而不同的汇聚函数构建出不同的图像统计模型，将汇聚函数定义为最大值汇聚函数作用于稀疏编码，其表达式为：

式中：z是的第个元素；U是的第行和第列的矩阵元素。是该区域中局部低层次特征的数目。将式(8)所描述的最大汇聚作用于一幅图像所构建的空间金字塔上，在该图像不同位置和不同空间尺度下进行特征最大汇聚。

3 基于线性空间金字塔的故障判别

考虑到铁路故障检测的实时性要求，采用线性空间金字塔核

其意味着训练代价在计算量上仅为()，而每幅图像的检测代价甚至为常数。

4 实验结果

为了验证所提出的手制动机链条丢失故障检测算法性能，在不同地点和不同光照条件下采集 4 800幅手制动机链条部位图像构建手制动机链条图像数据库，图5为数据库中的部分样本图像。

图5 手制动机链条图像数据库

4.1 不同光照条件下故障判别性能

从手制动机链条图像数据库中提取样本图像以建立分类器的训练集和验证集，并按采集地点(武汉、沈阳、北京)构建3个图像数据集，每个图像数据集中的配置完全相同。即其中的验证集由800幅像素的样本图像所构建，而其中的训练集为包含4类链条状态的800幅像素的样本图像所构建，每类200幅。正如前面所述，为训练各类分类器，每类样本集应由手工裁剪的200幅像素的图像块组成，包含“链条在上部区域，无故障”、“链条在上部区域，有故障”、“链条在下部区域，无故障”和“链条在下部区域，有故障”4类。训练采用1-against-all机制[13]生成4个类别分类器。

图6 ROC曲线

为清晰起见，图6仅给出了在测试集上一种类别运行结果的ROC曲线，其余3类也都非常相似，从图6可看出，在误检率不到5%时检测率就已经达到了100%，表明分类器具有相当好的分类性能。

而对3个图像集的检测结果的统计如表1所示。采用随机采样方式，分别随机选取各类训练集中10，20，50，80，110，140，170和200幅图像作为训练样本，并用测试集中的样本进行检测，通过训练样本的数目对故障识别率的影响来体现所提方法对光照变化的鲁棒性。实验中，特征词典中视觉单词数目设为512。由表1可以看出，方法在每类训练样本数为50时，识别率便达到90%以上。表明该方法在光照变化强烈的情况下具有很强的判别性能，最终真实现场采用的训练样本数为200，3个地点图像集的检测结果分别为97.9±0.2，97.5±0.3，98.9±0.2，识别率都维持在98%左右，完全满足实际应用的需求。

表1 3个图像数据集的识别率百分比

4.2 不同特征对故障判别性能的影响

为验证所提中等层次特征的判别性能，将不同特征在相同的训练样本和测试样本下进行实验，各自的分类率如图7所示。SIFT特征采用检测区域的梯度方向直方图进行区域特征描述，这种描述方法对小的几何失真和小的区域误差具有较好的鲁棒性，目前SIFT特征被广泛应用于图像检索、图像目标匹配、图像目标分类和识别等，在实际中也取得了较好的效果。从图7可以看出，2种特征在训练样本数目较小时(<50)，正确分类率相当，但当训练样本数目增加后，MLE特征的判别性能明显优于SIFT特征，正确分类率获得显著提高，并且正确分类率的波动也明显小于SIFT特征。特别当训练样本达到200时，MLE分类率更是达到了97%以上，且基本无波动。可见，该特征的性能比SIFT特征更为优越。其原因主要在于在特征空间，中等层次特征从一定程度上反映了图像的语义信息，较好地表达了低层次特征之间在特征空间中的关系，同时也挖掘出低层次特征在特征空间的结构信息和在图像空间的二维空间信息，对分类率的提高起了较大的提升作用。

4.3 特征词典大小对故障判别性能的影响

对特征金字塔方法而言，特征词典的构建是重要的一环，对分类率会产生较大影响。图8为视觉单词数目的变化对的识别性能的影响情况。实验中视觉单词数目由32变化到1024，而每类训练样本数目每次分别设为50，100和200。

从图8可以看出，随着视觉单词数目发生变化，识别率也会发生改变。随着视觉单词数目增多，识别率都会随之增加，但训练样本的数目才是对识别率的大小及波动产生较大影响的主要因素；另外，当视觉单词数目超过512时，正确分类率反而均有不同程度的减低，表明视觉单词的数目并不是越多越好，过多的视觉单词反而会对分类造成干扰。对手制动机链条故障检测而言，在512个视觉单词下，方法的最高正确分类率可达到98%左右。

图7 不同特征下识别率的比较

图8 不同视觉单词数目下的识别性能

4.4 算法的实时性

表2为算法各主要部分的时间花费情况。检测350×256像素大小的图像，在2.93 GHz的Intel Core i7-870处理器、4G内存以及Win7平台下，检测速度为9 fps。

检测系统的实时性在于采用了和Haar特征相似的积分图像以及积分直方图技术，并且CTEB特征在数目上也远少于 Haar特征，时间主要消耗在形成MLE特征阶段，但这一阶段的时间消耗却为极高的正确分类率提供了基础。另外，由于采用基于空间金字塔技术的物体检测，无需通常检测物体所需的窗口扫描操作，也减少了时间消耗。

表2 运算时间分布统计

5 结论

1) 实现了铁路货车机械部件故障的全自动视觉检测。

2) 针对手制动机链条这种柔性目标，采用低层次局部结构化特征，通过编码汇聚特征模型，构建出识别柔性目标物体所需的中等层次结构化编码特征，在空间金字塔架构下通过线性SVM实现了手制动机链条故障的实时检测。

3) 由结构化特征隐含了图像中的空间结构关系，使得故障检测性能获得极大提高，实现了手制动机链条故障的准确可靠检测。

[1] Al-sultan S, Al-bayatti A H, Zedan H. Context-aware driver behavior detection system in intelligent transportation systems[J]. IEEE Transactions on Vehicular Technology, 2013, 62(9): 4264−4275.

[2] GUO L, GE P S, ZHANG M H, et al. Pedestrian detection for intelligent transportation systems combining AdaBoost algorithm and support vector machine[J]. Expert Systems with Applications, 2012, 39(4): 4274− 4286.

[3] Dimitrakopoulos G, Bravos G, Nikolaidou M, et al. Proactive, knowledge-based intelligent transportation system based on vehicular sensor networks[J]. IET Intelligent Transport Systems, 2013, 7(4): 454−463.

[4] LI Q, REN S. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189−2199.

[5] NAN G, YAO J E. A real-time visual inspection method of fastening bolts in freight car operation[C]// Applied Optics and Photonics China (AOPC2015). International Society for Optics and Photonics, 2015: 96752G− 96752G−6.10

[6] ZHOU Fuqiang, ZOU Rong, QIU Yafei, et al. Automated visual inspection of angle cocks during train operation[J]. Proceedings of the Institution of Mechanical Engineers, Part F: Journal of Rail and Rapid Transit, 2014, 228(7): 794−806.

[7] ZHOU Fuqiang, ZOU Rong, GAO He. Dust collector localization in trouble of moving freight car detection system[J]. Journal of Zhejiang University Science C, 2013, 14(2): 98−106.

[8] YANG X, YE L, YUAN J. Research of computer vision fault recognition algorithm of center plate bolts of train[C]// Instrumentation, Measurement, Computer, Communication and Control, 2011 First International Conference on. IEEE, 2011: 978−981.

[9] Ashwin T, Ashok S. Automation of rolling stock examination[C]// Advanced Communication Control and Computing Technologies (ICACCCT), 2014 International Conference on. IEEE, 2014: 260−263.

[10] LIN Jie, LUO Siwei, LI Qingyong, et al. Real-time rail head surface defect detection: A geometrical approach[C]// 2009 IEEE International Symposium on Industrial Electronics. IEEE, 2009: 769−774.

[11] Perri S, Corsonello P, Cocorullo G. Adaptive census transform: A novel hardware-oriented stereovision algorithm[J]. Computer Vision and Image Understanding, 2013, 117(1): 29−41.

[12] HUANG S C, Liaw J J, CHU H C. Modified census transform using Haar wavelet transform[C]// Applied System Innovation: Proceedings of the 2015 International Conference on Applied System Innovation (ICASI 2015), May 22-27, 2015, Osaka, Japan. CRC Press, 2016: 213.

[13] Kumar M A, Gopal M. A comparison study on multiple binary-class SVM methods for unilabel text categorization[J]. Pattern Recognition Letters, 2010, 31(11): 1437−1444.

(编辑 阳丽霞)

Fault detection of hand brake chain based on local structured characteristic sparse coding

LIU Shengya1, Philip Yamba1, ZOU Rong1, XU Zhenying1, CUI Shilin2

(1. School of Mechanical Engineering, Jiangsu University, Zhenjiang 212013, China; 2. School of Electronic and Electric, Nanyang Institute of Science and Technology, Nanyang 473004, China)

Fault detection of train mechanical parts provides guarantee for railway safety operation, and the development of machine vision technology makes the target fault detection become the main means of detection. According to the characteristics of the rich texture structure of the chain, this paper presented a novel low-level structured feature, which was based on the characteristics of the low-level structure of the railway truck brake chain. It was composed of the front-end visual image sensor and coding to build a medium-level structured features in the space of the tower under the framework of the realization of hand brake chain fault detection. Because the structural features imply the spatial structure relation in the image, the fault detection performance is greatly improved. The corresponding experiments show that the fault detection rate under the linear SVM is about 98%, and the detection speed reaches 9 frames/sec, with good real-time and high detection accuracy.

visual fault detection; hand brake chain; local structural features; sparse coding; space pyramid

10.19713/j.cnki.43−1423/u.2018.09.031

TH7

A

1672 − 7029(2018)09 − 2415 − 08

2017−06−24

河南省科技攻关项目(172102210414)；江苏省博士后科研资助计划项目(1402012B)；江苏大学高级专业人才科研启动基金资助项目(14JDG134)

邹荣(1978−)，男，江苏仪征人，副教授，博士，从事机器视觉、铁路故障检测研究；E−mail：zr_dzx@126.com