基于高斯混合部件模型的铁路扣件检测

何 彪 ，李柏林 ，罗建桥 ，王开雄

（西南交通大学 机械工程学院，四川 成都 610031）

铁路钢轨扣件是轨道上用以联结钢轨和轨枕的零件，又称中间联结零件，其作用是将钢轨固定在轨枕上，文中将铁路钢轨扣件简称为扣件.当前，针对扣件检测，国内外研究者围绕基于计算机视觉的检测方法开展了广泛的研究[1-4].文献[1]提出了融合金字塔方向梯度直方图（pyramid histogram of oriented gradients，PHOG）和宏观局部二值模式（macroscopic local binary pattern，MSLBP）特征的扣件缺陷识别算法，研究中采用支持向量机（support vector machine，SVM）训练扣件分类器.文献[2]分别提取改进后的边缘梯度特征（improved edge orientation histogram，IEOH）和扣件端部的MSLBP 特征，采用层级加权进行特征融合，并利用贝叶斯压缩感知，完成扣件缺陷识别.文献[3]针对六角螺栓型扣件，提出了用多层神经感知分类器来区分正常和丢失状态的扣件.文献[4]提出了快速模板匹配（fast template matching，FTM）算法，该算法首先运用模板匹配算法根据轨道的几何关系来定位扣件，然后采用最近邻分类器判断扣件是完整状态还是丢失状态，最后用基于GPU 的CUDA 来加速FTM 中大量费时的计算.高斯混合模型（Gaussian mixture model，GMM）在点集配准[5-9]中具有广泛的应用，文献[6]提出了统一的框架结构用于刚性和非刚性的点集配准，通过高斯混合模型表达输入点集，然后通过求解两个高斯混合点集的统计学差异最小化完成点集配准，对包含一定量噪声点和异常点的点集具有鲁棒性.可变形部件模型广泛应用于目标检测领域[10-15]，文献[10]在方向梯度直方图（histogram of oriented gradient，HOG）特征的基础上提出了可变形部件模型（deformable part model，DPM）算法，引入部件模型和变形花费，运用SVM 训练分类器，在PASCALVOC-2007 目标检测图像库中取得了较好的识别率.文献[11]进一步完善了DPM模型，加入了语法模型和多组件模型，采用隐藏SVM 来训练DPM 模型，训练时只需要指定根滤波器的位置而不需要指定部件的位置，即可得到带有部件的DPM 模型.

传统扣件状态检测方法大多采用基于分类器的分类思想，需要同时准备数量相当的扣件正样本和负样本用于训练分类器.本文则将扣件分类看作是对扣件这类物体的目标检测问题，将可变形部件模型思想运用到扣件部件模型中，结合模板匹配算法，采用高斯混合模型算法训练扣件部件模型.训练中需要用到大量的扣件正样本，但仅需要少量的扣件负样本，解决了扣件检测中扣件样本不平衡的问题，因为实际线路中扣件正样本的数量远远多于扣件负样本.本文中将可变形部件模型与传统模板匹配算法相结合，提出了高斯混合部件模型（Gaussian mixture part model，GMPM）算法，并将其应用于扣件状态检测，实验结果表明 GMPM 算法在扣件检测中能够取得较好的综合性能.本文的主要贡献有：

（1）对原始HOG 特征作了相应的改进，简化了原始HOG 特征的计算方法，并将其作为高斯混合部件模型算法的底层特征；

（2）采用余弦相似性度量HOG 特征之间的相似度，根据扣件形状设计对应掩膜模板用于屏蔽扣件图像中背景区域的干扰，依据扣件形状和扣件检测任务来划分部件，部件之间采用星型连接方式度量相对位置关系；

（3）采用高斯混合模型算法求解所提出的部件模型，而不再采用传统的基于SVM 的有监督分类算法训练求解，聚类算法的运用使得大量正样本数据可以应用于训练过程之中，进一步增强算法的鲁棒性.

1 算 法

1.1 部件模型

对于一个包含m个部件的目标检测模型P=f(p1,p2,···,pm)，这m个部件共同组成了一完整的目标模型，因此，m个部件之间不是相互独立的，在空间位置上存在着一定的关联，部件之间采用星型连接方式，约定以部件p1作为连接中心，则其余m-1个 部件{p2,p3,···,pm}相 对于部件p1满足一定的空间位置约束，即

式中：φi,1(x,y)为 部件pi相对于部件p1可变动的位置范围，其中，i=2,3,···,m；(xi,1,yi,1)为 部件pi相对于部件p1标 准偏差位置；( Δxi,1,Δyi,1)为 部件pi相对于部件p1位置的可变范围.

测试时，部件p1采用滑动窗口的方式在测试图像特征空间中，根据任务需要进行全局或局部的遍历搜索.部件pi是目标局部区域的表观特征描述，其中的每一个特征点模板采用高斯混合模型进行求解，测试图像中目标物体与部件模型的整体相似度可以综合各个部件的相似度来度量，即

淮山含有酚类物质，加工过程中暴露在空气，在氧化酶的作用下容易发生褐变，因而在速冻淮山片的预处理工序，需要杀灭或钝化氧化酶活性。短时间微波(407.6 W和60 s)烫漂处理可有效钝化淮山段(长2 cm、直径2 cm)的氧化酶活性，能较好保留淮山的营养成分，延长速冻淮山的货架期；速冻淮山解冻后，其品质好[29]。郑磊[30]研究不同冻结温度(-20℃、-30℃、-40℃)对淮山品质和细胞微结构的影响，发现-40℃冻结能使冻结淮山的冰晶均匀、较好保持淮山的细胞微结构。

式中：ψj为 第j组权重组合下目标的整体相似度；δj,i为 部件pi在第j组权重组合下的权重，表征部件pi在目标整体中的重要性；φi为每个部件的部件相似度，应满足φi≥λi，λi为检测到该部件的最低要求；目标的整体相似度应满足ψj≥T（整体阈值），即认为在当前位置检测到了目标；δj,i根据经验和训练综合得到，λi和T通过训练得到.

在测试图像中，每一个部件存在若干个可能的位置，每个部件的最终相似度取部件可变动范围内相似度的最大值，即

部件相似性度量采用带掩模的特征点加权求和得到，在测试图像特征空间中选取左上角点坐标为(x,y) ，大小为Ai×Bi的特征区域，其与训练得到的部件模型中部件pi之间的部件相似度为

式中：ηi(a,b)为 部件pi中特征点(a,b)处的权重，表示特征点在部件中的重要性，为了简化模型的训练，各个特征点选取相同的权重值；mi(a,b) 为部件pi在特征空间中的掩膜模板，mi(a,b)=1表示前景区域，mi(a,b)=0表 示背景区域；s(x+a,y+b)为特征点相似度.

考虑大小为Ai×Bi的 部件pi，其中每一特征点由K个特征向量混合而成，每一个特征向量的维度为L.令tk(x,y,z)表 示部件pi，其中(x,y)表示特征点向量在部件pi中 的位置坐标，z表示特征点向量的维度坐标，k表示混合分量，且有x∈{1,2,···,Ai}，y∈{1,2,···,Bi}，z∈{1,2,···,L}，k∈{1,2,···,K}.在测试图像特征空间中，令h(x,y,z)表示与部件模型pi具有相同大小Ai×Bi的 特征区域，则其中特征点 (x,y)处的特征点相似度s(x,y)为

式中：wk(x,y)为 部件pi中特征点(x,y) 处的第k个特征向量的权重，且有

特征点 (x,y) 处的第k个特征向量的相似度sk(x,y)采用余弦相似度[16]进行度量，如式（6）所示.

1.2 HOG 特征

根据扣件图像中边缘的特性，针对性地改进了Roberts 算子来计算图像梯度，即分别计算与中心像素点在水平和垂直方向间隔一定距离的两个像素点的灰度差值，作为中心像素点在水平和垂直方向的梯度，并由此计算中心像素点的梯度幅值与梯度方向，如式（7）所示.

式中：f(c,d)为 图像在(c,d)处 的灰度值；gc(c,d)为水平方向的梯度；gd(c,d)为 垂直方向的梯度；g(c,d)为梯度幅值；θ(c,d)为 梯度方向；τ为 间隔距离（τ=1,2,··· ），τ的取值根据图像的分辨率决定.

然后选取r×r大小的方形区域（r＞0），这样的区域称为cell，将θ (x,y)离散化为L个方向，即

按离散化之后的方向累加聚合为L维直方图向量，再对这L维直方图进行归一化，有

式中：D(c,d,z)为 (c,d)处 的第z维 梯度幅值；E(x,y,z)为未归一化的HOG 特征；h(x,y,z)为归一化后的HOG特征.

1.3 高斯混合模型求解

高斯混合模型（GMM）[8]可以用较高的精度表示任何连续分布，多个高斯分布叠加在一起便可以形成混合高斯分布，定义如下的集合V={vn,n=1,2,···,N}，表示从训练集中提取的局部特征描述子集合，vn为L维 特征向量，如HOG 描述子等，假定V服从混合高斯分布，则有

式 中：wk为 权 重，wk≥0且为GMM 中第k个高斯分布，即

式中：µk为GMM 中第k个高 斯分布的均值；Ok为GMM 中第k个高斯分布的协方差矩阵.

GMM 中参数的求解，根据从大量训练样本中提取的局部特征向量集V，采用EM 算法优化最大似然函数迭代求解.GMM 中初始的 µk、Ok和wk由k均值聚类算法给出，根据这些初始参数运用EM 算法计算 γnk（E 步骤），

式中：γnk为vn由第k个高斯混合成分生成的后验概率，由 γnk更 新GMM 中 的 µk、Ok和wk（M 步 骤），

2 扣件实验

2.1 扣件图像分类

扣件图像采用文献[1]的分割算法从轨道图像中分割得到.由于轨道图像的采集是在户外进行的，因此存在较大的光照变化，表现为扣件图像具有不同的亮度，不同的光照条件下的扣件呈现出不同的图像特性，难以建立统一的扣件部件模型来适应各种光照条件下的扣件检测，并且达到较好的综合性能.因此，本文采用分类建模的思想，即首先对扣件图像按亮度的不同进行聚类，然后分别针对每一类扣件图像建立对应的扣件部件模型.

扣件图像的聚类采用k均值算法[18]，以扣件图像的灰度直方图作为聚类特征.总共选取各种光照条件下的扣件样本18 514 张，通过实验测试发现将这些样本聚成3 类时，每一类样本中的扣件图像具有相近的光照强度，且大致将扣件图像聚类为高亮度、中亮度和低亮度3 类，与人眼的分类判定接近，如图1所示，3 类扣件样本数量分别为6 085、5 704、6 725 张.

图1 3 类亮度扣件图像Fig.1 Three types of brightnesses in a fastener image

2.2 扣件GMPM 训练

聚类后的扣件图像，每一类中的图像特征仍然存在着局部的差异，但这些图像特征的分布可以认为服从高斯混合分布，因此采用GMPM 算法分别对每一类扣件图像进行建模，目的在于适应同类扣件图像中的类内差别，每一类均随机选取3 000 张扣件正样本作为训练样本，剩余的扣件作为测试样本.扣件具有特定的形状，分割之后的扣件图像是矩形的图像区域，扣件并没有充满整个矩形区域，因此，根据扣件的形状设计对应的扣件掩膜模板，用于屏蔽背景区域的干扰.扣件的初始部件模型采用启发式算法获得，即人为选择10 张仅含扣件区域的扣件子图像，分别计算每张扣件子图像的HOG 特征，将对应的HOG 特征点累加后求均值，得到扣件平均HOG 特征图，然后运用掩膜模板对平均HOG 特征图进行掩膜处理即可得到扣件的初始部件模型，最后运用GMM 对训练图像进行迭代训练，实验中的迭代次数设定为3 次.测试时，首先计算测试图像与3 个聚类中心的距离，将测试图像归到距离最小的一类中，再采用这一类的扣件部件模型进行扣件的状态检测.

2.3 扣件检测结果

表1为高斯混合部件模型在扣件检测中的实验结果.由表1可知，GMPM 算法在满足较低漏检率的同时也取得了较低的误检率和相对较高的正确率.图2为部分扣件检测结果，测试结果表明GMPM算法不仅能够适应不同光照条件的扣件检测，也可以检测出这类由于拍摄角度等原因引起轻微形变的扣件.图3中的扣件均存在局部区域遮挡，GMPM算法对于这类非扣件端部遮挡的扣件也能将其识别为正常扣件，有砟轨道线路中的这类扣件也占一定的比例.图4为扣件端部存在遮挡情况时的检测结果，GMPM 算法并没有在遮挡部位检测到对应的部件（扣件端部），算法会将这类扣件判定为问题扣件，因为扣件端部被遮挡了，不能判定扣件被遮挡的部分是否完好，也就无法判断这类扣件是否仍然对钢轨存在压紧固定作用，因此这样的判定是合理的.

表1 高斯混合部件模型扣件检测结果Tab.1 Fastener detection results of the gaussian mixture part model

图2 部分扣件检测结果Fig.2 Fastener detection results

表2为相关算法的性能对比.由表2可知：GMPM 算法相对于文献[4]的 FTM 算法的漏检率和误检率分别降低了4.39%和8.05%，同时正确率提高了 7.97%；GMPM 算法相对于文献[3]中算法的漏检率和误检率分别降低了1.64%和11.7%，同时正确率提高了 11.67%；尽管文献[2]中取得的正确率高达97.6%，但是却没有给出相应的漏检率和误检率.因此综合来看，本文所提的GMPM 算法针对光照变化和存在轻微形变与局部遮挡条件下的扣件检测，取得了3.16%漏检率、9.80%误检率和90.27%正确率（准确率）的综合检测效果.

图3 局部区域遮挡扣件检测结果Fig.3 Fastener detection results using local occlusion

图4 扣件端部遮挡检测结果Fig.4 Fastener detection results using end region occlusion

表2 算法性能比较Tab.2 Comparison of algorithm performance %

3 结束语

本文提出的高斯混合部件模型算法，将可变形部件模型算法与传统模板匹配算法的思想相结合，聚类思想的使用，使得算法可以将采集得到的大量正样本图像运用到训练之中，然后运用高斯混合算法求解部件模型，有效的解决了扣件检测中扣件正样本数量远远多于负样本的这一问题，精简改进的HOG 特征和可变形部件思想的运用，也解决了扣件图像光照变化较大和存在轻微形变与局部遮挡的问题，扣件实验结果表明，高斯混合部件模型算法，在保证较低的漏检率和误检率的同时也能够取得较高的正确率.