基于特征融合的接触网定位支座区域检测研究*

杨丰萍，李远征，彭云帆

（华东交通大学 电气与自动化工程学院，南昌330013）

我国电气化铁路高速发展对接触网系统的安全运行提出了更高的要求，而利用非接触式检测设备对接触网悬挂系统运行状态进行检测是当前的研究热点。在接触网装置中，定位装置是保证接触网稳定运行的关键，而定位支座是接触网定位器和定位管连接的枢纽，对其进行快速准确的检测是接触网悬挂部件状态检测的重要部分。目前，基于图像处理的非接触式检测技术是接触网故障检测领域的研究热点，它解决了传统人工巡检中工作量大、效率低、故障判断相对滞后等问题，并且取得了一定的研究成果。

文献[1]阐述了接触网图像检测的最新研究成果和尚未解决的问题，明确提出了要提升接触网各零部件检测的准确性与时效性。文献[2]利用视频图像处理技术设计了一种识别机车司机行为的检测系统。文献[3]采用了图像方向梯度直方图（Histogram of Oriented Gradient，HOG）特征和二维Gabor 小波相结合的方法进行接触网旋转双耳区域的定位。文献[4]利用SIFT 算法和改进的RANSAC 算法对接触网支撑及悬挂装置图像进行分析，实现双耳部件的定位。文献[5]结合了二代曲波变换和SURF 匹配的图像检测方法对旋转双耳进行检测。

接触网的稳定运行是以各零部件的正常工作为基础的，作为接触网定位器关键组成部分的定位支座，由于列车经过时的震动，工作时的电化学腐蚀都会导致定位支座出现裂纹、断裂和磨损等不良状态，对其运行状态进行检测是必不可少的。在当前接触网的旋转双耳、绝缘子、吊弦等悬挂部件的识别和检测都已取得了较为理想的成果。但是，对接触网定位支座的运行状态的检测研究还不够完善。文献[6]采用基于SURF 特征匹配的方法对接触网定位支座进行定位检测，进而进行运行状态的监测。但采用SURF 特征匹配的方法进行检测的时效性不够理想，在复杂环境下易出现误匹配的情况。文献[7]将局部二值模式（Local Binary Pattern，LBP）和方向梯度直方图特征相结合对图案织物的缺陷进行检测。鉴于此方法在其他领域取得的良好效果，现将特征融合的图像检测方法应用于接触网定位支座的快速检测中。文中将对图像经过降维处理的LBP 特征和HOG 特征进行串行融合提取与SVM 支持向量机结合对接触网的定位支座区域快速检测。

1 接触网悬挂检测系统和定位支座结构

1.1 接触网悬挂状态检测装置

铁路接触网悬挂状态检测监测系统(4C 系统)是用来检测接触网悬挂及其部件。用于状态检测的图像是由安装在接触网检测车上的工业相机拍摄所得，通过图像处理算法进行分析处理。即可识别出接触网支持装置、平腕臂及斜腕臂、接触悬挂、附加悬挂及定位装置等部件。再通过图像处理技术检测各部件缺失、断裂等故障，并同时根据故障接触网的杆号来获取位置信息，以供维修人员及时处理故障。

1.2 接触网定位支座区域结构

目前的接触网悬挂状态检测监测中，对于各零部件的检测大多是通过特征匹配或者滑动窗口检测特征的方法进行具体零部件的定位检测，检测效率和准确率不够理想。作为接触网定位装置的重要组成部分，定位支座具有清晰的纹理特征和边缘特征，如图1 所示。

图1 定位支座结构模型

2 定位支座区域的快速检测

对于接触网定位支座区域的检测识别，采用提取定位支座区域的正样本和负样本LBP 特征和HOG 特征进行融合，与支持向量机SVM 相结合进行检测。

接触网定位支座区域的识别检测包含2 个过程，分别是正、负样本图像训练和待检测图像的定位识别。正、负样本图像训练部分主要有目标样本收集、图像的预处理、正负特征提取、SVM 支持向量机训练分类器等，待检测图像的定位识别部分主要包括图像预处理、特征提取、多尺度滑动窗口检测、窗口合并识别等步骤，最终输出目标矩形。检测流程见图2。

图2 检测算法流程图

3 图像LBP+HOG 特征提取

3.1 LBP 特征

LBP 是一种对图像进行描述的算子，它可以很好的表达出目标图像的局部纹理特征。对比其他用来描述图像特征的算子，LBP 算子具有旋转不变性及灰度不变性等特点。它在1996 年由Ojala 等人[8]提出，被广泛应用于纹理检测、图像识别、人脸检测等领域。原始的LBP 算子的原理是:在一个大小为3×3 的网络中，设定网络中心点(xc，yc)的像素作为网络的阈值，将除了中心点外的其余的8 个像素点的灰度值与之作比较。原理如图3 所示，若某一点的阈值小于该网络中心像素点的阈值，则该像素点的位置被标记为0，若某一点的阈值大于中心像素点的阈值，则标记为1。这样，在3×3的网络中，中心点的阈值与其他相8 个像素点的值分别进行比较，对应会得到8 个二进制数，通常会将其转化为十进制数（即LBP 码，共256 种），这个十进制数就代表了该3×3 的网络中心像素点的LBP 值。该LBP 值由式（1）求得，纹理T 定义如式（2）:

式中，(xc，yc)表示中心像素；ic表示中心像素点的亮度；s为符号函数，表达式为:

图3 原始LBP 算法基本思想

每一个LBP 算子都会产生一个二进制模式，随着邻域集内采样点数的增加，二进制模式的种类是递增的。过量的二进制模式种类会对图像纹理的提取、识别和分类产生影响。因此，需要对原始的LBP 模式进行降维处理。为了解决原始LBP 算子条件下二进制模式种类过多的问题，Ojala 等提出了采用一种“等价LBP 模式”（Uniform Pattern）来对LBP 算子的二进制模式种类进行降维处理。在实际图像中，绝大多数LBP 模式最多只包含两次从1 到0 或从0 到1 的跳变。因此，Ojala将“等价LBP 模式”定义为:当某个LBP 模式所对应的循环二进制数从0～1 或从1～0 最多有两次跳变时，该LBP 模式所对应的二进制就称为一个等价模式类。计算公式如下:

采用等价LBP 模式的二进制模式会从原来的2P种降低至P(P−1)+2 种，其中P表示采样点数。对于图3 中8 个采样点，二进制模式的数量由256 种降低至59种。本试验将采用等价LBP 特征进行检测。

3.2 HOG 特征

HOG 特征是 Dalal 等人在 2005 年提出的[9]，主要是用来对物体的局部外观和形状特征通过其梯度或边缘的方向密度分布进行描述，即使图像缺乏精确的梯度与边缘位置信息。由于定位支座区域结构在接触网定位与悬挂状态检测图像中有明显的边缘形状，因此采用HOG 特征可以很好的描述定位支座区域的形状特征。HOG 特征提取的实现方法如下。

3.2.1 灰度处理和Gamma 空间矫正

为了避免光线因素对于检测结果的影响，因此需要对所有图像进行规范化处理，包括灰度处理和Gamma空间矫正[10]。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，对图像做Gamma 矫正处理能够有效地提升图像的对比度，降低局部的阴影和光照变化对检测结果的影响。因为图像RGB 色彩空间对于检测的结果无影响，所以在检测前将图像统一做灰度处理。

其中R指RGB 色彩的红色通道，G指灰色通道。

进行Gamma 空间矫正:

3.2.2 梯度的计算方法

先对图像横坐标和纵坐标方向的梯度进行计算，在此基础上计算每个像素的梯度方向值。图像在水平方向梯度值由式（8）求得，垂直方向梯度值由式（9）求得，每个像素的梯度值和方向可由式（10）、式（11）求得。梯度算子 如 下 。 水 平 方 向 为 [ − 1，0，1]，垂 直 方 向为[− 1，0，1]T。

构建梯度方向直方图的目的是为局部图像区域提供一个编码。将图像分割成等面积的小细胞单元（cellls），计算每个 cell 的梯度直方图，每 4 个 cells 组成一个完整的块（block），即该block 的梯度直方图是由4个cell 的直方图串联起来组成。对每个block 进行梯度归一化处理，对光照、阴影和边缘进行压制。如式（12）～式（15），其中v是未归一化的特征向量，ε是无穷小的常量 ，‖vk‖是v的k阶 范 数。本实 验对图像 进 行L2−Hys 归一化处理。计算过程如下式:

最后将所有的block 的直方图串联起来即得到该图像的HOG 特征直方图。

3.2.3 PCA 特征降维

HOG 特征向量有很高的维度，从而影响检测的速度。采用PCA（主成分分析法）对HOG 特征进行降维[11]。PCA 的原理是在维持原特征成分不变的条件下，对原特征做空间线性变换，映射到低纬度且相互正交的空间上，投影形成新的变量。

特征的主成分由式（16）计算:

式中y指主特征成分，xi指待降维处理的HOG 特征向量表示样本的特征均值，UT表示协方差矩阵。UT的计算方法如式（17）所示。

对图像中每一像素点的HOG 特征的做零均值化处理，即减去这一行的均值。由训练样本的HOG 特征，样本均值，根据式（17）可以计算协方差矩阵及协方差矩阵对应的特征值及特征向量。将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵。对训练样本中的每个HOG 特征向量，通过式（16）进行降维，得到向量维数为k的特征。即降维处理后的HOG特征。

3.3 LBP+HOG 特征融合

为了能更加快速、准确的检测接触网定位支座区域，采用降维处理后的LBP 和HOG 特征串行融合的方法进行检测，如图5。假设A和B是一样本空间中任意2 个 子特 征空间，即A为 LBP 特征，B为 HOG 特征。对任意样本空间，这 2 个子特征向量α∈A和β∈B。进行串行融合后的特征矩阵如式（18）:

其中θ为权重系数。特征维数是2 个特征向量的维数之和。则γ的维数F为：

特征融合如图4 所示。

图4 特征融合示意图

4 试验结果分析

4.1 试验数据

文中使用的接触网检测图像来自华东地区某铁路局供电段接触网检测车的跑车图像集。正、负样本图像分辨率为5 120×5 120，正样本为包含接触网定位支座区域的图像集，如图5；负样本为不包含接触网定位支座区域的图像集，如图6。

4.2 试验方法

图5 部分正样本图

图6 部分负样本图

在对比试验阶段，分别进行了SURF 特征匹配检测、LBP+SVM 方法检 测、HOG+SVM 方法检测和LBP+HOG 特征融合方法检测，共4 组试验。试验发现采用SURF 特征匹配的方法检测定位支座区域，会因曝光问题，丢失关键特征点，导致检测时出现匹配失败情况，如图7(a)；对于LBP+SVM 算法检测接触网定位支座区域失败的图像，研究后发现检测失败的图像存在背景复杂，有大量边缘特征的干扰物，如图7(b)。失败的原因是LBP 为纹理描述算子，当目标区域的纹理信息被大量干扰时，检测结果会不理想。而对于HOG+SVM 算法检测失败的图像，存在目标区域靠近图像边缘这一个共同点。如图7(c)。HOG 是方向描述算子，当目标区域过于靠近图像边缘时，会导致检测不准确。

图7 检测失败图像

将LBP+HOG 特征融合数据送入SVM 支持向量机学习分类得到检测分类器，利用该分类器即可在图片中利用滑动窗口快速准确的检测接触网定位支座区域取得了理想的效果。

4.3 试验结果

试验所用计算机处理器为AMD Ryzen3 2200G，内存为8G，WIN10 系统，编程环境为Pycharm−Python。利用OpenCV 计算机视觉库分别使用SURF 特征匹配的方 法、LBP+SVM 的 方法、HOG+SVM 的方法和LBP+HOG+SVM 的方法对接触网巡检图像集中3830 张包含接触网定位支座区域进行识别检测。试验结果对比如表1 所示。

表1 试验结果对比

试验结果中，检测成功图像如图8，表中检测失败图像包括了漏检和误检。其中漏检指的是没有识别出定位支座区域，误检指的是识别出了错误的区域，误检率和漏检率为误检张数和漏检张数与待检测图像张数比值。

图8 检测成功图像

分析试验结果发现，相较于SURF 特征匹配检测的方法，LBP+HOG 特征融合方法检测明显的降低了误检率，在检测时间上也有很大的优势；而采用HOG+SVM 方法相比SURF 特征匹配检测的方法也同样降低了误检率和检测时间；提出的LBP+HOG+SVM 的检测方法试验中，检测效率和检测准确率均有明显的提升，检测成功图像如图8 所示。

5 结 论

依据接触网检测装置所拍摄图像中定位支座区域的结构特征，利用图像处理技术实现了接触网定位支座区域快速准确检测。分别使用了SURF 特征匹配、LBP+SVM、HOG+SVM 及 LBP+HOG+SVM 的方法进行接触网定位支座区域的对比试验。试验表明，LBP+HOG 特征串行融合结合SVM 检测的方法检测成功率达到了96.54%，每张图像检测时间为3.151 s。检测成功率比SURF 特征匹配的方法提高了9.37%，每张图片检测时间节约5.519 s；比LBP+SVM 方法和HOG+SVM 方法检测成功率提高了6.35% 和4.43%，每张图像的检测时间减少了0.812 s 和3.38 s。

试验表明，文中提出的LBP+HOG 特征串行融合后，结合SVM 检测的方法明显的提升检测的准确率，并提高了检测效率，具有较高的工程应用价值。