基于MD-LBP关联方向特征的铁路隧道漏缆卡扣检测算法

2021-12-23张云佐宋洲臣杨攀亮

北京交通大学学报 2021年5期

张云佐，宋洲臣，杨攀亮

(石家庄铁道大学信息科学与技术学院, 石家庄 050043)

铁路的移动通信系统是保障列车安全运行的关键部分，山区隧道段主要通过铺设泄漏电缆来搭建通信网络，一般需将泄漏电缆悬挂在隧道壁上，用专门的漏缆卡扣将其固定[1].目前检测漏缆卡扣仍旧停留在人工定点定期逐一排查的阶段，该方法不仅受到环境因素和人为因素的影响[2]，检测效率也十分低下.特别是随着近些年铁路事业的高速发展，隧道里程不断增加，定点定期排查法很难再满足实际的需求，结合计算机视觉的自动化检测技术将是该领域发展的主要趋势.在采集隧道漏缆卡扣图像数据集时，需要先在列车窗口处安置一台高速摄像机，以便收集列车在隧道运行过程中拍摄到的全部画面，即便能省去了大量现场勘察工作，倘若由人工逐一筛选，工作量也十分庞大.深度学习在图像处理方面有着十分出色的表现，但故障卡扣的图像数据量非常有限，达不到模型训练的最低标准，于是采用基于统计学习的特征提取算法进行故障卡扣的筛选，能有效规避数据集不平衡带来的检测问题，提高故障卡扣的识别准确率.

基于统计学习的故障检测算法仍是通过特征提取和特征分类这两步来实现，并且主要通过特征融合[3-4]以及改变分类决策[5]来提升检测的准确率.LBP[6]能侧重把握待检测物体的纹理特征，因此被广泛运用于人脸识别和纹理分类领域.在保证描述子旋转不变性和光照不变性的前提下，CS-LBP[7]弥补了LBP算子径向特征获取不充分的问题，而完备的二值模式CLBP[8]又扩充了幅值差分信息，这使得特征的描述能力进一步得到提升.HOG[9]特征作为另一种从局部过渡到全局的描述子，能细致捕捉邻域像素的梯度分量，是刻画目标轮廓的最佳描述子之一.于是文献[10]采用了HOG和LBP的融合特征进行特征描述，但也出现了特征维度过高的情况.为了减少运算量文献[11-13]均采用了PCA[14]主成分分析法分别对HOG-LBP的融合特征、HOG-LBP的分层融合特征以及HOG-CLBP的融合特征进行降维处理，即便文献[14]还采用Selective Search[15]只针对候选区域进行特征提取以实现降维的目的，但这类描述子的本质还是通过大量扩充特征维度来提升检测能力，一方面描述子的特征维度会急剧增加且针对性并不强，另一方面扩充的特征也仅局限在采样圆域内，单靠对图像分块获取到的位置信息也十分有限，这使得漏缆卡扣的检测准确率不够理想.尽管近些年深度学习[16]在图像处理领域有相当不错的发展，也取得很多的学术成就，但模型的训练过程对数据集的依赖程度非常严重，尤其是在故障卡扣图像数据量不够充足的情况下，模型的训练结果往往不够理想.

本文作者提出MD-LBP(Multiple Direction Local Binary Pattern)三层图结构，在Block特征图上提取关联方向特征，不仅同时兼顾了采样圆域内的多元梯度差值分量和采样圆域间多元梯度方向的关联相似性.通过对比该系列算法，发现MD-LBP能在更大尺度上获取漏缆卡扣的轮廓特征，有效解决了图像分块和多特征融合带来的高维计算问题，同时对故障卡扣数据量要求低，模型训练简单.在对比实验结果中也展现出较强的检测性能.

1 漏缆卡扣检测流程

本文所提方法实现漏缆卡扣检测的完整流程如图1所示，提取关联方向特征主要通过以下两个关键步骤实现.

图1 漏缆卡扣检测流程图Fig.1 Flow chart of detection of leaky cable fixture buckle

1) 计算MD-LBP特征图. 首先对输入图像进行高斯滤波预处理，目的是尽可能减少一部分噪声干扰；再根据预处理后图像的全局灰度均值得到相应的阈值T；然后依次计算出Pixel特征图、Cell特征图和Block特征图，得到完整的MD-LBP特征图.

2)计算关联方向特征. 在上一个环节得到的MD-LBP特征图中，以3×3的Block为处理窗口统计关联方向特征[17]，并以此特征作为描述子，完成故障卡扣的检测工作.

1.1 LBP及CS-LBP算法

Ojala等[6]提出的LBP特征描述子具有灰度不变性和旋转不变性，即便在光照不均的图像中也能表现出较好的鲁棒性.该算法的核心思想是比较中心像素与邻域采样点之间灰度值的大小，利用布尔函数计算出相应的二进制编码，按统一顺序转换成十进制的编码值.为了增强LBP描述子的方向性，Heikkila等[7]提出了CS-LBP特征提取算法，该算法关注的重点是圆形邻域内每组中心对称的采样像素对，同样需将所得的二进制编码按统一顺序转换成十进制的编码值，以此作为特征描述子.

LBP和CS-LBP的采样差异如图2所示，nc表示中心采样点；n1～n8分别表示邻域采样点.在采样个数P=8和采样半径R=1的条件下，CS-LBP描述子的特征维度要远低于LBP描述子的特征维度，具有更高的特征提取效率.由于CS-LBP着重于径向梯度差分信息，减弱了中心像素对邻域采样点的影响，使特征在提取的过程对中光照变化的敏感度更低，表现出更强的抗噪能力.

图2 LBP和CS-LBP的采样差异Fig.2 Sampling difference between LBP and CS-LBP

2 MD-LBP特征图结构

本文在CS-LBP模型的基础之上进行拓展，保留了关于比较中心对称采样点灰度差值的计算方式，提出一种MD-LBP三层特征图结构.在图3中将尺寸为256×256的输入图像经过3层图结构中的后两层连续降维，最终能够以更大的尺度在64×64的第3层Block特征图上提取关联方向特征，并以此作为描述子完成故障卡扣的检测工作.

图3 MD-LBP特征图结构Fig.3 MD-LBP feature map structure

2.1 Pixel特征图

不改变CS-LBP现有的径向灰度差分计算方式，此外还必须标出每组像素对的具体梯度方向.MD-LBP算法将每组像素对中灰度值大的那一侧对应的方向位标1，灰度值小的那一侧对应的方向位标0.相较于CS-LBP算法，虽然二进制计数位由原先的4位拓展到8位，但每组中心对称像素对都只有00、10、01这三种存在形式，所以在图2的采样条件下二进制排布方式的总数为81种，相应的计算公式为

X=[x1,x2,…，xi，…,xp],i∈{0,1,…,P}

(1)

(2)

(3)

(4)

式中：X是长度为8的一维数组，xi∈{0,1} ,T为阈值.对输入图像采用MD-LBP算法得到的第1层Pixel特征图是一副8通道的图像，每个像素的像素值将由8位二进制数字0或1构成，并且不用再进行十进制转换，8个通道分别对应了采样圆域的8个梯度方向.为了维持第1层Pixel特征图的尺寸与输入图像一致，可以将最外边的一圈像素用0填充.

2.2 Cell特征图

在上一个环节得到的第1层Pixel特征图中，以2×2的像素为一个Cell，2个像素为步长，依次计算所有的Cell单元编码值，图4为第2层Cell特征图的计算过程.

图4 Cell主方向的计算过程Fig.4 Calculation process of Cell main direction

Pixel特征图中的a、b、c、d四个像素组成一个像素块，通过计算像素块的主方向得到Cell特征图在对应位置处的特征值.首先要分别计算出这四个像素对应的径向二进制编码值，这8个方向分别与数字1～8对应.例如以计算a像素的二进制编码值为例，取采样个数P=8，采样半径R=1，用双线性插值法确定圆形邻域内所有采样点的灰度值，通过式(1)～式(4)计算出每组中心对称像素对的差值分量，若差值大于阈值T，则将灰度值大的采样点对应的方向标为1，灰度值小的采样点对应的方向标为0，若绝对值不大于阈值T，则两个采样点的对应方向都标为0.经计算得出像素点a只在135°、270°这两个方向标为1，其余方向均标为0，于是从0°开始以逆时针方向编码，01001000即为所求二进制编码值.

依次计算出a、b、c、d四个像素的二进制编码值，再将4个编码值按对应的编码计数位累加，计数和最高的计数位就是该Cell的主方向特征，即为该Cell单元的输出编码值.图4得到90°方向的计数最多出现了4次，所以该Cell单元的对应编码值为6.对整幅Pixel特征图重复以上步骤得到完整的Cell特征图，此时每个Cell单元的取值范围为1～8.为了保证输出Cell的编码值唯一，规定当多个方向的计数和同时最多时，优先输出水平方向和竖直方向的编码值，如果水平和竖直方向的计数同时最多时，则输出两者中编码数值小的计数位.

2.3 Block特征图

在Cell特征图上取2×2的Cell为一个整体，2个Cell为步长，根据Cell块的整体主方向特性进行下采样，分别计算Block特征图中每个Block单元在对应位置处的取值情况.以计算图5中的6个Block主方向过程为例，均在2×2的Cell窗口内完成，并满足以下三项基本要点.

图5 Block主方向计算过程Fig.5 Calculation process of Block main direction

1)若某一主方向出现次数超过两次，对应的Block主方向将直接为该Cell块内出现次数最多的主方向.若没有一个主方向出现次数超过一次，则对应的Block主方向将直接为0.

2) 水平方向和竖直方向具有优先级，当与其它斜向主方向的出现次数同时最多时，该Block主方向为水平或者竖直主方向.当水平和竖直主方向的出现次数同时出现最多时，则该Block主方向为两者中编码数值小的方向.

3) Cell块内某个主方向出现的次数为两次时，若使对应的Block主方向也为该方向，则其余Cell的方向都必须与该主方向相邻.

3 关联方向特征

经过MD-LBP特征图结构的一、二层下采样，最后需要在第3层Block特征图上提取关联方向特征.采用3×3的窗口提取像素块之间的关联方向特征，一方面能减少信息损失，另一方面能减少基础编码单位的数量.每个Block单元的有效取值范围变为1～8，图像尺寸也缩小为64×64.

以中心Block的主方向特征为基准，在邻域8个采样Block中分别统计主方向取值满足条件的Block，并编码它们的排列方式.例如图6窗口内的中心Block主方向为2，先按照逆时针方向排序，分别列出与中心主方向相同和中心主方向相邻的Block的排列情况，再统计每种排列方式对应的基础编码的计数值.

图6 关联方向特征提取过程Fig.6 Extraction process of correlated directional features

在编码的过程中，如果基础编码涉及到的有效采样Block的数量太少，关联方向特征就会失去针对性，而如果涉及到的有效采样Block数量太多，相应编码单位的计数就会普遍偏低.所以为了保证编码的基础单位具有代表性，同时描述子的特征维度也不能过高.规定用图7所示的28种基础编码单位记录每种排列方式，每种基础编码单位都只有两个有效采样Block参与排列，于是图6中的2→2型排列方式将用3个基础编码单位表示.

00000011 : 0110000001 : 0801000001 : 1500100001 : 2200000110 : 0200000101 : 0910000010 : 1601000010 : 2300001100 : 0300001010 : 1000001001 : 1710000100 : 2400011000 : 0400010100 : 1100010010 : 1800010001 : 2500110000 : 0500101000 : 1200100100 : 1900100010 : 2601100000 : 0601010000 : 1301001000 : 2001000100 : 2711000000 : 0710100000 : 1410010000 : 2110001000 : 28

4 实验过程及结果分析

将高速双线CMOS相机全程跟车拍摄的原始数据切分成尺寸为256×256的图像，并以此作为输入图像数据集.其中故障卡扣图像195张，正常卡扣图像900张.将图像数据集的70%划分为训练集，剩下的30%作为测试集.

4.1 计算Block特征图

在输入图像数据集中分别选择4～5张全局灰度均值分布在不同区间的图像，经过9×9的高斯滤波处理后，依次比较它们在不同阈值下Cell特征图的成像效果.表1列出了部分灰度均值分布在不同区间内，并根据不同阈值等级计算得到的效果图.阈值的评价标准是必须确保特征图能完整地表示漏缆卡扣的轮廓，还能在一定程度上过滤掉背景噪声.于是将全局灰度均值分成8个区间，分别对应8个阈值等级，具体的计算公式为

(5)

当全局灰度均值处于80～220之间时，将采用取整函数得到相应的阈值T.

表1 不同阈值的效果图Tab. 1 Images of different thresholds

4.2 提取关联方向特征

在计算MD-LBP图结构的主方向特征时，规定了水平和竖直方向具有优先级，因此为了提取到更全面的关联方向特征，采用双层特征的融合算子作为描述子，以提高漏缆卡扣的检测能力.提取过程见图8.

图8 融合特征提取过程Fig.8 Extracting process of extracting fusion feature

在图8所示的特征提取环节中，所有取值结果都代表了一个主方向，n的取值范围为1～8，表示将提取所有Block的关联方向特征，共有672(28×3×8)种排列情况.而m的取值范围为2、4、6、8，表示单独提取这4个优先主方向Block的关联方向特征，共有336(28×3×4)种排列情况.然后再将这两层特征进行串联，得到最终的描述子.

4.3 结果及分析

采用召回率R和精准度P作为检测结果的评价指标，具体计算公式分别为

(6)

(7)

式中:TP为被正确判断为故障的卡扣;FP为被判断为故障的正常卡扣;FN为判断为正常的故障卡扣.

为了证明本文所提的MD-LBP算法提取漏缆卡扣特征具有优越性，与LBP、CS-LBP、HOG等多种变体算法的检测情况做比较，得到表2的实验结果，Bin表示对应描述子的特征维度.同时还绘制了如图9的ROC曲线，其中假正率是指被错误判断为正常的卡扣占所有正常卡扣的比重，具体计算公式为

(8)

AUC评价指标是指ROC曲线与x轴所围的面积，越接近1说明该模型的效果越好，另外这几种对比算法的具体参数设定情况如下：

表2 检测结果对比Tab.2 Comparison of test results

3) HOG描述子先采用最近邻插值法，将输入图像的尺寸缩小为128×128，再进行特征提取，其中像素块Cell为8×8，像素块Block为16×16，移动步长Stride为16，每个提取窗口梯度分量的维度bins为9.

4) HOG_LBP和HOG_CLBP是指将先前得到的HOG描述子分别与4×4划分的LBP描述子和4×4划分CLBP描述子连接起来，得到二者的融合特征.

表2中的Bin指标是描述子的特征维度，可以看到本文所提MD-LBP算法在漏缆卡扣的检测结果上能够表现出显著优势，特别是召回率和准确度均能达到较高水准.即便HOG_LBP(4×4)的融合特征使召回率达到0.889，但准确度却只有0.615，这说明有大量正常的卡扣被误判为故障卡扣.而MD-LBP没有对图像进行分块处理，经过降维后Block特征图的尺寸与其他传统方法4×4划分图像后的最小分区子图像尺寸一致，不仅包含了待检测目标的关键特征，还在尺度上将特征进行放大，能对漏缆卡扣的轮廓有更好的表达，而且所得到的描述子特征维度也远远低于传统方法划分图像后的维度.图像4×4分块的检测结果相较于2×2分块的检测结果略有提升，但整体的召回率和准确度仍旧偏低，同时还存在随着分块数量变多，描述子特征维度急剧增加的弊端.再从检测结果上分析，不论怎样进行图像分块，这几组该系列的对比算法都对大量正常卡扣进行了误判，检测漏缆卡扣的能力均不如本文所提算法.