基于帧间差分累积的铁路限界异物检测提取算法

郭 碧,丁春平

(1.中铁第四勘察设计院集团有限公司,武汉 430063； 2.浙江众合科技股份有限公司,杭州 310051)

伴随着轨道交通全自动运行系统技术的发展，对于无人值守列车前方障碍物探测的需求进一步加强，对列车行车前方限界内的障碍物检测已成为亟待解决的课题[1-5]。当前，针对轨道交通限界环境下的障碍物检测方法按感知方法可分成非接触式和接触式[6-7]。已投入运营的全自动运行线路北京燕房线即采用车底安装的检测横梁通过与异物碰撞来实现对侵限异物的检测与清除；非接触式方法则包括激光、红外、视觉识别等，其中视觉传感器因其安装简便、信息丰富、结果直观被广泛采用[8-9]。

按照视频设备和被监视场景的关系，利用车载视觉传感器进行的异物检测为动态背景下的前景目标检测提取过程。目前，基于视觉传感器技术的动态背景环境下前景对象的提取方法包括：一是根据空间坐标和成像坐标在运动中的对应关系，通过运动补偿消减背景变化，再作背景减除提取前景目标。文献[10]即以一维灰度投影结合高斯滤波来实现图像快速去抖动，以统计分布方法完成背景更新，通过快速背景差分取得前景目标。文献[11]基于高阶奇异值分解和全变分思想，通过求解平稳背景、前景对象、动态背景之间的最小化约束方程，来实现对于运动目标的检测。文献[12]通过机器视觉理论和仿射原理构造空间模型，来实现对于障碍物入侵的判断和测量。文献[13]提出一种基于鲁棒M估计全局像素点权值，通过Mean Shift聚类算法，实现不同运动点的分割动态背景下的目标检测算法。二是将提取对象进行特征描述后，以重匹配方法实现目标检测与跟踪。如文献[14]通过对检测对象进行高斯金字塔分解建模后，来匹配动态背景中对象的位置。文献[15]采用Random ferns和朴素贝叶斯方法，对目标对象进行特征描述匹配，通过背景补偿引导检测动态场景下的目标。文献[16]以轨道线边缘完整性及其特征来实现对于异物区域的检测，通过提取异物特征以支持向量机对异物进行分类和辨识。三是以改进光流法等实现动态背景下目标的检测方法[17]，考虑计算量及实时性，在此场景适用难度较大。铁路限界内的障碍物检测前景目标多样，背景变化快，且夹杂由轨旁道砟、车辆振动、数据处理过程中的大量噪声，加大了异物检测提取的复杂度。

鉴于此，首先根据铁路轨道交通线路环境变化缓和接近，针对动态背景环境，通过隔帧帧差方法来获得多次差分结果，依托铁路限界内路轨特征，采用数学形态学实现背景纹理重构来减除干扰及噪声影响。随后通过数值统计以侧向差分灰度的累积投影值，来动态确定不同环境下的异物前景范围，并通过最大类间方差法提取分割出前景目标。多帧隔帧差分相对于光流法具备实时性高的特点，相对于背景差分法能较好应对动态的背景条件，同时可提高对前景目标提取的实时性和鲁棒性。

1 异物提取算法过程

本文所采用的轨道交通限界异物检测提取方法的算法框图如图1所示。

图1 异物检测提取算法框图

算法在初始化处理阶段即提取轨道线性特征并以此为基础确定前方轨道限界区域，随后，依据列车前方限界区域范围提取对应图像数据作隔帧帧差处理，通过数学形态学来对钢轨背景实现重构，来消除复杂背景中的道床枕木纹理特征。针对重建和滤除的差分结果，针对纵向和横向作灰度累积投影变化策略来获取差分突变位置作为前景目标区域。针对定位的图像区域像素，以最大类间方差法来分割提取出前景目标，以方便作为模式识别的特征描述输入参数。

2 初始化处理

2.1 图像预处理

车载视觉传感器采集的视频序列帧中含有较多背景环境数据，同时因背景光照、行车振动、信号放大处理等掺杂干扰。本文以灰度直方图均衡和中值滤波法来实现图像数据平滑减轻噪声干扰[18]。

2.2 轨道限界范围标定

铁路钢轨因其材质和磨损，在背景图像中呈现连续的线性特征，采用图像边缘提取算子可得到轨道线，考虑摄像机安装位置与轨道相对固定，铁路轨道曲率较小、轨面平坦，且轨道在图像空间中呈现近景区域固定，远景区域动态变化的特征，对图像空间作近远景划分，通过分段曲线模型实现对于轨道线的检测和跟踪[19]。轨道限界范围根据轨道线模型按图像空间像素比例近似计算即可得到。根据铁路限界要求，取最大边距2 440 mm作为建筑限界外侧距线路中心线距离，由铁路标准轨距1 435 mm，可等比例得到对应的铁路限界范围，同时伴随远景区域轨道线跟踪来动态更新限界范围。根据空间坐标系中两平行线在投影空间汇聚于一点，线路区域位于此消隐点(Pvanish(u，v))下方的原理[20-21]，本文以消隐点下二分之一位置vb处为分界点，标定出近景区和远景区范围。其中根据图像数据编码方式，文中图像坐标系左上顶点为原点，以像素为单位，如图2示。

图2 轨道模型示意

3 隔帧帧间差分与背景补偿

3.1 隔帧帧差法

将车载视频传感器采集的单帧图像用一个二维函数I(u，v)表示，那么连续的序列帧可表示为I1，I2，I3，…，Ik…In。将序列中2组隔帧数为m的相邻帧数据表示为：Ik-1(u，v)，Ik(u，v)和In-1(u，v)，In(u，v)，那么依据本文的思路，隔帧差分过程如下所述。

步骤1：数据参数及限界区初始化；取视频序列帧数据Ik-1(u，v)，Ik(u，v)及In-1(u，v)和当前帧In(u，v)；

步骤2：差分Ik(u，v)与Ik-1(u，v)得Dk，k-1(u，v)；记录并存储为Dk，k-1(u，v)；将Ik(u，v)数据赋给变量Ik-1(u，v)；

步骤3：取In(u，v)与In-1(u，v)差分，记录并存储为Dn，n-1(u，v)，赋当前帧数据给变量In-1(u，v)；

步骤4：将两次差分结果Dn，n-1(u，v)，Dk，k-1(u，v)以及当前Ik-1(u，v)，In-1(u，v)送入下一模块，背景补偿并作侧向投影统计求差，以突变特征初定目标对象范围；回到步骤2，重复此过程。

隔帧差分算法在视频采集中同步进行，可应对异物出现在背景中无相对运动的场景，同时对丢帧具有适应性。本文取司机室内视觉传感器采集的实验场景为例，限界内前景目标为无源应答器。实验结果如图3所示。

图3 两组序列帧差分结果

对比帧组信息一致，结果中灰度数据信息少；当前帧差结果包含有因传感器振动而出现的轨道轮廓；且差分结果中均存在干扰定位的枕木纹理等道床信息，需进一步进行补偿处理。

3.2 基于数学形态学的背景补偿

数学形态学开运算以结构元素构造的方法实现对于灰度图像确定纹理的重构建。构造形态学结构元素b，以i(u，v)表示图像I(u，v)的灰度值。形态学开运算过程为通过结构元素完成的先腐蚀后膨胀处理。其中灰度膨胀运算可表示为

(I⊕b)(u,v)=max{i(u-u′,v-v′)+

b(u′,v′)|(u′,v′)∈Db}

(1)

其过程表示结构元素b在I(u，v)定义域内灰度加运算遍历过程中的最大值。为不更改原有像素点灰度值，本文取结构元素b的定义域Db内的所有坐标值为0，式(1)描述的算法过程为在Db对应领域范围内确定最大值的过程。同样地,灰度腐蚀运算可表示为

(IΘb)(u,v)=min{i(u+u′,v+v′)-

b(u′,v′)|(u′,v′)∈Db}

(2)

腐蚀运算则表示通过b与在I(u，v)定义域内取灰度最小值的过程。由上，灰度图像开运算可表示为

I∘b=(IΘb)⊕b

(3)

开运算通过结构元素腐蚀过程消除微细噪声信息，再以膨胀重构出对象纹理结构。重构的精度受构造的结构元素的相似性影响。已知的纹理结构特征包括：横向水平线性枕木边缘结构、显著轨道边缘轮廓，以及其他相关设备结构。通过开运算可重构显著纹理，来补偿列车前方限界内枕木环境及抖动带来的干扰。文中针对性构造结构元素b1，b2，b3，序列帧分辨率为521×480 pixel，其中：

b1：构造枕木边缘，取30 pixel水平直线型结构元素；

b2：构造轨道结构轮廓，近景区轨道边缘倾角由轨道线追踪算法中的Hough变换提取得到，其中左右侧斜率分别为kl，kr，设65 pixel线性结构元素。远景区部分以纵向投影统计削减。

b3：本场景中车辆驾驶室外雨刷作特殊结构描述为60长25 pixel线性结构。

通过b1，b2，b3分别对当前帧In差分所得作开运算后，累加得到背景纹理结构的重构图如图4(a)所示。通过减除重构纹理实现补偿的结果如图4(b)所示，行车前方限界内道床、设备等因抖动产生的干扰得到削弱。

图4 差分背景补偿结果

4 基于侧向灰度累积值的目标定位提取与分割

4.1 目标定位提取

车载视觉传感器采集的视频序列帧中包含的路轨道床信息会因光照和行车抖动而富含大量噪声干扰，且不同场景下的信息具有较大的差异性，为应对不断变化的环境条件，本文考虑采用统计思想，针对相邻帧背景变化较小的特点，以限界区背景数据值的单方向投影来反映灰度信息在坐标中的分布，邻帧的背景信息分布呈现较强的近似性。当有非路轨环境目标出现在限界范围内时，单向投影统计值会呈现出部分范围持续性的数据变化。文中通过单侧统计差分结果的灰度和值对比得到异物疑似区域。

算法思路主要包括以下过程。

步骤1：参数初始化，求Dk，k-1(u，v)，Dn，n-1(u，v)远景横向投影累积值，记录两组结果相减的偏差向量ec[v]；

步骤2：以本帧横向偏差向量ec[v]与前v-1项偏差均值Thr之差作为疑似区判定边界。当ec>Thr，且持续有L个像素时，判别为疑似区域并记录为[Gs，Gx]，若ec≤Thr，则返回继续循环；

图5 基于侧向灰度累积值的目标定位算法示意

步骤3：在v轴[Gs，Gx]区域，作纵向差分灰度投影累积，并同步骤3方法完成u轴疑似区域[Kz，Ky]确定。实验结果如图5所示。因图中限界内图像数据差分后信号较为微弱，为方便说明此处以负片效果作为显示，说明侧向投影累积与前景目标的对应位置。

由目标出现而产生的与原枕木道床环境不同的灰度分布差异，可完成对于轨行区限界范围内的前景目标定位，同时为方便目标分割及描述特征向量值的提取，在疑似区域外多扩3像素以加强背景参照信息。

4.2 目标分割与二值化

为区分目标和背景分界，利于后期对于异物对象特征向量值的描述和提取，针对疑似范围内的图像作分割运算以确定前景对象。考虑基于最大类间方差的动态阈值分割方法相对于聚类分析、区域生长、主动轮廓等方法在速度、鲁棒性、算法复杂度上的优势，用最大类间方差法实现目标分割。最大类间方差通过统计不同灰度级别的分布的概率，以使方差最大来确定最佳阈值，采用的数学描述可表示为

Ts=Argmax[w1(t)(J1-J0)2+w2(t)(J2-J0)2]

(4)

式中，Ts表示灰度阈值；w1(t)和w2(t)分别表示前景目标和背景信息在图像像素点中的比重；J0(t)为平均灰度值，J1(t)和J2(t)分别表示前景目标和背景的灰度均值；取限界内疑似范围外方灰度值作背景划分参量，本文举例的实验提取结果如图6所示。

图6 前景目标提取及分割结果

5 前景目标定位提取算法流程

本文基于帧间差分累积的铁路限界异物检测提取算法的主要过程包括初始化、隔帧帧差、背景补偿、侧向灰度累积定位与分割几个主要部分，算法流程如图7所示。算法自读取图像序列帧时，即开始循环做差分检测，以避免漏检车辆缓动场景下的异物目标，完成定位提取目标后，将目标及相应帧送入后续模式识别等模块，作为危险辨识及预警输入。

图7 铁路限界异物定位提取算法流程

6 实验分析与验证

本文通过室外场景实验、TrainSimulator环境仿真、现场行车采集，共构造了47个不同的场景，用于算法场景测试，并将测试序列帧统一为512×480像素尺寸，每场景共包括45帧图像。算法处理过程通过Matlab2013实现编写和测试。

本次以现场行车采集的视频序列帧场景为例，采用传统帧间差分法作为对比说明。差分处理结果如图8所示。

图8 与帧间差分法结果对比

帧间差分法得到的差分结果如图8(b)所示，图中可见大量的背景干扰信息，较难区分出限界内前景目标，且差分结果中出现了目标的重影现象。本文算法结果如图8(c)所示，通过对背景进行形态学重构补偿，有效地消减了干扰信息。因帧间差分法无目标定位提取算法过程，本文后续通过对测试场景进行实验，来验证算法性能。

本文算法处理场景数据得到的疑似物目标定位提取结果(部分)如图9所示。其中，图9(a)表示光线充足下列车行车前轨行区域有未撤离人员环境场景；图9(b)表示较低光线条件下限界内有山体落石出现场景；图9(c)表示正常光线条件下，在道床上有悬空或跌落对象的场景。本文算法对异物目标的检测提取结果如图9(d)、图9(e)和图9(f)所示，可见前景异物目标于限界区域成像部分均实现提取和分割。

图9 实验场景定位及提取部分结果

针对构造实验场景检测统计实验情况如表1所示。于行车前方限界内有异物的场景中，异物目标检测率为96.87%，而于行车前方限界内无异物的场景出现了较高的误检率，误检率为26.67%。经实验，算法具有较好的检测效率，同时定位提取过程的平均耗时为0.137s。

表1 本文算法检测数据统计

分析实验过程及场景发现，造成误检的主要对象为路轨道床中间的安装设备以及光照下的阴影和光斑等对象，此类不影响安全行车的非障碍物目标可在后续建立特征库通过学习算法在目标识别过程中去除。

7 结论

对于车载视觉传感器下的轨道交通线路动态背景环境，通过改进的隔帧差分法能较为有效地实现对于前景目标的提取。算法通过隔帧差分以获得目标对照信息，并以铁路限界背景纹理先验知识，通过重构形态学背景纹理在一定程度上有效补偿了限界范围内的相似背景信息，且具有较好的实时性；算法通过侧向差分灰度的累积投影值来动态确定不同环境下的异物对象范围，可检测随机性对象，同时可较好应对车载视觉传感器因抖动和数据处理中累积的干扰及噪声。通过构建不同环境下的实验，算法可完成对于动态路轨环境下的异物目标定位提取，检测的实时性和准确率较好。后续可通过提取本算法检测获得的前景目标描述特征，通过模式识别算法实现对于异物目标的分类识别，辅助行车决策控制。