有轨电车异物侵限检测及预警方法研究

叶 超，陈 新

（南京理工大学，江苏南京 210094）

有轨电车通常采用半独立路权运营，导致经常有行人、非机动车、纸板等异物侵限，严重影响有轨电车运行安全及效率，因此进行有轨电车异物侵限检测及预警方法的研究十分重要。虽然在有轨电车沿线安装着大量视频监控设备，但单纯依靠人眼观看容易产生疏漏而且效率低下，因此需要将原有安装的监控视频充分利用，使用智能化方法对异物侵限行为进行精确识别与跟踪，并实时预警，从而保证有轨电车行车安全及效率。

1 异物检测及预警技术研究现状

在异物检测技术研究方面，国内外已有许多较为成熟的研究方法。J. A. Uribe，L. Fonseca，J. F. Vargas[1]等人使用霍夫变换及连续帧，通过稀疏光流计算目标轨迹，以确定与障碍物可能的碰撞路线。李兴鑫[2]等人提出一种基于自适应阈值的前景目标分割算法和背景初始化算法，提升铁路场景下异物检测的精度。侯涛[3]等人提出一种改进MOG-LRMF的检测方法，能够适应光纤强弱以及多个运动物体的检测。宁正[4]等人利用小波变换及邻域平均法改进混合高斯模型，解决了前景目标检测不全的问题。上述检测方法虽然具有较好的性能，但对有轨电车运行环境适用性较差，部分方法检测速度较慢，实时性有待提高。

在异物侵限预警技术研究方面，目前也有较多学者研究。德国航空航天中心[5-6]参考航空器防撞系统设计了铁路列车防撞系统，该系统利用GPS定位技术、测速技术结合计算机技术、传感器技术等，判断出列车前方障碍物并提醒司机主动预警。易志刚[7]等人结合线路状态、环境状态、列车状态等信息，同时考虑采集交互时间、司机的反应时间等因素，对列车防撞策略进行了分析研究。但上述列车异物侵限预警技术未考虑对预警等级进行划分，在有轨电车线路上使用容易产生过多无用的预警信息，因此，本文将针对有轨电车异物侵限检测及划分预警等级方法进行研究，进一步提升有轨电车运行的安全性。

2 基于混合高斯模型与三帧差分法融合的异物侵限检测

2.1 混合高斯模型建立与模型参数学习

传统的混合高斯模型（Gaussian Mixture Model，GMM）由Stauffer和Grimson[8]首先提出，通过对图像中的每个像素点建立高斯分布，使用高斯概率密度函数来描述动态变化的背景。首先模型中的任意像素点（x0，y0）随时间变化所组成的序列描述如下：

式（1）中，Xt是像素点（x0，y0）在t时刻的像素值；I（x0，y0，i）是视频序列中第i时刻的像素值。对像素点使用K个高斯分布组成高斯模型进行背景建模，则该像素点出现的概率P（Xt）可由式（2）表示：

式（2）中，K为高斯分布的个数，本文中K取常数5；ωi，t表示t时刻第i个高斯分布的权重值；μi，t，σi，t分别代表t时刻第i个高斯分布的均值向量及协方差矩阵。式中的η（Xt，μi，t，σi，t）为高斯分布的概率密度函数，计算如下：

当读入新的视频帧时，将每个点像素值对应的K个高斯分布与该点像素值进行匹配，若该像素点满足|Xtμi，t|≤Dσi，t，则该像素点与背景模型匹配，为背景点，否则为前景点，其中D为置信参数，通常取值2.5。对于匹配的模型，需要对权重、均值及方差进行更新学习，对于不匹配的模型，删除权重最小的高斯分布并创建新的高斯分布，均值取当前像素点的像素值，方差取初始化的较大方差，权重则根据更新公式进行更新。更新方法如下[9]：

式（4）～式（6）中，α，β为学习率，分别决定背景更新快慢和高斯分布参数更新快慢，α取0.001～0.01，β=αη（Xt，μi，t，σi，t）。Mt为匹配参数，当像素与背景模型匹配时Mt= 1，否则Mt= 0。

当背景模型参数更新后，需要对K个高斯分布按优先级φ从大到小进行排序，将大于阈值T的前B个高斯分布作为背景模型。φ与B的计算如下：

式（8）中，阈值T表示背景所占比例，需要根据实际情况进行选取，本文通过实验确定阈值T为0.7。

2.2 三帧差分法

物体在运动时，相邻的图像帧的像素点之间会有明显的差别，传统的帧间差分法将连续两帧图像进行逐像素差分运算，提取出图像前景区域，以此来获取目标的轮廓，但当目标颜色相近时检测效果不明显，因此帧差法的基础上，使用三帧差分法，提取视频中的连续三帧图像，相邻两帧之间进行逐像素差分运算得到两张帧差图，将两张帧差图进行逻辑与运算，最终获得目标轮廓信息。具体计算过程如下[10]：

式（9）～式（11）中，T1、T2为预先设置图像阈值，两帧间的像素差绝对值大于阈值则该像素点为运动物体，值取1，否则为背景，值取0；fk-1（x，y）、fk（x，y）、fk+1（x，y）分 别 是 第k-1帧、k帧 与k+1帧 图 像；Dk-1（x，y）、Dk（x，y）分别是k帧与k-1帧的帧差图、k+1帧与k帧的帧差图；Mk（x，y）为两帧差图作与运算后得到的图像。

2.3 混合高斯模型与三帧差分法融合的侵限检测

传统混合高斯模型能够检测出比较完整的目标，抑制部分噪声；三帧差分法检测速度快，对快速运动目标表现出良好性能。结合2个模型的优点，将2个模型相融合，建立新的检测模型，使检测目标更加完整，轮廓更加清晰，解决空洞问题。

在进行检测前，需要先对获取的视频图像序列进行预处理，包括去噪、轨道线识别、划分检测区域等。预处理完成后，对视频序列分别使用混合高斯模型和三帧差分法进行运动目标的获取，针对两者检测结果的二值图像进行逻辑或运算，最后将或运算得到的图像进行形态学处理，得到最终的检测图像。

混合高斯模型与三帧差分法融合的侵限检测流程如图1所示。

3 有轨电车异物侵限预警技术

行人或物体侵限将对有轨电车运行安全造成严重影响，但并非所有的侵限行为都会造成影响。因此在检测到侵限目标时需要根据目标对列车运行的影响程度进行预警等级划分。本文中将使用T-S模糊神经网络建模进行异物侵限等级划分的研究并进行仿真。有轨电车异物侵限预警等级将划分为低、中、高3个等级，根据判断出的不同的等级，进行不同的应急处置。

3.1 T-S 模糊神经网络模型

模糊神经网络是将模糊推理与传统神经网络相结合的一种数据处理技术，常见的有Mamdani型模糊神经网络与T-S型模糊神经网络，本文根据实际应用情况，选择T-S型模糊神经网络。

T-S模糊神经网络由日本学者Takagi和Sugeno[11]提出，将输入数据进行模糊化，采用“if-then”的模糊推理规则进行推理，根据推理结果将数据反模糊化后进行输出。假设有输入变量{x1，x2，x3，…，xj}，则关于每条推理规则的输出yi推理如下：

根据模糊计算结果采用加权平均法计算出系统的最终输出y：

为使神经网络更稳定、预测结果更精确，T-S模糊神经网络需使用梯度下降法对网络连接权系数、隶属度函数的中心值和宽度等参数进行学习，以误差性能为评判指标[14]。误差e的计算如下：

式（16）中，yd为期望输出值，yc为实际输出值。T-S模糊神经网络系统参数的更新公式如下：

3.2 基于模糊神经网络的侵限预警等级划分

有轨电车的异物侵限场景分为2类，第一类是静态异物侵限，第二类是动态异物侵限。对于静态异物而言，所有遗留轨道上的物体对列车运行安全及效率均会产生影响，因此划分预警等级时，需要根据列车距离物体的远近程度以及列车速度来判断预警等级；对于动态异物而言，主要以行人、非机动车以及少量误入轨行区的机动车为主。对于误入轨行区的机动车，对列车运行安全有较大的影响，需要根据机动车运行方向、机动车运行速度、列车速度以及与最近列车的距离来判断预警等级；对于行人与非机动车，大部分以横穿轨行区为主，根据其运动速度、运动轨迹、运动方向、与最近列车的距离以及列车速度来判断预警等级。

根据上述分析将异物侵限等级评估的列车速度、列车位置、障碍物类型、障碍物速度以及障碍物方向5个指标作为网络的输入，建立5个输入1个输出的T-S模糊神经网络模型。神经网络的第一层为5个输入，第二至四层是隐藏层，其中第二层为模糊化层，用于计算各输入所对应的隶属度函数，本文中选择高斯隶属度函数；第三层为模糊推理规则层，计算各规则适用度；第四层为去模糊化层，先将规则适用度归一化计算，然后将数据去模糊化，对应清晰的输出，输出隶属度函数选择线性；第五层为1个输出，代表预警等级。

由于模糊神经网络的输出结果与输入参数呈线性关系，预测结果不是所希望的预警等级，因此需要对预测结果进行数据处理后再与实际输出进行比较。系统输出y的具体处理方法如下：

3.3 预警信息传递

在划分预警等级后，根据各等级进行信息的传递。当预警等级为低时，表明该物体或人不直接影响列车运行，列车无需降速，因此只需生成预警信息，在视频监控系统中弹出消息框，以告知调度员相关信息即可；当预警等级为中时，表明该物体或人影响列车运行但列车距离较远或速度较低，只需正常制动或提醒司机谨慎驾驶通过，将信息从视频监控服务器通过控制中心列车自动监控系统（Automatic Train Supervision，ATS）服务器向车载设备发送预警信息，进行“滴滴”鸣响[15]；当预警等级为高时，表明该物体或人直接影响列车安全运行，此时列车速度较快或距离较近，通过控制中心 ATS 服务器终端向车载设备下发紧急命令及并发出长鸣预警声，提醒司机采取紧急措施，与此同时，ATS服务器终端将向轨旁设备发出命令，及时关闭相关区段通过信号，以保障行车安全。预警信息传递示意图如图2所示。

4 实例仿真

本文的实验条件为：Intel（R）Core（TM）i5-10210U CPU @1.60GHz 2.11 GHz，8GB RAM，Windows10，异物检测实验通过Python 3.9实现，预警等级划分实验通过Matlab实现。

4.1 异物检测实例仿真

异物检测实验数据为某有轨电车公司提供的2021年5月21日编号为1101X摄像机的一段视频，内容是1名行人翻越护栏进入轨行区造成列车紧急刹车停车，实验需要在列车到来前，检测出闯入轨行区的行人。

本文用经典混合高斯模型、三帧差分法及混合高斯模型与三帧差分法融合3种算法分别对视频进行测试，将输出视频帧率设置为20帧/s，截取视频第102帧、213帧进行对比。图3、图4分别为视频第102帧、213帧的实验结果，图中从左至右分别为原图、三帧差分法、混合高斯模型、混合高斯模型与三帧差分法融合算法检测结果二值图及最终检测出的行人。二值图中白色为检测出的目标，黑色为背景。

从图中可以看出，三帧差分法虽然检测速度快，但检测效果较差，不能检测出完整的目标，轮廓空洞现象非常明显；传统的混合高斯模型算法在本视频中的检测效果良好，与混合高斯模型与三帧差分法融合算法相比检测效果差别不大，但在其他视频中，融合算法明显优于传统混合高斯模型算法，如图5所示。从图中可以看出，融合算法比传统算法检测出的目标更为完整，且目标内部无明显空洞现象。

此外，从视频的整体检测效果来看，传统混合高斯模型检测时存在许多噪点，容易被误检成运动目标，而融合算法通过形态学处理后能够较好地抑制噪声，防止误检。由此可以看出混合高斯模型与三帧差分法融合算法更适合有轨电车异物侵限检测。

4.2 预警等级划分实例仿真

在Matlab的Neuro Fuzzy Designer工具箱中使用550组数据进行预警等级划分实验。本文数据集中的列车速度为通过某有轨电车公司ATS系统随机采集的550组不同时刻不同列车速度，用于模拟列车通过场景；列车位置则根据GPS坐标换算为列车与障碍物的距离，并根据行车间隔确定取值范围为0～3.5 km，使用rand函数在取值范围内随机生成；异物速度通过对某有轨电车公司提供的视频中的行人、非机动车、机动车进行测速采集得到，静态异物速度默认为0；对于异物方向，根据侵限类型确定为与列车同向，与列车相向，与列车轨迹交叉（横穿轨道或静止），分别用1、0、-1表示，在数据集中按2 : 3 : 2的比例随机分配；数据集中静态异物取值 -1，动态异物取值1，按3 : 7的比例进行随机分配；预警等级由行业内专家及运营管理人员根据评价指标进行划分，1表示低等级，2表示中等级，3表示高等级。

将500组数据输入T-S模糊神经网络中进行学习，剩下50组数据进行测试，测试结果如图6、图7所示。

图6为T-S模糊神经网络的样本训练误差，从图中可以看出训练至70次左右时，神经网络收敛，样本误差率维持在0.2907左右。图7是经处理后的预测数据与实际数据对比，从仿真结果可以看出，T-S模糊神经网络所预测的大部分指标下的预警等级与实际预警等级基本接近，且通过数据处理后与实际所判定等级基本相符，仅出现少量判断错误的情况，预测准确率较高。由此可以判断利用T-S模糊神经网络模型鲁棒性较好，能够进行有轨电车异物侵限预警等级划分。

5 结论

本文研究中将混合高斯模型与三帧差分法融合进行异物侵限检测，结果表明该算法能够较好的检测出行人、汽车等障碍物，达到预期效果。文章通过T-S模糊神经网络进行预警等级划分，从实验结果来看，该模型表现良好，能够对有轨电车异物侵限预警等级准确划分，但是由于实验条件受限，对于不同环境条件下的检测未进行更多的实验，且实验数据随机性较大，对于预警等级划分的精确度还有待提高。后期将进一步收集不同环境条件下的实验数据，并对T-S模糊神经网络进一步优化提升预测精确度，保证实验结果的准确性，进而保障列车安全行驶。