地铁车载单目摄像机下异物侵限检测方法探究

谭飞刚

（深圳信息职业技术学院交通与环境学院，广东 深圳 518172）

随着经济的飞速发展，人们对出行的要求越来越高。高效、快捷、安全、环保的城市轨道交通已成为人们出行的首选。为了满足各地人们快速出行的需求，我国40多个城市相继建设了地铁线路[1]。地铁列车需要沿着特定的轨道，在特定的空间运行，为了防止车辆撞击邻近建筑物或其它设备，确保列车能在地铁线路上安全运行，所有物体不能超过车辆界限。如物体进入车辆界限（即异物侵限），将会对运营安全构成巨大的威胁[2-4]。轻则中断行车，影响乘客出行，重则车毁人亡。例如2017年12月6日，深圳地铁11号线隧道被打桩机打穿异物坠落，导致中断行车13个小时以上。2018年6月26日，北京地铁机场线因大风吹入钢板至轨行区导致接触轨停电，导致多趟列车延误。所以地铁异物侵限被定为行业一级防灾响应[5-6]。

为了防止列车运行前方异物入侵造成运营事故，地铁司机在运行过程中需不间断瞭望前方进路，确保前方轨行区的车辆界限内无任何异物入侵。但是随着列车运行速度的不断提高以及行车间隔的不断变小，列车司机从发现异物入侵到采取制动措施的反应时间使得列车司机进行异物检测的几率越来越小[7]。因此，利用先进的机器视觉、机器学习等技术来开发异物入侵检测预警系统已受到国内外学者和研究机构的青睐[8-9]，经过多年的努力相继研发出许多轨道异物入侵检测系统。通过对文献资料进行整理和分析后发现这些现有的检测系统大体可分为两类[10-11]，具体描述如表1所示。

表1 轨道异物检测系统

上述这些现有的检测方法存在以下缺陷：

（1）只能针对固定区域进行检测，无法随列车运行而进行全线路检测；

（2）误报率比较高，且误报发生时无法进行远程人工确认；

（3）接触式方法还存在触电等安全隐患。

针对现有检测方法存在的上述缺陷，本文提出了一种基于车载单目摄像机环境下的异物入侵轨行区检测方法，该方法通过在驾驶室安装高清网络摄像机采集列车前方运行视野图像数据进行异物检测并进行异物入侵预警，实现随列车运行而进行全线路轨行区异物入侵检测。

1 算法整体描述

本文所提算法整体流程如图1所示，其主要包含5个过程。首先，通过在列车驾驶室里安装网络摄像机（即前置摄像头）并利用车载前置的网络摄像机来获取车辆运行前方视野图像；然后利用高斯滤波器对图像进行降噪等预处理操作；第三，进行轨行区检测与定位，主要是利用canny算法进行边缘检测并在此基础上再利用霍夫直线检测算法对钢轨进行检测和轨行区域的确定；第四，利用先验知识（即相机的标注信息）将轨行区转化为ROI（感兴趣区域）来减少轨行区周围物体（如线缆、广告牌等）的干扰及后续异物检测算法的运算量；最后，将ROI区域图像输入到YOLO_v3深度神经网络进行异物检测并将检测结果进行标记与定位输出。

图1 算法流程图

2 轨行区检测与定位

基于车载摄像机的地铁异物侵限检测需要实时检测前方轨行区内情况，并及时将检测到的异物告知司机。为了保证算法的快速与准确性，需要对轨行区进行快速检测与定位，从而减少其它区域物体的干扰。本文采用canny边缘检测和霍夫直线检测算法来实现轨行区检测。

将canny边缘检测后的ROI进行霍夫直线检测，其检测结果如图2所示。从图中不难看出，霍夫直线检测虽把钢轨检测出来了，但是周围区域多出了10多条直线，特别还包含多条与钢轨垂直的直线。

图2 霍夫直线检测结果

为了避免上述误检，提高检测准确度，本文对霍夫直线检测结果进行了调整，具体描述如下：

（1）计算直线斜率。利用式（1）计算每条直线的斜率。

其中(x1,y1)，(x2,y2)分别为直线检测的两个端点。

（2）利用式（2）的条件来对直线进行左右分类，同时排除水平方向直线。因为在图像中y轴向下为正，所以，若k ＜-th则将其加入右边直线候选集，若k＞th则加入左边直线候选集。其中th为阈值，k为直线斜率。

（3）利用式（3）的条件来排除水平偏移大的直线段，即若直线坐标满足式（6）则移除。其中P(x0,y0)代表直线的一个端点，xl,xr分别表示钢轨标注的x方向坐标，t为阈值。

（4）求取平均坐标，将左右两个直线候选集中直线端点坐标分别求取x方向和y方向的平均值，并根据平均值确定最后的直线坐标。

基于上述四个步骤后，本文th取值0.3，t取值20，得到如图3所示的检测结果。从图中不难看出，消除了所有的干扰直线，只有两条与轨道重叠的直线。在此基础上，根据两条直线的端点坐标，定位轨行区如图4所示。

图3 直线坐标调整后检测结果

图4 轨行区定位

3 YOLO_v3模型

相比于高速铁路，地铁运行速度偏低，但是其对异物检测的实时性还是有很高要求。深度学习算法近些年来在目标检测领域非常突出。YOLO（即You only look once缩写）系列模型（v1～v3）是深度学习领域中用于目标检测的模型，Redmon J[12]等人把物体检测转化为回归问题，用一个卷积神经网络结构就可以从输入图像直接预测物体位置和类别概率。

3.1 网络结构

该算法首先把输入图像划分成S×S的格子，然后对每个格子都预测B个边界框（Bounding Box），每个边界框都包含5个预测值：x,y,w,h和c，其中x,y为边界框的中心坐标，w,h为边界框的宽和高，c为预测物体类别的置信度。YOLO_v3是在v1和v2两个版本基础上进行优化和完善，其网络结构如图5所示，其中，Y1,Y2,Y3为网络预测结果，它们的大小分别是13×13×255，26×26×255和52×52×255。

图5 YOLO_v3网络结构

3.2 输出特征图

在YOLO_v3的设计中对图像中物体采用了k-means聚类算法，每个特征图的每个格子均配置了3个不同的先验框，每个特征图包含检测框位置（4维：中心坐标x和y，检测框的高度h和宽度w），检测置信度（1维），类别（N维：COCO数据集80类，voc20类），其特征图描述如式（4）所示。

YOLO_v3沿用了v2版本中关于先验框的技巧并使用k-means对数据集中的标签框进行聚类，得到类别中心点k个聚类框来作为先验框。在COCO数据集中9个框分别是(10×13)，(16×30)，(33×23)，(30×61)，(62×45)，(59×119)，(116×90)，(156×198)，(373×326)。在先验框和输出特征图的基础上利用式（5）来确定检测框。

图6 YOLO_v3边框预测

3.3 训练策略

不同于其他目标检测系统训练，YOLO_v3的训练样本中包含正样例、负样例和忽略样例3种。正样例即为真实值（ground truth）与预测框的交并比(IoU)最大。正样例产生的置信度损失函数值（loss）、检测框损失函数值（loss）、类别损失函数值（loss）为对应的真实值标签。负样例指与全部真实值（ground truth）的IoU都小于阈值。负样例只有置信度产生loss，置信度标签为0。忽略样例是指除正样例外，与任意一个ground truth的IoU大于阈值的样本。忽略样例不产生任何损失函数值（loss）。

3.4 损失函数

YOLO_v3的损失函数采用误差的平方和整合了预测框定位误差与有无目标的误差以及分类误差。其整体表示如式（6）。

其中 为图像网格化个数，B为先验框数量， 表示：第i个网格的第 j 个先验框是否负责这个物体，如果负责，那么 ，反之 。

表示：第 i 个网格的第 j 个先验框不负责这个物体。置信度参数 表示真实值，其取值是由网格化的先验框有没有负责预测某个对象决定，如果负责则取值为1，反之则为0。

4 实验

4.1 实验设置

本文通过在地铁列车驾驶室挡风玻璃前放置摄像机拍摄列车运行前方视角的方法来采集视频数据，数据来源于某市地铁完整运行线路，包含地面、高架和地下隧道三种场景。视频总时长3个多小时，视频分辨率为1280×720。因地铁正常运营过程中无异物侵限情况，因此，所采集素材用于轨行区检测，轨行区异物检测素材则来源于网络。本实验仿真平台采用配置为Intel i5-8265U CPU，运行内存8GB内存，搭载64位Windows10系统的笔记本电脑，编程环境为python3.8+opencv4.1。

4.2 轨行区检测

根据露天、室内、隧道等场景存在光照、背景环境等差异，本文选择了地面轨道、地面车站、隧道轨道和地下车站四个场景进行检测，其检测结果如图7所示。从图中结果不难发现，本文所提方法能准确检测出两条轨道，而经典霍夫直线检测在相同参数条件下，未经任何处理时，会检测出许多额外的直线段。

图7 与经典霍夫直线检测结果对比

4.3 异物入侵检测

由于在正常的地铁运营线路上没有发现异物入侵的情形，所以本文从网络收集了一批与车载前置摄像头视角相似的轨道异物入侵图片来检测本文所提异物入侵检测方法。其试验参数设置仍和上述一致。为了验证本文方法的有效性，本文选择同样采用深度学习进行轨道异物检测的文献[9]进行对比，其对比结果如表2所示。从实验结果中不难看出本文采用的YOLO_v3网络优于DBN网络。其主要原因是YOLO_v3通过逻辑回归（logistic）来对每个先验框内容进行一个目标性评分（object score）并根据目标性评分结果来选择先验框进行预测，而不是对所有的先验框进行结果预测，同时通过上采样形成13×13，26×26，52×52多尺度检测并利用非极大抑制来优化定位。另外，实验检测准确率不高的原因可能是图片来源网络，不同图片间存在颜色、背景、光照等方面差异。本文算法部分检测结果如图8所示。

表2 算法对比结果

图8 部分检测结果

5 结语

随着科技的发展，城市轨道交通无人驾驶技术已逐渐进入人们视野，但是目前的地铁无人驾驶全都依靠信号系统，无法检测前方轨行区是否有异物进入，所以仍需要司机在驾驶室瞭望前方进路，并没有实现真正意义上无人驾驶。针对地铁运行前方轨行区出现异物侵限的问题，本文提出了一种车载单目摄像机视野环境下前方轨行区异物入侵检测方法。该方法在获取到列车运行前方图像后，首先利用高斯滤波器对图像进行降噪等预处理操作减少噪声干扰提高图像质量，然后利用canny算法进行边缘检测结果的基础上利用霍夫直线检测算法检测出钢轨候选区域，并利用斜率等条件剔除干扰直线，最终确定轨行区并形成ROI区域。最后将ROI区域图像输入到YOLO_v3深度神经网络中来实现轨行区异物入侵检测与定位。由于受限于基于车载前置摄像头视野的地铁轨行区异物入侵的素材非常少，而正常运营的地铁线路上几乎很少发生异物入侵，所以接下来将重点收集前置车载视野下异物入侵轨行区视频素材，并对所提方法进行进一步完善和验证。