地铁列车障碍物视频识别系统设计

王 维 梁汝军 黄 涛

（中车南京浦镇车辆有限公司，210031，南京∥第一作者，高级工程师）

列车运行前方轨道障碍物检测系统是城市轨道交通无人驾驶列车的关键装备之一［1］。上海轨道交通10号线是目前国内唯一一条正在运营中的无人驾驶地铁线路。其列车检测前方轨道障碍物的系统为一个基于机械触发原理的障碍物检测系统，只有在列车高速运行撞到障碍物后，才触发列车车头下方安装的机械行程杆运动，进而触发继电器开关电路，使列车紧急停车。该检测系统存在明显不足：一方面，系统不能对列车前进方向轨道内的障碍物实现提前检测与预警，以确保行车安全；另一方面，通过机械的碰撞实现障碍物的检测不可避免地会对车辆设备造成损伤。本文提出了一种基于视频图像识别技术的障碍物识别系统。该系统安装在无人驾驶列车的前方，设置的双目摄像机实时采集列车前进方向的图像，通过软件智能分析识别列车前方是否存在障碍物以及距离障碍物的距离；并可根据列车离障碍物的距离自动控制列车速度在安全范围内，如果列车与障碍物之间距离过短，系统可以直接触发列车紧急制动。

1 列车障碍物视频识别系统的构成

列车障碍物视频识别系统主要由2台高清摄像机、1个交换机、1台视频处理主机等关键设备组成，如图1所示。

图1 列车障碍物视频识别系统的结构

（1）高清摄像机。2台高清摄像机安装在列车司机室内正上方左右位置，并水平对准列车正前方轨道。高清摄像机主要用于采集列车前方高清图像信息，并通过交换机网络发送给视频处理主机。摄像机主要技术参数为：采用H.264 High Profile编码，逐行扫描图像传感器，输出1080 P@30 FPS实时图像，支持宽动态范围达120 dB，适合逆光环境监控。

（2）网络交换机。交换机用于系统数据的交换，采用工业级二次交换机，具有实时性好、可靠性高的特点。网络交换机主要技术参数为：至少4个快速以太网M12端口，且为IEEE 802.3af兼容的PoE端口；通过EN 50155认证；支持EtherNet/IP和Modbus/Tcp工业以太网协议；支持基于端口的VLAN（虚拟局域网）、IEEE 802.1Q VLAN和GVRP协议；支持输入DC 110 V。

（3）视频处理主机。视频处理主机是系统的关键核心设备，其主要参数如下：英特尔酷睿i7-6700K，8 MB缓存，4.0 GHz，4核8线程，DDR3-1600 8 GB内存，110 V电源。

该系统具有如下特点：摄像机采用低功耗的高清摄像机，支持PoE端口，可降低在车内复杂狭小空间内的布线和查线难度；该系统软件具有自学习模式，可以将线路上一些特定物体加入线路障碍物数据库，减少系统误报故障的概率。目前，该系统在国内轨道交通车辆行业属于首次开发，并已在2017年安装在列车上作了进一步测试。

图2 列车障碍物视频识别系统的检测流程

2 列车障碍物视频识别系统的检测流程

列车障碍物视频识别系统采用双摄像机同时采集列车前方图像数据。由于双摄像机之间的距离固定，从而基于双目定距原理通过算法可实现图像中障碍物的距离测量。该系统根据轨道路径和列车运行的列车安全限界设计参数由近到远绘制列车运行安全界限，在安全界限内的异常物体为障碍物，安全界限之外的物体将忽略。

列车障碍物视频识别系统检测流程如图2所示。系统主要的功能模块包括：

（1）视频采集模块：集成常见摄像头品牌的二次开发包，可以快速获取各种摄像头的视频图像。

（2）图像预处理模块：对采集到的视频图像进行初步处理，将YUV图像转换为RGB图像，并对图像进行边缘检测、平滑、去噪等处理［2］。

（3）双目测距模块：利用车头安装的2台摄像机同时拍摄的左右图像对进行立体匹配，根据立体匹配后的视差图算出障碍物的距离。

（4）轨道检测模块：对经过预处理的图像进行霍夫变换［3］、双目匹配、两轨间熟路判断、边缘检测、曲线拟合与平滑处理后得到两条轨道路径。

（5）列车限界绘制模块：根据两轨之间的像素距离比例由近到远绘制列车的运行限界。

（6）误报特征建立模块：在确定没有障碍物的环境下，将程序识别得到的障碍物认为是轨道上的设备，提取其图像特征存入误报库。

（7）障碍物识别与误报排除模块：由实际情况可知，相邻枕木间的轨道区段基本是一样的，因此提取最近区段的轨道图片，计算其7个图像不变矩作为图像特征，再与下一段轨道图像的不变矩特征进行对比。根据轨道路径由近到远在列车运行限界内取图像块进行特征对比，特征不一致的初步认为是障碍物；将其特征与误报库中特征逐一对比，若与误报库中任一特征匹配，则排除是障碍物的可能，均不匹配则认为是障碍物［4］。

2.1 图像获取

利用摄像头厂家二次开发包连接摄像头，通过其中的视频回调函数在两个线程内同步接收左右摄像头的视频图像（如图3）。

图3 视频识别系统的图像获取实景图

2.2 图像预处理及车辆运行界限提取

图像预处理，就是在图像分析中对输入图像在进行特征抽取前所进行的处理。输入图像由于图像采集环境不同，如光照明暗程度以及采集设备差异等，往往存在噪声、对比度不够等缺点。预处理的主要目的是消除图像中无关的信息，滤除干扰及噪声，恢复有用的真实信息，以增强有关信息的可检测性、最大限度地简化数据，从而提高特征抽取的可靠性。

由于RGB图像数据量较大，处理复杂且速度慢。为此首先将RGB转换为灰度图像，使用中值滤波对灰度图像进行去噪处理，使用Scharr算子进行边缘检测［5］。此时的检测结果会产生较多噪点与空洞，需要用高斯卷积方法对其进行平滑滤波操作。其次，二次缩放增强图像的平滑度和清晰度，再进行腐蚀与膨胀操作消除图像中孤立的噪点与空洞。最后，对图像进行二值化处理，消除多余的不清晰的边缘信息，将包含完整轨道信息的图像送入下一步处理过程。

轨道检测模块对经过处理的图像进行霍夫变换检测直线，对左右视图采用SGBM算法的计算视差进行三维重建［6］，再计算两条轨道的直线距离。摄像机坐标系与世界坐标系之间的转换公式为

式中：

Xc，Yc，Zc——P点在摄像机坐标系下的位置；

Xw，Yw，Zw——P点在世界坐标系下的位置；

R——旋转矩阵；

T——平移矩阵。

R和T可由双目摄像机标定的内外参数得到。根据轨道在图像中的形态特征可知，将最近处的轨道在固定位置的摄像机下出现相对稳定的区域设定为ROI区域，对经过图像预处理后的ROI区域进行直线检测。根据成像原理可知平行直线在图像中必相交，计算出两直线各自斜率与其相交形成的夹角θ（tan θ＜0.1）。依据两直线相交夹角θ与两直线最下端距离确定最近处的轨道直线段后，再沿直线方向进行边缘检测提取轮廓，并拟合为曲线，寻找与直线重叠度最高的曲线，对曲线进行平滑处理后得到左右轨道路径。双目测距模块基于视差原理，即采用三角法测量，由2台摄像机对目标进行拍摄，对所得图像提取特征，进行匹配，得到视差，进而由视差计算目标距离。

列车安全限界绘制模块根据两轨之间的像素距离比例由近到远绘制列车的安全限界曲线。列车进行图像处理和安全限界提取后效果如图4所示。

图4 图像预处理及列车运行限界提取效果实景图

2.3 试验结果

在训练模式下，人工确认无障碍物的轨道环境后，在列车运行条件下启动障碍物识别程序。系统根据轨道路径由近到远在列车安全限界内取图像块进行特征对比和障碍识别；将识别到的障碍物均认定为轨道设备，计算其图像特征，将尚未存在于误报特征库中的图像特征加入误报特征库。误报特征库以文件形式存于硬盘，正常模式下将误报特征库全部读入内存。

在正常模式下，根据轨道路径由近到远在列车安全限界内取图像块进行特征对比，特征不一致的初步认为是障碍物；将其特征与误报库中特征逐一对比，若与误报库中任一特征匹配则排除是障碍物的可能，均不匹配则认为是障碍物。目前该系统已通过实验室功能仿真验证测试，测试效果如图5所示。实验室仿真环境相对比较理想，目前可以实现对在列车前方80～500 m安全限界范围内的障碍物进行识别，在500 m内能够识别出40 cm×40 cm以上大小的障碍物，如石块、行人、车辆等；300 m内能够识别15 cm×15 cm等相对较小的物体，如掉落在轨道上的电气设备等。考虑到轨道车辆下方空间和触发列车制动的响应时间（包括曲线限速），这样的识别能力已足够满足安全要求。

图5 障碍物检测与提取效果实景图

3 结语

通过基于图像的障碍物视频识别技术，实现列车前方障碍物的实时检测，可有效代替司机的瞭望值守功能。该技术比目前上海轨道交通10号线上使用的机械式障碍物检测系统在技术手段上更先进，从而提高了列车运行的安全性。但是目前该障碍物视频识别技术还存在一些不足：如在复杂的光照和雨雪天气下会对系统的检测距离和检测精度产生不良影响。为此，需要在以后的工作中，进一步完善图像处理算法，提高系统对障碍物检测的精度和可靠性。