基于多传感融合技术的城轨列车主动防撞系统研究及应用

任崇会

（南宁轨道交通集团运营有限公司，广西 南宁 530001）

0 引言

现代化的城市轨道交通运输列车高密度、快速的运行，虽然经过严密的监控，但仍然存在非预期的障碍物，对行车安全带来不利影响。如轨道上的障碍物，对行车的安全影响最大，一旦发生障碍物的碰撞，将造成重大列车事故，产生巨大的经济损失。然而，目前有人驾驶对列车运行前方的障碍物、人和同股道列车的检查依靠驾驶司机的个人判断，在发现紧急状况就采取紧急制动，一旦驾驶人员注意力不集中或者未及时发现障碍物，有可能紧急制动不及时而造成事故。因此，研制列车主动防撞系统对列车运行前方限界内的障碍物、行人和列车等进行防撞检测是保证行车安全的必备条件[1]。针对列车主动防撞系统的研究，目前国外已针对单一传感设备的缺陷，采用多传感信息融合技术作为主要技术手段，但仍无成熟产品。国内在固定测试设备上已经有比较成熟的方案，但在车内主动、实时监测前方行车路况的设备也没有形成成熟可靠产品。鉴于此，基于多传感融合技术设计了一套列车主动防撞系统，并在列车上进行装车试用。

1 系统原理及组成

设计的列车主动防撞系统由智能检测主机和组合传感器构成，其中组合传感器包括：视觉摄像机、激光雷达、毫米波雷达。系统通过视觉摄像机、激光雷达、毫米波雷达采集列车前方路况数据信息，然后通过以太网将数据信息发送给智能检测主机进行融合处理，数据融合的结果和决策信息，通过I/O接口输出报警信息至TCMS（Train Control and Management System，列车控制系统），并在司机室显示器上向司机显示报警提示信息。系统预留制动干接点硬线接口，用于未来列车控制需求。系统拓扑结构如图1所示。

图1 系统拓扑结构图

1.1 智能检测主机

智能检测主机是整个系统的核心组件，负责完成视觉摄像机、激光雷达及毫米波雷达等传感器的数据处理计算和多传感融合与决策，在检测到存在碰撞风险时输出报警信息，或通过干接点接入紧急制动回路实现控车功能（预留），并可实现相关故障信息记录和数据回放。

主动防撞系统的视觉感知处理是智能检测主机的核心功能之一，该处理通过实现多个深度神经网络，采用深度学习的方法来对不同摄像机的目标进行探测，这需要智能检测主机提供强大的图像处理能力，因此，在设计智能检测主机时，采用针对图像智能处理能力的特别设计，为图像深度学习算法提供强大的算力资源支撑。本研究的主动防撞系统智能检测主机采用高算力嵌入式GPU（Graphic Processing Unit，图形处理器）NIVDIA Jetson TX2作为主要的图像处理器，该处理器可以在功耗仅为15 W的情况下为系统提供1.26Tops的算力。

对于远距离对象的状态感知，还需要对激光雷达和毫米波雷达数据融合处理，从而准确地判断障碍物的侵限和碰撞风险。由于激光雷达的点云数据量大，在进行聚类分析时，需要较高的计算能力，以保证系统的实时性，因此在选择CPU处理器时，需要在满足功耗要求的情况下，选择至少1.8 GHz以上主频的多核嵌入式CPU处理器，当前应用较为成熟的是NXP LS1046处理器，该处理器可以在完成激光雷达点云处理的基础上，为整个系统的主控调度和报警策略实施提供充足的计算性能。

在高算力嵌入式板卡作为图像和数据融合处理的算力支撑下，增加IO接口板卡、交换板、传感器供电板、电源板等功能单元形成智能检测主机。为适合城轨列车的安装，同时兼顾散热和板位，智能检测主机采用标准3U 84R机箱，通过背部风扇强迫通风散热的情况下，可以保证在高温下功能正常。

1.2 组合传感器

视觉摄像机选择：视觉摄像机是障碍物检测系统中最为成熟的传感器，在光线环境较好的情况下，可以达到很高的检测和识别准确率[2]。但目前市场上针对轨道交通车载环境设计的高性能摄像机不多，尤其是在低照度、宽动态等技术指标上，较难达到理想的效果。为覆盖检测范围需求，主动防撞系统采用定制摄像机模组，模组内包括：

长焦摄像头（镜头50 mm）：负责150 m～300 m范围内目标识别。

短焦摄像头（镜头16 mm）：负责150 m范围内目标识别。

毫米波雷达选择：毫米波雷达是目前在汽车和航空业常用的传感器，用于检测目标对象的距离、速度和方位。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比，毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光、电视等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候全天时工作的特点。考虑毫米波雷达作为本方案远距离障碍物检测（测距、测速、侧方位）的主要手段，且目前汽车和航空业常规的毫米波雷达均无法满足系统检测距离和方位分辨率的需求，主动防撞系统采用定制芯片级联的77GHz的毫米波雷达。

激光雷达选择：激光雷达是以发射激光束来探测目标的位置、速度等特征量的雷达系统，它在汽车辅助驾驶系统和自动驾驶系统中被广泛应用。激光雷达相比毫米波雷达而言，可以获取更丰富的路况信息，相比视觉而言，可全天时工作，可以作为中近距离障碍物探测的主要手段之一。为保证激光雷达可覆盖行车前200 m，最小30 cm3障碍物的探测需求，需要选用俯仰角度更广、线数更多、扫描频率更快的激光雷达产品。最终激光雷达的选择主要从感知范围、使用寿命和产品价格三个维度进行考虑，选用128线以上固态激光雷达。

2 关键技术

2.1 视觉检测与识别技术

基于视觉的障碍物识别采用基于像素级的语义分割算法，可以提供20多种目标的识别，有效工作距离在行车前方300 m以内。和主流的多目标像素级分割深度学习算法相比，本研究使用高效卷积神经网络和创新模型压缩算法，可以在不损失检测精度的前提下将运算效率提升两个数量级以上。相比于自动驾驶行业内动辄数百MB甚至GB级的深度神经网络模型，剪裁后的网络模型小于10MB，可以确保功耗低，运算速度快，能够在障碍物检测主机运算平台上实现。

该深度神经网络可以处理复杂光线条件以及遮挡的物体，进行准确识别。深度学习模块针对每个像像头输入的信息都配置一个专属的神经网络，用于进行不同目标的识别。该深度神经网络进行像素级语义分割，将图像中所有像素归类，识别出与列车行驶相关的目标，比如行人、列车、道岔、脱轨器等。另外，基于传统计算机视觉，运行的轨道也可以被识别出，将其与深度学习得出的轨道信息结合，从而可以根据准确的轨道信息和障碍物的相对位置对可能发生的碰撞进行检测。视觉目标检测与识别输出的结果包括：①目标的类型；②目标的大小；③目标所在位置；④目标距离摄像机的距离。

2.2 毫米波雷达检测与跟踪技术

本研究的大阵列天线毫米波雷达采用近远程探测的工作模式，雷达天线主阵面分为远程探测天线和近程探测天线[3]。远程探测覆盖200 M以上区域（200 M～800 M/1KM），近程探测天线涵盖200 M以内区域（10M/15M～200 M）。

大阵列天线毫米波雷达将传统的线性调频连续波技术、DBF技术及微多普勒目标识别技术相结合，获取列车行进方向的前方静态和动态信息。与传统的避撞雷达相比，它融合了近/远双程动静目标数据，其获取到的环境信息更为丰富，有效提高了对行驶环境的了解和掌握。主要侦察监视对象有：（1）前方行人和动物；（2）前方列车和车辆；（3）前方阻碍列车行进的固定障碍物。

本研究采用一种多假设动静目标跟踪算法，并结合利用α-β衰减记忆滤波器对动静目标进行跟踪，算法兼顾跟踪精度和滤波稳定性。通过利用衰减记忆滤波器来维持滤波器的稳定性，解决避撞雷达目标跟踪的过程中，运动状态改变容易导致滤波发散的问题，如图2所示。

图2 目标跟踪算法

雷达目标检测与跟踪的输出结果包括：（1）航迹数，雷达在当前周期检测到的航迹个数N；（2）航迹编号，每个被检测到的航迹的编号Num；（3）目标距雷达中心的纵向距离X；（4）目标距雷达中心的横向距离Y；（5）目标高度H；（6）目标速度V；（7）目标强度S；（8）目标威胁等级M。

2.3 激光雷达检测与识别技术

激光雷达主要负责列车近程150 m范围内的精确测量，同时弥补视觉传感器在恶劣天候条件下不能有效工作的问题。激光雷达目标识别问题主要针对的对象是目标的三维离散点云数据，激光扫描设备采集的每一圈数据中，包含有地面、行人动物、列车、建筑物、树木和其他物体返回的激光点云数据。点云数据量每秒钟达到24万点以上，直接对初始数据进行处理，其处理困难且计算量较大，所以将其分为两步进行：

（1）对点云进行粗分类过滤无用的点，减少实际需要处理的目标点数量，并提取目标的样本数据；

（2）使用目标识别算法对样本进行学习，训练分类，最终实现激光点云数据中的目标识别。如图3所示。

图3 激光点云处理流程

其中，激光点云数据的粗分类操作主要包含：激光点云数据的噪点过滤处理、分割处理、聚类处理。点云分割操作时依据目标点云数据在高度上的分布特点，将初始目标点云划分为目标和非目标点云；点云聚类操作是依据目标对象激光点的密集程度，使用基于距离的聚类方法，提取出目标候选区域，为特征提取和分类器训练提供样本。

激光点云目标识别过程，主要操作包括点云目标和特征提取、分类器训练以及使用分类器识别目标。在特征提取和分类器训练方面，依据激光点云特点，总结目标点云的特征集，在算法框架下构建弱分类器，对聚类操作获得的样本进行学习，获得目标对象的特征向量，构建满足要求的分类器。分类器对目标对象进行识别，输出分类结果。

2.4 视频、毫米波数据、激光点云融合技术

多传感器融合单元的算法结构如图4所示。

图4 多传感融合算法处理流程

首先，需要对输入的信号进行滤波处理，其次，对各传感器探测出的不同运动目标分别进行滤波跟踪。不同传感器采集的数据基于其不同的时间和空间坐标，若将所有传感器的信息进行综合考虑，必然要进行数据同步处理[4]。

实现同步之后，不同传感器的信息需要进行聚类分析，将属于同一物体的探测点归类，之后便可以基于一些统计学的手段，根据各自传感器的特性，对数据进行融合处理。融合后的数据包含的信息见表1。

表1 融合数据结构

3 装车应用

3.1 装车方案

智能检测主机机箱安装在靠近司机室最近的客室右侧第一个座椅下方（左侧座椅下方为灭火器），采用带散热孔的外壳将主机托起包裹隐藏，为不影响乘客，安装的位置尽量靠近车体侧壁，前端与座椅投影线保持相距100 mm以上，避免对乘客的影响。制作与封闭座椅下方的裙板尺寸一致的裙板进行替换，容纳主机箱的情况下，确保美观。如图5所示。

图5 智能检测主机安装效果

司机台传感器采用一体化支架进行安装，集成了摄像机模组、激光雷达2种传感器。在进行司机台传感器设备安装前，2种传感器预先完成与支架的组装，因此，只需要考虑支架整体与司机台的连接。一体化支架安装在司机台与挡风玻璃直接的凹槽内。如图6所示。

图6 传感器模组安装效果

定制版高精度毫米波雷达安装在车体外，通过高强度支架固定在车钩上方，并用钢丝绳进行绑扎防脱（图7）。毫米波雷达临时试验安装是为了测试在实际运行过程中，车体外安装形式的毫米波雷达探测精度和极限探测距离，为将来批量装车时的毫米波雷达安装方式提供指导依据，同时在无遮挡条件下，评估当前深度定制的高精度毫米波雷达的性能。

图7 毫米波雷达安装效果

3.2 试验效果

3.2.1 目标检测

测试指标定义：目标检测问题中的模型的分类和定位都需要进行评估，采用的指标目标检出的准确率P（对应误检率）与召回率R（对应漏检率），同时采用F（其中×100%）作为稳定识别效果评估指标。项点检出值与真实值（即人工标注结果）的IOU大于0.5即视为正确检出（目标检测置信度阈值为0.4）。IOU即交并比（Intersection over Union）是一种衡量目标检测定位准确度的一个标准。IOU表示了检测的边界框与真实边界框的交叠率或者说重叠度，也就是它们的交集与并集的比值。相关度越高IOU越大，IOU越大说明检测的目标框越准确，IOU的取值范围为[0，1]，最理想的情况是完全重叠，即比值为1。判断目标检测正确需要两个条件，即类别正确（大于目标检测置信度阈值）且交并比大于设定阈值，将IOU阈值设置为0.5，不同类型测试结果见表2、表3。

表2 目标检测项点测试结果

表3 准确率对标

3.2.2 语义分割

语义分割模型同样采用IOU作为评价指标，与标注数据进行IOU计算，计算结果见表4，其中，全图区域是指在预测结果的1920*1080整个区域上计算IOU，当前轨道区域是指仅在当前轨道区域范围内计算IOU。当前轨道区域是以样本标签中当前轨道的两根铁轨为基准，往两边各延申5个像素点而确定。

表4 语义分割模型测试结果

由结果可知，当前轨道区域内的背景和行驶区域两类IOU与全图范围内相比相差不大，但铁轨这类的IOU比全图范围提升较多，说明模型对当前轨道的铁轨检测效果比旁边轨道更好。如图8所示。

图8 障碍物检测试验效果

3.3 结果分析

从研究获得的成果看，未来城轨主动防撞技术的发展，在传感器性能、算法成熟度、控车的可行性等方面，还有较大的提升空间。

传感器性能方面，主动防撞系统所用的传感器主要参考了汽车自动驾驶传感器的思路进行选型，但是在探测距离、环境适应性方面提出了更高的要求。由于隧道环境中光线条件较差，人眼的目视距离也难以超过200 m，选择适应低照度、宽动态性能的摄像机是最大的困难，随着图像信号处理技术的发展和新的传感器出现，该问题会得到解决。激光雷达属于昂贵的传感器件，且目前半固体激光雷达的实际寿命普遍不高，找到低成本高性能的解决方案十分困难，随着汽车自动驾驶的发展，固态激光雷达技术逐渐成熟，有望得到改善。毫米波雷达基本上被证明不适合在地铁隧道场景中进行障碍物检测，只能用于测速，可以考虑只作为辅助器件纳入系统。

算法成熟度方面，机器视觉算法主要基于人工神经网络和机器学习，带来的问题是极大的训练样本的需求和不确定性的存在。虽然地铁线路场景固定，但是障碍物形式仍然是多种多样的，不同的光照、姿态、表面反射，都会带来不一样的效果，无法通过样本实现全面的覆盖，再加上隧道中低照度条件下的图像质量较差，对于远距离的小障碍物检测就显得困难，视觉模型的过度训练和过度泛化之间必须有一个折中，在保证准确率和召回率上无法同时达到一个很高的标准。激光雷达算法目前较为成熟固定，实现的差异主要在于聚类参数的选择和调整，但对于轨道限界的识别，还是无法做到期望的距离，这与激光雷达光束与轨道延伸方向夹角过小有关，在超过100 m的距离，轨道面返回的信息几乎无法让算法可以识别到限界的边界。未来的方向主要是通过预建图来达到限界的精准判断。

控车的可行性方面，当前国内主要的主动防撞系统开发商均难以在短期内实现系统接入紧急制动的能力，系统的高误报率是无法推广应用的主要障碍。AI算法的应用和环境条件对感知系统的影响，本身就带来了极大的不确定性，这与安全等级的认证原则是相冲突的。在短期内，主动防撞系统将是作为辅助驾驶设备进行应用，为司机提供预警信息，降低工作强度，提高瞭望信心。

4 结语

以城轨主动防撞系统的研究和应用实践对城市轨道交通场景下的机器视觉、激光雷达、毫米波雷达和多传感融合等技进行了深入研究，开发了机器视觉模型、激光雷达点云算法、毫米波雷达和多传感融合算法，通过不断迭代，持续提升算法的可靠性和识别率，达到系统对300 m列车、150 m行人、100 m小障碍物识别的设计指标。同时，探索了77 GHz毫米波雷达在正线隧道中的障碍物探测能力，发现在地铁正线隧道场景下，毫米波雷达优势不明显，存在复杂地多径效应。研究结果表明，城轨主动防撞技术宜以机器视觉和激光雷达技术为主要感知设备，其他多种传感手段为辅助，来实现列车运行限界和障碍物检测地目的。对于接入制动系统控车的目标，无论是传感器技术还是算法上都还有较大的提升空间。