智轨电车多源环境感知系统

胡云卿，冯江华，龙 腾，潘文波，袁希文，林 军，黄瑞鹏，侯志超

（中车株洲电力机车研究所有限公司，湖南 株洲 412001）

0 引言

环境感知系统是实现智轨电车智能化运行的至关重要一环，其通过传感器获取行驶的道路信息、车辆前方以及周围的障碍物信息、交通标识等环境信息，并将之提供给车辆智能驾驶系统进行相应的路径规划、驾驶决策以及运行控制。本文根据智轨电车的结构特性以及运行环境，构建了一套多源环境感知系统，其采用激光雷达、毫米波雷达以及摄像头作为主要传感器，可提高智轨电车运行安全系数。

相比于毫米波雷达和超声波雷达，激光雷达因具有更精确的时间和空间分辨率、超远的探测距离等特点而成为当前先进的探测传感器[1-6]。在智轨电车的环境感知系统中，激光雷达占有主导作用，其能准确检测出前方障碍物信息，完成对车辆、行人等动态障碍物的识别[7-8]、跟踪[9-11]及避撞[12-14]。考虑到目前激光雷达价格高，且智轨电车车身长、感知车辆周界所需的雷达数量大，因此采用多个毫米波雷达作为补充来感知车辆侧向和前向的障碍物信息。毫米波雷达相比于红外或者视觉检测，具有测速精度高、成本低、不受外界环境干扰等优点，目前已被广泛应用于汽车智能驾驶领域。

雷达检测虽然能准确获得车辆周围的障碍物信息，但输出的点云信息不便于直接观察，因此在环境感知系统中还增加了视觉感知系统，以便驾驶员或调度中心直接查看车辆周界环境。

智轨电车是多编组铰接式列车，需要采用多个摄像头图像进行拼接来获取全方位的智轨电车周围信息，即构成360度环视系统。智轨电车采用的360度环视系统需要获取车辆的铰接角信息，并实时调整图像拼接参数，其研发难度远高于目前业内主流的、针对单一车厢环视系统的[15-17]。

本文介绍了智轨电车多源环境感知系统组成，详细分析了其中激光雷达感知子系统、毫米波雷达感知子系统以及360度环视子系统的核心技术，并通过实车试验对其多源环境感知效果进行验证。

1 多源环境感知系统组成

智轨电车的环境感知系统由激光雷达感知子系统、毫米波雷达感知子系统、360度环视子系统组成，为智轨电车的主动防护以及智能驾驶提供有效信息，其结构如图1所示。

图1 智轨电车环境感知系统组成Fig. 1 Structure of the environment perception system for autonomous-rail rapid tram

1.1 激光雷达感知子系统

激光雷达感知子系统中包括前后各2个16线激光雷达和1个4线激光雷达。16线激光雷达被安装在车辆侧前方，距离地面高度900~1 000 mm，并被嵌入车体一部分，露出部分角度大于184°；4线激光雷达被安装在车头中心线距离地面500~550 mm高度的位置，如图2所示。

图2 智轨电车激光雷达安装示意图Fig. 2 Schematic diagram for installation of LiDAR on autonomous-rail rapid tram

智轨电车通过前后共6个激光雷达进行检测，其覆盖范围可达到车辆前后方0.2~100 m范围，测距精度达到±0.3 cm，垂直视场角为±15°，更新频率为10 Hz。

在激光雷达感知子系统中，智能驾驶运算平台也是其中的关键部分。激光雷达点云稠密且为非结构化数据，处理过程运算量大。智轨电车定制化的智能驾驶运算平台采用了集成化和小型化的域控制器，其整合了数字信号处理芯片、图像处理芯片、FPGA芯片、微控制芯片，以满足数据处理要求。

1.2 毫米波雷达感知子系统

毫米波雷达感知子系统包含侧向毫米波雷达和前向毫米波雷达两类。单个侧向毫米波雷达选用24 GHz毫米波雷达，能实现0.2~30 m范围的测距，更新频率大于17 Hz；单个前向毫米波雷达选用77 GHz毫米波雷达，能实现0.2~200 m范围的测距，更新频率大于17 Hz。在智轨电车的两侧安装了18颗侧向毫米波雷达，而前向毫米波雷达被安装在车头正前方，如图3所示。

图3 智轨电车毫米波雷达安装示意Fig. 3 Schematic diagram for installation of millimeter wave radar on autonomous-rail rapid tram

1.3 360度环视子系统

360度环视子系统包括鱼眼摄像头、控制器以及铰接盘角度传感器。8个安装在车厢顶部的鱼眼摄像头用于抓取车身周围图像；主控制器被安装在车厢内部；铰接盘角度传感器被安装在铰接盘上，用于测量两车厢的相对角度，具体安装位置如图4所示。

图4 智轨电车摄像头安装示意图Fig. 4 Schematic diagram for installation of camera on autonomous-rail rapid tram

360度环视子系统采用无缝拼接技术实现全景环视，能监测到车辆前后各4 m、左右各3.5 m范围的景观；前后盲区范围控制在距保险杠30 cm以内，左右侧盲区控制在距车身20~50 cm范围内，接缝处可以监测到20 cm×20 cm×20 cm的障碍物边缘；支持自动标定和手动标定功能，并支持上位机配置、上位机刷写等网络功能。

需要强调的是，以上3种环境感知方式都有其固有的缺点。激光雷达价格高，使用寿命短，受灰尘雨雾影响大；毫米波雷达虚警目标多，分辨率不高，测高能力弱；摄像头受光照影响大，无法准确获得目标深度信息。为了弥补单一感知方式的缺陷，通常同时采用多种传感器进行感知（即称“多源感知”），以消除信息的不确定性、提高检测的准确性。

2 激光雷达感知算法

激光雷达感知子系统实现对车辆行驶区域内障碍物的检测及报警，其采用多计算模块融合协同架构，核心技术主要包括结构化点云地图构建、点云匹配、障碍物检测和运动状态估计，相互关系如图5所示。

图5 激光雷达感知子系统组成Fig. 5 Structure of LiDAR sensing subsystem

障碍物检测是通过对实时获取的点云数据进行处理，检测出其中包含的障碍物信息，其步骤包括：首先对点云数据进行预处理，去除其中的噪声；然后通过点云聚类得到候选目标，确定潜在障碍物并对目标进行跟踪，确定其运动状态（位置、速度和加速度等）并对障碍物信息进行发布。

2.1 点云分割算法

在激光雷达感知中，只关心一定扫描范围内的地面以外障碍物信息，所以需要对场景中的地面进行分割提取。本文基于预处理后的点云，采用基于射线的地面分割算法对地面点云进行分割，获取感兴趣区域点云，再进行进一步处理。

基于射线的地面分割算法，以射线的形式来组织点云，将点云的三维空间降到平面，计算每一个点到智轨电车正方向（x轴）的平面夹角, 对车身360°范围以激光雷达的角度分辨率进行微分，每一份的角度为激光雷达的水平角分辨率，同一夹角上的n线激光雷达由n束射线组成。图6所示为将三维点云投影到二维平面并进行角度划分的示意。将每个射线中的点按照距离的远近进行排序，通过判断射线中前后两点的坡度是否大于事先设定的坡度阈值，从而判断点是否为地面点。

图6 激光线束等间隔划分示意Fig. 6 Schematic diagram of equal interval division of laser harness

2.2 点云聚类

由于激光雷达点云密度大、分辨率高，因此同一个障碍物可能由许多点组成。为了实现对障碍物的准确检测和跟踪，本文采用基于欧几里德的聚类算法对目标点云进行聚类，得到障碍物目标的中心位置以及尺寸信息。

欧几里德聚类算法中使用的基本数据结构是KD Tree（k-维树），在本文中仅使用了一个二维树，将点云压缩成了2维——即将所有点的z值（高度）设为0。这样处理，一方面可忽略点云簇在z方向的搜索顺序（两个物体在z方向叠在一起将其视为一个障碍物），另一方面可加快聚类速度以满足检测的实时性需求。使用二维树对平面上的点进行划分的原理如图7所示。

图7 二维KD树Fig. 7 Two-dimensional KD tree

采用欧几里德聚类法，首先创建一个二维树用来描述输入点云数据集P；接着创建一个空的点云簇列表C，以及需要被检测的点队列Q；最后对P中的每一个点pi， 执行以下操作：

（1）将点pi加入到当前的队列Q中。

（2）对每一个属于Q中的点pi在半径r

（3）当Q中的所有点都被处理过后，添加Q到点云簇列表C，并重置Q为空列表；当所有点pi∈P都已处理完毕并且pi现在是点云簇列表C的一部分时，算法终止。

3 毫米波雷达感知算法

毫米波雷达感知子系统将检测数据输入给障碍物检测模块，通过有效目标检测、目标关联和目标跟踪算法，得到准确的障碍物信息，最终将障碍物检测结果通过障碍物预警模块以相应报警信息形式输出，其信息处理结构如图8所示。

图8 毫米波雷达感知子系统组成Fig. 8 Structure of millimeter wave radar sensing subsystem

3.1 有效目标检测算法

由于雷达测量特性以及复杂环境的不确定性，在传感器返回的目标信息中，会存在较多的空目标、无效目标以及目标分裂的情况，这些信息将会导致系统误判，产生错误警报，因此必须先进行有效目标检测。

设毫米波雷达获取的目标为z=(α,r,s)，其中α为目标与雷达坐标系的水平角，r为目标与雷达的距离，s为目标与雷达之间的相对速度，则每一帧毫米波雷达检测结果可表示为Z=(z1,z2,z3,…,zn)T。

由于大物体存在目标分裂情况，需要对目标进行聚类。针对毫米波雷达的特性，本文提出了一种基于距离的聚类方法。定义目标zi与zj的距离为

根据智轨电车不同的运行场景以及所处固定线路的位置，实时调整对应的聚类阈值，再根据阈值来判断相邻的两个目标散射点是否为同一个物体。

3.2 障碍物关联和跟踪算法

由于前后两帧所得到的障碍物数量不一致，且目标ID值在前后帧中均无法一一对应，因此需要对障碍物的目标数据进行关联。本文采用了一种基于改进的最近邻算法进行数据关联，关联过程如图9所示。

图9 数据关联过程Fig. 9 Data association process

数据关联过程主要包括门限过滤、关联矩阵计算以及通过关联准则确定关联对。

在目标跟踪过程中，首先根据数据关联结果建立航迹队列，再根据队列目标中检测成功的总次数来判断障碍物是否确定出现和消失。目标跟踪主要步骤包括航迹头建立、航迹起始、航迹确认、航迹保持、航迹撤销，整个过程称为航迹管理。每条航迹的第一个点即称作航迹头。

对匀速直线运动的目标，利用同一目标初始的两个相邻点迹的坐标数据，推算出第三个扫描周期该目标的预测或外推位置，对可能的一条航迹进行航迹初始化，称作航迹起始。

以预测值为中心设置一个关联门，若在关联门内，至少有一个来自第三次或者第五次扫描周期的观测数据，初始航迹就可以作为一条新航迹并加以保存，称其为新航迹确认。

航迹保持是在航迹起始之后，在存在真实目标的情况下，按照给定的规则使航迹得到延续，保持对目标的连续跟踪。当航迹不满足准则时，就将其从航迹记录中撤销。

4 360度环视图像拼接算法

智轨电车由3节长车厢组成，其中每一个车厢均由多个摄像头采集图像，因此，在进行多车厢全景图像拼接前，需要完成单个车厢全景图像拼接；并在此基础上进一步通过图形处理器（graphic processing unit, GPU）的运算最终得到智轨电车完整的周界全景图像。

4.1 单车厢全景图像拼接算法

单车厢全景图像拼接主要包含4个步骤，如图10所示，分别为图像采集、畸变图像矫正、透视变换以及全景图像拼接，最终得到单车厢的鸟瞰图。图像拼接过程为：提取同一场景中的图像特征，再进行特征匹配；完成相邻摄像头图像的拼接。

图10 单车厢全景图像生成流程Fig. 10 Flow chart of around view for single carriage

在智轨电车的单车厢全景图像拼接中，采用前、后、左、右4个摄像头的图像进行拼接，拼接缝的去除采用加权差值融合算法进行计算，最终得到的单车厢全景图像的拼接效果如图11所示。

图11 单车厢全景图像拼接效果Fig. 11 Mosaic effect of around view for single carriage

4.2 多车厢全景图像拼接算法

智轨电车的车厢之间通过铰接盘进行连接，铰接点为两车厢的重合点，以此为基准建立多车厢图像的拼接模型，如图12所示。

图12 三节车厢图像拼接模型示意Fig. 12 Three-car compartment image mosaic model

本文将中间车厢的全景图形置于拼接的中心，设M1,M2,M3,M4分别为中间车厢全景图形的4个顶点，JMF,JMR为前后两车厢的铰接点，O为中间车厢全景图形的中心，U1,V1为单车厢全景图形拼接尺寸。在O处建立平面直角坐标系，则M1,M2,M3,M4的坐标可表示为

进一步可得到JMF,JMR的坐标为

式中：m——铰接点距车厢的距离；LF——前后摄像头向前方视野距离；LL——车辆长度。

由于前车厢的铰接点JFM与中间车厢的铰接点JMF为同一点，后车厢的铰接点JRM和中间车厢的铰接点JMR为同一点，根据此几何关系，可求得两个铰接点在整个全景图像中的坐标。

同理可得拼接后的360°全景图像各个顶点的坐标：

式中：T——不同车厢拼接图像中同一铰接点的坐标偏移量，

5 实车应用效果与分析

将激光雷达、毫米波雷达以及鱼眼摄像头安装到智轨电车对应位置。为保证测试安全，由驾驶员驾驶智轨电车在株洲市区公路上进行测试。采用激光雷达感知算法、毫米波雷达感知算法以及360度环视图像拼接算法进行数据处理，并对检测结果进行评价。

5.1 激光雷达感知子系统应用效果

5.1.1 激光雷达地面过滤实验

对每一帧中的点云遍历使用基于射线的地面过滤算法，其结果如图13所示。图13（a）为未经过地面滤除的多个激光雷达融合后的点云效果，从点云中明显可以看出呈圆形状的地面点云和智轨电车行驶环境中的树木、车辆以及公路以外的护坡等。为了消除地面点云的干扰，采用第2节所述激光雷达感知算法，经过地面过滤后的点云如图13（b）所示，地面信息明显减少，可以有效提高后续障碍物检测的精度。

图13 地面点云过滤计算结果Fig. 13 Results of ground point cloud fi ltering algorithm

5.1.2 激光雷达点云聚类实验

为了验证点云聚类算法的有效性，本文在智轨电车运行环境中进行实验，场景中包含有不同规格、不同大小的障碍物。将经过地面过滤的点云再进一步处理，提取路沿等边界信息，获取点云的感兴趣区域，则可聚焦智轨电车行驶道路上的点云。如图14所示，通过本文的点云聚类算法，对不同尺寸和不同距离的障碍物都能有效地识别，将同一个障碍物用立方体表示，根据立方体中点云的分布情况可得到对应障碍物的中心位置和尺寸信息。

图14 聚类检测结果Fig. 14 Cluster test results

5.1.3 激光雷达障碍物检测实验

综合激光雷达感知算法进行整体实验，基于多个激光雷达融合后的原始点云，先采用地面滤除算法滤除地面并提取感兴趣区域，再经过点云聚类算法和目标跟踪算法最终得到智轨电车前方的障碍物信息。如图15所示，尽管场景中有多个障碍物变换方向及位姿，本文所采用的算法依然能较好地取得检测结果，图中在白色立方体上方分别标注有当前障碍物中心位置距离智轨电车正前方的距离以及当前障碍物的ID值。除此两个参数外，通过激光雷达障碍物检测算法还可得到障碍物的尺寸及速度等状态信息。在实际测试过程中，障碍物位置检测精度约0.1 m，在相对速度120 km/h的情况下也能准确判断车辆前方障碍物。

图15 障碍物检测结果Fig . 15 Obstacle detection results

5.2 毫米波雷达感知子系统应用效果

如图16所示，在激光雷达的点云中标注有毫米波雷达的检测结果，可以看出，毫米波雷达能够有效地检测出路边障碍物以及智轨电车前方运行的车辆。毫米波雷达具备精准的距离和速度分辨率，在实车测试过程中，毫米波雷达感知子系统最小角分辨率可达到3°，测距精度可达到0.1 m，测速精度可达0.3 km/h，即使两目标距离边界最近距离为0.2 m时，也能通过速度检测进行有效分离。图中每个障碍物标注有ID值以及障碍物的三维坐标，并且可准确得到每个障碍物的相对速度及散射强度信息。

图16 毫米波雷达检测结果Fig. 16 Detection results of millimeter wave radar

5.3 360度环视子系统应用效果

360度环视子系统通过图像拼接方法可得到如图17所示全景图像拼接效果。可以看出，所研究的多编组车辆360度全景环视子系统满足了清晰显示车体四周环境和消除盲区的功能要求，且画面显示流畅，能适应不同光照条件，为驾驶员观察四周提供有力依据。通过实际测量，360度环视子系统能够监测到车辆前后各4 m、左右各3.5 m范围的景观， 且四周盲区均在20 cm以内。

图17 直道和弯道情况下全景图像拼接效果Fig. 17 Panoramic mosaic image effect in straight and curve

6 结语

智轨电车多源环境感知系统通过激光雷达感知子系统对智轨电车运行前方的障碍物进行识别，其在复杂场景验证中能有效识别不同尺寸的障碍物并对其进行持续跟踪；通过前侧向毫米波雷达感知子系统对智轨电车运行前方以及两侧物进行检测，实车测试表明，其前侧向毫米波雷达子系统能够准确感知障碍物的位置及速度信息；通过360度环视子系统得到智轨电车周围环视图像信息，实车测试中无论在直道或者弯道情况下，全景图像均能为驾驶员提供准确信息。通过这3种不同感知系统的相互配合，为智轨电车主动安全提供了有效保障，提高了智轨电车安全运行系数。在此感知系统的基础上，还可结合车路协同技术以及高精度地图，对智轨电车运行环境以及横纵向定位开展更深层次的研究。