融合地图信息的交通灯路口自动驾驶启停策略

李智 覃小艺 闵欢 张剑锋 王玉龙

摘 要：为满足无人驾驶技术中路口启停的需求，本文提出了融合地图信息的交通灯路口车辆启停策略。首先，本文对深度学习模型YOLOv3进行了压缩、裁剪和优化，用于快速识别交通灯颜色状态和箭头信息。其次获取地图给出的当前路口信息，包含前方路口是否可以调头、左转、直行、右转以及交通信号灯的数量和每个信号灯对应的功能。然后将交通灯检测结果与当前路口信息进行匹配，并将检测结果发送到控制系统，最终控制系统根据导航信息判断是否启停。本文提出的策略保证了交通灯检测准确率，自动驾驶启停策略不限于固定单一场景，通用性强。

关键词：交通灯检测;深度学习;地图信息;启停策略

中图分类号：U463.3      文献标识码：A      文章编号：1005-2550（2022）01-0066-06

Start-Stop Strategy For Autonomous Driving Vehicle At Traffic Lights Intersection Based On Map Information

LI Zhi1， QIN Xiao-yi1， MIN Huan1， ZHANG Jian-feng1， WANG Yu-long1，2

（1. Auto Engineering Research Institute， Guangzhou Automobile Group， Guangzhou 510641， China;2. State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body， Changsha 410082， China）

Abstract： This paper proposes a start-stop strategy for autonomous driving vehicle at traffic lights intersection based on map information to meet the requirement of autonomous driving technology. Firstly， the deep learning model of YOLOv3 is compressed and optimized to quickly identify the color status and arrow information of the traffic lights. Secondly， the current intersection information given by the map is obtained， including whether the intersection ahead can make a U-turn， left turn， straight going and right turn， as well as the number of traffic lights and the corresponding direction of each light. Thirdly the traffic lights detection results are matched with the current intersection information， and the matching results are sent to the control system. Finally， the control system determines whether to start or stop according to the navigation information. The strategy proposed in this paper ensures the accuracy of traffic lights detection， and is not limited to the fixed scene.

Key Words： traffic Lights Detection;Deep Learning;Map Information;Start-Stop Strategy

1    引言

交通灯路口自动启停是L4自动驾驶过程中常见的场景，最理想的方案是利用车用无线通信技术（vehicle to everything， V2X）接收交通灯发出的准确信息，以此来判断前方路口是停车等待还是正常通行。但V2X技术依赖于城市基础建设，距离全社会普及还需较长的时间。因此，目前的技术方案是利用目标检测算法检测前方交通信号灯的状态，再通过路口启停算法来决策是否启停。

驾驶员驾驶时，会通过交通灯信号状态以及当前路口的情况判断是否启停，自动驾驶技术的本质即模仿驾驶员的行为规则，因此交通信号灯能否被准确识别就显得尤为重要。传统的红绿灯识别方法通常是将图片经过灰度化、图像锐化、滤波降噪等预处理过程，然后使用直方图阈值分割法分割红绿灯，最后基于色调、饱和度、亮度颜色模型（Hue， Saturation， Value， HSV）识别出红绿灯的颜色状态[1]。然而传统方法存在准确率和效率较低的问题，无法应用于自动驾驶场景，因此本文采用深度学习的方法对交通灯进行检测和识别。2012年Krizhevsky等人提出的深度学习模型AlexNet在ImageNet舉办的ILSVRC目标识别挑战大赛中一战成名，准确率领先第二名11%，相比传统算法取得了飞跃性的提升[2]。自此，深度卷积神经网络（Convolutional Neural Networks， CNN）开始在多个领域应用，更多的CNN网络模型被提出，并取得里程碑式的进展。交通灯检测属于目标检测领域的内容，即检测物体在图像中的位置，并识别物体的类别。目前主流的目标检测网络可大致分为双阶段（two-stage）和单阶段（one-stage）两类，其中two-stage的代表作是Ross Girshick等人提出的利用候选区域与CNN结合做目标定位的RCNN（Region-based Convolutional Network， RCNN）系列模型[3]，此类模型准确性较高，但效率较低。One-stage的模型包括Wei Liu提出的SSD（Single Shot MultiBox Detector）系列[4]以及Joseph Redmon等人提出的YOLO（You Only Look Once）系列[5，6，7]。这两个系列的模型都是端到端模型，不需要对图像做任何前处理，且运行效率较高，因此目前工业界多采用YOLO系列或SSD系列模型。YOLO系列模型目前已更新五个版本，从v1～v5，每个版本都是前一个版本的改进版，其中YOLOv3[7]是工业界使用最广泛的版本。

得到有效交通灯位置及其状态后，传统无人驾驶汽车启停策略针对的场景比较固定、简单，一旦遇到与预设不符的场景，策略就会出错。由于交通灯具有多样性，且不一定具备方向信息（箭头），而地图中的路口信息非常丰富，包含前方路口距离和功能（是否可以调头、左转、直行、右转）以及交通信号灯的数量和每个信号灯对应的功能。因此，为了提高算法的通用性和实用性，本文提出融合地图信息的交通灯路口车辆自动启停策略。首先，本文将在YOLOv3模型的基础上进行压缩、裁剪和优化，以便快速地对当前路口的交通灯进行检测，相较传统算法，可大幅提升检测准确率[8]，其次提取地图给出的当前路口信息，如交通灯个数，各个交通灯负责的行驶方向（左转、右转、直行和调头）等，再将交通灯检测结果与路口信息匹配，得到每种行驶方向的启停信号，最终根据导航信息判断是否启停。本文提出的策略既可以保证交通灯的检测准确率，又因为融合了大量地图信息来做决策，因此不拘泥于固定单一场景，通用性强，适用于L4及以下等级的城市自动驾驶。

2    路口启停策略

2.1   交通灯检测算法

为保证交通灯检测的准确率，本文采用YOLOv3作为交通灯检测模型进行训练，输入为当前摄像头采集到的图像，输出的内容包括交通灯颜色状态和箭头信息。由于YOLOv3模型参数较多，部署到自动驾驶汽车上运行效率太低，而交通灯检测任务中的检测目标较为单一，可以对模型进行轻量化，且可针对数据集对模型的超参数进行优化。

模型剪枝方法也分为直接剪枝、非结构性剪枝和结构性剪枝三种。本文会先对YOLOv3直接剪枝，即对通道和层数进行删减，再输入数据集进行训练，训练完成后再根据硬件条件考虑是否将模型进行量化，加速运算。为避免模型精度下降，直接剪枝的原则有以下三条：

1）保持模型整体主要结构不变;

2）对神经网络某一层进行裁剪时，不影响下一层的输入特征图大小;

3）重点考虑删除算力占用比例大的层或通道。

按照上述原则，原模型有107层，本课题将原模型的32-37、57-62、73-75、80-81、92-93、104-105层剪掉，余86层，其中主干部分通道删减为原来的1/4。 经过上述剪枝，模型参数量已压缩到原模型的10%以内，检测一张图的时间降低为原来的1/3以下，同时在自有交通灯检测数据集上准确率仅下降1%。

为增加交通灯检测算法的稳定性和完备性，本课题采取以下两个措施：

1）无人驾驶技术中对交通灯检测帧率（fps）的要求不高，因此算法每隔100ms读取一次摄像头的图像，对之进行检测。为减低偶尔漏检误检带来的影响，系统采用卡尔曼滤波跟踪过去10帧的检测结果，从而提高检测算法的稳定性。

2）由于摄像头的视场角范围和观测距离有限，本文采用两种不同焦距的摄像头，根据路口距离进行切换，从而保证算法在无人驾驶技术要求的检测范围内有效。

2.2   融合地图信息的交通灯路口车辆自动启停策略

为增加算法的通用性和泛化能力，本算法融合了交通灯检测结果、地图路口信息与导航信息来设计车辆自动启停策略。算法架构如图1所示。

首先使用交通灯检测模型对当前路口的交通灯进行检测，根据过去10帧图像（1秒钟内）的跟踪结果得到当前交通灯的状态。接着，从地图中提取当前路口交通灯个数以及每个交通灯对应的行驶方向，将交通灯状态与地图信息相匹配。匹配完成后按照导航信息提取下一时刻行驶方向的交通灯状态即可。

其中交通灯信息匹配的原则为：

1）交通灯检测结果中带方向的状态直接匹配;

2）剩余交通灯按照路口信息及其方向的相对位置逐一匹配。（如：左转与右转方向的灯已匹配完成，若两灯之间还有未匹配的交通灯，则对应直行方向。）

在实际操作中，地图的部分信息可表示为交通灯的信息列表，按照交通灯从左至右的排序，列表中的信息为每个交通灯负责的行驶方向。整个启停策略的流程如图2中的例子所示：

需要注意的是，若地图信息中可查询到除交通灯列表之外的方向信息，说明该方向不受交通灯控制，可直接允许该方向的行驶。除此之外，若在立体交通遇到上下层路口位置相近的情况，则根据地图信息给出的路口距离，选择最近的路口信息作为当前路口。

3    数据采集和处理

目前交通灯检测的开源数据集较少，且大部分来源于欧洲，所涉场景与国内的场景并不类似，因此本文采集了大量的路口数据。同时由于交通灯目标较小，因此选择视场角分别为30°和60°的摄像头同时采集。将摄像头安装于前擋风玻璃处，结合两种摄像头可保证距离0-100米内的交通灯都清晰可见。为了满足功能安全的要求，采集的场景需包括不同时间（白天、晚上）、不同天气以及各种特殊场景等。

采集完成后，需挑选出有有效交通灯的图片进行标注，每帧图片需标注标注表1中的属性。

完成数据标注后，为提高模型的鲁棒性，需对数据进行增广处理，增广方式包括图像翻转、调整图像的亮度、随机增加噪声、随机裁剪、多图拼接等。本课题在广州市采集了一批图像，经筛选、标注以及增广后，整个数据集有16437个有效样本，其中随机抽取20%的样本作为测试集，其余样本为训练集。

4    交通灯检测模型的训练与测试

在YOLOv3中，首先会预设9个参考框的大小作为目标框的初始大小，初始值设置得越接近目标框大小，模型收敛越快。本文采用k-means聚类方法对训练集中所有的标注框大小进行聚类，9个类别的聚点值即为参考框大小。然后将经过增广后的训练集放入经过裁剪后的模型训练。训练使用的硬件是英伟达的Tesla V100计算卡，模型更新迭代1万次约花费1小时。

模型训练完成后，便可进行测试。模型的测试指标主要是准确率、检出率以及运行帧率，准确率为正确预测的正反样本数与总样本数的比例，检出率则为目标框被正确检出的比例，效率则是模型运行的帧率。

经过10万次迭代的模型准确率与检出率在测试集上均达到95%以上，且运行帧率在Tesla V100上达到了50fps以上，在车载运算平台DRIVE PX2上也能达到20fps以上，完全满足本文算法所需的10fps的要求。裁剪后的模型相较未裁剪的YOLOv3原模型，效率大大提高，测试结果如表2和图3所示。若需要将算法部署在其他算力更弱的硬件上，可考虑将模型进行量化（如浮点转定点），运行帧率更高。

由于交通灯数据集中包含了一天不同时段、不同天气的场景，因此该算法不受时间段以及天气影响。对于有些地区特有的情形，比如某地区的矩形渐变灯，只要在数据集中加入此类样本，本算法便可在这些地区使用。

5    路口启停策略验证

处在路口中，行驶方向最多分为左转、右转、直行和调头四种，目前已通过交通灯检测模型得到当前路口交通灯信息，通过地圖得到当前路口可行驶的方向，以及几个方向分别归属于哪个交通灯信号，通过导航信息得到自车需要关注的行驶方向。

验证采用电动车作为线控平台，挡风玻璃处安装有两个单目摄像头，视场角（fov）分别为30°和60°，控制器采用英伟达DrivePx2，为易于开发，控制软件基于ROS系统开发。

为了最大程度保障测试安全，在实车测试之前，需多次进行离线验证。先采集测试路段的数据，包括两个摄像头信息、地图信息以及导航信息，在离线数据流中运行融合地图信息的交通灯路口车辆自动启停算法，观察算法发出的启停指令是否准确。确保地图信息完整，且离线测试准确率达到98%以上即可将算法部署到实车环境中，进行实车测试。实车测试将分别在晴天、雨天、阴天进行，路口形状有十字、丁字等。本课题已在广州市番禺区多个路段进行离线以及实车验证，部分场景如图4所示：

在实车测试过程中，需配合目标检测模块一起使用，当自动启停模块给出启动信号时，自动驾驶的控制模块还需要通过判断前车距离或者行驶路线上是否有障碍物来确定发送启动信号后是正常行驶、避障、刹车或跟车。这涉及到自动驾驶中的人、车、障碍物检测模块，可行驶区域识别模块，以及路径规划中的避障、跟车等功能模块，本文篇幅有限，不再做详细研究。

启停准确率仅通过本文路口启停策略发出的启停信号是否与当前交通灯状态相符判定。本文在每个路段进行了20次以上的测试，平均路测启停准确率达到95%以上。其中大学城外环与生物岛路段的启停准确率可达100%。失败案例主要跟前视摄像头的视角过窄有关，主要为以下两种情况：

（1）由于路口过宽，且交通灯位置在路口边缘，fov30°的摄像头视角过窄无法覆盖，而fov60°的摄像头所能覆盖的距离过短，因此进入路口之前将有一段盲区，导致启停策略无法及时发送准确的信号。

（2）由于路口较宽，交通灯位于路口最右侧，而自车位于路口最左侧车道，交通灯盖遮挡了摄像头视线，无法准确判断交通信号，导致启停信号有误。

以上两种情况可通过更换或者加装不同视场角的摄像头来改善。

本文算法目前只在广州地区进行了试验，后续将陆续开展其余地区的实车试验。

6    结论与展望

本文提出了融合地图信息的交通灯路口车辆自动启停策略，该策略使用了基于深度学习的交通灯检测模型，检测准确率达到95%以上，较传统方法大大提升，检测模型经过轻量化后，效率也达到了实车运行的需求，在车载平台上的运行帧率达到了20fps以上。其次，该算法融合了交通灯检测结果、地图信息以及导航信息分析得出是否启停的结论，适用于大部分普通场景，在广州市多个路段测试，启停准确率达到了95%以上。

由于摄像头的视场角范围有限，对于一些特殊场景也许无法做出准确的决策，可以考虑加装视场角为120°前视单目摄像头，将视场角范围扩充，提高准确率，或应采用其他方法提前识别特殊场景，设置紧急应对措施，并提前发出预警，请求人工干预。立体交通中，受GPS技术的限制，有时无法准确定位本车所处路口，可以考虑采用计算机视觉的方法对路口进行识别，增加匹配地图信息的准确度。总而言之，融合地图信息的交通灯路口车辆自动启停策略在V2X尚不成熟之前，可作为一种良好的替代方法。

参考文献：

[1]桂欣悦，李振伟，吴晨晨，李彦玥.基于MATLAB 的红绿灯识别系统研究[J].电子设计工程，2020，28（16）：133-136.

[2]Krizhevsky A，Sutskever I，Hinton G . ImageNet  Classification with Deep Convolutional Neural Networks [J]. Advances in neural information processing systems，2012，25（2）.

[3]Ren S，He K，Girshick R，et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[4]Liu W，Anguelov D ，Erhan D，et al. SSD： Single Shot MultiBox Detector[J]. Springer，Cham，2016.

[5]Redmon J，Divvala S，Girshick R，et al. You Only Look Once： Unified，Real-Time Object Detection[J]. IEEE，2016.

[6]Redmon J，Farhadi A . YOLO9000： Better，Faster，Stronger[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE，2017：6517-6525.

[7]Redmon J，Farhadi A . YOLOv3： An Incremental Improvement[J]. arXiv e-prints，2018.

[8]孙迎春，潘树国，赵涛，高旺，魏建胜。基于优化YOLOv3算法的交通灯检测[J].光学学报，2020，40（12）：143-151.

专家推荐语

李   凯

东风悦享科技有限公司

智能汽车  人工智能   研究员级高级工程师

该论文从智能交通角度提出自动驾驶的路口启停功能的解决思路，体现了一定的专业功底，具有技术路径探索的参考价值。