基于深度学习的交通标志测距方法研究

王艳丽 王志林 侯宪春 聂妍 储怡

摘要：自动驾驶技术和高级驾驶辅助系统设计成为近几年的研究热点，对交通标志进行实时的识别和定位在其中扮演了至关重要的角色，但目前研究大都局限于对交通标志的检测和识别，没有涉及对交通标志距离的测量。针对以上问题，提出了一种基于深度学习的交通标志检测与测距方法，该方法是基于回归的深度神经网络检测和步进式三维重建测距网络相结合，通过单阶段目标检测神经网YOLOv3完成交通标志的识别，并输出交通标志的像平面坐标，进行步进式转换处理，预测交通标志的距离。实验结果表明：检测速度达到29f/s（每秒传输帧数），距离检测平均误差为3%左右，准确率达到91.58%以上，该方法在精度和速度上均能获得较高的检测性能，完全满足自动驾驶中交通标志检测的实时性需求。

关键词：交通标志检测;深度学习;测距;YOLOv3

中图分类号：TP391 文献标识码：A

文章编号：1009-3044（2020）15-0001-03

1引言

自动驾驶技术和高级驾驶辅助系统（advanced driver assis-tance systems，ADAS）作为前沿的主动安全技术，已成为近几年汽车领域的研究热点，当下急需一种准确、高效、全面的交通标志识别方法。对于交通标志的检测和识别有传统的算法，主要是基于手工特征构建的，鲁棒性比较差。随着深度学习应用的迅速发展，又出现许多基于深度卷积神经网络的优秀算法，在开放的目标检测数据集GTSDB，LISA，KITFI等上表现出了出色的检测效果和性能，特别是基于回归的检测算法YO-LO，YOLOv2，YOLOv3，SSD等，在保持速度优势的前提下，提升了预测精度和对小物体的识别能力，成为当下综合性能最好的目标检测方法之一。而对于自动驾驶和ADAS技术来说，如果没有每个交通标志的距离信息，无法准确地制定导航策略。目前对距离的测量大部分都是采用传统的单目或双目测距方法，但是这些方法涉及诸多参数，如相机的内参、外参、畸变参数，同时还需要进行多个坐标系之间的变换，非常复杂，并且都是对车辆、行人等目标检测及测距，并未涉及交通标志的距离的测量。为此，本文提出了基于回归的深度神经网络检测和步进式三维重建测距网络相结合的交通标志检测与距离测量方法，称为交通标志检测与测距方法（Traffic-Sign-Detec-tion-and-Ranging Method，TSDRM），实验结果表明，本文所提出的方法具有很高的准确率和良好的鲁棒性，满足自动驾驶实时检测的要求，对智能交通和无人驾驶领域具有重要的意义和应用价值。

2交通标志检测与测距模型设计

2.1模型结构

交通标志检测与测距模型结构如图1所示，系统由三部分组成，前端输入处理模块，包括视频帧处理模块和GPS输入模块，视频帧处理模块的主要功能是处理摄像头视频，将车辆行驶过程中实时录制的视频流中的每一帧图像提取出来，经过预处理变成神经网络需要的数据流格式发送给检测识别模块，GPS输入模块计算视频相邻帧的车辆位移和偏角，以便提供给三维重建测距模块;检测识别模块是基于回归的单阶段深度神经网络YOLO v3负责相邻的视频帧中的交通标志的检出和其在像平面内边界框位置信息的处理，通过深度残差网络检测出交通标志，输出交通标志在相邻帧中的像素坐标集合：{帧t-1（xi，1，Yi，1，xi，2，Yi，2）帧。（Xj，1Yj，1X Yj，1）};三维重建测距模块，通过学习车辆地理位置和交通标志在像平面位置的变化，估算交通标志的距离信息。

2.2步进式三维重建测距方法

步进式三维重建测距方法采用回归神经网络来实现，其基本思想就是通过正向传播过程来学习相邻视频帧中的交通标志边框在像素坐标系中的变化，结合GPS所反映的车辆相应的位移信息，计算得到输出的距离值与真实值的误差。然后通过反向传播过程将学习到的三维映射信息更新到神经网络模型的权重中去。

步进式三维重建方法是通过两帧（或以上）的单视点二维图像信息来重构三维空间，从而还原距离信息。随着自动驾驶车辆的运动，交通标志在像平面中会发生偏移，这个偏移在像平面中的映射，实际上是由车辆在世界坐标系中相对于交通标志移动所引起的，这样两帧（或以上）的单视点图像的视差，会将距离信息引入二维空间，因此可以根据这个映射来重建三维空间，进而实现距离的测量。

三维测距的网络构架如图2所示，共分四层：输入层，两个隐藏层，一个输出层。其输人参数由两部分组成：第一部分参数來自前面深度残差网络检测交通标志的输出，有2XNx（TSC+C）个，其中2表示需要两帧数据来进行三维重建，N表示同时处理交通标志的个数，TSC（traffic Sign Center）表示交通标志边框的中心点像素坐标，c是交通标志的类别信息;第二部分输入参数有2个，分别是车辆在截取两个相邻帧的相对位移D和偏角θ。隐藏层的激活函数选择Relu，模型采用Adam为优化函数。

5.把公式（8）、（9）求得的偏导值代人公式（2）、（3）更新测距神经网络的权重参数。

按照步骤5重复梯度下降法的迭代步骤来减小代价函数J，（W，b）的值，最终得到测距神经网络的参数。

3模型的训练

3.1训练环境

整个模型采用python Tensorflow的开发框架实现，并在配有英特尔i7-8700处理器和英伟达NVIDIA GTXl080Ti GPU的PC机上完成训练过程。

3.2训练步骤

3.2.1训练交通标志识别检测模块

为了优化模型的学习效率，加快模型对交通标志检测的收敛，训练采用了神经网络迁移学习的方法。首先，把在微软团队提供的图像识别的数据集（COCO）上得到的预训练权重作为的模型初始化参数，然后冻结其基础网络Darknet-53，以德国交通数据集（GTSDB）微调（fine-tune）模型参数来实现交通标志的检测。GTSDB记录了各种路况和在各种天气状况及不同光照条件下的自然交通场景。数据集共有900张图片，包含1206个交通标志。测试类别划分为4类：指示（mandatory），禁止（prohibitory），危险（danger）和其他（0ther）。为了提高模型的泛化能力，在模型的训练过程中使用了数据增强技术，如改变图像尺寸、图像旋转、随机剪裁、图像水平翻转、图像颜色抖动等，生成更多的训练数据。

为了使模型更好地适应中国的交通标志的检测，训练进一步冻结了YOLOv3模型中除了3个输出层之外的所有其他层。采用中国交通标志检测数据集CCTSDB对上面训练好的模型进一步微调，目前中國交通数据集（CCTSDB）有15000多张图片，图片大小有1024×768、1280×720和513×999等多种尺度。训练模型的输入图片大小设为416×416，采用批量梯度下降法，批量（Batchsize）设置为64，最大迭代次数设置为100000，动量设置为0.9，权值衰减为5x10^-4，初始学习率为1x10^-3，在迭代40000次和50000次开始时分别衰减为原来的10%。

3.2.2训练步进式三维测距模块

三维测距模块的训练中使用了摄像头和GPS采集的5000组数据，这些数据采自于距离交通标志120米范围内的3条车道。首先将数据分为每两帧一组，对采集的数据进行预处理，以获得测距模块的两个输入信息，对GPS数据进行预处理后获得的车辆位置输入信息;将视频帧的图像数据输入检测模块获得的交通标志检测边框像素坐标，计算出检测交通标志的位置输入信息。训练过程中，通过采用不同的帧间隔进行分组（2帧，3帧和5帧），将训练数据进行扩展，以适应测量过程中的各种抖动。学习率初始为0.001，最大迭代次数设为15000。

3.3实验结果及分析

3.3.1三维测距模块的实际测量性能

在距离交通标志120米范围内分别在3条车道进行测量，其中图3显示了车辆在第一车道上行驶时的三维测距模块的实际测量结果和性能（第一车道到交通标志的横向距离是4米，车辆到交通标志的纵向距离为120米以内），图3-1中的散点部分是交通标志到车辆的实际距离，连线部分是三维测距模块预测的距离，预测值与实际值吻合得很好。图3-2中的平均误差显示90米以内交通标志的距离估测平均误差均在2米以下，大于90米的距离估测平均误差也是在2-3米左右，即交通标志距离估测误差错误率均在5%以内。经过训练的三维测距模块体现了较高的准确率和较强的鲁棒性。

3.3.2系统的整体性能

交通标志检测和测距系统的整体性能参见表1，在检测速率方面，交通标志检测模块的检测速率为30.71帧每秒，即平均耗时为32.56ms，加上测距模块后总检测速率为29.29帧每秒，即总的平均耗时为34.14ms，测距模块的平均耗时仅为1.58ms，即增加测距过程后，总耗时增加了5.4%，这使得系统总的检测速率稍有下降，但依然达到了29帧每秒的速率，完全满足实时性系统要求。另外，增加三维测距模块导致的系统模型的大小变化不大，权重参数的增量仅为0.52%，因此对模型的存储和运算影响也很小。由于测距模块和检测模块在实现上的相对独立性，增加测距过程并没有改变系统对于交通标志检测的均值平均精度（mAP），系统依然保持了较高的识别、检测精度。

整个系统具有较高的检测精度（mAP）与检测速率，完全满足自动驾驶的实时检测交通标志的要求。

4结论

总之，本文提出的方法完全可以在驾驶过程中，实时准确地完成交通标志的检测和测距，为自动驾驶和高级驾驶辅助系统制定准确的驾驶策略提供了有效的帮助。本系统具有很强的泛化能力和可移植性，例如，为了得到更快的检测速度，可以将模型中的YOLOv3模块换成tiny-YOLOv3、tiny-YOLOv2等，而无改动三维测距模块，并且基于目前市场上通用的AI芯片（如海思的Hi3519A/3559A等），非常便利地开发出真正的车载便携式的、高实用性的、具有成本优势的导航产品。