基于深度学习的前车视觉测距研究

毛旭伟

基于深度学习的前车视觉测距研究

毛旭伟

（长安大学 汽车学院，陕西 西安 710064）

针对测量前方车辆纵向距离的问题，文章提出一种基于深度学习的前方车辆检测和视觉测距方法。该方法首先通过YOLOv3算法实现车牌位置检测并利用OpenCV进行剪裁，接着计算前车车牌字符区域在相机成像区域所占像素长度，最后利用小孔成像原理对前方车辆的纵向距离进行测量。试验表明：在50米范围内，该方法最大误差在8%以内，平均误差约为3.077%，可为前车测距提供一种新的思路，在智能车辆感知方面有一定的应用前景。

车辆测距；深度学习；车牌检测；小孔成像

引言

随着我国经济的快速增长，自动驾驶车辆不断发展，人们对汽车的智能化要求越来越高，因此，近年来计算机视觉作为一种环境感知的手段应用于车辆辅助驾驶系统上一直是很热门的研究方向之一，利用计算机视觉测量驾驶场景下前方车辆距离的方法，可以为车辆碰撞预警或车辆安全状态评估提供基础。

基于视觉的测距方法通常有单目视觉测距和多目视觉测距两种方式。近年来，因计算机技术的快速发展与各种电子设备和电子技术的普及，基于单目视觉系统的测距方法因成本低，实时性好，结构简单，占用计算资源较少等优点逐渐走进人们的视野中。文献[1]基于前车尾部车牌特征，结合车辆视觉测距的几何模型，根据车牌尺寸的先验知识，实现了前车测距；文献[2]利用车辆下边沿估计模型和相机逆透视变换模型，实现了前车纵向距离和横向距离的精确测量。本文通过YOLOv3深度学习检测算法实现前车尾部车牌位置检测，再经过图像分割并计算车牌成像像素的长度信息，利用小孔成像原理模型，实现对前方车辆的距离测算。此方法适应性好，成本较低且结构简单，所占用的计算资源较少。

1 车牌检测与处理

目前，基于深度学习卷积神经网络的目标检测算法主要分为两类，一类是基于候选区域的目标检测算法（即二阶段目标检测器），主要代表有R-CNN、SPP-net[3]、Fast R-CNN、Faster R-CNN[4]等系列方法。而另一类是以本文中所用算法为例的YOLO[5-7]（You Only Look Once）系列和SSD[8]等方法（即单阶段目标检测器），这类算法省略了生成候选区域的过程，将目标检测过程简化成一种端到端的回归问题，所以单阶段目标检测算法比二阶段目标检测算法的检测速度快，但检测精度较为不足；而YOLOv3目标检测算法，在保证检测速度的同时，检测精度也有了较高的提升，这是本文采用YOLOv3算法实现车牌位置检测的原因。

1.1 YOLOv3模型训练

表1 训练环境

配置环境版本 Windows10 CUDA10.1 CUDNN7.6.5 Visual Studio2017

图1 YOLOv3识别效果图

本文中数据集图片的采集是在不同天气、不同场景下实地拍摄完成的，共采集1 100幅图片，将其作为数据集并按照10：1的比例划分为训练集和测试集。训练集图片标注工具为LabelImg。YOLOv3模型训练环境如表1所示。由于数据集图片数据较少，1 000张训练集图片在网络达到4 300次迭代次数时，损失函数值便不再下降；网络训练情况在测试集上的识别结果如图1所示，图中车牌识别置信度得分为98%。

1.2 车牌图片剪裁及处理

1.2.1图片剪裁

车牌图片剪裁通过OpenCV（Open Source Computer Vision Library）完成；根据1.1中模型训练后的识别结果可以确定车牌在图片上顶点坐标以及长度和宽度，利用车牌位置信息直接剪裁车牌图片，效果如图2所示，图中在较远处车牌图片拍摄较为模糊。

图2 OpenCV剪裁效果图

1.2.2图片预处理

车牌长度虽然固定，但它的边缘信息提取较为困难，若直接使用YOLOv3检测后的车牌图片像素信息作为后续测距模型的输入，不仅会增大测距误差，同时误差变动也会较大；而车牌字符与车牌底色在形态和颜色上都有较大区别，较为容易区分，且第一个字符的前边缘到最后一个字符的后边缘长度也是固定的，所以实际测距模型的输入采用车牌字符之间的像素长度信息。

本节的目的就是精确得到车牌字符区域横向长度上的像素信息，使车牌信息数值化，方便后续测距模型的输入。经过YOLOv3检测后虽能较好地检测到车牌的位置，但依然存在多余的边缘信息干扰，并不能直接作为后续小孔成像模型测距的输入，为减少误差，精确计算车牌字符区域长度信息，需要对剪裁后的车牌图片进行处理，以去除车牌检测中的冗余部分。首先，将车牌彩色图片灰度化，利用Canny算子进行边缘检测；接着对边缘化的图像进行腐蚀操作，去除车牌图片的边缘信息干扰；随后做填充处理和形态滤波操作，移除填充图像中面积较小的部分，将腐蚀后图片中残余的信息干扰进一步清除，达到二次降噪的作用；最后对车牌字符区域进行精确剪裁，即剪裁掉字符之外区域部分。具体处理效果如图3所示。精确剪裁后的车牌图片为二值化图像，计算二值化图片的列数可得到车牌图片在相机成像区所占像素长度，以此作为后续测距模型的输入像素值。

图3 车牌图片处理

2 小孔成像原理测距模型

在同种均匀介质中且不受引力作用干扰的情况下，光线是沿着直线传播的；在物体与墙体之间插入一个带有小孔的遮挡板，则在墙体上便会呈现一幅倒立的、相似的物体图片，这便是小孔成像原理。照相机便是在依据此原理诞生的，相机的镜头相当于小孔，将墙体替换成感光元件，从而实现光信号和电信号的转换，相机在拍照时，物体会在相机的感光器件上呈现相似且成一定比例的物体图像，而这个比例与相机焦距有关。

由于本测距方法是预想应用在车辆行驶过程中，所以假设前车是在相机拍摄的正前方。利用车牌字符区域的固定长度，通过小孔成像的相似原理对前车距离进行测量，其小孔成像原理简化模型如图4所示。

图4 原理图

在此模型中，点表示前车车牌中心所在位置，为相机所在位置，现实世界车牌字符区域长度经过相机拍摄在成像界面呈现出车牌字符区域的成像长度，设成像界面的实际横向长度为，相机成像界面横向像素为，车牌图片横向像素为，则：

因相机等效焦距已知，且点左右两三角形具备相似关系，则有：

式中，是相机位置与车牌位置的实际距离，表示相机距离车牌平面的垂直高度，在相机取景时，相机和车牌的连线会与垂直线产生夹角，这个夹角随着前车与相机位置距离的变化而变化。

依据三角函数关系，可得车牌与相机位置的实际水平距离：

=×tan（4）

综合式（1）到（4）可得：

3 试验分析

为验证所提出方法在实际场景下的应用的准确度，本次试验直接和实际测量结果进行对比。由于试验条件限制，本次试验采用手机拍摄的静态图片进行验证。选用的手机相机焦距为27 mm，等效焦距为35 mm，成像界面横向长度为54 mm，所拍摄图片像素为3 456×4 608，即为3 456。根据我国机动车号牌标准，现行蓝底白字车牌实际尺寸为440 mm ×140 mm，去除车牌字符前后间隙，我国蓝底白字车牌第一个字符前边缘与最后一个字符后边缘之间的距离为409 mm，即为409 mm；相机高度为1.5 m，车牌中心离地高度为55 cm，则为95 cm。试验结果如表2所示。

表2 测距结果

实际距离/m车牌像素测量距离/m相对误差/% 109110.022 80.228 156114.988 90.074 204619.893 90.531 253625.431 21.725 303129.538 31.539 352536.634 14.669 402241.632 84.028 451948.209 67.132 501753.883 47.767

由表2可知，测量值与实际值的最大相对误差出现在测量距离最大处，约为7.767%，平均相对误差约为3.077%，随着测量距离的不断增大，相对误差有增大趋势，但在近距离测量时具有较高的准确率。当测量距离逐渐增大后，由于相机成像像素的限制，测量的车牌像素差别变小，所以对于远距离车距的测量对相机成像分辨率的依赖性增强，提高相机成像界面的横向像素可以提高本方法在远距离测距方面的准确率；另外，在实际测量过程中，成像界面倾斜度也关系着测量准确性，由于本方法设计本身的问题，当车牌检测中出现倾斜时，会增大车牌长度像素计算值，测量距离会小于实际距离。

4 结论

本文基于深度学习的目标检测算法YOLOv3实现车牌图像的检测与剪裁，所以对检测算法的精确度有一定要求，算法本身的准确度、数据集的选取与收集和训练的次数等都关系到本文测距方法的后续实现。另外，利用小孔成像原理对车距进行测量，对相机的成像像素存在一定要求，成像界面的横向像素越高，不仅可以减小近距离车距测量的误差，同时可以提高远距离车距的测量准确度；此外，拍摄照片的清晰度会影响图片处理阶段的准确性，所以对测距结果的准确性也有着较大的影响。实际应用中，物体检测和测距整合为一体，较为符合人眼感知环境的过程，较为方便。但对于远距离条件下车牌的精确检测以及不同类型车牌的辨别和分类测距问题都需要后续的深入探究。

[1]赵媛劼,魏朗,田山山,等.一种基于车牌特征的前车视觉测距方法[J].电子测量技术,2019,42(13):70-74.

[2] 王永森,刘宏哲.基于单目视觉的车辆下边沿估计和逆透视变换的车距测量[J].计算机工程与科学,2020,42(07):1234-1243.

[3] HE K, ZHANG X, REN S, et al. Spatial Pyramid Poolingin Deep Convolutional Networks for Visual Recognition[J].IEEE Tran- sactions on Pattern Analysis & Machine Intelligence,2014,37(9): 1904-16.

[4] RENS,GIRSHICK R,GIRSHICK R,et al.Faster R-CNN: Towards RealTime Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

[5] Redmon J,Divvala S,Girshick R,et al.You only look once: unified, realtime object detection[C]//Conference on Computer Vision and Pattern Recognition, 2016:779-788.

[6] Redmon J,Farhadi A.YOLO9000: Better, Faster, Stronger[C]. computer vision and pattern recognition,2017:6517-6525.

[7] Redmon J, Farhadi A.YOLOv3: An Incremental Improvement [J].arXiv:Computer Vision and Pattern Recognition, 2018.arXiv: 1804.02767.

[8] LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single Shot Multi- Box Detector[C]//European Conference on Computer Vision. 2016.

Research on Vision Distance Measurement of Front Vehicle Based on Deep Learning

MAO Xuwei

( School of Automobile, Chang'an University, Shaanxi Xi'an 710064 )

Aiming at the problem of measuring the longitudinal distance of vehicles ahead, this paper puts forward a vehicle distance measurement method with the detection of vehicles ahead and visual measurement distance. Firstly, this method realizes license plate position detection through YOLOv3 algorithm and use OpenCV to crop license plate images. Then, the pixel length of the license plate character area on the camera imaging area was calculated. Finally, the longitudinal distance of the car was measured by the pinhole imaging principle. The test shows that the maximum error of this method is less than 8% and the average error is about 3.077% in the range of 50 meters. It can provide a new idea for the distance measurement of the preceding vehicle, and has certain application prospects in intelligent vehicle perception.

Vehicle distance measurement; Deep learning; License plate detection; Pinhole imaging

U471; U495; TP183; TN98

A

1671-7988(2021)24-64-04

U471；U495；TP183；TN98

A

1671-7988(2021)24-64-04

10.16638/j.cnki.1671-7988.2021.024.014

毛旭伟（1997—），硕士研究生，就读于长安大学汽车学院，主要研究方向：车辆安全。