基于激光雷达信息和单目视觉信息的车辆识别方法

闫尧 李春书

摘要 采用單一传感器识别前方车辆易造成误判，为了提高检测准确率，提出了一种基于激光雷达信息和单目视觉信息的车辆识别方法，该方法综合考虑了激光雷达传感器和单目视觉传感器的信息。首先对激光雷达原始信号进行预处理，然后对筛选后的数据进行最临近距离法聚类处理，并转换到图像坐标系中，初步确定障碍物检测的ROI（感兴趣区域）。提取ROI区域的图像，并对其进行灰度化，灰度增强和图像滤波的预处理。通过计算预处理后图像的熵值归一化对称性测度，完成前方车辆的检测。通过实验，验证该方法可以较好地识别前方车辆，弥补了单一传感器在车辆识别中的不足，同时耗时较短，可以满足实时性的要求。

关 键 词 车辆识别;激光雷达;单目视觉;对称性测度;信息熵

中图分类号 TP391.41     文献标志码 A

Method of vehicle identification based on laser radar information and monocular vision information

YAN Yao，LI Chunshu

（School of Mechanical Engineering， Hebei University of Technology， Tianjin 300130， China）

Abstract Identification of vehicles ahead with a single sensor is easy to cause error detection. In order to improve the accuracy of the detection， we propose a vehicle detection method based on laser radar and monocular vision. The method takes into account the information of the laser radar sensor and the monocular vision sensor. The radar raw signal is preprocessed firstly， and then the filtered data is processed by clustering and converted to the image coordinate so as to preliminarily determine the region of interest（ROI） of vehicle detection. The image of ROI is extracted and preprocessed by graying， gray enhancement and image filtering. And then a symmetry measurement of normalized entropy of the preprocessed image is obtained to detect preceding vehicles. It is verified that this method can well identify  vehicles ahead，which compensates for the shortage of single sensor by experiment; and the time consuming is short， which can meet the real-time requirement.

Key words vehicle detection; laser radar; monocular vision; symmetry measurement; entropy

0 引言

对于自主车辆而言，识别障碍车辆是自主车辆环境感知系统中的关键技术。准确地检测前方车辆，对于自主车辆避障具有重要的意义。目前国内外学者已经研究出许多车辆识别的算法，如基于视觉信息以及基于激光雷达信息等方法。

由于视觉图像获取较易、处理方法多样，所以视觉技术是现阶段自主车辆研究中的主要获取信息手段[1]。其中视觉技术主要分为单目视觉和双目视觉。单目视觉识别技术多采用基于车辆特征的方法，该方法主要利用车辆与背景有差异的特征[2-3]，如纹理、边缘和底部阴影等。但这种方法获取的信息量不足，缺乏深度信息，而且易受外部环境的干扰，诸如光照和阴影等因素。双目视觉识别技术虽然可以取得较好的效果，但其计算量较大，算法复杂，难以保证车辆识别的实时性[4]。激光雷达能够获得场景的距离信息，不易受光照等外部条件的影响，但其获取的外部信息不充分，易造成误判。而采用多传感器融合技术可以克服单一传感器获取信息量不足，探测范围小的缺点。曾杰等[5]分别通过毫米波雷达和摄像头对前方车辆进行检测，然后分别对雷达和摄像头检测到的目标进行目标一致性检测，可以较为准确地检测出前方车辆的宽度、位置等信息，但此方法需要处理整幅图像，运算量较大，且面对尾部特征复杂的情况时易出现漏检情况。杨磊等[6]通过对雷达信号进行预处理，确定感兴趣区域，采用Canny算子进行边缘检测，确定车辆的具体位置，虽然算法较为简单，但易受外部光照环境影响，准确率不够理想。高德芝等[7]采用基于密度的空间聚类算法对雷达信息进行聚类确定感兴趣区域，利用T-S模糊推理系统融合车辆的灰度、宽高比和信息熵等多个特征验证车辆假设，可以实现较好的识别效果，但是算法较为复杂，难以满足实时性要求。

为了使车辆识别算法具有较好的准确性，同时减少算法的复杂程度，本文采用激光雷达和单目视觉两种传感器相结合的车辆识别方法，即先对激光雷达信号进行预处理，并采用最邻近距离法进行聚类，初步确定感兴趣区域，然后对感兴趣区域进行预处理操作，计算感兴趣区域的熵值归一化对称性测度，对初步确定的感兴趣区域进行验证，完成对前方车辆的识别。

1 传感器配置及初步确认感兴趣區域

1.1 传感器配置

本文进行分析的数据来自KITTI数据库，KITTI数据库是目前为止地面自主车辆研究中最大最全的公布数据库[8]。该数据库提供了惯导系统、64 线激光雷达、黑白立体摄像机、彩色立体摄像机的同步数据，其中摄像机提供的是去除畸变之后的图像。激光雷达以10帧/秒的速度触发摄像机进行拍摄，因此其时间同步性也得到了保证，同时该数据库对各传感器都进行了标定，标定参数已知。该数据库进行测试的车辆的传感器安装位置如图1所示，由于只选取了该数据库中的激光雷达和其中一个彩色摄像头的数据，故图1中只标出了这两个传感器的安装位置。

1.2 雷达信号的预处理

本文所研究数据的雷达信息由Velodyne HDL 64线三维激光雷达采集。64线激光雷达的点云数据量非常大，约100万个点/秒。如图2所示，若直接对雷达数据进行分析，系统所需处理的信息量过大，难以满足实时性的要求。因此，在通过雷达数据获取感兴趣区域前，需要对雷达数据进行预处理。

由图2可以看出，未处理的雷达信号将路面也扫描在内，由于本文主要对前方车辆进行检测，因此将高度低于0.2 m的雷达信号剔除。汽车在行驶中，位于不同车道内行驶的车辆对于自车的影响程度不同，位于本车同车道的前方车辆和相邻车道的前方车辆对自车的安全影响最大，为了减少处理的数据量，本文算法主要对主车道和旁侧车道的目标进行识别。同时根据图2所示，在纵向距离40 m之后，激光雷达的数据点越来越稀疏，难以提取有效的障碍物信息，而且视觉传感器难以表现40 m外目标的特征。综上，将前方纵向40 m，横向10 m作为雷达的有效区域。经过上述预处理的雷达信号如图3所示。

1.3 聚类处理及感兴趣区域的获取

如图3所示，经过预处理的激光雷达点较为分散，对于同一个目标，雷达会返回多个值。因此，为了从雷达数据中提取出有效的障碍物信息，需要对雷达数据进行聚类。聚类分析作为一种常用的模式识别方法，在处理数据集中发挥着重要的作用，通过对雷达数据进行聚类处理，可以使雷达数据得到简化，判断出车前障碍物的数量和位置[9]。常用的聚类方法主要有栅格聚类法、距离聚类法和密度聚类法等，为了减少算法的复杂程度，本文采用最临近距离法对目标进行聚类。

具体步骤如下：把经过预处理的雷达数据按照与自车的纵向距离由近及远进行重新排列，并按照顺序为各障碍点编号。给1号障碍点赋值类别编号为1，然后按顺序计算之后障碍点与之前所有同类别障碍点之间的欧氏距离。并根据普通车辆的宽度设定预设阈值[d0]，若最大的距离[dmax]小于预设的阈值[d0]，则该障碍点与之前的障碍点归为一类，否则新建一个类别，并将该点存入其中。重复此步骤，直到所有的障碍点都被检测为止。同时为了排除噪声信号的干扰，剔除所含元素数量小于5个的类别。

GB 1589—2016中对各类汽车、挂车以及汽车列车的外廓宽度上限要求为2.55 m[10]，考虑到识别过程中的误差，本文设定的车辆宽度上限阈值[d0]=2.65 m。

具体的流程图如图4所示。

对雷达进行聚类处理后，将雷达信号由世界坐标系转换至图像坐标系中。对每个类别进行如下操作：在图像坐标系中，将该类别内最左侧的点和最右侧的点分别向左和向右移动5个像素点，并将这两个点所在的列作为矩形区域的左右边界。将该类别内最上面和最下面的点分别向上和向下移动5个像素点，这两个点所在的行为矩形区域的上下边界。如图5所示，矩形区域即为初步获取的感兴趣区域。

2 车辆特征识别

对雷达信号进行处理之后，初步获得的感兴趣区域可能有多个，路牌、树木等无关物体也被检测在内。因此需要对感兴趣区域进一步验证，剔除非车辆的干扰。本文通过检测感兴趣区域的熵值归一化对称性测度来验证目标车辆。

2.1 图像预处理

通过视觉传感器采集的前方道路信息会受到光照等因素的影响，降低其成像质量，因此需要对感兴趣区域进行预处理。通过预处理之后的图像，可以突出有用的信息，去除背景环境的干扰。本文采取的预处理流程包括图像灰度化、图像灰度增强和滤波去噪。

由于获取的图像为彩色图像，信息量较大，为了减少计算量，需要首先对原始感兴趣区域进行灰度化处理。获取灰度化图像之后，采用直方图均衡化的方法进行灰度增强，增加图像的全局对比度。同时，经过灰度处理的图像往往存在噪声干扰，因此需要对图像进行滤波，由于中值滤波在一定程度上可以保留图像细节，而且算法简单，故本文采取中值滤波对图像进行处理。图6为原始感兴趣区域，图7为预处理之后的感兴趣区域。

2.2 车辆验证

感兴趣区域图像中的车辆尾部具有非常好的灰度对称性。灰度对称性指以车辆区域中线为轴，左右区域的灰度值为轴对称图形。设[R（x）]为[ROI]区域内某一行灰度数据的一维函数，因此其可以被表达为奇函数和偶函数的形式，对应感兴趣区域的对称性测度可以通过其分离出的偶函数所占的比重来决定[11]。

对于函数[R（x）]，设其对称轴的水平位置为[xs]，对称区域的宽度为[w]，对于感兴趣区域的第[y]行，奇函数和偶函数的表达式分别如下：

其中，[-w2≤u≤w2]。

该算法需要对偶函数进行归一化处理，使其均值趋近于零。修正之后的偶函数如下：

由此可以得到奇函数和偶函数的能量函数分别为

综上可得感兴趣区域的第[y]行的对称性测度为

对称性测度的取值范围为[-1，1]。当[S=1]时，代表完全对称;当[S=0]时，代表不对称;当[S=-1]时，代表反对称。

对感兴趣区域逐行计算其对称性测度，然后求取其平均值，从而获得感兴趣区域的水平灰度对称性测度。但是通常情况下，图像中道路及部分背景的灰度图像也具有水平对称性的特点，仅通过灰度图像的水平对称性测度来判断是不够的，容易造成误判，因此需要检测其他特征来增加判断的准确率。本文采用熵值归一化的对称性测度来验证车辆的存在。

通常情况下车辆所在区域所含的信息量要比背景区域多，因此可以将其作为识别车辆的依据之一。在信息论中，信息熵可以作为特定区域包含信息量的度量，其定义如式（7）所示[12]：

式中：[p（gi）]代表信息[gi]出现的概率;[lnp（gi）]代表信息量。图像区域的信息熵值越大，表示信息越丰富。对于本文研究的256色灰度图，[E（g）]的取值范围为[0，Em]，其中[Em]= 5.545。

由此可以得出具体的熵值归一化的对称性测度为

由统计规律[13]，当[Sg]>0.6时，认为该区域存在车輛。图5中感兴趣区域1的熵值归一化对称性测度[Sg]=0.759 4>0.6，因此认为该区域存在车辆。感兴趣区域2的熵值归一化对称性测度[Sg]=0.496 8<0.6，因此认为该区域不存在车辆。通过熵值归一化的对称性测度检测，可以有效地降低误检率。

3 仿真实验

3.1 实例分析

为验证上述车辆检测算法的性能，本文选择KITTI数据库中的部分数据进行离线数据验证。算法采用Matlab编写，图像分辨率为750×375。具体的测试环境如图8c）所示，包括单目标识别，多目标识别等。识别结果如图8所示，其中图8a）为激光雷达采集到的原始数据，图8b）为经过预处理之后的激光雷达数据，图8c）为车辆检测结果及对应结果的熵值归一化对称性测度。

3.2 实验分析

除此之外，本文采用上述算法对KITTI数据库中城市道路总计572帧的数据进行分析验证。采用本文算法正确识别车辆的数量和处理时间等数据如表1所示。

由表1可得，采用本文方法的正确检测率为91.3%，误检率为3.5%，漏检率为8.7%。实验表明该算法在城市道路环境下，具有较好的适应性，能够排除树木、建筑等无关物体的干扰，能较为准确地识别前方车辆，可以满足自主车辆对前方车辆识别精度的要求。由于KITTI数据库采集数据的频率为10 Hz，本文算法的平均处理时间为34 ms，可以满足实时性的要求。

漏检分析：由于选取的雷达识别区域为固定值，当车辆在道路边缘行驶时，可能会出现对识别范围外的车辆信息不敏感的情况，从而造成外侧车辆的漏判，对自车安全造成威胁。针对此种情况，可以将雷达的识别范围动态化，使识别范围随车辆行驶的条件而变化，即首先进行道路识别，提取可通行道路区域，然后根据可通行道路区域识别的结果确定雷达的有效识别区域，降低漏判率，提升自主车辆的安全性能。

误检分析：当依靠自然光获取图像时难免会受到光照的影响，在光照不足时，会导致图像细节模糊不清，纹理特征不明显，从而使感兴趣区域的熵值归一化对称性测度产生较大幅度变化，非车辆目标被检测为车辆目标，造成误检。针对此种情况，可以在原有基础上进一步检测感兴趣区域的其他特征，例如底部阴影、宽高比和边缘特征等，综合考虑多种特征，减少非车辆目标对检测算法的影响。

4 结论

本文提出了一种模型较为简练的基于雷达信息和单目视觉信息的前方车辆检测方法。该方法利用激光雷达信息初步划分车辆检测的感兴趣区域，并通过检测感兴趣区域的熵值归一化对称性测度完成对前方车辆的确认。实验表明该方法在城市道路环境下，正确检测率为91.3%，可以实现较好的识别效果。同时该算法模型较为简练，单帧图像的平均处理时间为34 ms，在保证车辆识别准确率的同时，也能保证车辆识别的实时性，降低了自主车辆对于处理器硬件的需求，具有较好的工程应用前景。

参考文献：

[1]    施树明，储江伟，李斌，等. 基于单目视觉的前方车辆探测方法[J]. 农业机械学报，2004，35（4）：5-8.

[2]    顾柏园，王荣本，郭烈，等. 基于机器视觉的道路上前方多車辆探测方法研究[J]. 汽车工程，2006，28（10）：902-905.

[3]    胡铟，杨静宇. 基于单目视觉的路面车辆检测及跟踪方法综述[J]. 公路交通科技，2007，24（12）：127-131.

[4]    蔡英凤，王海，陈小波，等. 基于单双目视觉融合的车辆检测和跟踪算法[J]. 交通运输工程学报，2015，15（6）：118-126.

[5]    曾杰，任玥，郑玲，等. 基于雷达与机器视觉信息融合的前车检测研究[C]//西南汽车信息（2017年第1期 总第370期）. 重庆：重庆汽车工程学会，2017：18-23.

[6]    杨磊，段建民，王飞. 基于摄像机与激光雷达的车辆识别技术[J]. 计算机测量与控制，2011，19（12）：3009-3011.

[7]    高德芝，段建民，于宏啸. 基于激光雷达和摄像机的前方车辆检测[J]. 北京工业大学学报，2012，38（9）：1337-1342.

[8]    GEIGER A，LENZ P，Stiller C，et al. Vision meets robotics：The KITTI dataset[J]. The International Journal of Robotics Research，2013，32（11）：1231-1237.

[9]    谭宝成，杨成. 激光雷达动态障碍物检测[J]. 西安工业大学学报，2015，35（3）：205-209.

[10]  GB 1589—2016，汽车、挂车及汽车列车外廓尺寸、轴荷及质量限值[S].

[11]  高磊，李超，朱成军，等. 基于边缘对称性的视频车辆检测算法[J]. 北京航空航天大学学报，2008，34（9）：1113-1116.

[12]  张华熊，吕辉，翁向军. 基于信息熵的图像置乱程度评价方法[J]. 电路与系统学报，2007，12（6）：95-98.

[13]  史忠科，曹力. 交通图像检测与分析[M]. 北京：科学出版社，2007：212-215.

[责任编辑 杨 屹]