基于激光雷达车检器的车型识别研究
2021-09-02曾夏明何家雄曹林根凤宇飞张志伟
曾夏明,何家雄,曹林根,凤宇飞,沈 阳,张志伟
(1.广西交科集团有限公司智能交通工程院,广西南宁530000;2.南宁捷赛数码科技有限责任公司,广西南宁530000;3.上海海事大学物流工程学院,上海201306;4.上海海瞩智能科技有限公司,上海201306;5.上海海事大学高等技术学院,上海201306)
随着经济的快速发展,汽车保有量越来越高。汽车极大地方便了人们的工作和生活,但与此同时由于公路交通量日益增加引发的交通拥堵、环境污染、事故增多等问题也日益严重[1]。为了缓解日益严重的公路交通压力,对交通系统进行智能化改造,实时了解掌握公路交通基础信息,包括道路车流量、平均车速、车头时距等,从而优化公路交通的运行和管理[2]。道路中的车型识别也是其中重要的交通信息。
智能交通系统(Intelligent Traffic System,ITS)[3]集成了先进的自动控制、电子信息、计算机网络等技术。其中,交通信息服务系统是重要的基础部分。发展智能交通系统,需要运用各类现代化的高新技术设计道路交通信息数据采集与处理设备。车辆检测器作为智能交通系统的基础性环节,可对道路交通信息的数据进行采集与处理。但在机动车数量以及种类不断增长的背景下,传统意义上的获取车辆信息的车辆检测器已经不能满足ITS对日益丰富的交通状况要求[4]。检测器的车型分类研究成为了一个研究重点。
车型分类是通过传感器检测车辆本身的固有特征参数,在一定车型分类标准下运用合适分类算法实现对不同车辆的分类。目前,车型的自动识别分类方法主要有基于地磁感应[5-7]、基于视频图像[8-9]、基于微波与超声波组合[10-11]的识别分类方法。基于地磁感应的车型识别分类需要将感应线圈埋设在车道内,通过车体底盘的磁性材料与环形线圈产生的涡流效应,使得电感量发生变化,进而通过这种感应信号归类实现车型分类,易实现且具有可全天候运作的优势,精度较高,但会在行进过程中因车辆的加速、减速或停车等因素使得感应曲线发生畸变而导致识别分类错误。基于视频图像的车型识别分类是对进入车辆检测区的车辆进行图像采集,然后利用一系列的图像处理技术实现对目标区域车辆的分割与提取,同时提取车辆的差异性特征信息,根据该信息实现对目标车辆进行分类。虽具有可视性和易于安装,可以检测拍摄范围内的所有车辆,并具有丰富的车辆信息。但其在面对复杂环境以及车辆颜色与环境颜色相近的情况下,对于目标车辆的分割与提取就比较困难,进而导致识别的稳定性和准确性表现不佳,而且在车辆高速情况下,需要处理的数据量巨大。基于微波与超声波组合的车型识别分类是利用多普勒效应对车辆进行检测,其中微波在该识别分类技术中主要获取车速和车长数据,超声波主要获取车高数据,并通过合适的车型自动识别分类器实现车型分类。其对于长距离的道路车辆检测精度较高且不受天气影响,但对于检测断面不按车道行驶的车辆较多或车道超宽时,会出现分类错误的现象。
鉴于目前车型自动识别分类方法存在的不足,本文结合已有的研究成果,同时考虑到激光雷达检测技术具有检测深度广、精度高以及受环境干扰小等优势[13],提出一种基于激光雷达车检器的车型识别分类方法。首先,介绍激光雷达车检器的结构与原理,在车型识别分类方法部分通过激光雷达及其辅助设备对车辆轮廓进行扫描与重建;然后,从重建后的车辆轮廓数据提取车型识别的各种特征;最后,采用基于决策树的车型识别方法分类车型,并通过多次异地进行实验。实验结果表明,该设备具有较好的车型识别准确率和鲁棒性。
1 激光车检器结构与原理
1.1 激光雷达检测原理
激光光束发射后若触碰到物体,将反馈反射光和散射光到激光接收器中,扫描器按照激光反馈用时与激光发射的传播速度计算出物体与激光雷达的间距,依据激光光束发射位置的角度感知环境信息,计算出物体与激光雷达的角度[13]。其与现有的机器视觉系统一样,具有优越的实时性能,但不同的是激光雷达对环境的感知和抗干扰能力,要更加适合应用于交通上这类复杂环境下的车辆信息实时检测中。
1.2 激光车检器结构
激光车检器采用顶装模式安装于每条车道一侧的龙门的顶角上,且使用3只激光雷达设备,以不同的2个方向分别安装。2只激光雷达将以垂直于路面的方向向下以90°扫描范围覆盖各自整条车道,实现对于过往车辆左侧面的扫描,进而获取车辆侧面点云数据,本文称为竖扫雷达。同时为了实现测速功能,增设辅助测速激光雷达,将其以一定的倾斜角度安装于2条车道正中间上方的龙门架上,实现对于过往车辆顶端面的扫描,进而获取车辆顶面点云数据,本文称为斜扫雷达。当车辆从激光雷达的扫描区域通过时,雷达按照一定的工作频率对车辆进行扫描,同时每一个扫描截面的数据通过TCP/IP传送给边缘计算模块,其中,激光雷达会自动把字节中的数据转化成字符串的形式(如“0A5B”),每个点之间用空格符(“”)隔开。除了每个扫描点的距离数据,雷达发送到工控机的一帧数据中还包括每个扫描点的反射率数据、命令类型、固件版本、设备ID、产品ID、设备状态、报文计数器、扫描计数器、扫描频率等信息。一帧数据的字节数一般保持在2 k B到3 k B,激光雷达的工作频率为50 Hz,因此,在1 s的时间里,雷达与边缘计算模块的数据传输将达到100 kbit/s到150 kbit/s,进而实现对车辆截面点云数据的快速获取。图1为激光雷达安装布局与相应生成的车辆点云示意图。
图1 激光雷达安装布局与相应生成的车辆点云Fig.1 LIDAR installation layout and the point cloud image of the vehicle
2 车型识别算法
2.1 车型轮廓三维重建
车辆从驶入激光雷达扫描区后,激光雷达就开始采集数据,但获取到的点云数据是雷达到物体上扫描点的直线距离,并不是扫描截面上的坐标。因此,需要将各个点的直线距离进行笛卡尔直角坐标转换,使得后续三维重建及图像的特征提取更加有利。同时,通过插值算法,平均化每一帧激光雷达数据间的间距,除去大量的密集截面,并根据每个截面的点云坐标,通过后台程序还原出车辆的真实轮廓。图2为车辆三维重建结果图。
图2 车辆三维重建结果图Fig.2 3D reconstruction of the vehicle
2.2 车型轮廓二维灰度化转换
车辆的三维轮廓图中可以获取车辆的各个特征,但这三维坐标信息对后续车型特征的提取是比较复杂的。为简化算法,将三维轮廓进行灰度化处理,得到二维灰度图像,但由于环境因素的干扰,得到的灰度图会存在多种噪声点,而且通常情况下,噪声信号会以无用的信息形式显示在要研究对象上,极大减少了图像的有效信息,影响图像复原、分割、特征提取、图像识别等后续工作的进行[14]。为此,本文采用图像形态学中一种比较常用的消除干扰的算法——开运算[15],其公式为
式中:X为被处理的图像;B为结构元素(Structure Element),用来处理X;⊝为腐蚀操作运算符;⊕为膨胀操作运算符。
具体车型三维轮廓灰度化过程如下。
(1)定义车型图像的灰度矩:
式中:bxy为图像中的像素点,同时表示区域上1×1 cm2的网格;m为车辆的最大高度;n为车辆的长度。
(2)遍历灰度矩中的每一个元素bxy,判断bxy对应的区域内有无车型的轮廓点:
式中:g为车辆到雷达水平距离对应的灰度值。
(3)利用插值算法对截面数据进行插值操作,并通过前一个截面的像素点向后做延伸补偿截面之间的间隙,实现截面的间距填充。
(4)选取3×3的矩形结构元素,通过形态学开运算实现对二维车型灰度图的去噪。二维灰度转换过程示例如图3所示。
图3 二维灰度图转换过程示例Fig.3 Example of 2D grayscale map conversion process
2.3 车型特征提取
车辆类型是通过对车辆的外形轮廓数据进行匹配而完成车辆识别[16]。现有的车型分类方法主要根据车辆的长、宽、高3个特征进行分类,对于大部分的车辆具有可分性,但有些车型的长、宽、高存在交叉。因此,本文在长、宽、高3个特征的基础上,引入新的特征,最终根据大量统计测试,确定使用底盘高、车轮、车窗3个特征,大大提高了车型识别的准确性。
2.3.1 车底盘高
车底盘高是除去车长外比较能说明车辆大小的关键特征,首先从车型图像的灰度矩阵A(i,j)中提取该特征。定义车型图像的灰度矩与区域矩阵分别为
式 中:1≤i≤m-t;j=n;kxy≥0(t≤x≤t+i,1≤y≤j)。
区域矩阵k可在灰度矩A中上下移动,k中的每个元素对应于原图像中的一个像素点,元素kxy=0时表示该点为黑色,说明该点不是车身。kxy≠0时为该点为灰色,说明该点为车身轮廓点。
车底盘高提取算法如下:
(1)计算区域矩阵k内kxy≠0元素个数为
k中总元素的个数为
从而区域矩阵k中代表车身的灰色像素点分布密度为
灰色像素点分布密度P较好地表示了在当前区域矩阵对应的灰度矩区域内分布车身的多少,量化了区域内含有车身的概率。并且当i→1时,区域矩阵k在P中上下移动的过程中对灰色像素点分布密度的变化会更加敏感。
(2)设k的初始位置在P的最上方,即
当t从(m-t)的位置(地面)逐渐减小时,就可以算出车底盘位置为
2.3.2 车轮
车轮作为特征可以间接说明车辆的类型、吨位等。利用车轮和地面的切点,寻找车轮的个数,同时也可以得到轴距特征。同理,利用灰度矩A和区域矩阵kt实现算法,具体过程如下:
当i=1时此时kt为图像中的水平线。满足条件:kt1>0,…,ktj>0,则向量kt=kt1,ki2,…,ktj为可能的一条切线,取t=tmax时车轮与地面的切线。
定义上方一个像素的距离向量为
从 左 到 右 的 突 变 值 依 次 为[X-1,Y-1,X-2,Y-2,…,X-n,Y-n],则车轮与地面的切点坐标为
式中:n为车轮的个数。
每两个车轮之间的轴距为
2.3.3 车窗
各种车型的车窗分布及大小各不相同,从而车窗作为特征可以增加车型识别的准确度和效率。
将车型图像的灰度矩二值化:
对于任意点b′xy,均能找到t1、t2、t3、t4满足
均在图像边缘上,则该点在图形内部,并且该图形为封闭区域。由上述满足条件点构成的图形为一个封闭区间,即一个备选窗。而在这些备选窗中,满足相应点反射率<15%,则认为是车窗。
2.4 决策树车型分类
依据实际的现场情况,首先利用长、宽、高3个特征在一定的空间上直接对车型进行识别,在对特征有较叉的情况下,采用新的特征进行车型分类,此为决策树分类[17]。
按照车长度将车辆分为5大类,分别为小型车、中型车、大型车、特大型车(含大客)、特大型车(不含大客)。
选择训练样本,建立每种大类下的决策树,除去长度特征,还有宽度特征、高度特征、车轮特征、车窗特征和车底盘高特征进行分层构造数结构。
首先找出待识别车辆样本X={X1,X2,…,Xn}中每个样本的特征向量:
式中:n为特征总数。
之后再计算输入特征向量到参考特征向量之间的相似性度量[18]。每一个线性无关的特征都可以看成向量空间中的1个维度。在本文中,提取出来的特征向量在数值上存在着较大的差异,从而利用改进的最小距离对如下公式进行特征分类:
式中:n为特征总数;、Ri为参考向量和输入特征向量的第i个元素;Wi为第i个特征的权重;当Ri→时,最小距离d→0。
依据设定好的车辆特征阈值及其特征权重,进而实现分层构造树结构,图4为车型识别系统决策树图。
图4 车型识别系统决策树Fig.4 Decision-making tree of the vehicle recognition system
3 实验结果及分析
为了验证系统的车型识别的检测精度,选取某地的实际道路交通场景作为测试环境。图5为该系统在某地的实际现场安装图。
图5 激光车检器现场应用Fig.5 Field application of the laser vehicle detector
该系统在设置对应的站点编号等信息后,以5 min为统计周期,将当前的交通信息情况上传至后台调查系统平台,本文随机选取某一段长时间的检测数据,采用人工视频比对的方法对各个车型的识别精度进行统计,车型识别统计率结果如表1所示。
表1中,系统对于特大货与中小客的识别准确率相对较高,主要在于本文选取车轮和车窗作为新的特征。其中,中货与小货的识别准确率相对较低,主要在于其边缘车型较多。系统的单车识别正确率均大于91%,从整体来看多种车型分类的综合识别准确率为97.6%,可见本文设计的激光车检器面对复杂交通环境下,各个实时交通车辆信息的检测准确度高。
表1 现场各个车型识别统计结果Tab.1 Statistical results of each vehicle model onsite r ecognition
4 结语
通过分析和比较其他交通信息采集系统的优缺点,创新性地采用3只激光雷达作为检测传感器,提出1套实时、多车道、连续采集的激光雷达车型识别系统;阐述了该系统的检测原理与设备结构,通过激光雷达及其辅助设备对车辆轮廓进行扫描并重建,再从重建后的车辆轮廓数据中提取出用于车型识别的各种特征;最后采用基于决策树的车型识别方法分类车型,并选取了实际道路交通场景进行测验,验证了该系统面对复杂环境适应性强、检测精度高,有利于提高智能交通系统的实践应用效果。