基于激光雷达深度信息和视觉HOG特征的车辆识别与跟踪方法

(1. 陆军工程大学石家庄校区车辆与电子工程系， 河北 石家庄 050003；

2. 北京理工大学机械与车辆学院， 北京 100081; 3. 中国船舶工业集团第6354研究所， 江西 九江 332100)

在无人车自动驾驶领域，车辆的识别和跟踪作为一项关键技术， 为无人车的自主控制和安全行驶提供基础。现有的车辆检测和跟踪传感器主要有激光雷达[1-2]和视觉摄像机[3]。甘志梅等[4]利用2D激光雷达信息建立车辆模型以对前方车辆进行识别，并采用Kalman滤波实现了目标跟踪；但2D激光雷达扫描的是二维环境信息，信息量少，无法准确识别出物体的形状，跟踪效果比较差。视觉摄像机进行车辆检测和跟踪时，检测范围广，可以获取车辆边缘[5]、纹理、颜色和对称性[6]等信息；但检测到的前方车辆外形、颜色和视角存在偏差，提取的准确率较低，不能满足车辆检测的实时性要求[7]，同时无法获取车辆的深度信息[8]。麦新晨等[9]利用激光雷达数据生成车辆假设的兴趣区域，选取车辆的车底阴影、轮廓对称性、区域纹理和角点数构成多特征对车辆进行识别验证;但检测到的前方车辆轮廓、区域纹理和角点存在差异，这些特征不能很好地表征车辆特征，无法对漂移和遮挡的目标进行准确跟踪。视觉方向梯度直方图(Histograms of Oriented Gradients,HOG)特征被提出后,首先运用在行人检测上，并得到了很好的验证。HOG特征由于其在局部几何以及光学变化上具有良好的不变性，因此得到了广泛的应用，成功运用于自动分割人眼的虹膜图像[10]、交通标态检测[11]和车辆检测[12]等领域。

基于激光雷达扫描周围物体可以快速定位假设目标，视觉HOG特征可以准确进行车辆识别，从而完成假设目标验证，因此笔者提出融合激光雷达深度信息和视觉HOG特征信息的车辆识别与跟踪方法。该方法在目标首次进入激光雷达视野时采用视觉HOG特征对其进行验证，对于验证后的目标车辆，采用基于激光雷达深度信息对其持续跟踪，可有效提高车辆检测的准确性和车辆跟踪的实时性。

1 传感器标定和车辆模型建立

1.1 激光雷达和摄像机的标定

激光雷达和摄像机是2种类型的传感器，在车辆检测前需要将多传感器的坐标统一，实现坐标系之间的相互转换。实验中采用梯形棋盘格标定板[13]的方法对摄像机和激光雷达进行标定，实现激光雷达数据到图像坐标的转换。

1.2 基于模板匹配的车辆模型建立

由于前方被测车辆与搭载激光雷达的无人车相对位置不同，其呈现在激光雷达扫描地图上的形状也存在差异。当车辆在激光雷达正前方时，在点云图中呈现 “I”型直线形状，当车辆在右前方或者左前方时，在点云图中呈现“L”型直角形状，如图1所示。需要提取车辆的中心和尾部与建立的模板进行匹配，因“I”型直线拟合较容易，本文重点讨论“L”直角型角点的提取。

拟合采用最小二乘法，拟合过程中要求观测值偏差的加权平方和最小，拟合过程如图2所示。对于采集到的某一帧激光雷达数据，预处理得到一组聚类数据C，该类中包含b个数据点，显然最左(p=1)和最右(p=b)都不是直角顶点。拟合过程中，假设第2个点为直角点，首先利用p=l,2的点和p=2，…，b的点分别拟合出l1和l2两条直线;然后得到l1、l2拟合观测值偏差的加权平方和r1、r2;最后把二者相加，得到这2条直线拟合偏差的加权平方和之和ξ(C，2)=r1+r2。同理，假定p=3的点为直角点得到ξ(C，3)。以此类推，遍历选取p=4,…，b-1作为候选点，分别得到ξ(C，4)，…，ξ(C，b-1)。显然，ξ最小时，对应的点即为“L”直角型的角点。如：一组聚类数据C拟合观测值偏差的加权平方和之和如图2(a)所示，可以看出ξ(C，34)最小，即p=34对应的点即为角点。将p=34两侧的点分别进行拟合，拟合过程如图2(b)所示，可以看出拟合线段的夹角接近直角。

图1 激光雷达扫描车辆模型

图2 直角拟合

2 基于视觉HOG特征的假设目标验证

2.1 假设目标感兴趣区域的动态规划

在利用视觉特征对车辆进行验证前，需要对激光雷达数据进行预处理，确定目标的位置和大小，从而映射到图像中，选取假设目标在采集到图像中的位置和大小。本文采用最近邻域聚类分割算法[14]对采集到的雷达数据进行预处理。该算法的主要思想是：将第一个数据点作为第一组的聚类中心，若下一个点到该点的距离小于聚类半径R，则为同一物，更新该数据为新的聚类中心；否则把该数据作为新一组的聚类中心。由于激光雷达按照固定角度分辨率扫描，扫描中激光束成扇形。随着激光反射点间距离的增加，采用的聚类半径阈值也应随两者最小距离的增加相应增加。采用的聚类半径

(1)

式中：ri-1为当前扫描的距离ρi和前一扫描检测点的距离ρi-1的最小值;δ为余量;λ为修正系数；Δθ为角度分辨率。实验时，取λ=10，δ=0.03 m。

雷达数据聚类后确定了聚类的个数m、每一类的位置(x，y)、目标的类型shape和目标物体的大小size。选取其中的一帧数据，聚类效果如图3所示。可以看出：该类数据中存在2个目标，左侧目标为“I”型，右侧目标为“L”型。根据多传感器融合模型，将“I”型目标位置(x，y)映射到图像中坐标中心位置(u，v)。在图像中的感兴趣区域用(u，v，a，h)表示，其中：a为目标在图像中的像素宽度；h为根据车辆的先验知识确定感兴趣区域的高度。

图3 激光雷达一帧数据的聚类效果

2.2 HOG特征提取

HOG特征是统计空间域图像的方向梯度密度分布，通过计算和统计图像局部区域的梯度方向直方图来构成特征[15]。HOG特征提取过程如图4所示。

1) 图像预处理。图4(a)为车辆尾部原始图像，对其进行灰度化处理，得到如图4(b)所示图像。采用Gamma归一化处理降低图像局部的阴影和光照的影响，归一化后像素灰度

H(x,y)=

(2)

图4 HOG特征提取过程

式中：I(x,y)为当前像素的灰度。归一化处理后效果如图4(c)所示。

2)图像像素点(x,y)的梯度。水平方向梯度Gx(x,y)和垂直方向梯度Gy(x,y)分别为

Gx(x,y)=H(x+1,y)-H(x-1,y),

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)。

(4)

像素点(x,y)处的梯度幅值G(x,y)和梯度方向角α(x,y)分别为

(5)

(6)

车尾梯度图如图4(d)所示。

3) 分块直方图投影。将梯度处理后的图像划分为8×8像素cells。对每个像素按照9个bin通道进行离散化采样统计，生成cell的HOG特征，如图4(e)所示。

4) 区域归一化。将2×2个cell组成更大的block空间，每个cell的输出多次作用于特征描述器，生成block的HOG特征，如图4(f)所示。然后采用式(7)对block块内的特征向量进行归一化处理：

(7)

5) HOG特征向量。采用滑动窗口搜索法，搜索步长16×16。将图像内所有block的HOG特征串联起来组合形成最终的HOG特征向量，生成整幅图像的HOG特征，如图4(g)所示。

3 基于激光雷达深度信息的目标跟踪

无人车在自主行驶过程中道路环境复杂，无人车的主动避障和路径规划都需要对检测到的目标车辆具有一定的预见性，即对前方目标持续跟踪。目标跟踪过程主要完成目标车辆与跟踪器的关联，跟踪算法如图5所示，主要分为3个过程：

1) 目标初始化。当目标首次进入激光雷达视野时，需要利用视觉HOG特征验证是否为车辆。如果验证结果是车辆，则建立目标车辆的跟踪器模型；如果不是车辆，则认定为其他障碍物，在无人车路径规划和车辆控制中进行避障处理。

2) 目标跟踪器的更新与预测。将检测到的目标车辆生成模型与现有的跟踪器模型进行关联匹配。如果目标模型与现有的跟踪器建立正确的关联，则对现有的跟踪器进行更新并预测目标下一时刻的位置。

3) 目标超出视野时跟踪器的删除。如果检测到的目标模型不能与现有的跟踪器模型关联，则此目标可能被遮挡或超出检测视野。然后对其丢失次数进行判断：当丢失次数小于阈值时，目标可能被遮挡，对其继续进行跟踪，更新跟踪器；当丢失次数大于判断阈值时，表明该目标已经驶离检测视野，将该跟踪器删除。

图5 车辆跟踪算法

3.1 目标关联

车辆检测过程中，当前帧出现的目标与现有跟踪器之间建立正确的关联是目标跟踪的关键。本文针对目标车辆跟踪问题，分别建立目标车辆和跟踪器模型。

车辆模型为{{shape,size},{x,y},{new,trackerid,mincost}}。其中：{shape,size}表示检测到的目标车辆经预处理后的形状和大小；{x,y}表示处理后得到的目标车辆位置；{new,trackerid,mincost}表示目标车辆模型与现有的跟踪器模型关联后得到的关联特征。在关联特征中，new表示匹配过程中目标车辆模型是否与现有跟踪器模型匹配：如果没有跟踪器与之匹配，new设置为“是”，说明该目标首次进入视野；如果有跟踪器与之正确匹配，new设置为“否”，更新目标车辆模型和跟踪器模型，同时更新目标模型关联对应的跟踪器序号trackerid和目标关联的最小代价方程值mincost。

3.2 基于马氏距离代价方程的确定

文献[16]中，代价方程的约束依靠目标的运动特征。文献[17]方法重点考虑目标车辆的运动特征，次要考虑目标车辆的外形特征，该方法需要综合考虑各特征的影响，对各特征值分配权重，但是权重分配较难。本文基于马氏距离的方法确定目标车辆模型和跟踪器模型的代价方程，该方法综合考虑了目标车辆的运动特征和外形特征，提高了目标关联的准确度。

(8)

式中：S为所有样本的协方差矩阵。

3.3 单个目标的跟踪与预测

在数据获取过程中，激光雷达扫描频率高，相邻2帧的时间间隔较小，位置变化也相应较小，因此将检测车辆相邻2帧的运动近似看作匀速运动。

卡尔曼滤波器的状态模型为

Xt=A·Xt-1+Wt,

(9)

式中:Xt=(xt,vxt,yt,vyt),为t时刻目标车辆的位置和速度状态向量；Xt-1为t-1时刻车辆的状态向量；Wt为状态模型高斯白噪声；

(10)

为状态转移矩阵，其中Δt为传感器数据的采集处理时间，设Δt=40 ms。

定义卡尔曼滤波器的测量模型为

Zt=H·Xt+Vt,

(11)

式中：Zt=(xt,yt)T，为观测向量；Vt为测量模型高斯白噪声；

(12)

为观测矩阵。

图6为无人车在行驶过程中，对迎面而来一相向而行的车辆跟踪过程进行卡尔曼滤波处理的结果。跟踪过程中共采集连续208帧数据，车辆纵向距离滤波前后对比过程如图6(a)所示，车辆横向距离滤波前后对比过程如图6(b)所示。可以看出：在60帧数据前后，被跟踪的目标车辆存在着被遮挡的现象，通过卡尔曼滤波器的处理仍以当前的状态进行预测，保证了在短暂遮挡情况下跟踪的连贯性;在90、150帧出现了很大的噪声干扰，通过卡尔曼滤波有效降低了噪声干扰。

图6 车辆状态滤波前后对比

4 试验验证

以实验室配备的2D激光雷达和摄像机的轮式智能无人车为平台进行算法有效性验证试验。选用的激光雷达最大测距为50 m，试验中选用的角度分辨率为0.25°，设定的扫描频率为25 Hz。摄像机分辨率为1 294×964像素,水平和垂直像素尺寸为3.75 μm，镜头焦距为6 mm。试验包括：1) 训练器生成试验；2) 目标车辆首次进入检测视野进行假设目标视觉验证试验；3) 对车辆目标进行跟踪试验。

在视觉验证前，采集大量车辆尾部的HOG特征对车辆分类器进行训练，最终生成可以对车辆进行分类的分类器模型。训练过程中，首先载入正、负样本图片，图像像素为64×64，则HOG特征的维度为(64/8-1)×(64/8-1)×4×9=1 764，得到正负样本的HOG特征向量。当采集完所有正负样本的HOG特征后，利用LS-SVM对采集的数据进行“交叉验证”训练，得到检测车辆分类器的模型并对其进行验证。

为了衡量训练器的性能，利用实验室2个履带平台为试验车辆在不同道路情况下进行检测识别，检测场景中包括树木、车辆以及其他障碍物，部分帧的检测结果如图7所示。其中：图7(a)为激光雷达扫描周围环境获取的点云图；图7(b)为激光雷达点云融合到图像中的效果图，图中方框内为获取到的假设目标感兴趣区域；图7(c)为假设目标验证的结果，可以看出验证识别出履带车辆而排除了电动三轮车。由于激光雷达确定了检测范围，因此不容易出现虚警目标，有效避免了外界噪声的影响，具有良好的鲁棒性。

图7 车辆识别过程

试验中对某一目标进行持续跟踪，跟踪过程如图8所示。在54帧时，车辆首次进入传感器视野，对激光雷达数据进行聚类处理，效果如图8(a)所示。获取目标位置和大小后，对应到图像中确定感兴趣窗口，如图8(d)所示，图中：红色点集为激光雷达扫描车辆的扫描点通过传感器标定映射到图像的效果；方框为选定的假设目标感兴趣区域，可以看出该窗口足以容纳车辆在图像中的投影。按照第2节方法提取车辆尾部的HOG特征，利用训练好的分类器模型进行视觉验证，验证该目标为车辆。目标车辆首次进入激光雷达视野时，对其进行初始化，生成目标车辆模型和跟踪器模型，然后利用单线激光雷达获取的深度信息对目标车辆进行持续跟踪。图8(a)-(c)中黑色线框代表识别出车辆的位置，红色线框代表卡尔曼滤波器对目标位置的估计。在车辆运动过程中，按照跟踪策略对其持续跟踪，对现有的跟踪器进行更新并预测目标下一时刻的位置，过程如图8(b)所示，实际跟踪现场对应的图片如图8(e)所示。当关联丢失的次数小于设置阈值，仍对驶离激光雷达视野的车辆进行跟踪，过程如图8(c)所示，对应的现场照片如图8(f)所示。

图8 目标车辆跟踪过程

5 结论

针对无人车前方车辆检测与跟踪过程中准确性和实时性要求高的问题，结合激光雷达扫描周围物体可以快速定位目标，视觉HOG特征可以准确识别车辆而完成目标验证的优势，笔者提出了融合激光雷达深度信息和视觉HOG特征信息的车辆识别与跟踪方法。通过有效的管理策略，实现了目标跟踪的3个状态：1) 目标初始化跟踪器的生成；2) 跟踪器的更新与预测；3) 目标驶离视野时跟踪器的删除。

参考文献：

[1] WANG H,WANG B,LIU B B,et al.Pedestrain recognition and tracking using 3D LiDAR for autonomous vehicle[J].Robotics and autonomous systems,2017,88:71-78.

[2] PEREIRA M,SILVA D,SANTOS V,et al.Self calibration of multiple LIDARs and cameras on autonomous vehicle[J].Robotics and autonomous systems,2016,83:326-337.

[3] 马伟.基于单个摄像机的车辆检测与跟踪[D].南京：南京理工大学，2008:40-50.

[4] 甘志梅,王春香,杨明.基于激光雷达的车辆跟踪与识别方法[J].上海交通大学学报,2009(6):923-926.

[5] SUN Z,BEBIS G,MILLER R.Monocular precrash vehicle detection:features and classifiers[J].IEEE transaction image proces-sing,2016,15(7):2019-2034.

[6] TEOH S S,BRAUNL T.Symmetry-based monocular vehicle detection system[J].Machine vision and application,2012,23(5):831-842.

[7] HUANG D Y,CHEN C H,CHEN T S,et al.Vehicle detection and inter-vehicle distance estimation using single-lens video camer on urban/suburd roads[J].Journal of visual communication and image representation,2017,46:250-259.

[8] WANG H,CAI Y F.Monocular based road vehicle detection with feature fusion and cascaded Adaboost[J].Optik-international journal for light and electron optics，2015,126(22):3329-3334.

[9] 麦新晨,杨明，王春香，等.一种基于多传感器融合的车辆检测与跟踪方法[J].上海交通大学学报,2011(7):1012-1016.

[10] RADMAN A,ZAINAL N,SUANDI S A.Automated segmentation of iris images acquired in an unconstrained environment using HOG-SVM and GrowCut[J].Digital signal processing,2017,64(5):60-70.

[11] KASSANI P H,TEOH A B.A new sparse model for traffic sign classification using soft histogram of oriented gradients[J].Applied soft computing,2017,52(3):231-246.

[12] CHEON M,LEE W,YOON C,et al.Vision-based vehicle detection system with consideration of the detection location[J].IEEE transactions on intelligent transportation systems,2013,13(3):1243-1252.

[13] 贾子永，任国全，李冬伟，等.基于梯形棋盘格的摄像机和激光雷达标定方法[J].计算机应用，2017，37(7)：2062-2066.

[14] 庄秀华.基于单线激光雷达的障碍物检测与跟踪研究[D].长沙：湖南大学，2014:20-30.

[15] ARROSPIDE J,SALGADO L,CAMPLANI M.Image-based on-road vehicle detection using cost effective histograms of oriented gradients[J].Viscommun image R,2013，24(7)：1182-1190.

[16] VEENMAN C,REINDERS M,BACKER E.Resolving motion correspondence for densely moving points[J].IEEE transactions on pattren analysis and machine intelligence,2001,23(1):54-72.

[17] 周俊静,段建民,杨光祖.基于深度信息的车辆识别和跟踪方法[J].北京工业大学学报,2013(11):1644-1651.