基于多传感器信息融合的车辆目标识别方法∗

孙 宁，秦洪懋，张 利，葛如海

基于多传感器信息融合的车辆目标识别方法∗

孙 宁1，秦洪懋2，张 利3，葛如海1

(1.江苏大学汽车与交通工程学院，镇江 212013； 2.北京航空航天大学，车路协同与安全控制重点实验室，北京 100191；3.东风商用车技术中心，武汉 430056)

鉴于传统车辆避撞系统中，因采用单一传感器进行目标识别，在感知范围、识别准确性等方面存在的固有缺陷，本文中提出了一种基于雷达与机器视觉信息融合的目标识别方法。该方法获取目标序列后，在目标级融合方法的基础上，引入马氏距离进行观测值匹配。再应用联合概率数据关联(JPDA)算法进行数据融合，建立系统观测模型与状态模型，从而实现了基于信息融合的目标识别。试验验证结果表明，该方法基于雷达与摄像头数据，可实现目标的准确识别与定位，其工程适应面更广。

车辆识别；信息融合；状态估计；观测模型

前言

据有关统计[1]，交通事故中57%与车辆追尾碰撞有关。因此，车辆碰撞预警方法的研究以及相应系统的开发对减少交通事故、改善道路交通安全具有重大意义。

近年来，国内外学者从不同角度提出了各种不同的车辆碰撞预警方法和系统[2-4]，目前已经应用于工程领域的车辆避撞方法和系统一般是通过机器视觉或雷达识别出前方障碍物，然后进行避撞决策，最后将决策结果输出到执行器或预警人机接口(human machine interface，HMI)。但无论是雷达还是摄像头都有自身缺陷，都会受到各种不利环境因素影响，导致在特定的场景中，目标识别的能力大大减弱[5]。因此，上述车辆避撞方法和系统，因受单传感器的感知能力制约，都存在一定的缺陷，不能在实际全工况场景中，有效避免车辆碰撞。据此，本文中将毫米波雷达与摄像头信息进行融合，提出一种车辆目标识别方法。

1 总体设计

目前国内学者从不同角度出发，对信息融合的方法进行了划分[6-7]。其中被广泛应用的是将信息融合分为“数据级融合方法”与“目标级融合方法”。

数据级融合方法基本的思路是：利用摄像头等传感器探测到的目标位置，迅速确定图像上的“感兴趣区域”(region of interest，ROI)，然后调用图像算法对该区域进行检测，确定区域内是否含有车辆。这类方法的主要目的是加速图像的识别过程，提高系统的实时性[8]。

目标级融合方法基本的思路是：单传感器先独立分别给出各自的判断结果，即目标序列。采用融合算法对这些结果进行综合判断，将算法认为有效的结果作为输出结果。与数据级融合方法相比，目标级融合方法能更有效地发挥出传感器的识别技术优势，系统鲁棒性更强[9]。

因此，本文中采用“目标级”融合方法。具体的实现方法是：由摄像头与雷达各自完成目标的检测，然后进行数据融合，实现准确的目标识别。在车辆控制系统中的具体硬件框架如图1所示。

图1 信息融合系统硬件框架

首先雷达通过自身的信号处理解析出多个可能的目标，获得其位置和速度信息。在此基础上，结合摄像头模块所提供的目标位置和速度信息，对所有原始目标进行一一匹配和观测值的融合，进行目标跟踪与维护，同时处理边界情况(目标的出现和消失)。最终的融合结果被发送到CAN总线上，为车辆避撞功能模块的决策提供信息依据。

2 信息融合方法

该融合方法的前提条件是，雷达和摄像头能提供有效目标序列。具体而言，雷达可提供目标的位置与纵向速度信息(x，y，vy)，摄像头的图像处理算法可以提供目标的位置、尺寸和类型信息(x，y，width，type)。两个目标序列经过融合后，输出完整的位置、宽度和类型信息(x，y，width，type，quality)。融合系统的输入输出关系如图2所示。

图2 融合系统I/O

需要说明的是，完整的车辆识别功能包括两部分：即每一个周期内对目标的识别和对上一帧检测到的目标的跟踪。跟踪的目的就是维护有效的“目标车辆库”，为信息融合算法提供最终的目标序列[10]。因此这是完整的车辆识别与跟踪的基础，也是该融合方法的前提条件[11]。

本文中融合方法在获得了雷达与摄像头两方面的目标序列后，解决以下3个问题。

(1)观测值匹配问题 将本周期新识别到的目标与跟踪目标相匹配。图3中展示了雷达和摄像头对目标探测误差的特点：雷达在目标纵向距离上探测精度较高，但横向探测误差较大。摄像头则恰好相反。因此每一周期获得的雷达相对于摄像头目标是有偏离的，需要一种有效的手段来确认雷达和摄像头的哪些观测值由同一辆车产生，然后进行融合。

图3 雷达与摄像头测量误差示意图

(2)数据融合问题 确认两个分别来自雷达和摄像头的观测值对应着同一个车辆目标后，融合两者给出最终结果。图4示出雷达与摄像头识别结果的融合概率。由图4可知，以目标横向距离探测为例，两个传感器有各自的观测值分布。理论上，这两个分布有着相同的平均值，但是由于传感器特性的不同，它们有不同的方差，分布曲线也不尽相同[12]。融合算法需要从两种传感器的特性出发，综合两条分布曲线得到融合结果的概率分布。通常可直观地认为融合结果应该介于两个观测值之间，如图3中外椭圆区域I所示。

图4 雷达与视觉识别结果的融合概率

(3)维护有效目标库 每一周期可能会有新目标出现和旧目标的消失。对于没有新观测值的目标，需要从跟踪序列中删除。对于新的观测值，需要建立一个新目标来初始化跟踪。

3 信息融合算法设计与实现

3.1 基于马氏距离的观测值匹配

马氏距离是印度统计学家提出的计算两点间协方差距离的方法[13]。定义预测值与观测值的马氏距离为

式中：zi为本周期第 i个目标观测值；zk｜k-1为基于前k-1时刻的本周期的目标预测值；Sk为两个样本间的协方差矩阵，它的第m行第n列元素定义为两个样本第m和第n个元素的协方差。

满足条件的观测值的集合为

式中：z为观测值集合中的元素，若一观测值在式(2)所定义的区域中，则认为它是有效的；C为限定阈值，一般 C取3时，有效观测值都会包含在区域中。

而如上节所述，本文中的信息融合方法首先需要解决的是观测值匹配问题。

其数学描述为

式中：{xk，k＝ 0，1，2，…}是离散时间的状态向量序列。uk-1为已知的控制输入(对车辆目标的追踪中并没有控制输入)。 {vk，k＝0，1，2，…}是一个独立于其他变量，且满足正态分布的系统噪声。

图5示出了与式(1)数据关联的场景。在某一时刻(第k步)得到了基于前k-1步信息的预测值z＾k｜k-1和一系列本周期的观测值。本文中采用马氏距离的方法来匹配雷达与摄像头的观测值，需确定观测值的具体来源。

图5 数据关联问题示意图

本文中的融合算法定义：当C＝3时，有效观测值都会包含在式(2)描述的区域中。

3.2 基于JPDA数据融合模型

如上节所述，观测值匹配之后，下一步是对它们进行有效融合。本文中采用JPDA(joint probability data association)方法进行数据融合[14]。

图6示出了JPDA状态估计的原理[15]，包括目标状态更新与存在性概率更新。其中状态更新的流程与标准卡尔曼滤波基本一致，存在性概率与其同时进行跟踪。

在车辆跟踪问题中，系统的状态方程为

式中：xi，k为 nx维的状态向量，下标 i表示第 i个目标；vk为平均值为0的白噪声，只与状态方程特性有关，同时观测值与真实状态的关系满足：

图6 JPDA算法流程

式中：zij，k为第j个传感器对第i个目标的观测值；Hj为真实值与观测值数学模型中相关函数h的线性近似表示，它与不同传感器观测模型相关；wj，k为均值为0的白噪声，值得注意的是它与不同的传感器模型有关。它的协方差矩阵满足：

完成第k-1步的状态更新后，须对上一步的状态值和观测值进行预测：

然后是本周期的状态更新过程：值得注意的是这为第i个目标根据第j个传感器的测量值进行状态更新的结果。Kij为卡尔曼增益矩阵，γij为观测值与预测值的残差向量，即

式中zij为上一节中验证过的第i个目标的观测值。此外，预测状态的协方差定义为

式中Sij为残差的协方差矩阵：

最后，计算卡尔曼增益矩阵：

接下来，最重要的是状态值的更新，即将各观测值预测状态的加权平均，即

式中βij为目标xi产生观测值zij的概率[12]。状态量协方差更新为

式中ηij为假设偏差，定义为

由于视觉算法不能直接获取目标车辆的速度信息，本文中采用“常速度模型”对车辆进行追踪。在离散状态模型中，状态向量选取为

4个元素分别表示车辆目标的纵向位置、纵向速度、横向位置和横向速度。系统矩阵Fk满足：

此外，观测模型中观测值向量为z＝[lylx]T。矩阵Hj满足：

本文中的融合算法定义，当C＝3时，有效观测值都会包含在描述区域中。

3.3 融合算法的实现

算法流程如图7所示。具体步骤如下。

图7 融合算法流程

步骤1 获取新一周期雷达与摄像头的目标序列后，利用马氏距离将观测值分配给现有的目标。需要注意的是，由于JPDA算法不能动态处理目标信息，此处须对车辆库进行人工维护，即对未被分配的观测值做一个简单的处理，从而初始化目标。若有雷达和摄像头目标的欧式距离小于一定范围，则将它们融合为一个新的目标，状态量取两者平均值。

步骤2 对现有目标进行数据融合和状态更新。

步骤3 对融合目标的参数进行整合，目标将直接获得雷达提供的纵向速度信息和摄像头提供的目标宽度信息。

4 试验验证

采用日本电产公司生产的6V60M1型毫米波雷达，松下GP-KD6Q01FC型摄像头作为传感器，表1和表2分别为雷达和摄像头的主要性能参数。试验车辆与设备如图8所示。

表1 雷达基本性能参数

表2 摄像头主要性能参数

为避免高峰期，试验时间选择上午 10：00～12：00。试验路线为镇江市环城公路(国道)，随机识别社会车辆。

应用该融合算法，对试验中雷达与摄像头分别识别到的目标进行融合。图9和图10为同一段13s样本的目标空间位置(横/纵向位置)状态估计结果。

图8 试验车辆与设备

图9 目标横向距离状态估计结果

图10 目标纵向距离状态估计结果

由图9和图10可知，该融合算法有较好的状态估计性能。为进一步统计本文中融合算法的识别性能，根据文献[5]中的评价方案，针对超过7 000帧图像，统计了5种不同的性能指标，分别为：(1)成功融合的目标；(2)只被雷达探测到的目标；(3)只被摄像头探测到的目标；(4)未能成功融合的目标；(5)非车辆障碍物，一般是雷达探测到的护栏。表3为基于事件的统计数据。

由表3可知，在7 000帧图像样本中，未成功融合数量仅为4个，占总事件的6%。因此本文中的融合方法准确率较高，能弥补雷达与摄像头各自的缺陷，有效地对目标进行识别。

表3 融合算法识别结果统计

5 结论

(1)针对目前车辆避撞系统工程领域中单一传感器不能有效识别前方车辆目标的问题，提出一种基于雷达与摄像头信息融合的目标识别方案。

(2)融合方案采用雷达为主、摄像头为辅的硬件框架，引入马氏距离进行目标序列的观测值匹配，基于JPDA的数据融合算法构建系统的观测模型与状态模型。

(3)试验结果表明，该融合算法在测试事件中有效率高达94%，远高于单一传感器的识别效率(雷达11%，摄像头17%)。

(4)该融合算法不足之处在于其高效检测立足于雷达与摄像头的有效目标识别区域(视野范围)，如何将其扩展到只有单传感器发挥作用的区域，还有待进一步研究。

[1] 谭华春，周洋，李克强，等.基于车尾部特征的对车辆的视觉精确定位[J].汽车安全与节能学报，2016，7(3)：285-290.

[2] VAHIDI A，ESKANDARIAN A.Research advances in intelligent collision avoidance and adaptive cruise control[J].IEEE Transactions on Intelligent Transportation Systems，2003，4(3)：143-153.

[3] DAGAN E，MANO O，STEIN G P，et al.Forward collision warning with a single camera[C].Intelligent Vehicles Symposium，IEEE Xplore，2004：37-42.

[4] MILLER R，HUANGQ.An adaptive peer-to-peer collision warning system[C].Vehicular Technology Conference， Vtc Spring 2002，IEEE.IEEE，2002：317-321.

[5] ALESSANDRETTI G，BROGGI A，CERRI P.Vehicle and guard rail detection using radar and vision data fusion[J].Intelligent Transportation Systems IEEE Transactions，2007，8(1)：95-105.

[6] 何友.多传感器信息融合及应用[J].电子学报，2000，30(12)：60-61.

[7] 潘泉，王增福，梁彦，等.信息融合理论的基本方法与进展(Ⅱ)[J].控制理论与应用，2012，29(10)：599-615.

[8] 王海鹏，熊伟，何友，等.集中式多传感器概率最近邻域算法[J].仪器仪表学报，2010，31(11)：2500-2507.

[9] 宋强，熊伟，何友.多传感器多目标系统误差融合估计算法[J].北京航空航天大学学报，2012，38(6)：835-841.

[10] 刘贵如，周鸣争，王陆林，等.城市工况下最小安全车距控制模型和避撞算法[J].汽车工程，2016，38(10)：1200-1205.

[11] SUN Z，BEBISG，MILLER R.On-road vehicle detection：a review[J].IEEETransactions on Pattern Analysis＆Machine Intelligence，2006，28(5)：694-715.

[12] 王宝锋，齐志权，马国成，等.一种基于雷达和机器视觉信息融合的车辆识别方法[J].汽车工程，2015，37(6)：674-678.

[13] MANJUNATH B S，MA W Y.Texture features for browsing and retrieval of image data[J].IEEE Transactions on Pattern Analysis＆ Machine Intelligence，1996，18(8)：837-842.

[14] ROECKER JA.Class of near optimal JPDA algorithms[J].IEEE Transactions on Aerospace ＆ Electronic Systems，1994，30(2)：504-510.

[15] LEE M S，KIM Y H.New multi-target data association using OSJPDA algorithm for automotive radar[J].Ieice Transactions on E-lectronics，2001，E84C(8)：1077-1083.

Vehicle Target Recognition Based on Multi-sensor Information Fusion

Sun Ning1， Qin Hongmao2， Zhang Li3＆ Ge Ruhai1

1.School of Automotive and Traffic Engineering， Jiangsu University， Zhenjiang 212013；2.Key Laboratory for Cooperative Vehicle Infrastructure Systems and Safety Control， Beihang University， Beijing 100191；3.Dongfeng Commercial Vehicle Technical Center，Wuhan 430056

In view of the inherent defects of traditional collison avoidance systems in respects of perception range， and recognition accuracy etc.due to adopting single sensor for target recognition， a target recognition method based on the information fusion of radar and machine vision is proposed.With the method，after target sequence is obtained，Mahalanobis distance is introduced to conduct observed values matching on the basis of taget level fusion method.Then joint probability data association(JPDA)algorithm is applied to data fusion，and the observation model and state model of the system are set up to achieve target recognition based on information fusion.The results of verification test show that the method based on radar and camera data can fulfill accurate target recognition and positioning with wider adaptive engineering field.

vehicle recognition； information fusion； state estimation； observation model

10.19562/j.chinasae.qcgc.2017.11.014

∗国家自然科学基金(51505247)、江苏省道路载运工具新技术应用重点实验室开放基金(BM20082061501)和江苏省研究生培养创新工程(KYLX16＿0882)资助。

原稿收到日期为2017年5月3日，修改稿收到日期为2017年6月6日。

秦洪懋，讲师，E-mail：qinhongmao＠ buaa.edu.cn。