车路协同环境下行人目标信息融合算法研究*

李　泽　吕能超▲　吴超仲　邓　超　孟　柯

(1.武汉理工大学智能交通系统研究中心　武汉 430063；

2.武汉理工大学水路公路交通安全控制与装备教育部工程研究中心　武汉 430063)



车路协同环境下行人目标信息融合算法研究*

李泽1,2吕能超1,2▲吴超仲1,2邓超1,2孟柯1,2

(1.武汉理工大学智能交通系统研究中心武汉 430063；

2.武汉理工大学水路公路交通安全控制与装备教育部工程研究中心武汉 430063)

摘要车载行人识别系统由于存在检测距离精确度不高及受遮挡影响较大等问题，在弯道及交叉口情况下适应性差。为提高行人防碰撞系统的预警效果，提出在车路协同环境下的行人目标信息融合算法研究。采用路侧和车载摄像头检测行人轨迹信息，通过Kalman滤波进行信息预处理，其次分别通过时间对准、空间对准、轨迹关联和信息融合完成对行人目标的位置估计。最后，搭建实车实验平台，对提出的信息融合算法进行验证。实验结果显示，对于X方向的行人轨迹误差，通过轨迹融合后，行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小，分别为50.00%，55.56%；对于Y方向的行人轨迹误差，通过轨迹融合后，行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小，分别为40.00%，62.07%。实验结果表明，该融合算法提高了行人轨迹检测精度，增强了系统的预警精确度。

关键词交通安全；行人检测；车路协同(CVIS)；信息融合；轨迹关联

0引言

通过对我国道路交通事故的诱发因素进行分析可知，交通事故产生的主要原因在于驾驶人。毫无疑问，行人在交通事故的受害群体中占有大部分比例[1]。因此，为了更加体现以人为本的理念，确保交通生活中行人的生命安全，全世界对此开展了广泛而深入的研究，而行人防碰撞系统则被公认为是识别潜在的车-车、车-人碰撞风险、减少交通事故中行人伤亡的最理想装备，如现今各种车辆装备的Mobileeye，EyeSight，pre-Safe[2]等。

由于车载行人识别系统存在检测距离精确度不高和受遮挡影响较大的问题，在弯道及交叉口等情况下不太适用，而车路协同技术为车路信息交互提供了可能。在车路协同环境下开展行人防碰撞研究，可有效解决上述问题[3-4]。随着科学技术及制造业的飞速发展，在车辆行车主动安全方面开始大量应用车路协同技术，行人防碰撞毫无疑问成为了其中的一个研究方向，如Yamaguchi[5]，Becker[6]，Ma[7]等均提出将车路协同技术应用于行人碰撞风险识别及预警。

针对行人检测算法研究，国内外现有研究成果相对成熟。如Kennedy 和 Eberhart[8]提出二进制粒子群优化算法，该算法主要用于解决传统粒子群优化算法无法解决的离散优化问题。该算法主要应用于人脸识别、行人识别以及数字识别等。关于行人步态识别，Cunado 等提出了一种基于大腿摆动频率的步态特征；Murase 与 Sakai 利用时空相关匹配的方法识别不同的步态。近几年有人提出了基于平面单应性矩阵的识别方法和基于监督 Isomap 的方法[9]。杨英等[10]提出一种基于 AdaBoost 的行人检测优化算法，该算法在行人识别分类器训练时，通过在线更新分类器错误率权重，实时调整权重系数，并采用扩展的类Haar特征，在保证分类器准确率的前提下，降低分类器的级数，减少分类器识别行人所需时间，减少计算的复杂性，满足实时性要求。综上所述，现有行人检测算法检测精度高、实时性好，但对于多源行人检测信息融合问题，目前缺乏相关研究。在车路协同环境下，由于路侧摄像头和车载摄像头会同时检测到道路交叉口处的行人，导致行人目标的冗余，因此需要对行人目标进行最优的位置估计及确认，国内外对此尚未开展深入研究。笔者将开展车路协同环境下行人识别目标的信息融合研究，通过路侧摄像头及车载摄像头检测到的行人目标信息，采用卡尔曼滤波算法进行信息融合，对目标行人进行运动轨迹关联，并对行人做出最优的位置估计，为做出精确的防撞预警决策奠定基础，提高了防撞预警系统的可信度。

1车路协同环境下的行人识别系统

1.1基于车路协同及机器视觉的防碰撞系统设计

基于车路协同(cooperative vehicle infrastructure system，CVIS)的行人防碰撞系统，组成结构如下。

1) 车载一体化集成模块。包括车载检测模块、中央处理模块、显示与控制模块。其中车载检测模块包括车载行人检测模块、本车检测模块。显示与控制模块包括人机交互部分和辅助控制部分。人机交互部分包括一体化显示器、车载扬声器；辅助控制部分包括电子油门控制器、车辆纵向控制的电子真空助力器(electronic vacuum booster，EVB)执行机构。

2) 路侧一体化集成模块。包括路侧行人检测模块、路侧信息处理模块。其中路侧行人检测模块由布置在路口的多个路侧摄像机组成。

1.2信息处理流程

基于CVIS的行人防碰撞系统，信息处理流程见图1。

图1　信息处理流程Fig.1　The processing information

2行人数据融合

信息融合中心分别获得预处理后的路侧摄像头与车载摄像头的行人目标轨迹信息，但2路信息是摄像头在不同的参考坐标系下通过检测交叉口处行人得到的，而且它们的采样频率及时间各不相同，因此无法实现行人目标的运动轨迹关联与融合。所以需要通过空间对准转化将它们统一到相同的参考系下，通过时间对准转化使它们实现信息的同步采集[11]。

2.1时间对准

由于路侧摄像头与车载摄像头分别在各自的系统时间维度上检测道路交叉口处的行人轨迹信息。考虑到行人目标运动速度和方向随时间时刻变化，对此，引入时间插值校准方法。时间插值校准方法的主要思想是：行人目标在运动过程中，运动方向和速度时刻在变化，但是在一段非常短的时间内，可以将行人目标视为匀速直线运动状态进行处理，即可得到所需时刻的行人目标运动信息[12]。计算公式如下。

(1)

式中：T1

2.2空间对准

车载摄像头识别的行人目标，路侧摄像头识别的行人目标是在各自的坐标参考系中完成的，因此需要将它们转化到统一的坐标下进行处理。将它们各自获取的行人空间三维坐标转化在同一平面直角坐标系中进行处理。对此，笔者选择使用直接线性变换实现上述目的。

2.3轨迹关联

由于在道路交叉口同一区域内，路侧摄像头与车载摄像头会同时检测到大量的行人轨迹信息。因此，需要通过进行行人目标轨迹关联来确定同一行人的位置信息。对此，采用模糊双门限关联法，它是一种基于模糊数学的典型轨迹关联算法[13-14]，其关联算法过程主要分为以下3步。

1) 构成单一因素集合。模糊因素级分为3类，在此采用相对位置进行描述，选取的路侧摄像头与车载摄像头信息的模糊因素，见式(2)。

(2)

2) 计算综合评判矩阵。构造评价集合Q={1,0}，在集合中分别用1和0表示二者信息是否相关。R即可以表示为

(3)

(4)

计算综合评判矩阵Wpq，其运算过程如下。

(5)

(6)

2.4行人轨迹融合

经过上述时间对准、空间对准和轨迹关联后，信息融合中心即得到了路侧、车载摄像头在同一参考坐标系下相互关联的行人轨迹信息。即可以构建Kalman融合公式：

(7)

式中：S为样本误差的方差；N为传感器个数；X为实际的测量值；A为融合结果。

由式(7)即可得出路侧、车载摄像头下行人目标信息的融合结果。

3实验验证

通过结合实验车与路侧终端设备，搭建实车实验平台，见图2。以期对提出的行人目标信息融合算法开展实例验证。实验流程见图3。1行人从人行横道一端运动至另一端，1实验车辆从远处逐渐运动接近人行横道，实验车中有1固定车载摄像头，车辆保持匀速行驶，并对车载摄像头拍摄的视频数据进行实时处理，通过路侧摄像头实时反馈视频流信息并获得行人运动速度，通过行人检测实时估计行人位置、运动信息。

图2　车路协同实验平台Fig.2　The experimental platform of CVIS

实验中采集了一组行人及实验车在不同时刻的运动数据，实验中以行人起点位置为坐标原点，水平X轴方向为行人运动方向。实验中行人沿人行横道移动，运用行人识别算法所测得运动行人的Xp，Yp分别为t时刻行人相对路侧摄像头X，Y方向的位移，即将Xp，Yp作为行人实际轨迹。实验车辆沿着垂直于该人行横道的道路驶向行人，所测得车辆的Xv，Yv分别为t时刻车辆侧摄像头x与y方向的位移，Xpv，Ypv分别为车辆与行人相对x与y方向的距离。通过坐标相对位移推算可得到Xpe，Ype，即为车载摄像头识别的行人轨迹。运用Kalman融合算法融合车载摄像头与路侧摄像头检测的行人信息得出融合后的行人轨迹，即为Xe，Ye。以Xp，Yp作为参考轨迹，即可分别得出融合前后行人在X，Y方向上的轨迹误差，分别为Exp，Exe，Eyp，Eye。行人、车辆运动信息见表1。

图3　实验流程示意图Fig.3　Schematic diagram of experimental process

m

图4　行人轨迹结果Fig.4　The results of track for pedestrian

图5　融合前、后X方向行人轨迹误差Fig.5　The error of X track for pedestrian before and after fusion

图6　融合前、后Y方向行人轨迹误差Fig.6　The error Y of track for pedestrian before and after fusion

图4为行人轨迹图，相比于行人实际轨迹，车辆识别行人轨迹上下波动较大，与行人实际轨迹吻合度低；融合后的行人轨迹上下波动较小，与行人实际轨迹吻合较好。

将行人实际轨迹作为参考轨迹，分别得到融合前、后的行人轨迹在X，Y方向上的误差大小，见图5，图6。实验结果显示，对于X方向的行人轨迹误差，融合前，最大绝对误差为1.0 m，绝对平均误差为0.18 m；融合后，最大绝对误差为0.5 m，绝对平均误差为0.08 m。可知，通过轨迹融合后，行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小，分别为50.00%，55.56%。同理，对于Y方向的行人轨迹误差，融合前，最大绝对误差为2.0 m，绝对平均误差为1.16 m；融合后，最大绝对误差为1.2 m，绝对平均误差为0.44 m。可知，通过轨迹融合后，行人轨迹最大绝对误差、绝对平均误差相比于融合前均有大幅度减小，分别为40.00%，62.07%。

实验结果表明，通过采用上文提出的Kalman融合算法融合后得出的行人轨迹曲线较融合前误差有较大程度减小，轨迹点的误差程度更小，与行人实际轨迹更加吻合，对行人目标的位置估计更加精确。即在一定程度上验证了笔者所提出的行人目标信息融合算法可信度较高。

4结束语

针对在车路协同环境下的行人防撞预警系统，路侧摄像头和车载摄像头检测到的行人目标冗余的问题，提出了行人目标信息融合算法。初始信息通过时间对准、空间对准和轨迹关联及行人目标信息融合完成了道路交叉口行人目标的位置估计及确认。最后，通过开展实验验证了该信息融合算法模型效果较好。实验结果显示，融合后的轨迹误差较融合前有大幅度减小，提高了行人轨迹检测精度，增强了系统的预警精确度。提出的行人轨迹融合算法有一定的创新性，但仍存在不足。该融合算法的检测实时性及在恶劣天气环境下的适应性是否增强有待验证，以期后续继续进行相关研究。

参考文献

[1]张 阳,刘伟铭,吴义虎.面向车载辅助驾驶系统的快速行人检测方法[J]. 公路交通科技, 2013, 11(5): 131-138.

ZHANG Yang, LIU Weiming, WU Yihu. A fast pedestrian detection method for vehicle auxiliary driving system[J]. Highway Transportation Science and Technology, 2013, 11(5): 131-138.(in Chinese)

[2]王建强,王海鹏,刘佳熙,等.基于车路一体化的交叉口车辆驾驶辅助系统[J]. 中国公路学报,2013,26(4):170-175.

WANG Jianqiang, WANG Haipeng, LIU Jiaxi, et al. Vehicle driving assistant system based on integrated vehicle and road[J]. Chinese Journal of Highway,2013,26(4):170-175. (in Chinese)

[3]王东柱,宋向辉,朱书善,等.基于车路协同的高速公路合流区安全预警控制方法[J]. 公路交通科技,2012(S1):50-56，63.

WANG Dongzhu, SONG Xianghui, ZHU Shushang, et al. A safety early warning control method of freeway confluence area based on vehicle road coordination[J]. Highway Transportation Science and Technology,2012(S1):50-56，63. (in Chinese)

[4]鲁光泉,宋 阳.车路协同环境下驾驶行为特性与交通安全综述[J].交通信息与安全,2014,32(5),13-19.

LU Guangquan, SONG Yang. A survey on driving behavior and traffic safety in the collaborative environment of vehicle road[J]. Journal of Transport Information and Safety,2014,32(5),13-19. (in Chinese)

[5]YAMAGUCHI R, IKEDA D, NAKANISHI Y, et al. A cooperative reflect transmission scheme using road infrastructure in vehicle-pedestrian communications[C].Vehicular Technology Conference, Singapore: IEEE, 2008.

[6]BECKER D, SCHAUFELE B, EINSIEDLER J, et al. Vehicle and pedestrian collision prevention system based on smart video surveillance and C2I communication[C].17thIntelligent Transportation Systems (ITSC) International Conference, Qingdao, China: IEEE, 2014.

[7]MA Guosheng, ZHU Tong, YANG Xiaoguang. Prediction of potential pedestrian-to-vehicle conflict at unsignalized intersection based on VII[C].International Conference on Intelligent Computing and Intelligent Systems, Shanghai, China: IEEE, 2009.

[8]杨 英,刘卫国,王有财.基于二进制粒子群优化算法的行人检测[J].机电工程,2013,30(9):1142-1146.

YANG Ying, LIU Weiguo, WANG Youcai. Pedestrian detection based on binary particle swarm optimization algorithm[J]. Mechanical & Electrical Engineering,2013,30(9):1142-1146. (in Chinese)

[9]许易操.基于视频的步态识别算法[J]. 图形图像,2015,10(2):35-39.

XU Yicao. A gait recognition algorithm based on video[J]. Graphics & Image,2015,10(2):35-39. (in Chinese)

[10]杨 英,刘卫国,钟 令,等. 基于AdaBoost行人检测优化算法的研究[J].机电工程,2014,31(10):1347-1350.

YANG Ying, LIU Weiguo, ZHONG Ling, et al. Research on pedestrian detection algorithm based on AdaBoost[J]. Mechanical & Electrical Engineering, 2014,31(10):1347-1350. (in Chinese)

[11]于俊逸,陈 伟,刘 建,等.内河航运VTS与AIS信息融合关键技术研究[J]. 交通信息与安全,2013, 31(6):113-118.

YU Junyi, CHEN Wei, LIU Jian, et al. Research on key technology of VTS and AIS information fusion for inland shipping[J]. Journal of Transport Information and Safety,2013, 31(6):113-118. (in Chinese)

[12]李维运.VTS中雷达和AIS信息融合算法探讨[J]. 中国水运,2006,6(7):116-118.

LI Weiyun. Study on the fusion algorithm of VTS radar and AIS information[J]. China Water Transport,2006,6(7):116-118. (in Chinese)

[13]鲁光泉,李一兵.基于普通数码相机的交通事故摄影测量技术及其研究进展[J]. 交通运输工程与信息学报, 2005(3):63-67.

LU Guangquan, LI Yibing. Research progress and photogrammetry technology in traffic accident based on general digital camera[J]. Journal of Transportation Engineering and Information, 2005(3):63-67. (in Chinese)

[14]何 友.信息融合理论及应用[M].北京:电子工业出版社, 2010.

HE You. Information fusion theory and Application[M]. Beijing: Publishing House of Electronics Industry, 2010.(in Chinese)

A Study of On-board Fusion and Extraction Algorithm of

Pedestrian under the Environment of CVIS

LI Ze1,2LV Nengchao1,2▲WU Chaozhong1,2DENG Chao1,2MENG Ke1, 2

(1.IntelligentTransportationSystemsResearchCenter,WuhanUniversityofTechnology,Wuhan430063,China;

2EngineeringResearchCenterforTransportationSafety,MinistryofEducation,Wuhan430063,China;)

Abstract：Due to its low accuracy of detection distance and occlusion, current on-board pedestrian recognition systems are not suitable for implementation at curves and intersections. In order to enhance the warning effects of vehicle on-board system, this paper developed a fusion & extraction algorithm for pedestrian identification under the environment of cooperative vehicle infrastructure system (CVIS). Pedestrian is detected by roadside and on-board cameras, and pretreated by a Kalman filter. The optimal position estimation of pedestrian is estimated through spatial and temporal alignment, fuzzy association and Kalman fusion. An actual vehicle experiment platform is set up to verify the effectiveness of the proposed fusion & extraction algorithm. Compared to errors from the pedestrian trajectory estimated before applying the fusion and extraction algorithm, the maximum absolute error reduces by 50.00% and absolute average error reduces by 55.56% at the X direction . As to the Y direction, the maximum absolute error reduces by 40.00%, and the absolute average error reduces by 62.07%. Experimental results show that the proposed algorithm improves the detection accuracy of pedestrian trajectory and enhances the warning accuracy of the system significantly.

Key words：traffic safety; pedestrian detection; cooperative vehicle infrastructure system(CVIS); information fusion; track association

通信作者：▲吕能超(1982-)，博士，副教授.研究方向：道路交通安全.E-mail:lvnengchao@163.com

作者简介：第一李泽(1991-)，硕士研究生.研究方向：道路交通安全.E-mail:andylee135@whut.edu.cn

基金项目*国家科技支撑计划项目(批准号：2014BAG01B0503)、中央高校基本科研业务费专项(批准号：133244003)资助

收稿日期：2015-09-29修回日期：2015-11-16

中图分类号：U121

文献标志码：A

doi：10.3963/j.issn 1674-4861.2015.06.007