基于车路协同与机器视觉的行人防碰撞系统*

吕能超 旷 权 程启超 王自丰 郭彦刚

(武汉理工大学智能交通系统研究中心1) 武汉 430063) (水路公路交通安全控制与装备教育部工程研究中心2) 武汉 430063) (武汉理工大学能源与动力工程学院3) 武汉 430063) (武汉理工大学计算机科学与技术学院4) 武汉 430063)

基于车路协同与机器视觉的行人防碰撞系统*

吕能超1,2)旷 权3)程启超3)王自丰4)郭彦刚3)

(武汉理工大学智能交通系统研究中心1)武汉 430063) (水路公路交通安全控制与装备教育部工程研究中心2)武汉 430063) (武汉理工大学能源与动力工程学院3)武汉 430063) (武汉理工大学计算机科学与技术学院4)武汉 430063)

为了提高行人防碰撞系统的预警效果，提出在车路协同环境下结合机器视觉开展行人防碰撞.车载和路侧模块分别采用机器视觉算法检测行人，采用道路构造点渠化法来快速获取局部道路地图，通过多源融合实现同质传感器条件下行人数据的融合处理，并搭建实物实验平台，基于C++开发了行人防碰撞系统并进行了行人检测及预警实地实验.结果表明，系统可以检测到多个行人，并在车载端进行数据融合识别碰撞风险，并做出及时预警.

车路协同；行人防碰撞系统；数据融合；构造点渠化；机器视觉

0 引 言

从道路交通事故的成因来看，驾驶员是导致交通事故的主要因素，而行人是交通事故中主要的受害群体.在2012年，我国因交通意外而死亡的行人人数占全部交通事故死亡人数的29.81%；因交通事故而受伤的人数占全部交通事故受伤人数的21.32%[1].为了有效地保护行人的安全，各国均围绕此开展了多种研究，行人防碰撞系统被认为是识别碰撞风险、减少行人伤亡的有效装备.车路协同系统(cooperative vehicle-infrastructure system，CVIS)是以路侧设备为中心，通过和通信区域内车辆进行通信，在路侧设备与车辆节点的高速移动中为用户提供安全预警等各种服务的系统[2].随着技术的发展，车路协同技术开始逐渐的应用在主动安全交通上，行人防碰撞便是其中的一个研究热点，如Yamaguch等[3]、Becker等[4]、Ma等[5]均提出将车路协同应用于碰撞风险识别.上述系统虽然取得了一定实验效果，但由于没有考虑到多个传感器条件下行人数据的融合，实际使用时虚警较多，预警效果不理想.

机器视觉已成为安全辅助驾驶中信息获取手段的主要途径[6-7].针对以上问题，本文提出一种基于车路协同与机器视觉的行人防碰撞系统.车载、路侧模块均采用机器视觉检测行人；同时结合道路构造点渠化法来快速获取局部道路地图，实现行人、车辆在同一个地图上进行地图匹配；分别在路侧模块、车载模块多地点、多方法进行多传感器条件下的行人数据融合，实现多源数据环境下的数据融合和碰撞风险识别.最后基于实物平台，采用C++开发了行人防碰撞系统，并进行实地行人检测及预警实验.基于以上思路提出的行人防碰撞系统，能够提高系统整体预警效果.

1 基于车路协同和及其机器视觉的防碰撞系统设计

1.1 系统构架

基于车路协同与机器视觉的行人防碰撞系统，系统组成框图如图1所示.

图1 系统构架

1.2 信息处理流程

1) 路侧信息获取 路侧一体化集成模块通过多个路侧摄像机检测行人，经坐标转换获取行人数量与位置信息.随后，在路侧信息处理模块上进行行人数据融合.同时，存储在路侧信息处理模块中的局部道路渠化代码被发送至路侧通信模块.

2) 车载信息获取 车载一体化集成模块通过车载前向摄像头检测行人并经过坐标转换获取行人的数量与位置信息，同时借助车载传感器获取车辆状态、操作信息.通过车路通信设备建立车载、路侧模块间的实时数据连接.

3) 信息融合处理 多源信息被发送至中央处理模块上，进行车载行人信息与路侧行人信息的融合，得到最终的行人信息并作为风险判别的依据.同时根据车辆状态信息与车辆操作信息得到车辆的运动状态.将车辆运动信息、多个行人的运动信息进行组合，得到二者的相对运动信息.通过局部道路渠化代码的重构快速得到局部道路地图，根据行人车辆相对运动信息实现二者在同一个局部道路地图下的匹配.

4) 风险判别处理 将得到的行人车辆相对运动信息与预先设定的安全阀值进行比较，若风险参数超过安全阀值，则系统会发送预警控制指令给显示与控制模块采取主动预警和辅助控制措施.若没有超过安全阀值，则当前为安全状态，系统不采取措施，继续行车.

2 数据融合与地图获取

2.1 行人-车辆相对坐标求解

国内外在基于机器视觉的行人检测方法上已开展了大量研究，并形成了相对成熟的算法，如基于梯度直方图(HOG)特征的识别算法.因此，本文不再深入讨论行人检测算法，仅考虑对已检测到的数据进行使用.在机器视觉使用过程中，很重要的一个环节是像素坐标到世界坐标的转换及必须的摄像机标定，通过此转换方可将图像中识别到的行人坐标转换到俯视图下的平面二维坐标.将摄像机模型简化为图示小孔成像模型,见图2.

图2 坐标转换模型

图中:物体成像过程要经过从世界坐标(XW,YW,ZW)到摄像机坐标(XC，YC，ZC)到图像坐标(X，Y)到像素坐标(u，v)的转换.根据张正友标定法的运算过程，采用齐次坐标与矩阵形式表示的转换过程如下.

(1)

此外，车辆、车载设备识别的行人目标、路侧设备识别的行人目标、道路局部地图等几个要素需要在统一的坐标下进行处理.因此，路侧设备识别的行人和局部地图，需要经过平面坐标转换才能统一到相对于车辆的坐标.通过高斯投影将经纬度转换为高斯平面坐标；再采用仿射变化进行坐标强制转换，建立高斯投影坐标系和局部坐标系间的映射关系，以实现相互间的坐标转换.在分别得到行人、车辆相对于路侧摄像机的坐标后，便可以进行坐标的矢量运算，进而可以得到行人在局部坐标系下相对车辆的位置信息.

2.2 行人数据融合

由于本文的方法将使用多个同质视觉传感器的行人检测结果，但传感器本身误差和系统工作误差会导致获取的行人数据存在不同程度的偏差，严重影响风险预警.因此，需要对多个传感器获取的行人数据进行融合处理.根据数据融合在多传感器信息处理层次中的抽象程度的不同，可以分为像素级、特征级和决策级融合.由于本文的数据融合结果直接为风险判别提供依据，所以为决策级融合层次.它需要在车载、路侧多个地点上进行融合，同时本文所涉及的行人防碰撞研究对于系统的鲁棒性、实时性和灵活性要求较高，所以需要多方法融合处理，具体的过程可以分为以下3步.

步骤1 对行人坐标进行分类匹配，确定每一个行人被多个摄像机检测所得到的多个坐标——误差判别法：由于多个路侧摄像机检测行人所得到的坐标偏差较小，所以本文提出了一种误差判别法：以编号最小的路侧摄像机所得到的行人坐标为圆心建立一个半径为30 cm的误差判别圆，若其他摄像机获取的行人坐标在此圆内或者圆上，则判定这几个路侧摄像机所获取的行人坐标为同一个行人的坐标，否则，便为不同行人的坐标.

步骤2 同一行人的多个路侧坐标的融合——相同噪声方差下的最优加权平均法：分别给各摄像机加权，所加的权是根据限定条件计算得到的，具有较高的精确度和准确度.坐标分x和y进行处理，因为多个路侧摄像机的精度和构造基本相同，所以它们量测噪声的方差基本相同，由加权平均数据融合法中待估状态X的最优估计X^是存在的而且是唯一的，可知它们所加的权一样.所以最后它们得到的坐标就是各坐标的平均数，精度为原来单个传感器的n倍.

步骤3 路侧数据与车载数据的融合——不同噪声方差下的最优加权平均法：首先通过行人特征判别实现多个坐标的分类匹配，即将同一个行人的坐标放置在一起进行比较.由于路侧摄像机和车载摄像机的性能和构造不太相同，所以二者所量测的噪声方差也不同，所赋的最优的权也不同.同样对x和y分别进行加权平均操作.设路侧和车载测量同一目标所得的横坐标分别为x1，x2，目标真实横坐标为x0，量测噪声分别为y1，y2，那么可以得到第i个传感器的量测方程为：xi=x0+yi(i=1,2)

(2)

(3)

(4)

(5)

其次，要使融合后输出精度最高，即下式要最小：

(6)

根据拉格朗日条件极值求法，构造函数

(7)

当上述函数值最小时，可得最优权系数：

(8)

代入数据就可以得到各加权系数αi，进而分别与对应的坐标相乘求和得到最终的行人坐标.

2.3 地图获取

当前，电子地图广泛应用于导航驾驶.但现有电子地图在智能车路系统方面存在以下不足：(1) 不能对车辆、行人在同一个地图上实行地图匹配；(2) 信息存储量大，获取速度慢.针对这种情况，吕能超等[8]提出了局部道路地图获取的概念，但没有精确考虑到交叉口每个方向的车道个数以及车道宽度，而且编码时没有考虑编码余量，这在当下我国城市道路不定期新建的情况下会引起编码错误和大规模变动的问题.

考虑到上述背景，本文提出通过道路构造点渠化法来快速获取局部道路地图实现人、车在同一个地图上的地图匹配：以交叉口编号最小的路侧摄像机所在位置点为原点，建立局部道路坐标系，从而确定其他点的坐标，进而预先给定重要路段和设施的代码得到道路渠化信息并存储在路侧模块中，当车辆行驶至路侧模块通信范围内便发送给车载模块进以此来根据构造点代码快速重构渠化，实现局部道路地图的快速获取.具体代码规则见表1.

表1 交叉口道路构造点代码规则

为了区分不同类别的道路构造点信息以及保留构造点代码的惟一性，采用数字与字母混合型的代码：以每个构造点英文释义的首字母开命名，如路侧摄像机为road-side camera，定义交叉口东南角的路侧摄像机编号为1，则其代码为RSC1，其他以此类推.由于道路新建或废弃会导致代码增加或删减的从而引起局部地图所有道路构造点代码均需要调整[9]，所以需要根据城市发展规划情况来预留一定代码余量：每条主干道之间预留3个代码，每条支干道之间预留2个代码.通过上述编码，可以实现局部道路渠化信息的快速传输和重构，在车载终端上很容易显示精细化的道路渠化结构.

3 系统开发及试验

通过实验车辆与路侧终端的结合搭建了车路协同实验平台，采用VC++开发了行人防碰撞系统.该系统自动检测前方多个行人，以实时、事件记录方式，采集本车及前方行人运动参数，建立实时动态数据库，与预先设定好的安全阀值进行比较来评估行车安全并针对危险行人及时采取预警措施.当系统判断驾驶人在危险情况下没有采取措施时会自动做出降速或刹车反应，从而提高行车安全性.另外，为了适应不同的驾驶人对车辆操控和危险行驶认识的差异性，驾驶人可自己调整危险情景.

在实际道路环境下进行行人检测与预警的实地实验.其中，车载模块采用单目摄像头，路侧模块在交叉口不同位置布置两个摄像头.通过车载、路侧共同检测行人得到行人位置信息，并通过上述数据融合方法对多个摄像头得到的行人数据进行融合.地图匹配和信息融合后可以实现在统一坐标下下的行人碰撞风险识别.测试表明，在同质多传感器条件下通过多地点、多方法的数据融合，目标行人总体数量、危险行人总体数量均得到降低，实现了虚假目标的有效剔除.因此减少了设备误差和工作误差带来的冗余报警，为系统进行风险判别提供了精确的数据信息.

4 结 论

1) 分析了现有行人防碰撞系统在数据融合方面的不足，提出了一种基于车路协同与机器视觉的行人防碰撞系统并对其构造及工作原理做出了说明，在车载模块、路侧模块采用多地点、多方法对行人数据进行融合处理，通过道路构造点渠化法快速获取局部道路地图，实现人、车在同一个坐标系下的地图匹配.实验结果表明，系统可以检测多个行人并及时预警，实现了预警效果的整体提高.

2) 文中所开发的系统当前一次性监控行人个数有限，后期如何实现一次性监控更多行人并对多个行人数据进行更高效、更准确地融合，进一步提高防碰撞系统的预警功能是值得进一步研究的内容.

[1]张 阳,刘伟铭,吴义虎.面向车载辅助驾驶系统的快速行人检测方法[J].公路交通科技,2013(11):131-138.

[2]王东柱,宋向辉,朱书善,等.基于车路协同的高速公路合流区安全预警控制方法[J].公路交通科技,2012(S1):50-56,63.

[3]YAMAGUCHI R, IKEDA D, NAKANISHI Y, et al. A cooperative reflect transmission scheme using road infrastructure in vehicle-pedestrian communications[J]. Vehicular Technology Conference, VTC 2008-Fall. IEEE 68th ,2008,5(1):21-24.

[4]BECKER D, SCHAUFELE B, EINSIEDLER J, et al. Vehicle and pedestrian collision prevention system based on smart video surveillance and C2I communication[J]. Intelligent Transportation Systems (ITSC),2014 IEEE 17th International Conference.2014:3088,3093.

[5]MA Guosheng, ZHU Tong, YANG Xiaoguang. Prediction of potential pedestrian-to-vehicle conflict at unsignalized intersection based on VII[C]. IEEE International Conference on Intelligent Computing and Intelligent Systems,2009:632-635.

[6]彭 军,王江锋,王 娜.基于机器视觉的智能车辆避撞预警算法[J].公路交通科技,2011(S1):124-128.

[7]YONEDA R, OKUDA K, UEMURA W. A tight curve warning system using FSK visible light and road-to-vehicle communication[C].IEEE Third International Conference on Consumer Electronics,2013,3(1):9-11.

[8]LV Nengchao, WU Chaozhong, QIU Zhijun, et al. Pedestrian collision avoidance method based on cooperative vehicle infrastructure systems[C].Proceedings of Annual Conference-Canadian Society for Civil Engineering,2012:1757-1766.

[9]何 波,陈旭梅,于 雷,等.城市道路编码标准与编码方法研究综述[J].道路交通与安全,2009(5):27-31.

Pedestrian-vehicle Collision Avoidance System Based on Cooperative Vehicle Infrastructure System and Machine Vision

LV Nengchao1,2)KUANG Quan3)CHENG Qichao3)WANG Zifeng4)GUO Yangang3)

(IntelligentTransportationSystemsResearchCenter,WuhanUniversityofTechnology,Wuhan430063,China)1)(EngineeringResearchCenterforTransportationSafety,MinistryofEducation,Wuhan430063,China)2)(SchoolofEnergyandPowerEngineering,WuhanUniversityofTechnology,Wuhan430063,China)3)(SchoolofComputerScienceandTechnology,WuhanUniversityofTechnology,Wuhan430063,China)4)

In order to improve warning effects of pedestrian anti-collision system, pedestrian anti-collision based on the Cooperative Vehicle Infrastructure System (CVIS) and machine vision was proposed. Pedestrian is detected based on the machine vision of vehicle module and road-side module. Combining with geometrical transformation and coordinate transformation, the coordinate of pedestrian relative to vehicle is gotten. The fusion processing of pedestrian data is realized through fusion of multiple locations and multiple methods on the environment of same characters multi-sensor. And using road structure point canalization method, a local road map is gotten quickly. The physical test platform was established, and pedestrian anti-collision system based on the VC++ were developed. Experiment result indicates that, the system can detect multiple pedestrians and record their motion parameters, then make timely warning aiming at dangerous pedestrian.

CVIS; pedestrian anti-collision system; data fusion; sttructure point canalization; machine vision

2015-03-20

*国家自然科学基金项目(批准号：51208401)、交通运输部应用基础研究项目(批准号：2014319811200)、中央高校基本科研业务费专项基金项目(批准号：133244003)、武汉理工大学自主创新研究基金项目(批准号：146805014)资助

U491.5-9

10.3963/j.issn.2095-3844.2015.04.006

吕能超(1982- )：男，博士，副研究员，主要研究领域为交通安全