考虑车辆动态行为的感兴趣区域预测技术

张 强，王晓彤，高 锋，黄赛赛

（1.重庆西部汽车试验场管理有限公司，重庆 401122；2.重庆大学 汽车工程学院，重庆 400044）

汽车在为人们出行带来便利的同时也带来了日益增加的交通事故，诸如车道偏离预警系统（Lane Departure Waring System，LDWS）、车道保持系统等先进驾驶辅助技术（Advanced Driver Assistance System，ADAS）可以提高驾驶员的环境感知能力，从而减少因驾驶员误操作导致的交通事故[1-2]。作为ADAS的主要构成环节之一，机器视觉由于在性价比和目标识别方面的优势，已广泛应用于LDWS等系统，实现车道线等的识别。

对道路图像中的每一点进行扫描，识别出车道线，不仅不利于系统实时性，且会增加引入无关信息造成误判的风险。通过预测车道线可能出现的区域，并只在该区域进行识别，有利于提高系统实时性与抗干扰能力，即ROI预测法[3-5]。根据ROI的位置及大小是否变化可分为固定区域和动态区域。GAIKWAD等[6]将车道线所在图像的下半部分均分成两块，分别作为左右车道线的ROI。

上述固定区域法虽然简单快捷，但图像处理量大，且会引入大量干扰信息。为此，徐友春[7]以当前帧的车道线位置为中心，选取一固定范围作为车道线的识别区域，从而减小ROI。考虑识别结果的不确定性，CHOI等[8]提出利用上一帧检测结果的可信度来修正ROI。为更加准确地预测ROI，YOU Feng等[9]面向LDWS，构建车道线的参数化方程，利用卡尔曼预测技术实现下一帧车道线位置的最优估计，再通过坐标变换得到图像处理的ROI。为进一步扩展基于卡尔曼滤波的ROI预测方法，余厚云等[10]构建了一般的ROI参数状态方程，设计了ROI参数的卡尔曼估计器。与固定区域法相比，上述动态区域法根据图像序列的检测结果，通过递推实现ROI的最优估计，得到的ROI更小，目标物位置也更加准确。

现有动态区域法均基于图像序列，未考虑车辆动态过程造成的影响。事实上，在预测间隔内，车辆也会发生运动，当相对运动较小时，可以忽略其影响。但是随着ADAS系统技术的发展，适用的交通环境和车辆工况也越来越复杂。当相对运动较大时，利用图像序列的预测误差进行修正存在滞后效应，容易使ROI不能覆盖目标物而导致漏检，或者需较大裕量难以进一步缩写ROI。因此，本文以LDWS为应用对象，考虑车辆的动态特性，建立微观交通模型，在车辆坐标系下基于该模型应用卡尔曼滤波理论设计了新的车道线位置预测算法，通过坐标变换转换到图像坐标得到ROI。该方法根据驾驶输入直接预测车辆的运动特性，避免误差反馈矫正带来的滞后。台架试验结果表明，在测试工况下，新的ROI预测方法通过改善ROI的预测精度，能够减小图像处理区域19.4%，提高识别准确性1.3%，降低单帧图像处理时间16%，显著提高了车道线系统识别的准确性和实时性。

1 微观交通系统模型

为应用卡尔曼滤波理论设计ROI的最优估计器，首先需要建立对象模型。与现有基于图像序列的预测方法不同，本研究需要考虑车辆的动态特性，所以建立的对象模型由车辆横向动力学模型和车辆-车道线相对运动关系模型构成。

1.1 车辆横向动力学模型

综合考虑模型的准确性与简洁性需求，采用图1所示的二自由度模型[11]：

式中：m为车身总质量；Cf和Cr分别为前、后轮胎侧偏刚度；lf和lr分别为前、后轴到质心的距离；Ff和Fr分别为轮胎的前、后侧向力，前后轮胎的速度方向与车辆几何中心线的夹角分别为θvf和θvr；vx和vy分别为车辆的纵向、横向速度；ψ为车辆的横摆角；δ为方向盘转角。

图1 二自由度车辆动力学模型

1.2 车辆-车道线相对运动关系模型

为考虑车辆动态行为引起的与车道线间的相对运动，以实现ROI的精确预测，需要在车辆横向动力学模型基础上，进一步研究车辆与车道线间的相对运动关系。如图2所示，根据几何关系可得：

式中：θ为车辆轴线与车道线的夹角；ψdes为车道线在世界坐标系下的夹角。考虑在可视距离内车道线可近似为直线处理，所以ψdes≈0，进一步对式（3）求导可得[2，4，6，8]：

但是，仅有θ并不能完全表征车辆与车道线的相对关系。根据图2所示，在车辆发生横向运动时，车道线在车辆坐标系下的截距d满足：

图2 世界坐标系下车辆车道线的相对关系

1.3 微观交通系统模型

综合考虑上述的车辆横向运动模型及车辆-车道线相对运动关系，由式（1）、（2）、（4）和式（5）可得用于设计ROI估计器的微观交通系统模型：

式（6）能够综合描述车辆横向动力学特性，以及车辆与车道线的相对运动特性，是设计ROI最优估计器的基础。

2 ROI预测

在一个周期内，本研究设计的ROI预测过程如图3所示。其中，“计算滤波器参数”主要是为了解决系统（6）参数的时变问题，“预测车辆坐标系ROI”采用卡尔曼滤波方法设计，“空间变换”是将车辆坐标系的ROI映射到图像坐标，以减小识别车道线的计算量，避免无关信息的干扰。

图3 ROI预测过程

2.1 卡尔曼滤波器设计

式（6）中状态矩阵是vx的函数，而实际运行时，车辆速度随时间变化，本质上是时变系统。考虑到视频信息的离散性及相邻图像的时间间隔较短，车速不会发生大幅变化，所以在每个预测周期，假设≈0。根据本周期的车速，将式（6）离散化得到微观交通系统的离散模型：

式中：分别为离散后的状态矩阵与输入矩阵；Ts为采样周期；需要注意的是，在每个预测周期k都需要根据vx(k)重新计算A。在实际使用时，为提高实时性，可以离线计算出不同车速下对应的状态矩阵，运行时直接根据当前车速通过线性插值得到，减少离散化过程消耗的计算资源。

基于式（7）可应用卡尔曼滤波理论设计最优估计器，根据k-1)帧的X(k-1)及Z (k-1)，计算得到车辆坐标系下，下一周期状态的后验估计k) ，具体参见文献[12]。如图4所示，以左侧感兴趣区域预测为例，根据(k)可得下一时刻车道线方程为：

进行卡尔曼预测时，递推得到的误差协方差矩阵(k)中，与截距对应的元素Pk表征了截距预测结果的不确定度。因此，以最优估计结果式（8）为基准，考虑估计结果的不确定度，得到车辆坐标下ROI边界线的方程：

2.2 空间变换

式（9）是在车辆坐标系下预测得到的ROI，而车道线识别通常在图像坐标系下进行。所以需要进一步将车辆坐标系下预测的ROI，根据相机安装位置及其参数通过透视投影变换映射到图像像素坐标系下。

本研究选择先在车辆坐标系下进行ROI预测，再将相关参数通过空间变换映射到图像坐标，主要是考虑卡尔曼滤波计算量较大。如果在式（9）的基础上进一步考虑空间变换方程，会使得用于卡尔曼滤波器设计的对象模型更加复杂，导致增加ROI预测算法的计算消耗。

3 台架试验验证和分析

为验证新ROI预测方法的有效性，将通过台架试验与基于图像序列的ROI预测方法进行对比测试和分析。在图像坐标系下，车道线参数方程为[9]：

式中：λk和ηk分别为k时刻的直线斜率和截距；Δλ和Δη分别为其单位周期的变化量。基于式（10），运用卡尔曼递推方法[12]，即可设计出基于图像序列的ROI预测算法，具体参见文献[9]。

试验采用的台架如图5所示。运行场景、工况和车辆的动力学特性通过PreScan建模，车辆前方的视觉信息通过液晶显示屏由摄像头拍摄得到，图像处理算法运行在NI EVS嵌入式机器视觉处理平台上[13]。在ROI预测算法基础上，进一步集成参考文献[14]的算法即可实现车道线识别。

图5 测试台架

3.1 试验工况

本文提出的ROI预测算法主要是通过引入车辆横向动力学模型，消除车辆横向运动对ROI预测造成的干扰。所以，以车辆横向速度vy为主要因素，设计如图6所示的测试工况，比较“本文方法”与“现有方法”的性能，同时分析ROI预测性能对车道线识别结果的影响。

在图6所示的测试场景中，增加了车辆、人行横道、直行标志等干扰因素。每个阶段的车道长度为90 m，单侧车道宽度为3.5 m，车辆初始纵向速度为15 m/s，且整个测试过程保持不变。从阶段1到阶段3，车辆侧向速度的最大值不断增加，如图7所示，穿越的车道数目和干扰信息也越来越多，以评价算法对ROI预测和车道线识别性能的影响。

3.2 结果及分析

图6 验证工况设计

图7 车辆横向速度变化

本研究采用整个测试工况图像序列的ROI平均宽度对预测算法的准确性进行评价，采用识别准确率评价车道线检测系统的性能，采用平均的单帧处理时间评价算法实时性。由于所使用的车道线检测算法一样，所以单帧图像的平均处理时间能够间接反映ROI预测算法的实时性。车道线识别准确率通过识别错误的图像帧数除以测试工况的图像总帧数得到。两种ROI预测方法的测试总体结果见表1。由表1可知，考虑车辆动力学模型后，ROI预测的准确性提高了19.4%，在有效降低车道线识别的图像处理时间的同时，还改善了识别准确率。单帧图像的平均处理时间降低了1.9 ms，车道线识别的准确率提高了1.3%。

表1 评价结果对比

进一步选取每个测试阶段中的典型结果进行分析，如图8所示。图中红线为识别出的车道线，蓝色线区域是采用本文提出的新方法预测的ROI，绿色线为现有方法预测的ROI。可以看出，在车辆横向速度较小时，两种方法均可以准确识别出车道线，但新方法所预测的ROI明显更小。随着横向速度不断增加，现有方法预测的ROI区域不断增加，甚至出现位置滞后现象，进而导致ROI不能包含车道线，出现识别错误。要解决上述问题，一般采用进一步增大ROI区域的方法，但会导致图像处理计算量增加，且容易引入其它干扰信息。

图8 识别效果对比

4 结论

为提高车辆相对车道线发生快速ROI预测的准确性，提高车道线识别系统的实时性和可靠性，本研究设计了一种考虑车辆动态特性的ROI预测方法，并通过台架对比测试，对所提方法的有效性进行了验证，结果表明：（1）在车辆状态变化剧烈时，进行ROI预测需要考虑车辆的动态特性造成的影响。（2）根据图像序列进行ROI预测的方法是通过反馈误差进行校正，在车辆状态变化剧烈时，ROI预测存在滞后效应，且准确性较差，难以在保证实时性的同时，改善车道线识别的准确性和可靠性。（3）本文提出的ROI预测方法能够更好地消除由于车辆状态变化引起的扰动，ROI预测的准确性更高，能够有效提升车道线识别系统的实时性、抗干扰能力和识别准确性。

本研究虽然以LDWS为应用对象进行ROI预测算法设计，但所提出的考虑车辆动力学特性，建立微观交通系统模型，进行ROI预测算法的思路和方法也可用于其它的交通环境和目标物系统。

致 谢

本研究工作得到了“基于宽带移动互联网的智能汽车和智慧交通应用示范工程及产品工程化公共服务平台”重点项目（项目招标编号为：0714-EMTC02-5593/20）和重庆市科技计划项目（cstc2015zdcy-ztzx60002）的资助，特此致谢。

[1] BOTTAZZI V S，BORGES P V K，JO J. A Vision-Based Lane Detection System Combining Appearance Segmentation and Tracking of Salient Points[J]. Intelligent Vehicles Symposium，2015，36(1)：443-448.

[2] ROMDHANE N B，HAMMAMI M，BEN-ABDALLAH H. A Comparative Study of Vision-based Lane Detection Methods[C]// Proceedings of the 13th International Conference on Advanced Concepts for Intelligent Vision Systems，August 22-25，2011，Ghent，Belgium.Heidelberg：Springer-Verlag Berlin，c2011：46-57.

[3] AN X J，LI J，SHANG E K. Region-of-interest Generation for Lane Detection Using High-level Information[C]//International Conference on Wavelet Analysis and Pattern Recognition，IEEE，2011：103-108.

[4] HE J，RONG H，GONG J，et al. A Lane Detection Method for Lane Departure Warning System[C]//International Conference on Optoelectronics and Image Processing，IEEE Computer Society，2010：28-31.

[5] 王家恩，陈无畏，汪明磊，等. 车辆辅助驾驶系统中的三车道检测算法[J]. 汽车工程，2014，36(11)：1378-1385.WANG Jiaen，CHEN Wuwei，WANG Minglei，et al.A Three-lane Detection Algorithm for Vehicle Assistant Driving System [J]. Automotive Engineering，2014，36(11)：1378-1385.(in Chinese)

[6] GAIKWAD V，LOKHANDE S. Lane Departure Identification for Advanced Driver Assistance[J]. IEEE Transactions on Intelligent Transportation Systems，2015，16(2)：910-918.

[7] 徐友春. 智能车辆视觉与GPS综合导航方法的研究[D].长春：吉林大学，2001.XU Youchun. Study on Integrative Navigation Method of Intelligent Vehicle Based on Machine Vision and GPS [D].Changchun：Jilin University，2001.(in Chinese)

[8] CHOI H C，PARK J M，CHOI W S，et al. Vision-based Fusion of Robust Lane Tracking and Forward Vehicle Detection in a Real Driving Environment[J]. International Journal of Automotive Technology，2012，13(4)：653-669.

[9] YOU Feng，WANG Rongben，ZHANG Ronghui.Algorithm on Lane Changing and Tracking Control Technology for Intelligent Vehicle[C]//Proceedings of the 2007 IEEE International Conference on Robotics and Biomimetics，IEEE，2007：1888-1893.

[10] 余厚云， 张为公. 基于动态感兴趣区域的车道线识别与跟踪[J]. 工业仪表与自动化装置，2009(5)：103-106.XU Houyun，ZHANG Weigong. Lane Detection and Tracking Based on Dynamic Region of Interest [J].Industrial Instrumentation & Automation，2009(5)：103-106.(in Chinese)

[11] KOSECKA J，BLASI R，TAYLOR C J，et al. A Comparative Study of Vision-based Lateral Control Strategies for Autonomous Highway Driving[C]// Proceedings of the IEEE International Conference on Robotics and Automation， IEEE，1998：1903-1908.

[12] THOMAIDIS G，KOTSIOUROU C，GRUBB G，et al. Multi-sensor Tracking and Lane Estimation in Highly Automated Vehicles [J]. IET Intelligent Transport Systems，2013，7(1)：160-169.

[13] 高锋，黄赛赛，李希鹏. 基于NI EVS和PXI的机器视觉驾驶辅助系统开发技术研究[J]. 国外电子测量技术，2016，35(2)：30-34.GAO Feng，HUANG Saisai，LI Xipeng.Study on Development Technologies of Driver Assistance Systems Based on Machine Vision Using NI EVS and PXI [J].Foreign Electronic Measurement Technology， 2016，35(2)： 30-34.(in Chinese)

[14] GAO Feng，GUI Hanyang，ZHANG Qiang，et al.Development of Lane Detection System Based on FPGA[C]//Proceedings of the FISITA 2012 World Automotive Congress，FISITA，2012：3-11.