双目视觉下的自动驾驶车辆多类型障碍物感知

郭迎, 赵祥模, 梁睿琳, 王润民

(1.长安大学 车联网教育部-中国移动联合实验室,陕西 西安 710018; 2.长安大学 信息工程学院,陕西 西安 710018)

自动驾驶车辆是指利用激光雷达或者人工智能视觉技术,自动识别并躲避障碍物,从而实现车辆的正常运行。但由于障碍物等干扰,时有发生自动驾驶车辆碰撞、牵引等相关问题,从而产生不同严重程度的交通事故,主要原因是自动驾驶车辆对障碍物的识别不够准确,误差较大。为了保证自动驾驶车辆的安全,优化车辆行驶途中的障碍物感知识别精度是非常有必要的。郑云水等[1]研究出的雷达数据检测法,通过GPS获取分段拟合车辆行驶轨迹情况,在辅助定位的作用下获取车辆当前位置。通过雷达检测前方行驶路面,利用坐标变换在雷达检测区域内确定识别障碍物位置。何坚等[2]提出一种惯性传感器融合检测法,建立地面障碍物空间模型。通过融合惯性参数,计算相机倾角来保证拍摄障碍物的世界坐标准确无误。设定检测阈值,利用惯性传感器划分动态障碍物完成障碍物感知识别。Bae等[3]根据惯性测量单元传感器估计的航向角和霍尔传感器计算的移动距离,估计跟踪路径和实际移动距离误差。Pang等[4]针对某型飞行器设计了一种综合线性时变模型预测控制器。在建立飞行器两自由度运动学模型的基础上,利用线性时变理论建立了飞行器轨迹跟踪系统的误差模型。通过二次规划优化问题求解实现飞行器避障路径规划。高维岳等[5]提出基于单目视觉的车辆前方障碍物检测方法。该方法通过YOLOv4算法检测车辆前方多种障碍物,并使用边缘检测算法优化检测准确性。但上述方法受到障碍物移动的影响,增加了障碍物感知误差,最终造成感知效果较差。另一方面,上述研究对象与本文研究的自动驾驶车辆存在一定差距,感知效果差异较大。

本文通过双目视觉相机获取车辆行驶过程中不同角度的相同场景图像,分析左右眼视差,推导车辆所在坐标以及障碍物的三维坐标。约束双目视觉完成障碍物的特征识别和匹配,实现多类型障碍物的感知。

1 双目视角下的约束条件设计

假定在相同静止场景的双目视觉角度C1和C2下呈现的车辆前方投影图像,立体坐标点[6]p在双目成像图中显示的对应投影点分别用p1和p2表示,且立体坐标点的投射点数是以极线为准的线性推导[7],利用极性几何约束,给出车辆双目摄像机姿态之间的相对位置关系,并结合双目视角下摄像机的实际运动信息,可实现双视角下的独立运动检测。

当摄像机没有校正时,可以用基本矩阵F21表达对极几何限制,基础矩阵将同一三维点在多个角度上的投影点连接:

(1)

式中p1、p2为投影点。

在双目视觉摄影设备下,左眼相机l和右眼相机r构成了双目视觉立体相机系统,通过Cv,n(v=r,l;n=1,2,…,t)表示n时刻的系统状态,在一对立体影像中的相邻帧[9]内,包含4组对视觉极线的约束条件,分别为{Frt,r(t+1),Frt,l(t+1),Flt,r(t+1),Flt,l(t+1)},其中Frt,r(t+1)和Flt,l(t+1)无法单独完成对运动障碍物的感知识别,一方面是因为极线限制条件无法检测到与相机运动方向已知的运动目标;另一方面,当双目视觉下运动幅度较小时,基本约束矩阵对障碍物特征匹配的误差相对不敏感。因为摄像机的相对几何关系以及摄像机Cr,t、Cl,r+1、Cl,t、Cr,t+1等不同运动状态幅度较大,由此可以有效对基本矩阵[10]进行稳定估计,在双目视觉车载摄像机光轴相交的情况下,不存在能完全符合基本矩阵约束条件的独立运动矢量。

{Frt,l(t+1),Flt,r(t+1)}实质上是2套相互交织的对极几何约束,称为多视角下的极线约束条件,多视极线约束结合了双目摄像机视觉下的位置和运动信息,能够对独立的运动异常进行稳定检测,定义多视像素的直线距离度量投射像素点与立体交错极线的偏差:

d=α(|lr,t·pr,t|+ll,t+1·pl,t+1)+

β(|ll,t·pl,t|+lr,t+1·pr,t+1)

(2)

式中:|lv,n·pv,n|(v=r,l;n=t,t+1)为投影点pv,n与其相应的交叉极线lv,n的竖向距离;α、β表示标准化的权重系数,运动障碍的投射点不能满足多个视觉角度下的极线限制,像素点距离与其对应的极线距离相对较长,相对于对应极线相对较短的静态场景,d可以用来衡量相对独立的运动。

2 基于双目视觉的障碍物特征立体匹配

通过高斯滤波滤除道理图像中掺杂的复杂环境带来的噪声,通过直方图均衡化实现道路图像的自适应预处理,有效减少车辆在复杂环境下行驶过程中遇到的光照变化影响,同时对局部细节的对比度进行适应性增强,方便障碍物感知时角点[11]的提取。通过卷积函数算子从双目视觉图像中提取障碍物特征的角点,能够稳定去噪,调节道路图像的光照条件,算子为:

(3)

Q=det(H)-k×tr2(H),k=0.04

(4)

此时可以得到道路图像中提取障碍物特征的角点结果,图像经过预处理后,呈现的障碍物特征分布相对均匀,在不同角点下能够获得更多的环境信息。

虽然卷积函数算子在提取障碍物角点的过程中,能够最大程度地检测到角点像素极坐标,但无法完全满足自动驾驶车辆对环境的感知精准度,这时需要进一步计算求出各个角点对应的具体亚像素坐标,通过二次多项式计算,并逐渐逼近角点反映的真实函数值。针对任意随机角点I而言,其像素极坐标的精确位置可通过反应函数I(x,y)表示:

I(x,y)=a1x2+a2y2+a3xy+a4x+a5y+a′

(5)

式中a1,a2,…,a′表示未知权重参数[12]。

通过已经计算得出的角点坐标(x,y)相邻的9个像素点,组建包含未知权重参数值的超定方程组,对二次多次多项式进行偏导求解,得出与亚角点对应的极大值点:

(6)

在预处理时,道路图像的亮度差别很大,作出大量的补偿调整后,考虑到降低实际运算量、提高障碍物特征匹配速度需求,使用下列像素灰度差的平方和,作为相似度向量的障碍物角点匹配衡量指标:

(7)

在障碍物匹配时,首先设置一个查找窗口,重新计算式(7),计算左视图对应实际角点,和右视图搜索窗口中心尺寸为J×K的障碍物图像相似程度,求出最大值,在前后2个方向计算并比较结果。通过上述操作,可以将符合唯一限制条件的匹配对,作为初始条件开始匹配。

基于初始配对结果利用随机采样算法,反复随机抽取最小值点集,提高像素点集正确匹配的占比,通过联机求出基础矩阵状态,自动驾驶汽车行驶过程中,所有采集的特征点都是在极线的限制下进行,可有效地提高双目视角下障碍物的特征匹配速度[13]。

为了消除错误的障碍物特征匹配结果,引进连续性假设约束,通过对双目视差进行限制,如果2个点在同一个表面上非常接近,那么二者在左右视图影像上投射和形成的向量方向也大体非常接近。

在获得三维环境信息时,对符合连续限制条件的多个匹配点,求解获得障碍物匹配点所对应的车辆坐标,再通过计算获得完整的世界坐标系,通过世界坐标系中三维坐标的分布情况和成像效果,可以大致重构出双目视觉效果下车辆前方的环境轮廓。

3 自动驾驶车辆双目视觉障碍物感知识别

当自动驾驶车辆行驶的路面上没有任何障碍物时,该情况为路面理想点云密度[14],这种点云密度状态和距离有关,与路面的实际平整度无关,为描述路面距离的平滑曲线。

在自动驾驶汽车行驶路面上的任意障碍物所在点P,其投影到双目视觉摄像机中将会形成2个存在一定视差的对应像点,研究障碍物所在点与双目视觉摄像机之间的距离以及存在的视差关系可得:

L′=Bf/d′

(8)

式中:L′表示障碍物所在点与摄像机之间的距离;B表示双目视觉摄像机的基线距离;f表示摄像机的聚焦;d′双目视觉之间存在的视差。

通过对式(8)变换偏导计算,可以得到双目摄像机的视差变化率与距离变化率之间的函数关系:

(9)

在复杂交通环境下,对自动驾驶车辆的障碍检测过程中,首先应先设置好双目视觉摄像机,在此基础上不改变其基线距离和相机焦距,通过引进调整系数Ks将函数关系简化:

Ks=-Bf

(10)

视差与距离2种参数变化率间函数关系简化为:

Δd′/ΔL′=Ks·L′-2

(11)

通过式(9)可知,视差变化率和距离变化率之间存在着非线性函数关系,实际距离越近,产生的视差越大。当视差的真实分辨率[15]保持在一定范围内时,在近距离范围内通过视差可以计算出分辨率高、点云散点数量较多,且距离差距小的视觉图像。当距离不断拉大时,在同样的分辨率之下,通过视差计算出的图像视觉效果距离差会逐渐变大,点云散点数量同样跟着逐渐下降。在这一特性基础上,建立车辆行驶路面的理想点云密度拟合模型,计算无障碍物情况下双目视觉的点云密度栅格图,通过累计图中的所有散点进行拟合处理,得到相应的理想路面点云图:

ρ3D=f(L′)=1.026 107L′-2 081

(12)

式(12)为车辆行驶路面的理想状态下,同一点位上点云密度ρ3D和距离之间存在的非线性关联情况。通过点云散点数量及密度分析可知,路面与其存在的障碍物间夹角越大,同样距离下障碍物在双目视觉摄像机上透射的像素点越多,点云图的散点数量直接影响图像呈现的像素,因此障碍物所在区域范围内的散点数量更多。可以通过散点阈值约束点云密度栅格位置,凭借设立阈值比较和分割处理,判断障碍物所在位置。在点云散点图上感知检测障碍物的步骤为:

1)计算双目视觉下,不同视差情况的点云图,再逐步简化点云图;

2)将点云图简化后的成像投影到路面的栅格图中,统计出各个散点在栅格中的投影数量,得到点云密度的真实栅格图;

3)在无障碍物情况下,拟合双目视觉摄像机的配置情况,得出理想状态下的点云密度栅格图;

4)利用设定阈值筛选分割出栅格图中障碍物所在真实区域范围:

υ/ρ3D>Tρ

(13)

式中:υ表示真实点云密度;ρ3D表示理想点云密度;Tρ表示阈值。根据阈值比较公式,当栅格图中真实密度和理想密度之间的比值大于设定阈值时,证明自动驾驶车辆行驶道路上的障碍物在栅格图中,否则不在栅格图内;

5)通过函数滤波去除掉栅格图中障碍物所在的孤点,实现障碍物点位连接;

6)将障碍物所在区域的栅格图重新投射到双目视觉摄像机的原始图像中,着重标记出障碍物所在区域范围,跟进具体位置。

4 障碍物感知方法性能实验

为了验证本文所研究的障碍物感知方法是否有效,以及方法的具体性能,进行多方面的实验测试。

4.1 实验设置

在安全区域内,设置车辆行驶障碍物实验环境,对同一道路上的不同障碍物情况进行感知检测。实验环境中设置5-6、6种不同大小的障碍物,其中障碍物分为动态和静态2种,如行走中的行人、骑车的人以及停放在路边的车辆等。上述障碍物分布在车辆行驶过程中的不同位置如图1所示。

图1 障碍物设置情况Fig.1 Obstacle setting

4.2 结果分析

1)识别效果分析。

利用本文方法对双目视觉灰度图像进行障碍物特征提取和融合,判断双目视觉下对障碍物的感知是否清晰无误,原始的双目图像如图2所示。

图2 双目摄像机采集图像样本的预处理Fig.2 Image samples collected by binocular camera

通过图2中的图像对比可以观察到,图内存在大量的属于同一物体但不连通的区域,在双目视觉虽然感知范围更加广泛,但是单视觉之间存在一定的视差。左右目相机分别拍摄各自视觉范围内的景象,通过双目视觉相机的综合机制将其融合后,得到完整且视角广泛的图像信息。本文根据图1的左右目图像识别和匹配障碍物特征,得到结果如图3所示。

图3 双目视觉障碍物特征识别Fig.3 Binocular visual obstacle feature recognition

在不同距离下对左右视差灰度图像二值化处理,测试到不同区域内的障碍物位置特征,通过特征识别和匹配,可以清晰地捕捉到左右目图像中的障碍物轮廓。此时将左右目图像双目视觉约束后,得到完整视觉如图4所示。双目视觉图像下的障碍物感知识别非常清晰,从视觉角度可以判断所提障碍物感知方法有效。

图4 双目视觉障碍物感知识别效果Fig.4 Binocular visual obstacle perception and recognition effect

2)特征匹配结果分析。

分别利用本文方法、雷达数据检测法[1]、惯性传感器融合检测法[2]和单目视觉感知方法[5],提取车辆行驶图中的障碍区域特征点,分析特征点与实际障碍物的匹配结果。4种方法特征匹配对比实验结果如图5所示。当视觉角度不断变化增加时,4种方法在提取障碍物特征点后,特征点匹配的准确率会随之下降。其中,3种对比方法的匹配正确率,受到视觉角度变化的影响较大,当角度变化角度接近直角时,正确率相对较低。本文方法受到视觉角度变化的影响则相对稳定,特征点匹配度总体较高,在视觉角度变化较大时,仍能够准确识别障碍物的特征点,并对其进行准确匹配。

3)感知检测误差结果分析。

为保证实验结果的准确性,将实验次数设置在10次,统计4种方法对障碍物的感知检测误差,结果如图6所示。雷达数据检测法[1]和惯性传感器融合检测法[2]对障碍物的感知检测误差相对较高,最大感知误差分别为2.7 cm和2.2 cm,单目视觉感知方法[5]对障碍物的感知检测误差最大值为1.3 cm,而本文方法下的感知误差整体维持在0.8 cm以内,在实验前期几次实验时,感知误差略有增大现象,但随着实验次数的不断增加,误差开始逐渐降低,和其他3种方法相比,感知误差更小,检测障碍物的准确性和精度更好。

图6 不同方法下障碍物感知误差情况Fig.6 Obstacle perception error under different methods

4)定位时间结果分析。

采用所提方法、雷达数据检测法[1]、惯性传感器融合检测法[2]和单目视觉感知方法[5],提取车辆行驶图中的障碍物,对比不同方法所用的定位时间。定位时间越长,自动驾驶车辆障碍物感知效率越低,相反,定位时间越短,自动驾驶车辆障碍物感知效率越高,不同方法的实验结果如图7所示。A～E为动态障碍物、F～J为静态障碍物。分析图7中的数据可知,针对不同类型的障碍物感知定位,动态类型的障碍物感知定位时间普遍高于静态障碍物。其中,动态障碍物和静态障碍物本文方法的感知定位时间分别在15 ms和11 ms附近波动,雷达数据检测法[1]、惯性传感器融合检测法[2]和单目视觉感知方法[5]的感知定位时间分别在17、13、18 ms和14、18和12 ms附近波动。对比发现,在不同类型的障碍物下本文方法的感知定位时间均低于3种对比方法,表明本文方法应用下的自动驾驶车辆障碍物感知效率高于3种对比方法。

图7 不同方法下障碍物感知定位时间情况Fig.7 Obstacle perception and location time under different methods

5 结论

1)在多视觉角度极线约束下,通过对障碍物进行特征识别和匹配,有效地解决了障碍物感知识别不准确的问题。

2)通过研究极线问题,解决了双目摄像机不能在相同移动方向上探测障碍物的问题。

3)本文方法能够准确识别不同类型的路面障碍物,同时视觉匹配准确率高,感知误差整体维持在0.8 cm以内,感知定位时间分别在15 ms和11 ms附近波动,所提方法具有较好的障碍物感知性能。

本文主要针对的是固定场景多障碍物类型进行感知,但是实际行驶过程中,自动驾驶的场景是动态多变的,下一步将重点分析不同驾驶场景中的障碍物感知效果。