面向智能交通的单目视觉测距方法研究

邹 斌，袁宇翔*

(1.武汉理工大学现代汽车零部件技术湖北省重点实验室武汉430070；2.汽车零部件技术湖北省协同创新中心，武汉430070)

0 引言

安全车距是指后方车辆为避免与前方车辆发生意外碰撞与前车保持的必要间隔距离.ADAS(车辆驾驶辅助系统)可以依靠视觉传感器检测行人及交通标志，但由于相机安装基线短，双目视觉对远距离目标测距精度低，单目视觉在无几何约束下仅能确定目标方位，无法测量前方车辆距离.

智能交通技术的不端发展，推动基于车联网[1-2]和智能识别[3-4]的道路标志识别方法，如依托车联网技术可以从网络中获得道路标志集合尺度信息，依托智能识别技术可以识别前方车辆车型与道路标志类型；科研人员同时还提出了依靠道路几何标志的前方车辆单目视觉测距方法，然而未考虑融合物联网、云计算等新方法，只能适用于单台车辆，以及固定有限的道路标识.

为此，本文首先提出融合物联网、智能识别、云计算技术的车联网模型，在基础上提出以交通标志、车道分界线为合作标志的单目视觉测距方法，最后综合应用单目视觉测距方法，给出前方车辆自适应视觉测距方案.这种融合物联网、智能识别和云计算的前方单目视觉测距，对未来智能交通的辅助驾驶，能提供有效的车辆测距手段.

1 适用于单目视觉测距的车联网模型设计

1.1 车联网模型及交通要素目标识别原理

如图1所示[2]，车联网模型是实现单目视觉测距的物理基础.计算中心是车联网云模型的管理和计算中心，可通过中继站接收车辆运动信息并传输服务响应.中继站可和多个车辆、计算中心响应、通信.车辆端提供车辆导航、辅助驾驶功能.云计算模型客户端层为车载智能终端，可通过服务访问点向上层发送服务请求并接受服务响应.通信层通过服务访问点连接客户端和云端，融合互联网、3G/4G、卫星等多种通信网络.云层是车联网云模型的计算/控制/数据中心，可响应客户端服务请求，运算能力强.

图1 适用于单目视觉测距的车联网模型Fig.1 Internet of cars for monocular vision measurement

如图2所示，基于视觉的目标检测分类、车道线提取已在ADAS系统集成应用，具备向车联网模型移植条件.通过快速区域卷积神经网络可检测、识别交通目标[3-4]，使用交通目标训练网络，获得样本候选区域并将坐标与视觉任务示例图像输入网络，得到深度卷积特征；然后，经过池化层将特征规格化并输入全连接层，并行回归计算特征分类及检测框坐标值；经多次迭代训练得到同视觉任务强相关的目标检测模型.在此基础上，通过全连接层获取包含每个候选区域的最终特征向量并输入到分类器，利用非极大值抑制，判断出候选区域的目标类别与位置；最后利用判断值与实际标注值之间的差别得到损失函数，通过反向传播与随机梯度下降法优化网络参数得到输出网络.实验证明，目标检测成功率超过85%，对15种交通标志分类成功率接近90%.为获取车辆宽度[1]，研究人员使用AdaBoost和聚合通道特征对车辆初步检测，利用车辆几何尺寸约束滤除误检结果，在车辆ROI区域内利用车尾部特征对车辆精确定位.实验证明，检测车辆误差均值为1.086 3像素.为提取车道分界线，首先提取地平线及图像ROI区域，对道路图像二值处理并用Canny算子提取边缘；然后对图像逆透视变换得到俯视图像并进行Hough变换，调整Hough变换阈值参数及直线角度，筛选出车道线；最后，配准含车道线的图像，得到车道线轮廓及部分角点.

图2 应用于自主驾驶的视觉目标检测分类、车道线提取功能Fig.2 Object detection and lane extraction function used in autonomous driving

1.2 基于车联网云模型的单目视觉测距实现方法

图3给出了基于车联网云模型的单目视觉测距实现方法，车辆端采集道路前方图像后，在计算中心、中继站分别运行前车目标、交通标志检测识别分类功能，返回前方车辆及交通标志尺度信息；在车辆端部署车道分界线提取功能，向附近中继站请求其尺度信息.根据车载毫米波雷达输出的前车距离信息，选取辅助合作标志从而确定单目视觉测量策略.车辆端汇集全部几何尺度信息实现前车测距.当车辆行驶环境要素变化较小时，通过计算中心、中继站一次性检测、车辆端持续跟踪目标、实时测距，使计算任务同计算能力相匹配，可确保单目视觉测距功能实时性.

2 应用道路合作标志的单目视觉测距方法

图3 单目视觉测距实现方法Fig.3 Realization of monocular visual measurement

如图4所示，车道分界线在不同环境下其长度、宽度、前后间隔为固定值；车道上方交通标志包括主要标志和辅助标志，主要标志又分为指示标志、指路标志等6种，其中指示及指路标志的高度、宽度有着统一规定.应用车载单目相机测量前方车辆距离时，可引入车道分界线、指路标志尺寸信息，合理设定坐标系，实现前方车辆测距.

2.1 单目视觉测量数学建模

根据相机数学模型[7-8]，利用几何尺寸固定的合作标志，获取前方车辆深度信息.参考典型单目视觉成像模型，建立世界坐标系O-XwYwZw、相机坐标系O-XcYcZc、图像物理坐标系o-xy、图像坐标系I-uv，如图5所示.

若世界坐标系某一坐标点Po(Xw,Yw,Zw)，该点从世界坐标系转换到相机坐标系下坐标为(Xc,Yc,Zc)，再转换到像平面坐标系下坐标为(x,y)，再转换到图像坐标系下像素坐标为(u,v)，上述转换关系用齐次坐标系表示为

图4 用于辅助单目视觉测量的交通标志Fig.4 Traffic signs for monocular visual measurement

图5 视觉测量坐标系模型Fig.5 Visual measurement coordinate system model

式中：R为3×3正交变换矩阵；T为三维平移向量；OT=(0,0,0)T；f为相机焦距；u0,v0为CCD相机光轴与像平面交点(x0,y0)的坐标；dx,dy为CCD光电耦合元件的尺寸大小；kx,ky为X,Y轴方向的放大系数；Min为相机内参数矩阵mij(i=1,2,3;j=1,2,3,4)投影矩阵参数.

2.2 基于水平方向合作标志的单目视觉测距

对于某个在世界坐标系下坐标已知的空间点，通过相机在图像坐标系成像，成像点(u,v)和空间点(Xw,Yw,Zw)可由式(2)获得.

设相机主光轴与水平地面近似平行，则可认为道路上所有位置已知点的坐标Zw=0.通过增加上述几何约束，可以简化式(3).如果存在n个空间点，且世界坐标系下(Xwi,Ywi,Zwi)坐标已知；同时，通过直线检测方法提取出各空间点在图像坐标系下的坐标(ui,vi)，且m34≠ 0，则可获得

B=[u1v1…unvn]T，由式(3)可知，获取场景中4组以上空间点在世界坐标系下的坐标，可以求解系数矩阵m'为

图6 基于水平方向合作标志的目标测距Fig.6 Visual measurement based on horizontal cooperative sign

如图6所示，获得系数矩阵m'后，通过车辆目标识别分割，推算前方车辆目标外接矩形同道路平面交线L0的两个端点为Car1,Car2，在图像中坐标(u1,v1),(u2,v2)，可以得出前方车辆在世界坐标系下的位置Pcar1(Xw1,Yw1,Zw1),Pcar2(Xw2,Yw2,Zw2).前方车辆、本车均在道路平面行驶，即Zwi=0.通过计算中心对前方车辆进行车型识别，获取车辆类型及车辆世界坐标系下水平方向宽度，即交线L0两端点Car1,Car2的几何关系为

综合上述几何约束及投影关系，计算前方车辆在世界坐标系下的位置，即

由于式(6)为超定方程，通过最小二乘方法，解得未知量X=[Xw1,Yw1,Xw2,Yw2]T，则前方车辆距本车距离为

2.3 基于垂直(光轴)方向合作标志的单目视觉测距

除车道分界线外，道路中矩形交通标志可应用于前方车辆距离测量.若上述矩形在相机空间坐标系和图像坐标系下面积已知，且矩形目标平面同相机主光轴垂直，可以计算出矩形目标在相机坐标系下的空间位置[7].

图7 基于垂直方向合作标志的目标测距Fig.7 Vision measurement based on vertical cooperative sign

如图7所示，假设车载相机镜头畸变较小，在车辆前方Zc=Zc0平面上，有一矩形目标，宽高比为α，目标宽为L1，高为L2，面积为S，为设其4个角点在相机坐标系下的坐标为(XC1,YC1,ZC0)，(XC2,YC2,ZC0)，(XC3,YC3,ZC0)，(XC4,YC4,ZC0)；在像平面成像后，目标在图像坐标系下坐标为(u1,v1)，(u2,v2)，(u3,v3)，(u4,v4)，宽为l1，高为l2，面积为s，且图像坐标系的成像平面中心点为(u0,v0)，则像素(ui,vi)和空间点(Xci,Yci,Zc0)间的对应关系为

则可以计算出矩形目标的深度，即前方车辆同本车距离为

式中：kx,ky分别为X,Y轴方向放大系数，根据Faugeras提出的线性模型摄像机内外参数标定方法，在相机使用前将相机内参数预先标定，利用6个及以上控制点，代入式(2)，组成超定方程，通过最小二乘方法，求解矩阵M的各个参数，其中，令m1=[m11m12m13]T，m2=[m21m22m23]T，则kx=‖m1⋅m3‖，ky=‖m2⋅m3‖.

3 前方车辆自适应视觉测距方案设计

城市内车道分界线常为划2 m间隔4 m；交通标志常出现在路口附近，如矩形交通指示牌尺寸宽为4 m，高为2 m.如图8所示，车辆应参考车载毫米波雷达测距信息获取前车距离范围，自适应选取相机视野内含几何约束的交通标志，确保单目视觉测距连续、可用.

图8 单目视觉测距合作标志应用策略Fig.8 Application of monocular vision measurement

如图8(a)所示，前车距离2 m＜D≤10 m，相机视野内车道分界线不完整，当前车尾部可见时，可用于辅助视觉测距.通过计算中心识别前方车型，返回前方车辆尾部面积信息S，车辆端获取前车在图像坐标系下面积为s；选用垂直方向合作目标辅助测距方法，预先标定相机参数kx,ky，则前方车辆距离为

如图8(b)所示，前车距离10 m＜D≤20 m，相机视野内前车尾部、车道两侧边界线可作为合作标志辅助视觉测距.计算中心识别车型返回尾部宽度信息L0，车辆端获取分界线的图像坐标(ui,vi),i=1,2,3,…,8，推算车辆尾部平面同道路平面交界线的端点(u10,v10)、(u20,v20)；车辆端通过向中继站请求该区域车道分界线、交通标志尺度信息，并合理设置世界坐标系原点，推算合作标志坐标(Xi,Yi,Zi),i=1,2,3,…,8，获得透视参数矩阵m'；根据透视投影关系，建立融合车辆宽度信息的超定方程，通过最小二乘方法，解得车辆尾部平面同道路平面交线端点坐标X=[Xw1,Yw1,Xw2,Yw2]T，则前方车辆距离为

如图8(c)所示，前车距离20 m＜D≤30 m，相机视野内前车尾部、车道两侧边界线可作为合作标志辅助视觉测距.在该距离下，车辆尾部可见，车道分界线距相机较远的角点不能准确提取，故利用车道线两侧端点作为几何约束，则前方车辆距离为

如图8(d)所示，前车距离D＞30 m，相机视野内远方车道边界线不清晰，前车尾部、交通标志可作为合作标志辅助视觉测距.通过计算中心进行车型识别，向车辆端返回前方车辆尾部、交通标志面积信息S1、S2，车辆端获取前车目标的坐标，在图像坐标系下面积为s1、s2；选用垂直方向合作目标辅助测距，车辆同最近交通标志距离为D1，则前方车辆距离为

4 实验及分析

4.1 仿真实验

通过AutoCAD构建4个三维模型，对式(10)～式(13)所述4种工况进行验证.环境中车道宽为4 m，车道线长2 m、宽0.2 m；矩形交通标志宽4 m，高2 m；模拟车载相机安装位置为(0 m,0 m,2 m)，焦距30 mm，图像分辨率为1024×768，内参数kx、ky乘积为；前方货车高度设为4.5 m，宽度约为3.4 m，每个环境的场景与相机视图如图9所示.根据前文分析结果，前方车距变化时，选用视场内相应的交通标识空间及图像坐标作为几何约束，如表1所示，获得前方车辆单目视觉测距结果，如表2和表3所示.

表1 视觉测距应用的几何约束Table 1 Geometric constraint of monocular vision measurement

图9 单目视觉测量仿真实验Fig.9 Experiment of monocular vision measurement

表2 单目视觉测距结果1(仿真)Table 2 Result of monocular vision measurement

4.2 真实环境

如图10所示，使用测距仪(200 m测距误差1%)测量前方目标距离10.600 m，使用分辨率1 080×1 440的相机采集图像；车道宽4 m，矩形交通指示牌宽4 m，高2 m，前方车辆宽1.51 m，高1.86 m，视觉测距结果如表4和表5所示.

表3 单目视觉测距结果2(仿真)Table 3 Result of monocular vision measurement

图10 测量环境、工程侦查测距仪及真实环境实验Fig.10 Engineering investigation rangefinder prototype and real environment experiment

表4 单目视觉测距结果1(真实环境)Table 4 Result of monocular vision measurement in real envirnment

表5 单目视觉测距结果2(真实环境)Table 5 Result of monocular vision measurement in real envirnment

分析上述实验结果可得结论如下：

(1)单目视觉测距精度随前车距离增加而降低.

(2)选用垂直合作标志的单目视觉测距精度高于选用水平合作标志的单目视觉测距精度，当视野内同时出现两种合作标志，优先选用垂直合作标志作为辅助定位标志；

(3)若前方车辆距离在40 m内，且图像中车辆宽度提取误差小于6 pixel，则视觉测距误差不超过10%，可作为驾驶辅助系统测距手段之一，实现视觉同雷达“识别—探测”数据融合.

5 结论

本文介绍了一种面向未来智能交通系统的前方车辆单目视觉测量方法，车辆获得多种道路要素几何尺度信息后实现前方车辆距离单目视觉测量；与毫米波雷达同时使用，可丰富ADAS系统测距手段.本文提出了单目视觉测距功能在车联网模型中部署方案，使用静态方法测试了单目视觉测距正确性.未来应重点提升单目视觉测量精度，提升方案同智能交通系统、ADAS适配性、兼容性.