基于双目图像匹配的车载测速测向方法研究＊

张辉 龚文森 陈静萍 林军记

（1.中山大学，智能交通研究中心；2.广东省智能交通系统重点实验室，广州 510006）

基于双目图像匹配的车载测速测向方法研究＊

张辉 龚文森 陈静萍 林军记

（1.中山大学，智能交通研究中心；2.广东省智能交通系统重点实验室，广州 510006）

为实现车辆对自身车速与方向的准确检测，提出了一种根据2个并列车载成像设备拍摄的路面信息图像完成速度与方向检测的方法。通过精确控制2个成像设备间的拍摄时间间隔，获得相互重叠的路面信息图像，利用图像匹配技术计算图像的相对运动距离与方向，并结合标定参数和间隔时间，计算获得准确的车速与方向。试验结果表明，该方法具有较高的可信度和精度。

1 前言

实现无人驾驶和车路协同的重要前提之一是车辆精确检测自身车速与方向等运动状态。目前，车辆实现自身车速检测的方法主要有车轮转速检测方法和GPS检测方法，这些方法属于车载检测方法，具有简单直接的特点。车轮转速检测方法通过检测驱动轮转速和测量车轮半径来计算车速，该速度在车轮与地面刚性纯滚动时可以认为与实际速度相同[1]，但由于车轮的气压变化导致车轮半径的变化以及车轮与地面的滑移现象，计算得到的车速往往不是真实车速。GPS检测方法利用车载GPS终端进行检测，依赖GPS卫星定位与测速系统，由于受电离层、对流层天气状况及附近建筑物的影响，精度较低、延迟较大[2]。

为了更为准确地检测车辆自身的运动速度与方向，一些学者依据道路表面存在的随机分布的颗粒与纹理，利用车载成像设备采集路面纹理图像序列，当路面纹理图像之间存在重叠部分，就可以利用图像匹配技术检测图像序列中纹理的重叠与变化，实现车辆速度与方向的连续检测[3～5]。这类方法存在一定的局限性，例如车辆运动速度较快时，由于单个成像设备的帧频较低或者视场较小，导致图像没有重叠部分供匹配，无法通过图像匹配技术检测车辆运动速度与方向，对成像设备的要求与成本较高。为了解决这一问题，本文提出了一种基于双目图像匹配的车载测速测向方法，通过精确控制2个并列的成像设备之间的拍摄时间差，获得具有精确间隔时间的图像对，利用图像匹配技术计算图像对之间的像素偏移，结合标定参数和间隔时间，获得车辆自身的运动速度和运动方向，这种方法能够适应较快的车辆运动速度。

2 车载测速系统原理

本文研究的车载测速系统基本结构如图1所示。不同的成像设备存在各自独立的时钟信号源，当时钟信号源的频率不相同时，不同成像设备的帧信号时间会产生相对漂移，因此需要将2个成像设备连接至同一时钟信号源，并在其中一个成像设备的电源连接处加入延时电路模块使其延迟启动，使2个成像设备启动及其启动后的每次拍摄都存在相同的间隔时间，从而达到精确控制并稳定拍摄间隔时间的目的。成像设备将图像和帧同步信号时间等数据传送至处理器保存和处理，处理器利用匹配算法计算图像的相对距离与相对方向，同时检测成像设备拍摄图像时输出的帧同步信号[6]时间差来获取拍摄间隔时间，计算出车辆运动速度与方向。

图1 车载测速系统结构

车载测速系统中2个并列成像设备安装在车辆外部可以观察到路面的位置，同时使成像设备的光轴与地面垂直。假设2个成像设备采集的路面图像分别为图像A与图像B，取图像A与图像B的重合区域C作为分析区域，分析区域的坐标系与车辆的坐标系重合，如图2所示。假设t1时刻图像A中地面上某一特征点位于C内的坐标为(x1，y1)，t2时刻图像B中对应点位于C内的坐标为(x2，y2)，由此可得路面相对车辆（成像设备）从(x1，y1)运动到(x2，y2)，车辆（成像设备）运动方向则与之相反。

图2 车载测速系统原理

图像坐标点和地面坐标点的对应关系是成像设备对地面现实图像的摄影变换的结果。地面坐标点在成像的过程中需要经过线性成像模型和非线性成像模型变换。线性成像模型为理想的小孔成像模型[7]，非线性成像模型为成像设备镜头产生的畸变误差，包括偏心畸变、薄棱镜畸变和径向畸变[8]。假设图像坐标点(x1，y1)对应地面坐标点(X1，Y1)，点(x2，y2)对应点(X2，Y2)，则有：

式中，f(x1,y1)是成像系统的变换函数，通过对成像设备的分辨率和视场等内部参数进行标定，结合其外部参数获得[7～8]。

因此，车辆（成像设备）的实际运动距离为：

此时，车辆运动方向与车身纵轴的夹角为：

成像设备的拍摄间隔时间为Δt=t2-t1，则车辆的实际运动速度为：

车载测速系统在将车辆运动速度与方向检测问题转化为图像获取和匹配问题的同时，克服了基于单一成像设备的测速方法中车辆运动速度较快而成像设备帧频较低、图像之间间隔时间较大的缺点，有效提高速度和方向检测精度。

3 图像匹配算法

图像匹配算法根据原理的不同主要可以分为基于灰度的匹配、基于模板的匹配、基于变换域的匹配和基于特征的匹配[9]4种。

其中，基于特征的匹配是目前最常用的匹配算法之一，该算法提取图像中的点、线、轮廓等特征信息集合，再将特征集合进行匹配对应，在减少计算量、提高效率的同时，对图像的灰度变化具有一定的鲁棒性[10]。但是，该算法只采用了图像小部分的特征信息，所以其对特征提取和特征匹配的精度与准确性要求非常高。由于车载测速系统相对路面运动导致路面图像受到运动模糊而产生退化，基于特征的匹配方法错误率急剧增大。而基于模板的匹配具有简单直接的特点，模板范围较大，采用了较多图像信息，因此对图像运动模糊有一定的鲁棒性。但是基于模板的匹配算法需要预先在一幅图像中提取模板，然后在另一幅图像中进行一系列的滑动匹配，提取和匹配重复进行，计算量较大，匹配速度较慢。

为了充分利用这两种算法的优点并克服它们的缺点，车载测速系统利用上述方法进行协同匹配，利用特征匹配算法为模板匹配算法提供依据，提高匹配速度，利用模板匹配算法提高匹配精度。

3.1 SURF匹配算法

加速鲁棒特征（SpeededUpRobustFeature，SURF）匹配算法由Herbert Bay等人[11]在2006年首次提出，在此之前较为常用的方法是尺度不变特征变换（Scale Invariant Feature Transform，SIFT）匹配算法。SURF算法由SIFT算法改进而来，在保证鲁棒性的同时大幅提高了程序的运行速度。

Hessian矩阵是SURF匹配算法的核心，其判别式可用于判定图像中的某一点是否为图像灰度值的极值点。假设图像中的某一点为P（x，y），其灰度值为I（P），则点P（x，y）的Hessian矩阵为：

式中，Lxx(P,σ)为该点灰度值I（P）在特定尺度σ下，标准高斯函数g（x，y，σ）的二阶偏导数在点P（x，y）处与图像（IP）的卷积结果：

式中，⊙为卷积运算符。

此时，该点的Hessian矩阵的判别式为：

通过这种方法可以利用图像中每个像素点的灰度值为其计算Hessian矩阵及其判别式，判定该像素点是否为图像灰度值的极值点[12]。

为了在图像的不同尺度中定位最佳特征点，需对检测到的极值点进行优选，首先设定一个预设极值点，所有小于预设极值的取值都被舍弃，使检测到的特征点数量减少，达到检测出较强特征点的目的[13]。

以特征点为中心，取8像素×8像素的图像区域，划分成为4×4个子块，计算每个像素点及其邻域内的像素点在x方向和y方向的Haar小波响应值，记为dx和dy[11]。统计上述每个子块中共4个像素点的x方向和y方向的Haar小波响应值及其绝对值累加值，分别记为∑dx、∑|dx|、∑dy、∑|dy|，形成一个四维分量的矢量，特征向量的提取过程如图3所示。综上所述，每个特征点及其选取的图像区域可用4×（4×4）=64维的向量进行描述[14]。

图3 特征向量提取

对需要匹配的图像按照上述方法进行特征点提取和特征向量描述，将这些特征向量进行匹配，以特征向量间的欧氏距离作为相似性度量结果。首先根据实际情况设定预设值，当相似性度量结果小于预设值时认为特征点匹配结果较好。

3.2 模板匹配算法

利用SURF匹配算法进行特征提取和特征描述后，仍有可能出现错误，尤其是车载测速系统在车辆以较高运动速度行驶时，运动状态下所采集的路面信息图像经运动模糊而产生退化，出现误判点的几率增大。因此，需要将匹配结果较好的特征点作为关键点，由于关键点是图像灰度值的极值点，故其周围的灰度变化一般比较明显。假设其中一幅图像为模板，在模板的关键点周围截取一定范围的图像获得模板图像集合，假设另一幅图像为待匹配图像，将获取的模板图像集合逐一与待匹配图像进行滑动匹配[15]，即可得到模板匹配结果集合。

基于模板的匹配常用的匹配算法有平方差匹配（SQDIFF）、相关匹配（CCORR）和相关系数匹配（CCOEFF）[16]3种。

假设I（x，y）为待匹配图像，T（x′，y′）为模板图像，R（x，y）为该点匹配结果，则

a.平方差匹配（SQDIFF）：

b.相关匹配（CCORR）：

c.相关系数匹配（CCOEFF）：

式中，T′、I′分别为T、I对其均值的差值：

通常，从平方差匹配到相关系数匹配的匹配结果精度是逐步提高的，相应的计算量也逐步增加，因此需要根据实际应用选择精度与速度兼顾的最佳匹配方案。车载测速系统经过SURF匹配算法对图像中的关键点进行初选后，模板匹配算法产生的计算量对整体匹配速度的影响变得相对较小，因此这里选择使用相关系数匹配的方法，能有效提高车载测速系统的图像匹配精度。

首先根据实际情况设定预设值，相关系数算法的匹配结果R3（x，y）大于预设值时，认为模板图像与待匹配图像中的特定区域匹配成功。反复进行上述操作，可得2幅图像中关键点的匹配集合，从而获得相对运动信息。

3.3 匹配可靠性分析

为了保证匹配可靠性、提高匹配精度，本文在现有的图像匹配过程中增加了误匹配点剔除算法，在速度检测过程中增加了误检测速度值剔除算法。

在进行图像匹配时，提取的对应点中大部分匹配结果是一致的，只有小部分匹配由于2幅图像的亮度等差异出现误匹配。因此在进行匹配后，计算匹配结果集的平均值和标准差，分析各匹配结果与平均值之差。当该值超过标准差的2倍时，认为该匹配结果错误，剔除该点。

在速度检测过程中，由于车辆运动速度与方向不会产生突变，因此对检测速度进行统计分析，拟合检测速度曲线，将误判的检测速度剔除，余下的速度即为可靠的检测速度。试验结果显示，检测速度误判率低于3%，且均可通过统计分析剔除。

4 试验与结果分析

4.1 静态试验

为了检验车载测速系统与方法在基本不受外界因素影响时的性能，本文设计了静态试验进行分析。如图4所示，将车载测速系统安装于架设试验车道上方的试验平台上，严格控制试验平台在同一水平高度上沿图像坐标系的x方向和y方向精确移动，记录移动的距离并拍摄当前路面图像。由于试验平台只能精确产生x方向和y方向的位移，而其他方向的距离和角度难以精确控制，因此利用x方向和y方向的距离来计算获得其他方向的距离和角度。

静态距离检测结果如表1所示，静态角度检测结果如表2所示。

由上述结果可知，在毫米级的运动距离下，车载测速系统成像设备的距离检测误差不超过0.5 mm，角度检测误差不超过0.6°，说明车载测速系统与方法在不受运动影响的情况下具有较高的精度。

图4 静态试验

表1 静态试验距离检测结果 mm

表2 静态试验角度检测结果 （°）

4.2 车载试验

为了检验车载测速系统与方法在车辆运动状态下的检测精度、有效性和可信度，本文设计了如图5所示的车载试验。在试验模型车的车轮上装配光电转速传感器用于采集车轮的转速，结合车轮直径计算车辆运行速度参考值。令试验模型车直线行驶以消除车辆侧倾的影响，在计算过程中消除车轮形变的影响，则光电转速传感器的检测结果可用于提供实际车速作为参考速度。

图5 模型车载试验

在试验模型车上安装车载测速系统，使系统的成像设备与车身纵轴形成一定的角度，实现同时检验车载测速系统速度检测和方向检测两方面的性能，试验模型车运动速度检测结果与参考车速如图6所示。

图6 运动速度检测结果

试验结果表明，消除影响因素后，检测速度与参考车速保持了良好的一致性和相关性。

结合成像设备的内、外部参数测量，可以得到车载测速系统的成像设备与车身纵轴的角度为47°，车载测速系统运动方向与车身纵轴夹角检测结果如图7所示。

图7 运动角度检测结果

由图7可知，本文提出的车载测速系统角度检测值与实际值保持了良好的一致性，相对误差小于5%，具有较高的精度。

综上所述，本文提出的车载测速系统与方法具有较高的精度、有效性和可信度。

4.3 系统误差与适用范围

在试验过程中，由于数字图像存在离散特性，因此在进行图像运动距离换算时一般存在系统误差。假设路面信息图像中的一对对应点在图像坐标系中处于同一方向上，由于像素点具有一定的大小，假设对应点极小，此时对应点可能落在所在像素点内的任意位置，进一步将图像距离换算成检测距离时，检测距离与实际距离之间存在由对应点位置和像素大小共同引起的误差。假设检测距离为Ldet，成像设备间隔时间为Δt，则车载测速系统的检测速度vdet为：

式中，L为实际距离；ε为每个像素对应的现实距离。

在文本的静态试验和车载试验中，采用的成像设备的分辨率为704×576，在以试验模型车的安装条件进行拍摄时，每个像素对应的现实距离ε为1/70cm，由此引起系统误差。由上述分析结果可知，在相同的视场范围和安装条件下，提高成像设备的分辨率能够减小每个像素对应的现实距离，从而减小车载测速系统在进行图像距离换算时引起的系统误差。

假设路面信息图像对角线对应的现实距离为Lmax，则图像距离可以检测的范围为ε～Lmax，即最小测量值为1个像素对应的现实距离，最大测量值为图像对角线对应的现实距离。因此，车载测速系统的可测速范围为ε/Δt～Lmax/Δt。由式（13）可得车载测速系统的相对误差δ为：

式中，vreal=L/Δt为车辆实际速度。

在实车安装条件下，调整成像设备的安装高度能够控制车辆在不同运行速度下的匹配区域。由于车载测速系统成像设备的间隔时间Δt较常规单个成像设备的频间隔时间更短（可以达到1～5 ms），能够保证高速运行时有足够的匹配区域，但同时导致低速运行时产生无法准确测量车辆速度和方向的情况。单个成像设备的帧频较低，图像间隔时间一般为40 ms，在低速运行时能够提高检测精度，使车载测速系统能够适应较低的速度。实车检测相对误差与速度的关系如图8所示，双目图像检测系统能够检测较大车速范围且精度较高，但是在速度较低时精度急剧下降，而单目图像检测能够在速度较低时提供高精度检测，但是检测车速范围较小。

单目图像检测在速度为0.7～6.4 m/s范围内误差不超过1%，在速度为0.3～0.7 m/s范围内误差不超过2%。车速更低时，可以间隔数帧，增加帧间隔时间以提高检测精度。由于车载测速系统无法精确检测车辆静止时的图像匹配结果，因此当车载测速系统连续测得最低检测速度时，则可以认为车辆静止。

图8 相对误差与速度关系

5 结束语

本文提出的车载测速测向方法简单快速，克服了单一成像设备和单一图像匹配方法的不足，降低设备成本的同时提高了检测的精度与速度，在检测车速大小的同时可有效检测车速方向，在各类嵌入式车载应用中具有一定的研究与应用价值。由于本系统需使用2个成像设备，对成像设备的要求较高，如何消除2个成像设备的差异对车载测速系统检测精度的影响有待进一步的研究。

1 姚怀新，陈波.工程机械底盘及其液压传动理论.北京：人民交通出版社，2002：11～20.

2 杨龙，刘焱雄，周兴华，等.GPS测速精度分析与应用.海洋测绘，2007，27（2）：26～29.

3 Jin S F,Hu Y B.Machine-vision-based Study on Driving Speed of Construction Machinery.Chinese Journal of Construction Machinery,2012，10（4）：446～451.

4 Naeem S,SirajS.A Framework to SelectEdge Detection Method Using Multi-criteria Decision Making.IEEE InternationalConference on Systems,Man and Cybernetics，San Diego，2014.

5 刘红亮，陈维义，许中胜.基于序列图像匹配的车载自主测速方法.系统工程与电子技术，2015，37（4）：964～968.

6 王新成.PAL全电视信号的特征与处理.电视技术，1997（5）：16～31.

7 张铖伟，王彪，徐贵力.摄像机标定方法研究.计算机技术与发展，2010，20（11）：174～179.

8 吴开兴，段马丽，张惠民，等.广角图像畸变校正算法的研究与实现.计算机应用与软件，2014（11）：237～240.

9 冈萨雷斯，伍兹.数字图像处理.北京：电子工业出版社，2007：259～270.

10 张锐娟，张建奇，杨翠.基于SURF的图像配准方法研究.红外与激光工程，2009，38（1）：160～165.

11 BayH,EssA,TuytelaarsT,etal.Speeded-Up Robust Features(SURF).Computer Vision& Image Understanding,2008，110（3）：346～359.

12 高健，黄心汉，彭刚，等.一种简化的SIFT图像特征点提取算法.计算机应用研究，2008，25（7）：2213～2215.

13 Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints.International Journal of Computer Vision.2004，60（2）：91～110.

14 冯亦东，孙跃.基于SURF特征提取和FLANN搜索的图像匹配算法.图学学报，2015，36（4）：650～654.

15 田娟，郑郁正.模板匹配技术在图像识别中的应用，传感器与微系统，2008，27（1）：112～114.

16 Bradski G R,Kaehler A.Learning OpenCV.Oreilly Media,2008：238～243.

Research on Vehicle-Mounted Speed and Direction Detection Method Based on Binocular Image Matching

Zhang Hui,Gong Wensen,Chen Jingping,Lin Junji
（Research Centre of Intelligent Transportation System,Guangdong Provincial Key Laboratory of Intelligent Transportation System,Sun Yat-sen University,Guangzhou 510006）

To detect vehicle speed and direction accurately,the paper proposed a method based on the road surface information images captured by two parallel vehicle-mounted imaging devices.By controlling imaging interval of two imaging device accurately,the overlapping road surface information images can be obtained.Using image matching technique to calculate the relative motion distance and direction,and in combination of calibration parameters and interval time,the accurate vehicle speed and direction can be calculated.Test results prove that the proposed method has high credibility and accuracy.

Binocular image,Image matching,Vehicle speed,Direction

双目图像 图像匹配 车速 方向

U467.4

A

1000-3703（2017）11-0007-06

广东省科技计划项目（2013B010402012）。

（责任编辑斛 畔）

修改稿收到日期为2017年4月18日。