基于双目视觉的货车尺寸测量

王 潜，张艳彬

(南京邮电大学 通信与信息工程学院，江苏 南京 210003)

0 引 言

近年来，随着国内汽车保有量的不断增加，人们享受机动车带来便利的同时，车辆改装成为道路交通事故和道路早期损坏的主要原因之一[1-2]。汽车的综合性能检测成为了维持良好的车辆生产和道路交通秩序、确保道路设施的完好和公路交通安全的有效手段，汽车车身尺寸检测是汽车通过性及运行安全性等综合性能检测的重要内容[3]。传统的人工测量误差大、效率低；当前普遍采用红外光幕组合激光雷达测量法、雷达激光组合机器视觉测量法和激光光幕与CCD相结合的测量方法[4]。红外光幕组合激光雷达测量法，测量宽时需要在地面安装红外光幕接收器，采样频率受现有产品的限制，无法达到较高的测量精度，而且成本高。激光雷达组合计算机视觉测量法，其成本有所降低，但采样频率一样难以提升且用场地较大，不利于维护。

基于计算机视觉的物体测量技术近年来发展迅猛，而双目视觉作为计算机视觉的分支之一，由于其模拟人类视觉原理，使用计算机被动感知距离，广泛应用于机器人导航、精密工业测量、物体识别、虚拟现实、场景重建、勘测等领域[5-7]。文中提出了一种基于双目视觉的测量方法[8-10]，通过双目摄像机采集车辆图片，利用图像差值法获取车辆前景目标；通过进行HSV直方图图像分割提取车身[11]，设计了基于车身轮廓Hu矩的车型支持向量机分类器[12-13],对分类为货车的对象，根据边缘特征，结合特征匹配技术实现立体匹配[14],完成车辆长度的测量；通过霍夫变换检测矩形车厢[15-16]，计算出车厢的尺寸信息，继而判断是否进行改装。

1 车辆尺寸测量流程

文中测量方法的流程如图1所示。首先，通过双目摄像机采集车辆图像，选取左相机图像进行主要处理，将车辆图像与背景图像做图像差值，提取图像中的车辆前景。为了消除阴影的影响，对车辆目标计算HSV空间各颜色分量的直方图，取各颜色分量最大值进行图像分割，提取车身做下一步处理。针对不同车型，设计了一个SVM分类器，通过提取车辆车身的Hu矩对车辆进行分类。对分类为货车的对象做霍夫变换，并结合几何信息检测矩形提取车厢。最后根据边缘特征，确定车辆的测量点，进行特征匹配和双目测量。

图1 车辆尺寸测量流程

2 车辆尺寸测量原理

2.1 双目测量原理

双目视觉作为计算机视觉的重要分支，由不同位置的2台摄像机拍摄同一幅场景，通过计算空间点在两幅图像中的视差，来获取该点的三维坐标。双目成像原理如图2所示。

图2 双目视觉成像原理模型

其中，B是两台摄像机投影中心的距离；f是摄像机的焦距。

因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定该点的三维坐标。

在双目测量之前，需要对摄像机进行标定获取内外参数。文中选取经典的张友正棋盘标定法。通过标定获取摄像机焦距f、基线距离B以及两摄像机之间平移T和旋转角度等。

2.2 车辆测量点定位

对车辆尺寸自动化测量来说，准确快速定位测量点是一个必要条件。文中主要测量载货汽车类车辆的长度和车厢尺寸。

对提取的车身图片，进行形态学处理、面积大小判断，去除车身外的噪声区域，再提取图像中的车身外轮廓，利用轮廓线中的左、右两侧的极点作为车辆长度的测量点。

对分类为货车的车辆，利用霍夫变换检测图中的直线，结合车厢的几何信息，提取出车厢矩形，确定车厢的测量点。首先通过霍夫变换检测出图像中的所有直线，根据车厢的几何特性，对图像选取相互平行的直线对，而一般车厢的上下、左右边接近水平和垂直，结合以上两点筛除大部分的干扰直线。选取车厢边缘直线策略以车厢上下两条直线为例，这两条一般选取靠近车身上下两侧的直线，但是会受到其他部分水平直线的干扰，这时可通过每条直线周围非零像素点的个数来辅助判断，车厢的上下侧直线邻域一般包含的非零像素点较多，选取邻域非零点最多的直线对作为车厢上下边直线。最后计算车厢四条直线边的交点，以这四个交点作为车厢尺寸的测量点。

图3为车厢直线选取策略示意图。

图3 车厢直线选取策略示意图

图3中有三条直线，选取策略是统计直线邻域中

非零像素点个数，选取统计数量最多的直线作为车厢下边界。车身部分像素点不为零，其他部分皆为零，明显直线1满足要求。

2.3 车辆测量点匹配

文中应用了归一化互相关(normalized cross correlation，NCC)特征匹配算法，其具有抗噪能力强、匹配准确等特点。通过计算模板块与搜索图像的互相关系数确定匹配的程度，选取互相关系数最大的点作为模板块在搜索图像的位置。归一化互相关度量匹配的定义式为：

(1)

其中，R是互相关系数；T是尺寸为N×N的模板；搜索图像S的尺寸为M×M。

文中选取以测量点为中心，N=5的邻域作为模板，同时通过极线约束来减小计算量。在实际测量中，视差只会在一定范围变化，故可以限制模板在x轴的搜索范围，进一步提升计算效率。根据实际情况设置搜索范围为：xR∈(xL-200,xL+200)，其中xL为左图像测量点。

2.4 车辆前景目标的提取

在测量车辆尺寸时，背景图像保持静止不变，车辆部分可以看成是变化的部分。根据这一特点，采用灰度图像背景差值法实现车辆目标提取。设f1(x,y)，f2(x,y)分别为插值法中的车辆图像和背景图像，大小均为M×N，其中x∈[0,M)，y∈[0,N)，获得色差图D(x,y)：

D(x,y)=abs(f1(x,y)-f2(x,y))

(2)

δ2=PA(ωA-ω0)2+PB(ωB-ω0)2

(3)

为获取最优阈值，类间最大方差法认为使得δ2值最大的t*即为所求的最佳阈值。

为了提取车身信息，选取基于HSV彩色直方图车身分割方法，将获取车辆前景的RGB图像转到HSV颜色空间，在HSV空间提取车身。利用HSV彩色直方图计算图像中不同颜色分量出现的频率，选取出现频率最高的hb,sb,vb作为目标颜色。将目标区域每个像素点与目标颜色进行相似度比较，选取HSV空间相似度公式计算相似度，公式如下：

D(f)=[(sfvfcoshf-sbvbcoshb)2+

(sfvfsinhf-sbvbsinhb)2+

(vf-vb)2]1/2

(4)

其中，D(f)为目标区域像素点与目标颜色相似度值；hf,sf,vf分别为该像素点的HSV分量。根据场景选取适当阈值，当相似度D(f)小于阈值时，判定为车身点，否则为背景点。

2.5 车辆车型分类

文中主要检测载货汽车，并提取其车厢尺寸，所以需要对车辆车型进行区分。这里设计了基于Hu矩特征的SVM车型分类器，对输入车身轮廓进行分类，将车辆分为货车类和非货车类(客车、轿车等)。

Hu矩具有旋转、缩放和平移不变性，对于物体的形状描述较好。由Hu矩组成的特征量对图像进行识别，其优点是计算速度快，但对纹理特征太复杂的图像识别率较低。文中对分割出的车身分类，只计算其形状特征而不考虑纹理，因此Hu矩特别适合要求。

支持向量机(support vector machine,SVM)是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略是使间隔最大化，最终可转化为一个凸二次规划问题的求解。

设支持向量为xi,i={0,1,…,6}，对应的输出为yi={0,1}，支持向量机对线性可分问题的目标函数为：

(5)

yi(wxi+b)≥1-ξi,i=1,2,…,N

(6)

其中，b是分类阈值。

为了求解原始问题最优解w*和b*，首先求解式7的对偶问题，获取最优解a*，拉格朗日对偶形式为：

(7)

对偶问题的a*解中，满足a*>0的实例点xi称为支持向量。

求解上述问题得到线性支持向量机，分类决策函数为：

f(x)=sign(w*·x+b*)

(8)

在线性支持向量机学习的对偶问题中，用核函数K(x,z)替代内积，即可求解到非线性支持向量机：

(9)

3 实 验

3.1 实验平台

实验采用Intel® CoreTM2 CPU i5-3210M@ 2.50 GHz双核，显卡为NVIDIA GeForce 620M(1 GB)。操作系统为64位Windows 7旗舰版，开发环境为Visual Studio 2013,Opencv环境为opencv-3.2，双目摄像机为ANC 1080P摄像头。

3.2 实验结果及分析

选取光线合适的场景进行试验，通过图像差值法提取车辆前景，以检测到的车辆区域作为掩模，计算其HSV彩色直方图，提取各个分量最大值，应用相似度公式，提取车身，效果图如图4所示。

图4 车辆前景提取及车身分割

对色差图进行二值化后，图像中除前景目标区域外，还存在一些噪声区域，这里通过轮廓面积和形态学操作去除。

文中收集了207个车辆样本，其中货车类有60个样本。经过处理后按照7∶3的比例分成训练集和测试集。SVM分类器的核函数为径向基函数，其对非线性划分问题效果优于其他几类核函数，采用交叉验证(cross validation)的方法选取核函数参数δ为0.25。60个测试样本分类的准确率在96.67%，分类错误的原因是手工制作的样本有误差，使得车型相差较小的两类容易产生误判。

测试集的实际分类结果如表1所示。

表1 车辆类型分类结果

最后根据边缘特征和车辆的几何特征，确定测量点及3次测量均值结果,如图5和表2所示。

图5 车辆测量点示意图

车型双目测量车身长度/mm车厢长度/mm车厢宽度/mm总耗时/ms跃进上俊x5003次测量均值6 0564 0632 048手工测量5 9954 1701 989最大误差2.72%2.56%2.88%1 284跃进x500厢式轻卡3次测量均值5 8494 2272 102手工测量5 9954 1802 050最大误差2.42%2.34%2.57%1 337

4 结束语

论述了基于双目视觉的车辆尺寸测量的系统组成、测量原理及双目测量的关键技术。通过对两种类型货车进行重复测量实验，结果显示，该系统对车辆尺寸的测量误差与传统方法相差不大，但整体耗时低于1.5 s,并能实现自动、非接触测量，满足了测量准确性和快速性的要求，为车辆综合性能检测和智能交通系统提供了一种有效的补充。

参考文献:

[1] 杜秀丽.重特大道路交通事故致因研究[D].上海:华东师范大学,2016.

[2] 刘 琦.道路交通安全管理研究[D].青岛：中国海洋大学，2012.

[3] WHEELER T A, KOCHENDERFER M J. Factor graph scene distributions for automotive safety analysis[C]//International conference on intelligent transportation systems.Rio de Janeiro,Brazil:IEEE,2016:1035-1040.

[4] 梁春疆，段发阶，杨 毅，等.车辆外廓尺寸计算机视觉动态测量[J].光电工程,2016,43(1):42-48.

[5] 李怀泽,沈会良,程 岳.基于旋转多视角深度配准的三维重建方法[J].计算机应用，2012，32(12):3365-3368.

[6] 孔颖乔,赵健康,夏 轩.基于立体视觉的高精度标定与测量方法[J].计算机应用,2017,37(6):1798-1802.

[7] 郭政业,胡雯蔷,朱李瑾.基于眼球重建异面直线模型的双目视线跟踪算法[J].计算机应用研究,2016,33(4):1249-1252.

[8] 姜庆昌.汽车轮廓尺寸测量机的研究[D].哈尔滨：哈尔滨工业大学，2006.

[9] 苏 建,翟乃斌,刘玉梅,等.汽车整车尺寸机器视觉测量系统的研究[J].公路交通科技，2007,24(4)：145-149.

[10] LI Shuaijun,JIANG Xinyu,QIAN Huihuan.Vehicle 3-dimension measurement by monocular camera based on license plate[C]//International conference on robotics and biomimetics.Qingdao,China:IEEE,2016:800-806.

[11] SURAL S,QIAN Gang,PRAMANIK S.Segmentation and histogram generation using the HSV color space for image retrieval[C]//International conference on image processing.Rochester,NY,USA:IEEE,2002:589-592.

[12] BENNETT K P.Combining support vector and mathematical programming methods for classification[M].Cambridge，MA：MIT Press，1999:307-326.

[13] 范伊红,彭海云,张 元.基于SVM的车型识别系统的设计与实现[J].微计算机信息,2007,23(3-1):296-297.

[14] WEI S,LAI Shanghong.Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J].IEEE Transactions on Image Processing,2008,17(11):2227-2235.

[15] DAI Huadong,WANG Yang.A new method for detecting rectangles and triangles[C]//2015 IEEE advanced information technology,electronic and automation control conference.Chongqing,China:IEEE,2015:321-327.

[16] LIU Dong,WANG Yongtao,TANG Zhi,et al.A robust circle detection algorithm based on top-down least-square fitting analysis[J].Computers & Electrical Engineering,2014,40(4):1415-1428.