基于车牌字符边界定位的视频测速

陈 群，杨东勇，卢 瑾

(浙江工业大学信息工程学院，杭州 310 023)

基于车牌字符边界定位的视频测速

陈 群，杨东勇，卢 瑾

(浙江工业大学信息工程学院，杭州 310 023)

针对卡口环境下视频测速误差大的问题，提出一种提高测速精度的方法。采用以车牌第2个字符作为车辆定位的特征块，利用小波变换分解字符的外部边界特征曲线，在低分辨率下实现目标字符的模板匹配，并获取该曲线相对模板的偏移量，在原分辨率上进行边界坐标的精细调整，完成车辆特征块的精确定位。结合字符高度固定的先验知识，确定车辆特征块所处的实际坐标系，以提高对车辆行驶距离的计算。在实际环境下，对该方法进行长达2个多小时的测试，并对测试结果与线圈测速、基于车牌定位的视频测速进行对比，结果表明，在车辆正常行驶的速度下，与线圈测速相比，该方法视频测速误差在3 km/h以内。

视频测速；字符定位；小波分解；模板匹配；摄像机标定；消失点

1 概述

视频测速是智能交通系统中一种新型测速方式，能克服线圈测速需要破坏路面的缺点，也能弥补雷达测速对安装角度要求高的不足[1-2]。目前，国内外越来越多的学者研究与视频测速相关的技术。为了避免基于虚拟线视频测速中触线时间误差的问题，文献[3]提出了在车道上设置一个矩形检测区，通过检测区内的4个顶点与其在画面中成像坐标之间的关系，确定相应的转换系数，将图像中的像素点坐标准确地映射到相应的路面坐标系下，确定车辆的位移计算出速度，使研究的技术集中在如何精确地得到车辆的行驶距离。为了简化相机标定实现在实际道路下的测速，文献[4-5]提出了利用消失点的原理建立像平面与路面坐标的转换关系进行速度的转换。但是上述的标定方法都只是建立像平面到路面坐标系下的映射，没能建立像平面到车辆特征块定位点所处的世界坐标系下的转换。在卡口环境下，研究的是基于对车辆特征块的定位，如对车灯[6]、角点[7]定位，再求出相应的行驶距离。目前，研究的最成熟的是基于车牌定位技术[8]的视频测速，以其作为车辆每帧的定位结果，再结合摄像机标定技术实现视频测速。但车辆从远景驶入近景中，定位效果会受车牌边框、倾斜等因素的干扰，使前后两帧切割出来的车辆牌照不能很好的吻合，从而影响测速精度。

为提高视频测速的精度，本文提出一种基于车牌字符边界定位的视频测速方法，对字符的外部边界精确定位，以提高车辆行驶距离的估算。

2 视频测速原理

视频测速是通过视频分析技术实现对车辆的测速。通过对车辆的实时定位，得到该车辆在画面中的移动速度，再利用摄像机标定技术实现速度的转换。车辆在画面中的移动速度如下式所示：

其中，d0和d1分别是通过定位技术，得到t0和t1时刻车辆在画面中的移动距离，然后通过像平面与路面坐标系的映射关系实现速度的转换。在实际道路上，像平面与路面坐标系(原点为摄像机光轴与地面的交点)[9]的映射关系如图1所示。

图1 路面坐标系与像平面的映射关系

图1中的角度t为相机光轴与路面的夹角，p为光轴与路面夹角，s为相机内部的旋转角， l为两平面之间的距离。其中，XcsYcsZcs坐标系是相机坐标系XcYcZc绕Zc轴旋转s度后形成的坐标系，XwYwZw是路面坐标系，UV为像平面坐标系。从图1可知，将路面坐标系映射到像平面的步骤，如图2所示。

图2 路面坐标系到像平面坐标的转换过程

结合图1的映射关系，图2中的4个变换过程在数学上的转换关系如下：

对式(2)进行反映射变换就可以建立从像平面到路面坐标系(Zw=0)的转换关系，具体公式如下：

由式(3)可知只要标定出f，l，p，t，s这5个参数，就能完成像平面与路面坐标系的映射关系。本项目所使用的摄像机是锐势相机310系列，分辨率为1 616× 1 232，拍摄频率为15帧/s。设像平面坐标系的原点在左下角，在实际道路上配置相应的标志点以提取消失点，再根据消失点原理实现标定。在实际道路面下的配置方法，如图3所示。

图3 参数配置方法

通过配置在画面中获取的坐标位置为：A(480,997)，B(235,597)，C(1 559,586)，D(1 373,998)，E(383,838) E(383,838)，F(306,713)以此计算直线AB，CD，AD，BC的表达式，由直线AB与CD的交点计算出垂直方向消失点坐标为(1 015,1 669)和由直线AD与BC的交点计算出水平方向消失点坐标(-140 995,-2 166)，实际相机安装的高度为H=6.65 m ，焦距f=25 cm，像元尺寸dx=dy=4.4 um。根据文献[9-10]基于2个消失点标定便可计算出仰角为t=10.5°，偏角为p=-2°，内部倾角为s=0.83°，再将标定出来的参数代入式(3)即可得到像平面与路面坐标的转换。

从式(4)可知，车辆的定位精度是影响视频测速精度的关键因素。在实际情况下，路面坐标系需建立在定位点所对应的平面上(即图1所示的Zw=h )，而不应直接建立在地面上。所以，必须计算出定位点所处的高度，进一步提高视频测速的精度。据此，本文提出利用小波变换对车牌第2个字符的外部边界进行精确定位，在低分辨率下通过最佳起点匹配实现目标字符的模板匹配和边界偏移量的确定，在原始分辨率下提取曲率特征，依次选择3个基准点利用最佳匹配原理，建立起模板边界与目标边界的映射关系，统一以模板信息代替目标边界，提高前后两帧定位点位置的吻合度。最后，结合字符高度固定的先验知识，完成定位点实际坐标系的确定，提高对相邻两帧间车辆移动距离的计算。

3 基于车牌定位的视频测速算法

车牌定位是卡口系统里的子模块，通常以其定位结果实现视频测速。其定位方式主要是根据车牌长宽比例、字符区域的纹理特征、车牌颜色等特征实现对车牌区域的定位，再将定位结果代入式(4)得出速度。车牌定位算法的基本流程如图4所示。

图4 车牌定位算法基本流程

从定位流程可知，车牌定位算法中并没有对车牌的上下边界做精分割，只是定位出一个大致区域。但是，视频测速对特征块定位的精度要求很高。前后两帧的定位点差一个像素，得到的速度相差1 km/h左右。因此，必须对其进行改进来提高视频测速精度。

4 基于车牌定位的视频测速改进算法

车牌图像通过二值化后，其字符的边界往往存在缺陷、毛刺、倾斜等因素的干扰。这些干扰会造成车辆前后两帧的定位点不吻合，从而影响对车辆行驶距离的估算，以致影响测速精度。为了能消除这些干扰，本文先对目标字符边界进行等距采样形成特征曲线并对其进行小波表达，再不断调整曲线的起点位置实现特征匹配。最后，利用最佳匹配完成边界的调整达到精定位。

4.1 字符外部边界特征曲线的小波表达

首先将采集到的m点边界点统一以n点对边界进行等距抽样[11]，并将边界点集转换到极坐标形式下来表达，实现字符边界的尺度、平移、旋转不变性。再对特征曲线进行小波分解选择低频信息进行匹配，以滤除细节噪声干扰。

由轮廓跟踪法对字符边界点进行逆时针等距采集所得到的边界图如图5所示(以字符“B”为例)：

图5 边界点集

将边界点坐标转化成极坐标形式进行表达：

图6 边界点的幅值曲线

图7 边界点的相位曲线

由于边界点的幅值曲线r'包含了边界点与几何中心的关系即字符的边界信息，因此本文提取幅值曲线r'作为目标字符的特征曲线。

然而目标边界往往存在许多干扰，仅仅依靠初始的边界信息进行匹配，误匹配率比较高。由小波变换的原理可知，通过尺度函数：{φ(2kx-j )|j∈Z }可生成分辨率为2j下的逼近信号，表征特征曲线的边界信息的近似信号；由小波函数：{ϕ(2kx-j )|j∈Z }生成的小波空间，得到是分辨率为2j和2j+1下的逼近信号之差，表征了边界信息的细节信号。

所以特征曲线的边界点数N应为2的幂次方才不会造成边界信息的丢失。本文选择N=128并对其进行周期性扩展为r1( N)=r'(0),r1( N+1)=r'(1),…,r1( N+t)=r'( t ),…，

1将其在第J层下进行小波分解如下式所示：

其中，Ck,j和Dk,j分别为曲线r1在分辨率为J下的近似和细节数据。当J=3时，分解后的效果如图8、图9所示(数据重新归一化处理)。

图8 低频分量曲线

图9 高频分量曲线

4.2 基于最佳起点匹配的模板查找和偏移量计算

字符受倾斜现象的影响，使目标边界曲线与模板曲线的起点不一样。但通过对循环平移和小波变换进行分析[12]，其满足把偏移量除以2J，所得的商为m余数为k，则平移后的小波变换结果等于先将边界点集平移k个单位进行小波变换后再平移m个单位。具体原理如下式如示：

即通过搜索m和k的值，得到匹配的相异度最小时所对应的模板即为当前字符匹配的结果，并根据m、k计算出偏移量S=m·2J+k，以此对目标边界点集进行平移，使其与模板边界能够一一对应。

设rb为模板边界特征，rc为目标边界特征，两者相异度计算方式如下：

对于图5字符“B”，通过最佳起点搜索匹配与模板“B”的特征曲线形成了匹配对，两者的相异度D=0.021，所对应的m=0，k=2，即偏移量为S=2。

4.3 基于最佳匹配的字符边界精调整

在原始分辨率下，目标边界由于存在干扰与模板仍有一定的差异，生成的边界点集r'会存在细微的偏差，从而导致与模板边界的对应是模糊的，而且每一帧对应的模糊状况都不一样，这样极大地影响了车辆的定位精度。其粗匹配结果如图10所示。

图10 边界粗匹配结果

为了能解决上述的问题，本方法通过建立模板与目标边界的仿射变换关系对目标边界进行精确调整。假设Cc为目前边界，Cb为模板边界，S(sx, sy)为尺度矩阵，R(θ)为旋转矩阵，T(tx,ty)为平移矩阵。其仿射变换原理如下：

从上面的变换过程中可知有5个未知参数，至少得建立5个方程才能求解。所以要选取3个基准点(每个基准点可以得到2个方程)才能建立模板到目标的仿射变换关系。3个基准点的选择步骤如下：

(1)对特征曲线分段匹配处理，排除相似度较差的曲线区间：

其中，(s,e)表示曲线的起始点；Di表示第i段曲线的相异度；D表示整条曲线的相异度；n表示每段曲线的点数。

(2)对剩下的曲线段Pg，提取曲率特征选择曲率较大的点为候选基准点，以排除因曲率变化过于平坦导致基准点集中在某一曲线段，无法获取最佳映射关系。

其中，(x,y)表示目标边界的坐标位置；Curv(Pg)表示当前曲线段的曲率。

(3)对候选基准点Pc以3点为一组建立模板与目标边界的映射关系，取匹配相异度最小所对应的基准点。

具体的流程如图11所示。

图11 边界精调整流程

根据图11的流程，对图5中的字符边界进行精细调整所得的变换矩阵如下：

边界调整后的效果如图12、图13所示。

图12 调整后的曲线对比

图13 调整后的边界点集

调整前后的定位点对比如表1所示。

表1 边界调整前后对比

由图12、图13和表1可知，通过调整后字符边界与模板边界的特征曲线基本重合且目标字符的边界坐标得到调整，消除了缺陷、毛刺、倾斜等因素的干扰。

5 车辆行驶距离的确定

实现对车辆特征块的定位后，再求出定位点所处的实际坐标系，就可以确定车辆的行驶距离，实现视频测速。由于实现了字符边界的精定位，通过字符高度固定的先验知识，投影出定位点距离地面的高度。投影的原理如图14所示。

图14 定位点高度投影原理

如图14所示，A为字符边界的左上顶点；F为边界的左下顶点；C为上边界在地面上的投影点；D为下边界在地面上的投影点；OH为相机安装的高度；AE为字符上边界距离地面的高度。通过相机标定，可以得到OD和OC的距离。

由式可得定位点距离地面的高度AE为：

设OH=H，结合式(14)对式(4)进行修改，得到的新表达式如下：

将每帧字符的左上顶点坐标代入式(15)，便可以计算出车辆所行驶的距离。

6 实验结果

将视频测速算法从PC平台移植到DSP环境下(智能卡口系统由上海弘视通信技术有限公司提供)，在实际卡口环境下进行长达2个多小时的测试，测试结果与线圈测速、基于车牌定位的视频测速进行对比。部分测试结果如表2所示。

表2 部分测试结果对比

表2中的数据包含了多种车辆类型(如小轿车、工程车等，其定位点的高度都不一样)的测试结果。由表2可知，在视频测速中直接通过车牌定位得到的速度误差范围较大，而且定位点距离地面越高误差就越明显。通过本文方法可有效地还原特征块位点的实际坐标系，提高车辆行驶距离的计算，有效地提高视频测速的精度。

7 结束语

为提高视频测速的精度，本文提出对字符的外部边界精确定位，以提高车辆行驶距离的估算。实验结果表明，本文方法可有效地提高视频测速的精度，且不受车辆类型、特征块位置高低的影响。但是本文是在定位车牌的前提下进行的研究，对于车速超过100 km/h以上的容易造成车牌模糊导致字符区域分割失败。因此，考虑如何去除运动模糊是下一步需要研究的重点。

[1] 汤淑明, 王坤峰, 李元涛. 基于视频的交通事件自动检测技术综述[J]. 公路交通科技, 2006, 23(8): 116-121.

[2] 安福东. 机动车的几种测速方式原理及性能的分析比较[J].警察技术, 2003, (3): 33-35.

[3] 张重德, 张崇巍. 一种提高视频车速检测精度的方法[J].上海交通大学学报, 2010, 44(10): 1439-1443.

[4] Maduro C, Batista K, Peixoto P, et al. Estimation of Vehicle Velocity and Traffic Intensity U sing R ectified Images[C]// Proc. of International Conference on Image Processing. [S. 1.]: IEEE Press, 2008: 777-780.

[5] Nguyen T T, Pham X D. Compensating Background for Noise Due to Camera V ibration in Uncalibrated-camera-based Vehicle Speed Measurement System[J]. IEEE Transactions on Vehicular Technology, 2011, 60(1): 30-43.

[6] 童剑军, 邹明福. 基于监控视频图像的车辆测速[J]. 中国图象图形学报, 2005, 10(2): 192-196.

[7] 徐 伟, 王朔中. 基于视频图像Harris角点检测的车辆测速[J]. 中国图象图形学报, 2006, 11(11): 1650-1652.

[8] Czajewski W, Iwano wski M. V ision-based V ehicle Speed Measurement Method[C]//Proc. of ICC VG’10. [S. 1.]: IEEE Press, 2010: 308-315.

[9] 李 勃, 董 蓉, 陈启美. 路况PTZ摄像机自动标定方法[J]. 北京邮电大学学报, 2009, 32(z1): 24-29.

[10] Guillou E, Meneveaux D, Maisel E. Using Vanishing Point for Camera Calibration and Coarse 3D Reconstruction from a Single Image[J]. The Visual Computer, 2000, 16(7): 396-410.

[11] 胡 硕, 朱 明, 吴 川, 等. 一种起始点无关的小波系数形状匹配[J]. 中国图象图形学报, 2007, 12(2): 302-307.

[12] 毛 锋, 张树有, 施岳定. 多分辨轮廓匹配的成型制件外形检测[J]. 浙江大学学报: 工学版, 2011, 45(6): 1013-1020.

编辑 索书志

Video Speed Measurement Based on Boundary Location of License Plate Characters

CHEN Qun, YANG Dong-yong, LU Jin

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Aiming at the problem that video speed measurement has a large error under bayonet socket environment, a method to improve the velocity prec ision is prop osed. Th e second c haracter of li cense plate as a fea ture of vehicle positioning block is used, wavelet decomposition is used to decompose the characteristic curve of the characters outer boundary, the feature matching is made and the offset of the curve about the template is obtained at low resolution, the outer boundary is adjusted in the initial resolution to complete the vehicle precise location. The actual coordinate of the block is determined combined with the height fixed of character, improves the distance of the vehicle traveling. In actual enviro nment, it tests the algorithm for longer than two hours, and compared with coil spee d and vi deo speed measurement by license plate location. Results show that, under normal speed, the error is within 3 km/h compared with the coil speed.

video speed measurement; character location; wavelet decomposition; template matching; camera calibration; vanishing points

10.3969/j.issn.1000-3428.2014.05.033

浙江省自然科学基金资助项目(Y1080533)。

陈 群(1987－)，男，硕士研究生，主研方向：模式识别，数字图像信号处理；杨东勇，教授、博士生导师；卢 瑾，实验师、博士研究生。

2013-02-27

2013-03-31E-mail：chenqun_20060500@126.com

1000-3428(2014)05-0158-06

A

TP18