基于SURF和最佳缝合线的车道图像序列拼接研究

蓝章礼，李 战，李 伟

(重庆交通大学 信息科学与工程学院，重庆 400074)

0 引 言

近年来，国家不断加大智能交通设施建设力度，在交通行业引入了大量的智能技术，减轻了工作压力、提高了工作效率。目前不少地区使用的道路违章车辆智能抓拍系统仍存在一定不足。该系统使用车道摄像机和数码相机相结合方式对违规车辆进行抓拍取证，违章证据包括3张图像：① 车辆违章的瞬间图像；② 违章车辆的车牌图像；③ 违章车辆周边环境图像。车道摄像机拍摄的区域小、分辨率高，用于拍摄前两张图像；数码相机拍摄的区域广、分辨率低，用于拍摄第3张图像。这种方式可以满足一般情况下车辆的违章取证，但对特殊情况仍有一定缺陷，例如：车辆故意压线行驶或发生交通事故占用多个车道的情况。这时车道摄像机往往不能拍摄完整的车辆违章瞬间图；或者无法获得完整、分辨率较高的多车道图像；亦或对可能造成事故难以评估等。针对这些问题，笔者提出车道图像拼接技术予以解决。

图像拼接是将相互具有重叠部分的同一目标图像序列合成为一张包含全部目标信息、广视野图像的技术[1]。该技术广泛应用在计算机图像学、计算机视觉、虚拟现实技术、医学图像分析等领域[2-5]。图像拼接的核心为图像配准和图像融合；图像配准又分为基于灰度区域、基于变换域和基于特征的配准。汤敏[6]和GE Peng等[7]均认为：基于灰度区域的配准和基于变换域的配准都不适合存在投影变换和移动物体的车道图像的配准；WEI Lisheng等[8]和HUANG Liqin等[9]分别证明了：基于特征点的配准可较好地解决存在投影变换和移动物体的车道图像的配准问题。图像融合包括直接融合、加权融合和最佳缝合线等融合方法[10-12]。直接融合算法会出现拼接裂缝和丢失局部车道信息；杨秋芬等[13]认为：加权融合算法可以消除拼接裂缝，但会出现重影、鬼影问题；秦绪佳等[14]提出：最佳缝合线算法可消除重影、鬼影问题，但缝合线会经过运动车辆而造成拼接图像局部出现不完整的运动车辆；谷雨等[15]提出基于动态规划思想来改进最佳缝合线搜索，该方法可减少缝合线经过运动车辆，但仍难以避免缝合线经过运动车辆。鉴于此，笔者提出了一种寻找最优对应图像的算法与之互补，在图像预处理中筛选出近似同步拍摄图像，减少图像重叠部分中运动车辆的面积，避免缝合线经过运动车辆，合成了质量较高的多车道图像。

1 车道图像序列拼接算法

笔者提出基于SURF算法和最佳缝合线的车道图像序列拼接算法流程如图1。该算法主要应用于相同设备异步采集且具有快速移动区域的图像序列。首先提出寻找最优对应图像算法，用于筛选出近似同步拍摄图像序列；然后利用SURF算法和RANSAC算法对拼接图像提取特征点并进一步提纯；之后利用正确的匹配点对计算出变换矩阵；最后利用最佳缝合线算法对近似同步拍摄图像分别进行拼接，引入加权融合算法消除拼接裂缝，合成多车道图像序列。

图1 拼接算法流程Fig. 1 Flow chart of image mosaic algorithm

2 寻找最优对应图像算法

最优对应图像算法如图2。

图2 寻找最优对应图像算法流程Fig. 2 Flow chart of finding the best corresponding image algorithm

寻找最优对应图像算法的原理是从一路图像序列中选取一张图像作为寻优图像，将另一路图像序列作为待寻优图像序列。从寻优图像和待寻优图像序列中提取同一个目标车辆，以车辆形成连通域的质心坐标代替车辆位置。分别计算寻优图像与待寻优图像序列中车辆之间的距离，距离越小则拍摄时间越近，筛选出最小距离对应的图像，该图像即为寻优图像的最优对应图像(近似同步拍摄图像)[16-17]，如图2。

在图2中：A、B图像序列分别表示由A、B摄像机采集的图像序列；i表示第i帧；j表示第j个连通域；k为第i帧中第k个连通域；Sr为连通域面积；Sm为连通域最小外接矩形的面积；Hm为连通域的高；Wm为连通域的宽；D1、D2分别为所设阈值；Si为B图像序列第i帧和A图像序列第1帧质心之间的距离。

3 SURF特征提取

SURF(speeded up robust features)是一种稳健的局部特征点检测和描述算法，具有尺度和旋转不变性。SURF特征匹配主要流程如下。

3.1 构建Hessian矩阵

给定图像I的一个点x(x,y)，在点x处，尺度为σ的Hessian矩阵H(x,σ)定义如式(1)：

(1)

式中：Lxx(x,σ)为高斯二阶微分∂2/∂x2g(σ)在点x处于图像I的卷积，其中：g(σ)=1/2πσe-(x2+y2)/2σ2；Lxy(x,σ)和Lyy(x,σ)具有同样的含义。

通常Hessian矩阵的特征值用H矩阵的近似判别式表示，如式(2)：

Det(Happrox)=DxxDyy-(αDxx)2

(2)

式中：α为权系数，根据计算取α=0.9，则可根据此特征值符号将所有点分类。

3.2 构建尺度空间

SURF的尺寸空间包括两部分：组和层。不同组间使用相同尺寸，不同之处是使用的盒式滤波器模板尺寸逐渐增大；同一组间不同层间使用相同尺寸滤波器，不同之处是滤波器模糊系数逐渐增大。

3.3 特征点定位

将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点逐一进行比较，初步定位出关键点，再经过除去能量比较弱的及错误定位的关键点，筛选出最终的稳定特征点。

3.4 主方向分配

SURF采用的是统计特征点圆形邻域内的Haar小波特征。即在特征点的圆形邻域内，统计60°扇形内所有点的水平、垂直Haar小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内Haar小波特征值，最后将值最大的那个扇形方向作为该特征点主方向。

3.5 特征描述算子生成

SURF算法沿着特征点的主方向在特征点周围取一个4×4的矩形区域块。相对主方向而言，在每个子区域内统计25个像素的水平与垂直方向上Haar小波特征，即得到Haar小波特征的水平方向值之和为∑dx、垂直方向值之和为∑dy、水平方向绝对值之和为∑|dx|以及垂直方向绝对值之和为∑|dy|，如图3。

图3 特征描述算子Fig. 3 Feature description operator

3.6 特征点匹配

通过计算两个特征点间的欧式距离来确定特征匹配对，如果次近距离除以最近距离小于一定阈值，则判定为匹配点对。欧式距离的计算如式(3)：

(3)

式中：n=64；xi1表示第一个点的第i维坐标；xi2表示第二个点的第i维坐标。

由以上方法可提取车道图像SURF特征点并进行配准，但会存在部分错误匹配，需使用RANSAC算法除去误匹配点，实现图像的精配准。

4 最佳缝合线算法

当图像重叠区域存在快速运动物体、配准不准确等情况时，融合图像容易出现重影问题。解决该问题的有效方法是最佳缝合线。一条理想的最佳缝合线应满足以下两个要求：

1)颜色强度上，缝合线两侧颜色差异最小；

2)结构强度上，两幅图像的结构差异最小。

最佳缝合线计算准则计算如式(4)：

(4)

式中：Ec(x,y)表示图像的颜色差异强度值；Eg(x,y)表示图像结构差异强度值[15]。

Eg(x,y)的计算如式(5)：

Eg(x,y)=Sx×[I1(x,y)-I2(x,y)]2+Sy×

[I1(x,y)-I2(x,y)]2

(5)

式中：Sx、Sy分别表示3×3的Sobel算子模板。

最佳缝合线算法实现流程如下：

1)以第1行的每一列对应一条缝合线，其准则值初始化为准则值图像对应的像素点的值；

2)将每一条缝合线当前点紧邻下一行中3个点的准则值及当前点左右两个相邻的点的准则值进行比较，选择准则值最小点为扩展点，若准则值点已是缝合线上的点，则选择次最小值点；如果缝合线当前点为重叠图像最后一行点，则进行步骤3)，否则进行下一次扩展；

3)选择平均准则值最小的作为最佳缝合线。

由以上方法可计算出最佳缝合线上所有点的位置，减少缝合线经过运动区域，实现最佳图像拼接。

5 实验结果分析

笔者使用两台完全相同且带有三角支架的相机以固定方式异步采集城市车道图像序列。将左、右两台摄像机分别命名为A摄像机、B摄像机，采集的图像尺寸为1 080×1 920。实验测试平台为Inter(R) Core(TM) i5-2450M CPU @ 2.5 GHz，内存为8 GB，软件平台为MATLAB 2016a。

在图像配准方面，笔者将文献[9]中SURF算法+RANSAC算法(以下称文献[9]算法)与文中寻找最优对于图像算法+SURF算法+RANSAC算法(以下称文中算法)进行实验对比；在图像融合方面，笔者将文献[15]中SURF算法+RANSAC算法+最佳缝合线(以下称文献[15]算法)和寻找最优对于图像算法+SURF算法+RANSAC算法+最佳缝合线(以下称文中算法)进行实验对比。

为验证寻找最优对应图像算法提取目标车辆以及车辆坐标的有效性，将A摄像机采集的图像序列简称为A序列，将B摄像机采集的图像序列简称为B序列，从两路图像序列中各选取前50帧图像进行实验。笔者选择A序列中第10帧图像(以下简称A_10)给予说明。

图4为提取A_10中目标车辆坐标的各个过程。其中：图4(a)为A_10灰度图像；图4(b)为A图像序列背景模板灰度图像；图4(c)为通过背景差分法提取的运动目标区域，含有大量噪点以及栅栏等干扰；图4(d)为通过中值滤波和形态学处理消除了噪声点和面积较小的连通区域，仍存在面积较大连通区域的干扰；图4(e)为根据车辆形成连通域具有的特征(车辆形成连通域的面积与该连通域最小外接矩形面积之比较大、该连通域的宽与高之比较小)去除非车辆目标干扰，再对连通域中的空洞进行填充，计算出连通域质心坐标。

图4 车辆坐标的提取过程Fig. 4 Extraction process of vehicle coordinates

经过寻找最优对应图像算法计算，得到近似同步拍摄图像开始帧为A序列第1帧和B序列第18帧，逐个向后取帧得到近似同步拍摄图像序列。

为验证文中算法在图像配准方面的有效性，笔者选择文献[9]算法和文中算法进行实验对比。其中，文献[9]算法未计算近似同步拍摄图像，采用的是同序号帧配准(例如：A序列第1帧和B序列第1帧为同序号帧)。结果表明：使用文中算法得到的配准点数多且配准正确率高，正确率能达到94%。图像配准的结果分析如表1。

表1 图像配准的结果分析Table 1 Analysis of image registration results

图5(a)、(b)中：A_1表示A序列第1帧，B_1表示B序列第1帧，B_18表示B序列第18帧，其中A_1和B_18为近似同步拍摄图像。图5(c)、(d)中：A_10表示A序列第10帧，B_10表示B序列第10帧，B_27表示B序列第27帧，其中A_10和B_27为近似同步拍摄图像。

为验证文中算法在图像融合方面的有效性，笔者选择直接融合算法、加权融合算法、文献[15]中的最佳缝合线算法和文中算法进行实验对比。其中，文献[15]算法未计算近似同步拍摄图像，采用的是同序号帧融合(例如：A序列第1帧和B序列第1帧进行融合)。结果表明：① 文中算法可解决错位、重影和拼接裂缝等问题；② 文中算法可减少缝合线经过运动区域；③ 文中算法可合成质量较高的多车道图像。

图5 图像特征点匹配Fig. 5 Images feature points matching

图6(a)中利用直接融合算法出现拼接图像错位和丢失局部信息；图6(b)中利用加权融合算法出现局部重影问题；图6(c)中利用最佳缝合线算法出现缝合线经过运动区域的问题，其中黑色裂缝为缝合线；图6(d)中使用了文中提出的寻找最优对应图像算法和最佳缝合线算法相结合的方法，避免了缝合线经过运动区域，其中黑色裂缝为缝合线；图6(e)为图6(d)不显示缝合线的图像，可看到存在拼接裂缝；图6(f)为在图6(e)中引入加权融合算法消除拼接裂缝后的图像。

图6 拼接图分析Fig. 6 Mosaic analysis

6 结 语

针对车道摄像机不能采集到完整的车辆压线图像，笔者提出一种基于SURF和最佳缝合线的车辆图像序列拼接方法。在图像配准方面，该方法特征点匹配正确率可达到94%；在图像融合方面，该方法解决了融合过程中出现的重影、错位和拼接裂缝等问题，合成了质量较高的多车道图像。但在寻找近似拍摄图像序列时增加了运算时间，在图像配准时仍存在一定误匹配，如何优化寻找最优对应图像算法和提高图像配准的精度是笔者下一步需要解决的问题。