道路交通图像拼接优化技术研究

厉丹　孙金萍

摘 要：视频拼接是目前计算机视觉领域的热点技术。该文针对道路交通复杂环境提出新的拼接算法，算法采用变换域匹配算法检测出重叠区域，针对多图拼接，进行了累积误差分析，提出新的优化方案减少了累积误差带来的干扰。实验表明，该文算法适合道路交通复杂环境，对光照不均、噪声、模糊等现象鲁棒性良好。

关键词：拼接；相位相关；拼接优化

中图分类号：TP75 文献标识码：A 文章编号：1009-3044（2015）36-0095-03

Abstract： Image stitching is a hot field of computer vision technology. This paper proposed a new stitching algorithm for the complex traffic environment. Algorithm first detects the overlap region with phase correlation algorithm， second， analyzed the cumulative error， proposed the optimization in order to reduce the interference caused by accumulation error. Experiments show that this algorithm is suitable for complex environments， and has good robustness in uneven illumination， noise and blur situation.

Key words：image stitching； phase correlation； stitching optimization

1 概述

拼接[1]是指将多张图像合成一张完整的全景图，从而获得大视野、宽视角的图像，拼接技术将真实世界离散化的图像序列快速高效地找到两幅图像重叠部分，从而合成宽视角的航经图像。目前，该方法目前广泛应用于地理信息系统、三维重建、图像合成等领域[2]。现阶段主要通过模板匹配、灰度匹配、变换域匹配、特征匹配等方式计算相似性度量从而找出图像之间的变换参数，将不同视角、不同时间采集的多幅图像进行坐标系变换，实现配准。本文通过研究，提出在复杂条件下的道路图像拼接算法，利用变换域实现快速排序，并提出优化方法，适应噪声大、模糊以及旋转等情况，保证匹配精度的同时保证了拼接效率。

2 基于变换域匹配

该方法于20世纪70年代提出，基本原理基于傅里叶变换，将空域图像变换到频域，通过互功率谱计算图像间平移量，计算匹配位置[3-4]。对于倾斜和旋转的图像，将图像坐标变换到极坐标中，用平移量计算旋转变换，提高图像配准准确度。对图像之间亮度变化不敏感，重叠位置用相关峰尖表示，鲁棒性较高。

过程如下：将两幅图片AB读入，令：

上图图1中 （a）和 （b）为楼房原图，（c）是（a）增加光照和模糊后的效果，（d）是增加噪声并旋转一定角度的效果，（e）和（f）分别是（a）和 （b），（c）和 （d）的冲激函数能量分布图，其中图左边峰值高低体现了两图重叠区域的多少，峰值的位置确定了平移运动参数，从而实现拼接。可见，当遇到噪声光照干扰时，冲激函数最大峰值仍旧稳定。

3 多图拼接

3.1 误差分析

多图拼接[5-6]是指2幅以上的图像进行拼接，需要将等待拼接的若干幅图像朝相同的参考平面变换，实现全局匹配。多图拼接时，累积误差的存在会严重影响拼接结果。由于不同照相机参数设置的不同，或同一个相机自身装配的问题可能会使得图像都朝向相同的方向进行旋转，导致图像变换至拼接曲面时会过小或过大。

令公式（4）中Xi代表邻接2幅图像的拼接误差是相互独立且均匀分布的随机变量，其中n是图像的总数。累积误差绝对值期望在[0，]分布区间上是：

由上式可以看出，如果拼接误差在0.2像素的大小之内，也就是为0.2。若拼接20幅图像，累积误差绝对值期望为1.9像素，若拼接500幅图像，累积误差绝对值期望为49.9像素点，可见图像增多的同时拼接效果逐步下降。即使两幅图配准精确，多幅图拼接由于累积误差造成的影响也是不容忽视的，所以需要采用对应措施来减少累积误差的影响。另图像的质量是Q， [Q=A（i=1n-1Xi2+X2）]，其中A为常数。可见，误差增大，Q值增大，图像的质量越来越差。通过参考文献中的推导，拼接后图像质量的期望值是：

为了减小图像质量被累积误差影响，可以利用分散累积误差方法解决。令邻接图像的拼接误差由独立分布的随机变量Xi变换成Xi+V，令累积误差的值为0，可以得到下式：

由式（6）可见，通过分散累积误差的方法解决问题，非常有效。在[0，]区间上均匀分散累积误差，拼接质量最少提高了3n倍。

3.2拼接优化

在多图拼接时，若简单选取第一或最后一幅图像作为参考图像，都会造成累积误差，从而影响了拼接的效果。为了减少累积误差干扰，提出对拼接进行优化的方法，依次将图像读入调整器中，优化调整器中每幅图像到参考面的变换矩阵，使得变换到参考平面后的误差最小。令：

（7）式中[Tij]是[Ii]和[Ij]匹配的特征对数量，[λ]是调节参数，[I1，I2，I3，...In]是等待拼接的视频帧，[L（i）]是所有和图像[Ii]具有重叠区域的图像。当图像的角边过多时为了突出特征匹配的作用，可以选取较大的[λ]值；当特征不明显时，可以突出重叠区域的作用，从而将[λ]选取较小值。将[Si]取最大值时的[Ii]在图像序列中的作用最大，因此应将其作为参考图像。设[Ii]和其匹配特征最多的[Ik]的变换矩阵是[Hik]，[Ik]和参考平面的变换矩阵是[Hk]，[Ii]和参考平面之间对应的变换矩阵即是[Hi=HikHk]。

图2中（a）图上下两行是拼接前2个场景的各4幅图，有部分区域重叠。（b）和（c）将本文算法未优化的拼接和优化后的拼接进行比较，可见，未优化的拼接由于累积误差的影响，（b）图中部分区域存在模糊重影的现象，（d）图是局部放大比较的结果。因此，可以清晰看出，优化后的拼接算法效果更理想，接缝自然。

4 结束语

本文根据变换域匹配拼接，快速检测重叠区域，再通过对多图拼接误差进行分析，优化调整器内各图像到参考平面的变换矩阵，从而使得变换到参考平面时误差最小。实验结果可以看出，本文方法拼接算法稳健，抗光照、噪声能力强，对道路交通复杂环境有良好的适应性。

参考文献：

[1] 狄颖辰，陈云坪，陈莹莹，等.无人机图像拼接算法综述[J]. 计算机应用，2011，31（1）：170-174.

[2] 陈夏艳，伍先达.基于距离特征的自适应阈值视频拼接算法[J]. 模式识别与人工智能，2010，23（5）： 727-730.

[3] 殷松峰，王一程，曹良才. 基于快速傅里叶变换和积分图的快速相关匹配[J]. 光子学报，2010，39（12）： 2246-2250.

[4] 周武， 胡跃明.基于相位相关和重采样的亚像素图像配准算法[J]. 华南理工大学学报，2010，38（10）： 68-78.

[5] ZHU Yun-fang， Video Editing Based on Mosaic[D]. Hangzhou： Zhejiang University， 2006.

[6] Yingen Xiong， Pulli K. Sequential image stitching for mobile panoramas[C]. ICICS 2009， 2009： 1-5.