一种全景图像拼接系统的设计方案

陶 清 凌朝东

[关键字] 图像配准；图像融合；工控机

1 引言

全景视频拼接系统是将拥有重叠区域的多个相机采集的视频图像进行特征点检测和图像变换，完成图像配准和边缘融合，从而实现一幅超大分辨率的全景图[1]。其广泛应用于城市广场、军用全景作战平台、综合交通枢纽、X射线医疗影像等领域。

在基于灰度模板、特征点和变换域这三类图像配准算法中，基于灰度的方法易受非线性光照、拍摄位置等影响，基于傅立叶变换在旋转、缩放和平移过程中会引入大量误差，而采用基于特征的图像配准方法[2]、SIFT特征检测法[3]在抗干扰、尺度大小和光照等方面鲁棒性好。

本文提出一种全景视频图像拼接系统的方案，通过上位机进行图像拼接控制，将多个摄像头采集的视频图像，进行图像配准和图像融合。通过网络将生成的变换参数传送给工控机，工控机嵌入IPC视频拼接处理器作为输入，多路IPC视频拼接处理器完成图像的旋转、平移、缩放和切割处理，并进行全景显示。

2 图像配准

2.1 特征提取

SIFT（Scale Invariant Feature Transform）尺度不变特征变换[4]，SIFT特征检测算法包括尺度空间构建、空间极值检测、特征方向提取、描述关键点[5]。由图像与高斯核卷积得到图像的尺度空间：

L(x,y,σ)=G(x,y,σ)*I(x,y) (1)

以DOG（Difference of Gaussian）差分高斯极值作为判断依据，将滤波后的两幅图像相减得到DOG图，通过高斯金字塔相邻尺度图像层之间作差构造DOG金字塔，在DOG图像中，若像素点是本层图像和相邻层图像的周围26个像素DOG局部的极值，则判为候选特征点。

2.2 特征向量生成

根据上述方法得到SIFT候选特征点集合X0，为了后面进行精确的特征点匹配，需要剔除不稳定的关键点，主要是对比度较低和靠近图像边缘的点。剔除后，对特征点进行描述，通过特征点邻域像素的梯度分布确定，对平滑图像上每一个点L(x,y)的梯度求模m(x,y)与方向角θ(x,y)，由表达式（2）得到

对于每一个特征点，利用直方图方式统计邻域像素梯度分布，寻找峰值最大的角度作为该特征点方向。在构造特征点描述符时，将特征点邻域划分成4邻域，通过直方图按8个方向统计得到周围4邻域分别8个方向的向量信息，共4×8维作为该特征点描述符向量。当划分为16邻域则可得到128维SIFT描述符。

2.3 特征点匹配

保存好128维特征描述符后，采用K-D树对向量加快匹配过程，利用最邻近查询算法在K-D树中快速查找。为了提高匹配的准确度，通过距离比值法初步筛选匹配对，随机抽样一致性算法深入剔除误匹配对。

距离比值法：计算出特征点与最邻近距离N1和次邻近距离N2，若两者比值小于一个THR常数（这里设为0.8）则认为是特征点，否则剔除。

随机抽样一致性算法：通过采样和验证，将一组待验证数据输入参数化模型，反复迭代修改验证模型，得出最优参数化数学模型，即3*3的单应矩阵H，通过如下公式完成几何变换。

3 图像融合

配准后的图像融合采用多分辨率融合法实现，它是以金字塔的结构来描述图像，在不同分辨率的图像中，存在不同的融合带，分别建立待融合图像的拉普拉斯金子塔LA,LB，构建权重W和高斯金字塔图像GW，然后通过下式得到各层（k）拉普拉斯金字塔图像，最后由各层拉普拉斯金字塔得到融合图像。

4 系统设计

全景拼接系统是一套软硬件相结合的复杂系统。如图1所示：

图1 全景图像拼接方案框图

网络交换机将多个摄像头、工控机和IPC视频拼接处理器连接在同一局域网内，工控机得到视频码流，经VLC解码后获取摄像头采集的图像，图像配准和图像融合的相关参数计算由PC端编写控制程序实现，保存到SD卡里，并通过网络通信将生成的变换参数下发给工控机，IPC处理器将视频图像进行图像处理和显示。采用软硬件相协调，发挥各自资源优势，最终实现全景视频实时拼接。

工控机采用C/S架构，优势互补，加速算法运算速率，减小通信开销[6]。客户端基于配准融合算法完成图像的参数调整，将变换参数保存在SD卡，并传递给服务器端进行视频图像平移、旋转、缩放和裁剪，嵌入IPC视频拼接处理器作为其输入源。图2为工控机软件操作流程，表1是实验设备。

图2 软件操作流程

表1 实验设备

5 测试结果和分析

实验测试环境是VS2010搭载OpenCv2.4.4。对全景系统进行图像配准算法和融合算法的功能验证。工控机经过VLC视频解码[7]后，采集到5个摄像头的图像如图3所示。

图3 各摄像头采集的图像组

这里以图3（2）、（3）为例，图 4(1)、(2)分别为图3(2)、(3)的SIFT特征检测结果图。

图4 SIFT特征检测结果图

图5 (1)是关键点经过距离比值法挑选后的结果图，图5(2)是经过RANSAC算法剔除后的结果图。表2距离比值法和RANSAC算法筛选匹配对比较。

图5 筛选后的结果图

通过随机抽样一致性（RANSAC）算法对两幅图像的特征匹配点对进行误匹配剔除，简化后结果如下：

图像配准需要将第二张图片按照第一张基准图片的尺寸、角度等形态信息基于单应矩阵进行透视变换匹配，把多幅图像转换至同一水平线上，图6为图像融合后的全景拼接图。完成5路摄像头的视频图像采集和图像预处理需要0.06916秒，大约14帧左右，少于25帧每秒。实时性提升是进一步努力的方向。

表2 距离比值法和RANSAC算法筛选匹配对比较

6 结论

围绕着全景拼接方案，本文介绍了基于SIFT配准算法和多分辨率融合法的基本理论。然后提出了以工控机为核心的视频图像拼接方案，并通过Visual Studio 2010+OpenCv[8]平台实现和验证。实验结果表明：基于SIFT的检测和多分辨率融合法的可行性高，能得到较佳的全景拼接图，并对比出RANSAC算法筛选匹配对优于距离比值法。

图6 全景图