图像拼接方法综述*

罗群明， 施 霖

(昆明理工大学 信息工程与自动化学院，云南 昆明 650500)

图像拼接方法综述*

罗群明， 施 霖

(昆明理工大学信息工程与自动化学院，云南昆明650500)

概述了图像拼接的基本理论和一般过程，分类介绍了各种图像配准方法的原理和优缺点，重点分析了基于特征的图像配准技术，详细阐述了随机采样一致算法在基于特征的图像配准技术中的应用。

图像拼接； 配准； 特征匹配； 全景图像

0 引 言

近年来，随着摄像设备的普及，越来越多的领域应用了图像分析技术来研究和处理各种各样的问题，从而对采集的图像提出更高的要求[1]。由于摄像设备的物理限制，采集到的图像总是不能满足人们的宽视角、高分辨率的要求。而获取全景图像的硬件设备(全景相机、广角镜头等)一般比较昂贵, 不适合普遍应用, 于是人们提出了利用计算机进行图像拼接来获得全景图的方法。

图像拼接是指将一组相互之间存在重叠部分的图像，经过各种图像变换、图像配准和图像融合等形成一个宽视角(甚至是360°视角)的、高分辨率的全景图的技术，涉及计算机图形学、计算机视觉、图像处理和模式识别等多个学科，广泛应用于宇宙空间探测、医学图像、视频检索、虚拟现实等多个领域[2,3]。在虚拟现实中，关键在于生产高质量的虚拟场景，利用图像拼接技术形成的全景图具有真实感强、图像生产速度快、实时性好、硬件要求低的优点[4]。在医学影像学方面, 大幅度的全景图像能帮助医生对病灶及其周围部位的情况进行全面、直观地观察[5]。在获取医学全景图像时, 通过图像拼接技术来获得全景平面或立体图像, 是一种有效的解决途径。本文对图像配准方法进行分类分析并讨论其优劣。

1 图像拼接基本流程

图像拼接的基本流程包括图像预处理、图像配准、图像融合等。图像预处理的目的是增强图像的细节信息，抑制噪声，改善图像质量[6]。图像配准是图像拼接成功的关键[7]，即将不同传感器所采集到的同一场景的多光谱、多波段或同一传感器在不同时间、不同方位、不同条件下(气候、亮度等)获得的同一场景的两幅或多幅图像进行匹配、对齐的过程，所以，图像配准方法的不同直接决定了图像拼接的优劣[8]。图像配准方法主要分为基于区域的图像拼接方法和基于特征的图像拼接方法。

2 基于区域的图像配准方法

基于区域的配准方法利用图像像素间相关性强度大小进行对齐。首先，在一个图像中选择兴趣点，然后在另一个图像中利用互相关搜索对应的像素点。基于区域的方法优点是使用所有可利用的图像数据，能提供非常精确的配准，但缺点是需要一个复杂的初始化[9]。

相关性方法是传统的配准方法，该类方法直接利用图像的灰度信息计算图像的相似度，这就需要根据待配准图像的特点选择相应的度量函数，通过一种或几种最优化算法寻找一个最佳空间变换。这类方法一般不需要对图像进行复杂的预处理，实现简单，缺点是应用范围较窄，运算量大。

Kuglin C D和Hines提出了相位相关法[10]，通过傅里叶变换将图像由空域变换到频域，利用互功率谱中的相位信息进行图像配准。该方法对亮度变化不敏感，并且可用于从不同传感器获得的图像，但配准结果依赖于信号的特性和噪声。如果图像受到某个很窄频段内的噪声污染(低频噪声或尖刺杂声)，白化过程可以有效地消除这些区域中的噪声影响。但是，如果图像中某些区域信噪比很低，白化过程反而会恶化结果。

De Castro和Morandi C提出了一种扩展的相位相关法[11]，用于对既有旋转又有平移变换的图像进行配准。旋转变换本身不包含平移，但旋转和平移同时发生,构成了一个更复杂的变换。De Castro和Morandi C通过先确定旋转角度然后确定平移变换的方法计算。

3 基于特征的配准方法

基于特征的配准方法通过提取图像中明显的块、线和点作为特征来估算图像间的变换矩阵。图像配准的一般步骤是：1)提取待配准的图像的特征；2)图像特征匹配；3)通过匹配的特征估算得出图像间的变换矩阵；4)利用变换矩阵将图像对齐。这类方法的优点是对亮度、噪声不敏感，能够处理图像间存在比较大的未对准情况。所以，目前普遍采用基于特征的图像配准方法。

3.1 特征检测

特征检测是图像配准的基础，应根据待拼接图像的场景特性来选择不同的特征检测方法。常用的边缘检测方法有Roberts算子、Sobel算子[12]、Prewitt算子[13]、Canny算子[14]等，最常用的角点检测方法是Harris角点检测算法。

Roberts算子在图像上执行一个简单的、计算速度快的、二维的空间梯度度量。它突出了高空间频率的区域，该区域往往对应于边缘。在使用时，输入图像和输出图像通常都是灰度图像。输出图像的每一点的像素值表示输入图像在该点的空间梯度的绝对幅度。Robert算子的卷积掩模如图1所示，Gx计算垂直边缘分量，Gy计算水平边缘分量。

图1 Roberts掩模

Sobel算子是在图像上执行2维的空间梯度度量，突出高空间频率区域，这些区域对应于边缘。通常它是用来寻找输入的灰度图像中每个点的近似绝对梯度大小。至少在理论上，该算子由一对3×3的卷积掩模组成。一个掩模由另一个掩模旋转90°形成，如图2。与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此,效果更好。

图2 Sobel掩模

Prewitt算子是估计的边缘的大小和方向的近似方法。尽管差分梯度边缘检测需要一个相当耗时的计算,从x和y方向的幅值来估计边缘的方向，但罗盘边缘检测直接从核的最大响应获取该方向。Prewitt算子被限制在8个可能的方向，然而经验表明，大多数直接方向估计均不是很精确[15]。该算子的掩模如图3所示。

图3 Prewitt掩模

Canny 推导出最优边缘检测算子的一个近似实现，即边界点位于图像被高斯函数平滑后的梯度幅度极大值点上。Canny算子先用高斯滤波器对图像进行平滑滤波，计算梯度的幅值和方向，然后采用非极值抑制技术对图像进行处理，最后得到所需的边缘图像。该算子具有较好的抗噪性能和边缘检测精度，因此，得到了广泛应用。但Canny算子需要人为地设置阈值，这需要一定的经验并且经过多次实验才能找到合适的阈值。设置过高或过低的阈值均无法获得图像实际的边缘。所以，Canny算子不具有自适应能力。

Harris C和Mike Stephens提出了一种基于局部自相关函数的结合了角点和边缘的特征检测算子—Harris算子[16]，在Moravec算子[17]的基础上改进而成，与Moravec算子的主要不同之处在于用一阶偏导来描述亮度的变化。优点是计算简单，只用到灰度的一阶差分以及滤波。实验表明[18]，在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点、而在纹理信息少的区域，提取的特征点则较少。因为其计算过程只涉及了图像的一阶导数，所以，即使存在图像旋转、灰度变化、噪声的影响和视点的变换，对角点的提取亦比较稳定。

3.2 特征匹配

特征匹配是影响图像配准精度的关键步骤，好的匹配算法使同一场景的不同图像的特征一一匹配，能有效地避免误匹配。

3.2.1 迭代最近点算法

迭代最近点(iterative closest point，ICP)算法是Besl P J和Mckay N D[19]于1992年首次提出的一种点集匹配算法，其目标是寻找最近点。ICP算法实质上是基于最小二乘法的最优匹配方法，重复进行确定具有对应关系的点集并计算最优刚体变换的过程，直到满足某个表示正确匹配的收敛准则。

ICP算法在高斯噪声存在的情况下仍然能得到好的效果，但是无法应用于非重叠区域。因为对于目标点集的每个点，均需要与参考点集的所有点进行比较来确定相应的最近点，所以，该算法的效率较低。另外，不能保证迭代的收敛性[20]，如果初始化不当，可能导致收敛失败。

3.2.2 随机样本一致算法

随机样本一致(random sample consensus，RANSAC)算法[21]是由Fischler M A和Bolles R C于1981年首次提出的一种鲁棒性的拟合数据的算法，容错能力强，能有效剔除外点,属于非确定性算法，会产生一个在一定概率下合理的结果，而提高迭代次数可以增加这一概率[22]。该算法的思想是：从数据集中随机选取一组数据并认为是有效数据(内点)来确定待定参数模型，以此模型测试数据集中的所有数据，满足此模型的数据叫做内点，反之叫做外点，迭代执行此过程，直到某一个参数模型得到的内点数最大，那么该模型即适用于数据集的最优模型。

设2个图像的匹配点分别是X=[x,y]T和X′=[x′,y′]T,则必须满足公式

X′=HX

(1)

式中H为6参数的仿射变换矩阵，则

(2)

则3对不共线的匹配点可以求出变换矩阵。RANSAC算法的步骤为：

1)随机选取不共线的3个匹配点对，计算变换矩阵H；

2)计算每个匹配点经过矩阵变换后到对应匹配点的距离，并根据预先设定的阈值将匹配点集分为内点和外点；

3)如果内点足够多，那么模型H即足够合理，用所有的内点重新估计H；

4)根据模型的内点数和错误率评估模型H；

5)重复步骤(1)～步骤(4)，直到内点数最大而错误率小于最小错误率。

RANSAC算法的优点是其能鲁棒地估计模型参数[23]。缺点是迭代次数没有上限，设置的迭代次数过高会降低算法的时间复杂度；过低则得到的模型参数并不是最优的，甚至可能是错误的结果。另外，该算法需要预先设置阈值[24]。

4 结束语

本文对图像配准技术进行了详细地介绍，总结了图像配准的主要方法，并分析了两类配准方法的优缺点。基于区域的配准方法具有精确度高、充分利用全部图像数据的优点，但是计算量大，对亮度、尺度变化等敏感，不能满足现实应用中实时性、自适应性的要求。基于特征的配准方法通过提取图像的某些特征进行匹配，方法能有效减小计算量，并对亮度和尺度变化具有一定的鲁棒性，成为目前研究的热点。近年，图像配准技术特别是基于特征的图像配准方法的研究取得了一定的进展，但在提高配准的自适应性、实现自动配准方面还有待进一步研究。

[1] 李绍成，左洪福.基于小波融合的磨粒图像拼接方法研究[J].传感器与微系统，2011,30(10)：44-49.

[2] 叶朝阳.大视图图像拼接:原理和应用 [D].杭州:浙江大学,2004.

[3] 郑海珍.图像拼接技术的研究与应用 [D].杭州：杭州电子科技大学,2010.

[4] 江加和,宋子善,沈为群,等.虚拟现实中基于图像绘制虚拟场景技术综述[J].系统工程与电子技术，2000，22(10):86-89.

[5] 张 猛,严壮志,潘志君,等.基于Web的医学图像拼接系统[J].中国医疗器械杂志,2006,30(6):33-36.

[6] 李 阳，常 霞，纪 峰.图像增强方法研究新进展[J].传感器与微系统，2015，34(12)：9-15.

[7] 赵 辉,陈 辉,于 泓.一种改进的全景图自动拼接算法[J].中国图象图形学报,2007,12(2):336-342.

[8] 蔡梦颖，徐贵力.仿蝇复眼视觉系统中大视场图像的拼接[J].传感器与微系统，2007,26(12)：82-84.

[9] Brown M,Lowe D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision,2007,74(1):59-73.

[10] Kuglin C D.The phase correlation image alignment method[C]∥Proc of Int’l Conf on Cybernetics & Society,1975:163-165.

[11] De Castro E,Morandi C.Registration of translated and rotated images using finite fourier transforms[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1987,9(5):700-703.

[12] Sobel I.Camera models and machine perception[R].Stanford:Stanford University,1970.

[13] Prewitt J,Mendelsohn M L.The analysis of cell images[J].Annals of the New York Academy of Sciences,1966,128(3):1035-1053.

[14] Hwang H，Haddad R A.Adaptive median filters:New algorithms and results[J].IEEE Transactions on Image Processing,1995,4(4):499-502.

[15] Senthikumaran N,Rajesh R.Edge detection techniques for image segmentation—A survey of soft computing approaches[J].International Journal of Recent Trends in Engineering,2009,1(2):250-254.

[17] Harris C,Stephens M.A combined corner and edge detector[C]∥Alvey Vision Conference,IEEE，1988:147-151.

[18] Moravec H P.Towards automatic visual obstacle avoidance[C]∥Proceedings of International Joint Conference on Artificial Intelligence,Cambridge,MA,USA:1977:584.

[19] 陈梦婷,闫冬梅,王 刚.基于Harris角点和SIFT描述符的高分辨率遥感影像匹配算法[J].中国图象图形学报,2012,17(11):1453-1459.

[20] Besl P J,Mckay N D.A method for registration of 3D shapes[J].IEEE Transaction on Pattern Analysis and Machine Intelfigence,1992,14(2):239-256.

[21] 王程冬，程筱胜，崔海华，等.SIFT算法在点云配准中的应用[J].传感器与微系统，2012,31(2)：149-152.

[22] Fischler M A,Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.

[23] Kim T,Im Y J.Automatic satellite image registration by combination of matching and random sample consensus[J].IEEE Tran-sactions on Geoscience and Remote Sensing,2003,41(5):1111-1117.

[24] 郭红玉,王 鉴.一种基于RANSAC基本矩阵估计的图像匹配方法[J].红外,2008,29(2):5-8.

[25] 罗宇平.一种新型遥感图像配准方法[J].传感器与微系统，2009,28(10)：12-15.

Reviewonimagestitchingmethods*

LUO Qun-ming, SHI Lin

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

The basic theory and general image stitching process are summarized.The various image registration method principles,advantages and disadvantages are introduced and classified,and the feature-based image registration technique are analyzed.Application of random sampling consensus algorithm in feature-based image registration are described in detail.

image stitching; registration; feature matching; panoramic image

10.13873/J.1000—9787(2017)12—0004—03

TP 391.4

A

1000—9787(2017)12—0004—03

2016—09—30

国家自然科学基金资助项目(61368005)

罗群明(1988-)，男，硕士研究生，主要研究方向为图像处理。施 霖(1972-)，男，通讯作者，博士，副教授，主要从事实验心理学、计算机软件、计算机应用方面的研究工作。