图像拼接关键技术研究综述

宫妍 位冲冲

摘要：图像拼接技术是数字图像处理领域的一个重要分支，作为合成全景图像的工具，近年来得到迅速发展，得到了越来越多的研究者的关注，也成为当前图形图像学的研究热点。本文介绍了图像拼接的关键技术研究流程，包括图像采集与获取、图像预处理、图像配准、图像融合等。详细介绍了图像配准和图像融合的几种基本方法，对各种算法进行比较分析。并总结了图像拼接技术的发展趋势以及当前存在的一些难题。

关键词：图像拼接;图像配准;图像融合;特征匹配;模板匹配;边缘匹配;SIFT;最佳拼接线;图割算法

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2021）30-0106-03

开放科学（资源服务）标识码（OSID）：

图像拼接技术是集计算机视觉、图像处理等多个学科、多领域应用的综合处理技术，主要用于获取多视角图像和视频。图像拼接技术是近年来图像处理技术领域的研究热点，深入研究图像拼接技术具有重要的实际意义与工程应用前景[1]。

在军事领域中，图像拼接技术在红外预警、军事监测等领域具有巨大的作用。在航空航天领域[2]中，通过图像拼接技术获取宇宙空间场景的全貌图，从而精确进行目标场景的定位，精确探测定位等。在医学领域中，医生在内窥镜中使用多个摄像头，多角度进行同时拍摄患处，快速准确地掌握手术进展情况，提高手术的成功率。在视频监控领域中，美国宾夕法尼亚大学研制多个全景视觉目标探测和环境感知系统，可以用于多目标远距离跟踪。

1 图像拼接关键技术及流程

图像拼接技术的基本流程为：图像采集与获取、图像预处理、图像配准、图像融合等 [3-4]。

（1）图像获取指使用各类图像采集设备进行图像采集和获取。方式有平移式获取、旋转式获取、手持式获取等。

（2）图像预处理，是图像配准前的预备工作，消除影响图像配准精度的无关信息，提升图像配准效率。图像预处理包括图像去噪、几何校正、均匀颜色等[5]。

（3）图像配准是将多幅图像进行匹配、叠加的过程。图像配准的精度十分重要，因此算法既要保证配准精度，又不能计算量过大。应当能够估计待拼接图像之间可能存在的缩放、旋转、仿射变换、投影变换以及亮度和颜色等变化[6]。

（4）图像融合，是由于进行图像配准操作，可能由于算法误差累积、色彩差异等原因，导致圖像出现拼接缝隙，以及整幅图像的颜色亮度差异[7]。因此在图像配准处理后需要进行图像融合处理，矫正差异，消除缝隙，才能使拼接的图像更加自然。

2 图像配准技术

图像配准是图像拼接技术中的核心和关键技术。目前，成熟的图像配准的方法很多，需根据实际应用需求及应用环境决定，同时需考虑图像间的几何模型、噪声干扰、配准精度和效率、是否能达到实时性要求等各种问题，选择合适的图像配准技术方案。本文介绍几种较为成熟的配准方法。

2.1基于模板匹配方法

基于模板匹配方法是基于空间域的图像配准方法，要求有两幅图像的重叠部分，选择参考图像的一块矩形区域作为配准时的模板，并利用这块模板在待配准图像中平移，去搜索相似的区域。当找到了与模板相对应的区域之后，计算这两块相同区域之间的相关系数。当搜索到不同区域时，计算不同的相关系数，当某一区域系数达到最大时，就是我们要找的最佳配准位置。模板匹配法操作简单，有较高的配准精度。但由于这种基于灰度的配准算法，利用的是图像之间的灰度信息来进行的匹配，不需要对图像进行特征检测与提取一系列操作，所以使用起来效率很高。该算法对图像的灰度信息非常依赖，要求图像不能含有较大噪声、旋转、尺度缩放等问题，所以使用范围很窄。

2.2基于边缘匹配方法

基于边缘特征进行图像配准，有两个重要环节，即边缘特征点的提取和相似性度量。具体方法为：选择合适的图像区域作为配准子图，并对该图进行特征点的提取。可会用到小波多尺度积的思想，能够尽量避免噪声的影响。所提取的特征点可以有效保留边缘特征点的方向信息。

常用的边缘检测算子有罗伯特交叉（Robert cross）边缘检测算子、Sobel算子、Kirsch算子、拉普拉斯算子和Canny算子等。

2.3基于特征匹配方法

基于特征的匹配算法主要原理是从待配准的图像中提取特定的特征集作为控制结构，利用其之间的对应关系来进行配准[8]。其中基于特征点的匹配方法在解决图像尺度不变、透视不变性具有一定的优势，并且具有一定的鲁棒性和稳定性。本文介绍基于SIFT特征提取的方法。

基于SIFT的配准算法主要步骤如下：

（1）探测尺度空间极值点，确定关键

的位置和所在尺度[9]

二维函数的尺度空间和高斯核函数[10]有关，可表示为

[Lx，y，σ=Gx，y，σ*Ix，y]                         （1）

与其他特征提取算法不同，SIFT算法将DoG算子定义为两个不同尺度的高斯核的差分：

（2）精确定位关键点的位置和尺度，并将对比度较低的关键点和不稳定的边缘响应点予以剔除。

（3）为特征关键点分配主方向

利用领域像素的梯度分布特性为关键点指定参数，同时要使算子的旋转方向性不变[12]，计算公式如下：

[mx，y=Lx+1，y-Lx-1，y2+Lx，y+1-Lx，y-12 ]

（2）

[θx，y=tan-1Lx，y+1-Lx，y-1Lx+1，y-Lx-1，y]   （3）

（4）生成关键点描述子

将坐标轴旋转为关键点的主方向，并以关键点为中心构造16×16的区域，从而使一个关键点就产生128个数据，并形成128维的SIFT特征向量。

（5）将两幅待匹配图像分别得到的SIFT特征向量进行匹配，得到所需的SIFT匹配点对。

（6）根据得到的SIFT匹配点对计算出图像的变换参数

图像配准的方法很多，目前较为常用的仍是特征匹配法。特征匹配法也在不断进步和发展，除了本文具体介绍的方法外，还包括SURF特征算子、Brand特征算子、ORB特征算子等方法。同时，随着深度学习理论进展，也有很多采用卷积神经网络的新型图像配准方法，对图像拼接技术发展起到了推动作用。

3 图像融合技术

圖像融合是图像拼接的关键技术之一。由于拼接过程中图像之间存在着曝光差异、配准方法和几何变换方法的不精确等问题，导致拼接后的图像会出现亮度、颜色不均、出现鬼影现象以及拼接缝等，是图像拼接过程中必须解决的关键问题[12]。经典的直接平均融合方法、加权平均法等能进行基本的图像拼接融合处理，但是对彩色图像的无缝拼接和运动物体的鬼影现象[11]并不适用。本文介绍的最优拼接线寻优和基于能量谱的最佳拼接线搜寻法和图割方法寻优等算法来解决拼接图像信息不连续、颜色差异、鬼影等问题。

3.1基于能量谱的最佳拼接线搜寻

基于能量谱进行最优拼接线搜寻的技术，其本质是图像梯度谱的结合，用结构和特征谱来确定图像区域的显著特征。基于能量谱的最优拼接线的搜寻方法，能够对图像中的突出对象进行自动感知，从而能够消除鬼影和失真。

（1）初步检测：首先，我们粗略地确定显著值，通过对所输入图像每个像素的矢量值的平均实验室矢量的Euclidean距离进行估计，公式如下：

[Etent=Gμ-Gx，y]                                 （4）

其中[Gx，y]是输入图像，[Gμ]是图像的所有实验室像素矢量的平均值，[Etentx，y]是位置[x，y]的像素显著点，我们使用Lab空间而不是RGB空间，是因为RGB空间不考虑颜色的亮度，而且Lab空间具有接近人类视觉和追求感知一致性的优势。当[Etentx，y>T]时（阈值），我们施加标记，表示的是该像素可能是显著像素，因为它在整个图像中与其他像素之间保持很大的距离。

（2）圆形扫描：第二阶段，初步检测是基于整个图像的全局对比度。在这个阶段，我们所决定的显著像素点，是基于一个图像区域和相对于它的邻域的局部对比。因此，我们定义了一个像素为原点[OX，Y]，指定其邻域为一个圆形区域，半径为[r]。其邻域为[2r+1×2r+1]的实际方框区域。原点[O]的显著值被估计为：

[EiproO=Nrμ-vo，i∈1，2，3]                      （5）

其中[Nrμ]表示在Lab空间内，相邻像素的以r为半径的圆形区域的平均向量的值。[vo]表示原点的向量值。[EiproO]仍是由Euclidean距离测量的范数。参数[i]表示的是在这个测量范围内的像素显著值。

3）显著点求和与最优拼接线搜寻：对于一个输入图像的像素，宽度[w]和高度[h]，半径为[r]的圆形扫描被改为：[w16≤r≤w4]。假设[w]小于[h]（否则我们将选择[h]为半径），我们在三种量度范围内执行扫描，半径分别为[w4，w8，w16]。最终，我们得到的显著谱[Gprom]，是由三种量度下的特征点显著值的总和获得的。

改进的能量谱技术实质上是相应的逐像素的梯度值和显著值得总和，目标是寻找一个低能量的路径作为我们的拼接线，并可以采用贪婪算法来减少计算量。

3.2基于图割的最佳拼接线搜寻

在图像拼接系统中，两幅待拼接图像，利用基于图割算法寻找到最佳拼接线的方法，可以将图像间重叠区域的图像像素点视为图结构中的节点。根据最佳拼接线的定义，就是在图像的重叠区域内，寻找一条能够精准、有效连接两幅图像的、使其实现无缝拼接的线。则将最佳拼接线寻优问题转化为图割理论中的寻找最优节点连接带权限问题。

因此，我们设定将两幅图像的重叠区域构建成一个图结构。如何定义带权线是构建图结构过程中的关键。能量函数取决于带权线的定义。拼接线寻优也就是该能量函数的最小化过程。

在初始化阶段，利用基准图像来构建初始图。分别从基准图和待拼接图中生成该图结构。即拼接线定义中的重叠区域分别来自基准图像和待拼接图像。

利用能量函数公式来计算图的总能量，进行算法的迭代最小化，并重新计算替换后的图的总能量[12]。如果能量增加，则恢复[p]节点的能量值;如果能量减少，则采用替换后的可选源的节点作为结果图中的节点。循环迭代最小化能量函数，保留能量最小值的节点。从而得到最终能量最小化结果，划分可选源的最小能量值分割线就是最优拼接线，而分割结果图就是图像拼接的结果。

能量函数的数据项定义是为了考察拼接线节点是否落在重叠区域内。如果该节点属于重叠区域，数据项为0，即不影响能量函数值;如果该节点不属于重叠区域内，则能量函数数据项值将为[+∞]，即能量函数值逼近无穷大，不符合能量最小化的要求。从而确保该拼接线定位于两幅图像间的重叠区域内。平滑项采用Sobel滤波器来进行边缘提取，基于图像边缘的平滑项定义能够克服一定程度上的拼接缝隙，因此可以进一步优化图像拼接线。

4 图像拼接技术发展趋势

图像拼接技术近年来得到不断发展、进步。但由于图像种类繁多，尺寸、光线、拍摄环境等复杂多变，所以目前尚未有一种算法可以适用所有的情况，所以在算法上研究人员通常会将不同的算法结合来提高效率，或者会在原算法的基础上进行改进。

图像拼接技术的未来还需要更多的人来做更大量、更深入和更仔细的研究工作。本文根据图像配准与图像融合的研究和应用情况推测，未来图像拼接技术会向以下几个方向发展：

（1）机器视觉技术逐步应用在图像拼接技术中。目前这一技术发展成熟，在现代控制生产中实现智能化、非接触化、快速化的全景视角图像拼接、处理。未来图像拼接技术将与机器视觉更紧密地相结合，可推进图像拼接技术在工业场景中的应用[13]。

（2）深度学习理论的发展，为图像拼接技术的发展提供了一种全新的思路。为克服对图像手动提取特征时的局限性，可利用深度学习模型从图像中自动提取有效特征，通过其特征学习能力，对参数、模型和架构进行有效调整，建立一种表征能力更强的特征检测网络，可提高拼接在一些较复杂环境下的性能，使匹配准确，鲁棒性强，拼接后的图像观感自然，覆盖面比较广[14]。

（3）自动图像拼接技术。针对视频拍摄的图像来说，信息且容易受到角度、光照和尺度等变化影响，采集的视频要通过逐帧分析，耗时且操作误差较大，因此需要实现图像自动拼接、排序，进而大大提高图像拼接效率。自动图像拼接技术也因此成为图像拼接技术的研究热点，从提高拼接速度与效率出发，可从研究不需进行大量图像预处理的算法入手。

5 结论

本文介绍了图像拼接关键技术的基本算法和实现流程，包括图像采集与获取、图像预处理、图像配准、图像融合等。并重点介绍了其中最关键的图像配准与图像融合技术。详细介绍图像配准的几种基本方法，并进行比较分析。在图像融合方面，介绍了基于能量谱的最佳拼接线寻优算法以及基于图割的图像融合方法。最后分析了图像拼接技术存在的一些问题以及未来的发展趋势，随着社会的发展，计算机性能逐渐提高，图像拼接技术无疑将会有更进一步的发展。

参考文献：

[1] 吴芳青，杨扬，潘安宁，等.利用混合特征的多视角遥感图像配准[J].中国图象图形学报，2017，22（8）：1154-1161.

[2] 董帅.基于改进ORB的图像拼接算法[D].长沙：湖南师范大学，2019.

[3] 庞荣，来林静，张磊.网格驱动的双向图像拼接算法[J].计算机科学，2020，47（3）：130-136.

[4] 张超.基于局部特征的图像配准算法及应用研究[D].北京：北京理工大学，2015.

[5] 姚楠，蔡越，余劲.高空远距离多目标视觉跟踪模型优化仿真[J].计算机仿真，2014，31（8）：427-431.

[6] 何佳华.基于改进SIFT的柱面全景图像拼接算法研究[D].绵阳：西南科技大学，2018：5-15.

[7] 张翔，王伟，肖迪.基于改进最佳缝合线的图像拼接方法[J].计算机工程与设计，2018，39（7）：1964-1970.

[8] 高金璐.戈壁背景下的图像配准与拼接技术研究[D].长沙：国防科学技术大学，2015.

[9] 熊苗苗，王鹏，郜辉，等.基于SIFT算法的图像拼接技术[J].数字技术与应用，2016（11）：129-130.

[10] 张少玉.基于SIFT特征点的点云配准方法[J].计算机与数字工程，2018，46（3）：449-453.

[11] 张敏.基于多视域广角相机视频图像拼接技术研究[D].长春：中国科学院研究生院（长春光学精密机械与物理研究所），2016.

[12] Zhu Z，Lu J M，Wang M X，et al.A comparative study of algorithms for realtime panoramic video blending[J].IEEE Transactions on Image Processing，2018，27（6）：2952-2965.

[13] 罗顺元，苍岩，乔玉龙.一种改进的最佳缝合线算法[J].应用科技，2019，46（6）：1-5.

[14] 李小雨.全景图像拼接的關键技术研究及实现[D].上海：华东师范大学，2017.

【通联编辑：唐一东】