基于SIFT特征的彩色图像拼接方法研究

张永梅1，2，张晨希3，郭 莎1

（1.北方工业大学计算机学院，北京 100144；2.广东省普及型高性能计算机重点实验室，深圳市服务计算与应用重点实验室，深圳 518060；3.北方工业大学电子信息工程学院，北京 100144）

基于SIFT特征的彩色图像拼接方法研究

张永梅1，2，张晨希3，郭 莎1

（1.北方工业大学计算机学院，北京 100144；2.广东省普及型高性能计算机重点实验室，深圳市服务计算与应用重点实验室，深圳 518060；3.北方工业大学电子信息工程学院，北京 100144）

针对传统特征提取拼接算法在复杂图像中配准过程中出现的过多误匹配，导致拼接后图像出现鬼影、模糊等问题，从而影响拼接图像的质量，提出一种改进的SIFT配准算法；在对目标图像提取SIFT特征后，利用SIFT描述子的尺度以及梯度方向信息建立最小邻域匹配剔除误匹配点，之后利用局部均方根误差（RMSE）评价映射矩阵与RANSAC算法相结合，迭代出精确变换模型；在对图像进行几何矫正后，提出一种自适应的混合线性算法对重合区域图像变换至HIS颜色空间进行图像拼接，最后得到平滑无缝的完整彩色全景拼接图像；实验结果证明，该算法在拼接复杂场景并且重合区域不多时仍有较好的准确性及稳定性。

图像拼接；客观评价；最小邻域匹配；自适应混合线性拼接

0 引言

图像拼接技术是将一组由传感器拍摄到在同一区域，并且具有相互重叠区域的图像集合拼接成一幅宽视角的无缝高分辨率图像或360°全景图像的技术［1 5］，在图像处理、计算机视觉、计算机图形学和虚拟现实等学科中都占有重要的地位［6 7］。图像拼接的本质是对待拼接图像进行图像配准找出重叠部分，再对其进行图像拼接消除拼接缝隙的过程。通过图像配准可以确定相邻图像序列间的旋转和平移等参数，从而通过变换模型将图像转换至同一视角，最终达到无缝拼接。

图像拼接的两个关键技术是图像配准和图像拼接。图像配准是图像拼接的基础也是最重要的一部分，目前图像配准技术经过长时间发展有了很大进步，新的技术也如雨后春笋般层出不穷，因此图像配准技术的创新也成为图像拼接技术发展的主要原因。相比较于图像的配准，图像拼接技术的差异在于对不同拼接图像的特点，应选择恰当的拼接方法才能得到较好的拼接效果。一般来说，图像拼接技术主要包括图像预处理、图像配准、拼接重构三步。

图像预处理是对源图像进行数字图像处理的基本操作，如去噪、图像锐化、直方图均衡化等。利用傅里叶变换、小波变换等分析手段，将图像转换至频域进行分析处理。

图像配准是根据图像的特性，采用一定的匹配策略，找出相邻两幅待配准图像中的特征点、统计特性、颜色等相似区域及像素点在参考图像中对应的位置，从而确定两幅图像之间的数学变换关系模型。

拼接重构是完成统一坐标变换后，将待拼接图像的重合区域进行图像拼接处理，消除边缘缝隙、模糊、像素点错位等问题，得到重构的无缝平滑全景图像。

1 基于SIFT的最小邻域匹配图像配准算法

准确的图像配准是图像拼接能够顺利完成的重要先决条件。图像配准的方法可以分为基于区域和基于特征两大类方法［8 11］。在基于特征的配准方法中，1999年由Lowe提出并在2004年改进完善的SIFT［12］算法对图像旋转、比例缩放、光照变化表现出较强的鲁棒性，并能提取出较多的特征点。

1.1 邻域特征匹配法原理

该方法首先直接从目标和待配准两个源图像中提取各自的特征点集，再对两者对应的特征点集进行匹配。本文针对已提取出的特征点集先构建一棵K－D树 （K－Dimensional Tree），然后在该数据结构中采用BBF算法搜索特征点的最近邻域点。

本文将图像中的特征点表示为Si＝［Xi，ri，θi，f（Xi，ri，θi）］T，其中Xi∈R2，描述该点的位置信息，ri描述该点的尺度大小信息，θi描述该点的梯度方向，f（Xi，ri，θi）描述对应匹配特征点描述子。

1.2 邻域特征匹配算法步骤

1）初始的正确匹配点集采用两两匹配遍历方式，重复匹配直到确定该两点满足邻域关系，这样就可以确定初始正确匹配点集，具体方法如3）和4）所示。

2）从图像中任意选择未匹配的一点S1，以该点为圆心（欧氏距离）寻找最临近的正确匹配特征点S2和与之对应的匹配点f（S2）；

3）连接S1与最邻近匹配点S2，同时连接这两点各自对应的点f（S1）与f（S2），并计算其各自连线与S1点和f（S1）梯度方向角度的差值θx；

4）本文设定阈值角度为10°，考虑到不同拍摄角度引起的误差，如果计算所得的匹配点的角度差在设定的阈值范围内，则本文判断该邻近点匹配成功，并且保留该点，否则判断其为误匹配候选点。

5）同样利用上述方法计算点S1与其次邻近点的角度差值，如果同样未在阈值内，则判断该点是错误的匹配点，否则判断其与次临近点为正确匹配；

6）重复步骤2）～5），直到遍历完图像中所有匹配特征点。

该方法能有效利用邻域的特征点位置关系来进行特征点的匹配，并且可以消除一定误匹配。邻域匹配法如图1所示。

图1 最近邻域匹配表示两幅图像之间匹配关系

1.3 反向匹配法删除误匹配

本文对待配准图像中的特征点进行单向匹配后，再对待配准图像中的同名匹配点进行同阈值的逆向匹配，只保留双向匹配均为相同对应双方的特征点对，将剩余特征点删除掉。这样做的目的是：在第一次匹配后，经常会出现目标图像中多个点与待配准图像中同一个点匹配，而在逆向匹配后，可以找到唯一对应的同名点，从而有效排除其他错误的匹配。如图2所示，三条连接线只有一条是正确匹配。

1.4 RANSAC算法与客观评价相结合的变换矩阵校正方法

本文提出一种基于局部均方根有效值的客观评价方法，并结合RANSAC算法对配准图像进行客观评价，如果评价指标达到客观评价要求，则认为符合标准，如果达不到要求，则找出并删除引起偏差的不准确匹配点，再利用RANSAC算法重新计算内点，重复上述步骤，排除误差偏大的不稳定匹配点，迭代出达到亚像素级匹配标准的变换矩阵，从而得到最好的配准结果。

图2 双向匹配法排除误匹配点

相比传统的SIFT算法，经过客观评价方法提纯后，特征点匹配的正确率以及计算变换矩阵的精度上都有明显提高。

2 多通道自适应线性混合图像拼接方法

经过上一步配准，得到了变换矩阵并将待拼接图像与目标图像转换为同一个坐标系，下一步将多幅彩色图像拼接后拼接为一幅完整的全景图像。如果所有的图像都已经完美配准并且经过了曝光补偿等手段处理，这将是一个简单的问题，只需要把坐标对准就可以，但是在实际的图像拼接中，明显的拼接缝隙、模糊都有可能发生。

拼接缝隙是由于拍摄角度不同、光照强弱等，导致拼接后出现明显两端变换的缝隙，模糊是指由于配准未能精确或拼接时像素点未能对齐，导致像素点的错位，视觉效果会有模糊的感觉，鬼影是指由于图像之间有相对移动的目标而在拼接后，图像之间在同一位置会有像素点相对位移的冲突，出现物体重影、多重显示等问题。

为了解决这些问题，需要选择哪些在图像重合区域像素拼接时需要被保留、放大或者舍弃，因为待拼接图像存在多样性，所以如何选择不能仅仅依靠一定阈值、权值的预设，而需要计算机根据图像信息自适应选取。选择什么样的拼接策略把这些重合区域中不同的像素点计算出来将会直接影响拼接图像的质量好坏。

线性平均法最简单的方法就是将两幅图像重合区域的对应像素取平均值

在误匹配较大或者图像场景中物体移动明显的情况下，上述的线性平均法不能达到理想的效果，虽然可以在一定程度上模糊拼接接缝，但是会出现较严重的鬼影效果，不能作为彩色图像拼接方法的普遍应用方法。通过中值滤波法能够有效地消除线性平均法的不足，但是相对地会带来拼接图像模糊的问题。

为了解决上述两种方法带来的不足，本文改进了一种自适应权值的线性拼接方法。该线性拼接方法提高靠近图像中心点像素的权重值，降低靠近图像边缘像素点的权重值，当图像出现切口或间断区域时，降低临近部分像素点的权重值会有比较好的效果。而这个权重的计算可以使用自适应计算方法来表示为距离映射关系。

将每一个有效的像素标记为其欧氏距离最近的无效像素。

虽然这种简单的加权平均可以有效地解决不同图像曝光差异引起的边缘接缝，但是无法很好地解决模糊与鬼影的问题，这是因为如果两幅图像出现过度衰减的值不能只是用简单的求和方法来拼接。

为了解决两幅图像重合区域存在不同移动物体或场景带来的鬼影问题，本文提出一种利用ωpk（x）来提高距离映射的权值，如果高于某一定范围，那么权重值就会被这个距离映射的更大的值所决定。这种方法可以在曝光差异与模糊之间提供一种合理的折衷，达到比较理想的拼接结果。

如果p→∞，那么只有最高权重的图像中的像素可以被选择作为拼接后图像像素点。

则按照选择函数选择图像的相应像素点来直接填充拼接后图像对应的像素点值。这种方法相对于其他线性平均法，高通滤波法等在进行拼接时，可以完全采用其中一幅图像的像素值，这样的好处是可以有效地消除两幅图像间存在移动物体带来的错位，也称为鬼影，但是会减少图像的一些信息量。

考虑到人眼对HIS颜色的敏感程度，本文选择待拼接图像S（饱和度）颜色空间做距离映射，计算之后再返回到RGB空间，对图像采用本文的拼接方法。

最后，整体看来就是通过S颜色空间计算出重合区域图像的距离映射，权值α与β在范围0－1内自适应改变，该操作可以用来对两幅图像或两段视频产生时间上的画面叠化效果。

本文对目标图像与待拼接图像进行投影变换，变换至同一坐标系中，解决图像旋转、缩放、平移和错切等问题，接下来利用曝光补偿消除拼接图像之间的光照差异，为拼接做好预处理准备。预处理完成后将拼接图像变换到HIS颜色空间，在S颜色空间内计算拼接图像间的颜色距离映射，从而得到拼接每个图像像素点所占权重值，然后利用得到权重计算拼接后图像像素值，最后利用图像拼接客观评价指标计算拼接前后图像相似度指标，得到拼接图像同时进行其质量评价。算法流程如图3所示。

图3 拼接算法流程图

在图4的实验图像中，（a）是利用线性平均法的结果，可以看到如果两幅图像重合区域相对移动物体过多，或者由变换矩阵不准确带来的像素点错位，那么将会出现大量鬼影、模糊等问题，很大程度上会影响拼接结果；（b）中虽然利用中值滤波方法消除了鬼影的存在，但是带来的大量错位以及缝隙对人类视觉感官影响较大；（c）中利用带权值的线性拼接方法，比起线性平均法有较好的效果，但是还是会存在一定鬼影导致拼接效果欠佳；（d）、（e）利用本文的自适应分配权值的线性模型方法，将图像转到S颜色空间进行拼接处理，在两幅图像出现运动物体混叠，导致像素值相差过大时，将权值分配大部分为上方图像α→∞、β→0，优化消除了鬼影及缝隙，从视觉效果上有一定提升。

图4 各种拼接方法效果对比

3 实验结果及分析

为了验证本文方法的有效性与可靠性，在Visual studio 2010上进行了12组图像拼接的实验，由于篇幅限制，本文给出两组实验结果，图5、6分别为图像分辨率900×900由无人机拍摄的圣亚历山大·涅夫斯基大教堂图像以及分辨率为900 ×1 300的马尼拉人笑容图像。图7分辨率为2 500×1 800。表1、2、3、4给出了几种算法对比结果。

表1 本文算法与各类算法配准正确率比较%__

表2 不同方法真实映射矩阵RMSE误差

通过表1实验结果可知，本文算法在传统SIFT特征点提取算法的基础上，利用最小邻域双向匹配法进行特征点的匹配，相比传统BBF匹配方法在精确度上有较大提升，接着利用客观评价方法均方根误差值反向寻找错误匹配点，如此迭代达到高精度的配准模型。表2所示的真实映射矩阵误差是指排除所有误匹配后，待配准图像通过求得矩阵映射至目标图像后的RMSE误差，如果越小说明所求矩阵越精确。如表3所示，相比于其他3种方法，本文因为沿用了SIFT特征点，虽然在特征点提取时间并未突破，但可以计算出变换矩阵的精度均强于SURF算法以及专业配准软件ENVI所得结果，能够为彩色图像拼接提供更好的配准图像。

图5 无人机拍摄圣亚历山大·涅夫斯基大教堂全景拼接图像（该组图像为无人机拍摄，存在较大角度旋转，小幅度重合区域并且带有高斯噪声）

图6 无人机拍摄马尼拉人笑容全景拼接图像（该组图像为无人机拍摄，带有大幅度的旋转，并且因为现实原因带有白色边框补充区域）

图72 500×1 800高分辨率复杂城市拼接结果

表3 图像拼接评价结果

表4 图像拼接信息量结果

通过表3本文算法与现有算法的对比可以看到，本文算法虽然在精度以及时间都不是最佳选择，但是综合两点后得到了较好的结果。根据SSIM相似度评价指标的定义，结果越接近1，说明拼接前图像与拼接后图像越接近，反之说明差异性越大。相比于普通的线性加权平均方法，本文算法在利用颜色距离空间对权重的自适应分割，选取在颜色空间更加符合人眼的图像作为拼接像素点的基准，而不仅是单单加权平均像素点，这在主观视觉以及客观评价指标上都有了较好的提升；相比于基于小波变换的Mallat与高通滤波法，本文算法在保证较高的拼接质量的同时又具有较低的时间复杂度，这在彩色图像拼接的实际应用中会给用户较好的视觉体验。

信息熵是衡量图像信息丰富程度的一个重要指标，该指标只关心拼接图像本身的灰度，拼接图像的熵越大，说明拼接图像的信息量增加得越多。表4表明，通过本文拼接处理后图像信息量仅略低于文献［6］提出的Mallat算法拼接的图像，因为基于小波的方法在各个频带上分别进行了图像拼接，所以信息量相比原图会有少许增加，这种方法在带拼接图像之间静止物体较多的时候比较适用，但是如果图像之间运动物体较多，则会出现鬼影、模糊等现象；相比其他两种方法，本文方法可以有效保持图像的信息量。

5 结论

针对传统图像拼接方法时间复杂度高，精度低，配准时图像要求重合度较高等不足，本文利用客观评价方法与改进的SIFT特征提取算法相结合的方法，有效地提高了图像的配准率及稳定性，接着根据人类视觉对颜色敏感机制，提出了一种基于多通道自适应线性混合图像拼接算法，相对于其他拼接算法，本文算法在继承线性拼接方法速度快的同时，有效地改善了传统方法没有解决的鬼影、阴影、模糊等问题，可以有效地解决待拼接图像之间出现过多移动目标的情况。

［1］王 娟，师 军，吴宪祥.图像拼接技术综述［J］.计算机应用研究，2008，25（7）：1940-1943.

［2］余先川，吕中华，胡 丹.遥感图像配准技术综述［J］.光学精密工程，2013，21（11）：2960-2972.

［3］王 勇，何晓川，刘清华，等.一种感兴趣区域寻优搜索的全自动图像拼接算法［J］.电子与信息学报，2009，31（2）：261 -264.

［4］Hernani Goncalves，JoséA.Goncalves，Luís Corte－Real，Member，Measures for an objective evaluation of the geometric correction process quality［J］.IEEE Geoscience And Remote Sensing Letters，2009，6（2）：292-296.

［5］Fischler MA，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24（6）：381-395.

［6］延伟东，田 铮，温金环，等.基于偏最小二乘的SIFT误匹配校正方法［J］.计算机应用，2012，32（5）：1255-1257.

［7］郑雪梅，范 勇，石琦凯，等.一种基于点的快速图像配准算法［J］.计算机工程，2012，38（1）：220-221.

［8］罗晓清，吴小俊.一种基于区域相似性的图像融合评价方法［J］.电子学报，2010，38（5）：1152-1155.

［9］刘 辉，申海龙.基于相似性的图像融合质量的客观评估方法［J］.软件学报，2006，17（7）：1580-1587.

［10］王海凤，范 辉，李晋江.结合SIFT和Krawtchouk矩不变量的图像配准方法［J］.计算机工程与应用，2013，49（1）：202 -205.

［11］Liu Z X，An J B，Jing Y.A simple and robust feature point matching algorithm based on restricted spatial order constraints for aerial image registration［J］.IEEE Trans on Geoscience and Remote Sensing，2012，50（2）：514-527.

［12］Lowe D G.Distinctive image features from scale－invariant key points［J］.International Journal of Computer Vision，2004，60 （2）：245-251.

Color Image Mosaic Algorithm Based on Improved SIFT

Zhang Yongmei1，2，Zhang Chenxi3，Guo Sha1

（1.School of Computer Science，North China University of Technology，Beijing 100144，China；2.Guangdong Key Laboratory of Popular High Performance Computers，Shenzhen Key Laboratory of Service Computing and Applications，Shenzhen 518060，China；3.Institute of Information Engineering，North China University of Technology，Beijing 100144，China）

For too many unstable matching errors extracted by the traditional feature extraction algorithm in process of big complex images registration，reduces the mosaic image quality because of ghost，fuzzy problem after fusion image.Improved algorithm based on SIFT is proposed in this paper，after extracting SIFT feature from the target image，using the Minimum Neighbor Feature Matching eliminate false matches based on scale and gradient direction information from SIFT descriptor.Then iterate the accurate mapping matrix by using Random Sample Consensus algorithm（RANSAC）and the local root mean squared error（RMSE）.After image geometric correction，adaptive mix linear blend algorithm is proposed to fuse the overlap region of image in HIS color space.Finally achieve the full color image smooth and seamless panorama stitching.The results show the proposed algorithm is accuracy and stability in the complex scene and with little splicing overlap regions.

image mosaic；objective evaluation；minimum neighbor feature matching；adaptive mix linear blend

1671-4598（2016）08-0236-04

10.16526／j.cnki.11－4762／tp.2016.08.065

：TP751.1

：A

2016-02-23；

：2016-03-11。

国家自然科学基金项目（61371143）；广东省普及型高性能计算机重点实验／深圳市服务计算与应用重点实验室开放课题（SZU －GDPHPCL2014）；北京市教委面向虚实融合的多源图像配准与识别科研项目（PXM2015_014212_000024）；北京市教委多源遥感图像配准与识别科研项目（XN081）；北京市教委基于内容感知的最优图像缩放技术研究与应用科研项目。

张永梅（1967-），女，山西太原人，博士，教授，主要从事图像处理、智能识别方向的研究。