基于SIFT-ACO的图像拼接算法

武岫缘，龙永新，高总总

（湖南工业大学 计算机与通信学院，湖南 株洲 412007）

基于SIFT-ACO的图像拼接算法

武岫缘，龙永新，高总总

（湖南工业大学 计算机与通信学院，湖南 株洲 412007）

针对具有一定旋转角度的多幅图像拼接问题，提出了一种基于SIFT-ACO的图像拼接算法。对拼接图像进行预处理后，用SIFT算法提取图像特征，将经典的生物智能优化算法ACO加入到图像配准中，对图像特征点进行配准，最后将多幅图像融合，得到一幅宽视角、无缝、高精度的图像。对多组不同角度拍摄的图像进行拼接试验。试验结果表明：在不影响整体视觉效果的前提下，该算法能有效地提高图像拼接精度。

图像拼接；蚁群算法；图像配准

1 相关研究

图像拼接是计算机视觉领域研究最早和最广泛的方向之一，也是遥感图像处理、医学图像处理、3D视觉重建、虚拟现实等领域的研究热点[1]。图像拼接技术能将多幅有重叠部分的图像拼接成一幅宽视角、无缝、高分辨率的图像，以满足人们大视野视觉的需求[2]。而待拼接的图像可能是在不同时间、不同角度、不同光照强度、不同分辨率或者不同传感器条件下所拍摄，因此，图像之间会存在差异。如何消除这些差异，使拼接后的图像能自然平滑过渡，是图像拼接的关键。国内外学者已提出了多种图像拼接算法，目的是使图像拼接的速度和精度达到最优的折中。

图像拼接通常分为图像预处理、特征提取、图像配准、图像融合4个步骤。其中，图像配准是图

综上所述，本文提出了尺度不变特征变换匹配算法（scale-invariant feature transform，SIFT）和蚁群算法（ant colony optimization，ACO）相结合的图像拼接算法。将群体智能的ACO算法引入到图像拼接中，能有效地提高图像配准精度。经过大量的试验证明，此算法对旋转、平移、缩放、仿射变换、尺度、亮度等能保持一定的不变性，对噪声也能保持较好的稳定性，虽然稍微增加了拼接时间，但是提高了图像配准的精度。

2 SIFT-ACO算法介绍

对在同一水平面拍摄，但有部分重叠的多幅图像进行拼接的方法已非常成熟，且有些软件已具有这种图像拼接的功能。但对有一定旋转角度的图像进行拼接时，现有的方法存在实时性差或精度低的缺点，因此，本课题组提出了将蚁群算法应用到图像配准中，以提高对此类图像拼接的精度。

2.1 图像预处理

获取图像的过程中，会出现一些不确定、不稳定的因素，如：光照变化、焦距调节、图像变形等，因此，拍摄的图像会存在不同程度的差异，这导致了视觉差异，且对图像拼接也造成了困难[5-6]。因此，图像拼接前，需要对其进行预处理，如：几何校正、统一坐标系、去噪等，目的是减少配准的难度，提高配准和拼接的速度和精度。图1为2幅有重叠区域的原始图像，图2是经过预处理后的图像。

图1 原始图像Fig.1 Original image

图2 预处理后的图像Fig.2 The preprocessed image

2.2 SIFT算法特征提取

SIFT算法，是一种稳健的基于特征点的图像配准算法，处理发生了旋转、平移、尺度、视角、仿射变换、光照等变化的图像，具有一定的不变性和鲁棒性[7]。该算法的主要思想是，通过高斯差分函数将图像分成不同的尺度空间，在不同的尺度空间检测极值点，去除噪声点和边缘点后，对感兴趣的特征点进行准确定位，用特征向量描述符对特征点进行描述。这为下一步对图像的特征点进行高质量地匹配打下基础。SIFT算法的主要步骤如下。

1）产生图像尺度空间，检测图像尺度空间的特征点

先通过可变尺度的二维高斯核函数G(x, y, )与图像I(x, y)进行卷积，产生图像尺度空间L(x, y, )，再用尺度空间对图像进行高斯滤波，即

然后，将2个相邻高斯尺度空间的图像相减，得到DOG图像的响应值图像，即

k为常数，表示2个相邻尺度之间的间隔；

2）确定特征点方向，生成特征描述符

以特征点为中心，取16×16的邻域作为窗口，将采样点与特征点的相对方向通过高斯加权后，归入包含8个方向的直方图，绘制每个梯度方向的累加值，形成一个种子点。一个特征点由4×4共16个种子点组成，特征描述子由所有子块的梯度方向直方图构成。因此，关键点描述符向量为128维。

对图2中的2幅图像进行特征提取后，结果图见图3。

图3 特征提取图像Fig.3 The feature extraction image

通过以上方法，输入的2幅图像可以获得SIFT特征点，每个特征点都包括唯一确定的位置、尺度和方向信息，利用这些信息再进行特征匹配。

2.3 ACO特征匹配

传统的SIFT算法中，描述子用128维向量表示，而一幅图像有成千上万个描述子[8-9]，这种维度灾难极大地降低了配准的速度。蚁群算法是一种用来在图中寻找优化路径的算法，具有一种新的模拟进化优化方法的有效性和应用价值。研究结果显示，蚁群算法的离散性和并行性特点适合处理离散的数字图像，在求解复杂优化问题，特别是离散优化问题，该算法有独特的优越性。本文针对传统的SIFT算法特征点匹配错误率比较高的问题，提出了将生物智能算法ACO运用到图像匹配中，可提高图像匹配的准确率。

ACO特征匹配原理如下。

自然界中蚂蚁搜索食物过程是一个不断聚类的过程，食物就是聚类中心。将SIFT算法提取的特征点Xi（i=1, 2,…, n）看作一个蚂蚁，将每一个蚂蚁在不同时刻的观测数据视为点的坐标，蚂蚁分别聚集到 j个聚类中心X'j（j=1, 2,…, m），建立城市坐标模型；然后构造一种灰色距离关联度Di,j，将灰色关联度作为相似性函数，从距离空间的角度反映系统因素间的关联性，即

假设算法中的蚂蚁具有一定的记忆能力，能根据 2 幅待拼接图像的灰色关联度选择转移方向，从而引导蚂蚁向灰色关联度最大值的方向移动。在图像拼接过程中，将图像 A 中的窗口在 图像B中搜索迭代的过程看成是“i只蚂蚁的城市模型”，从而使得蚂蚁可以在这个模型图上进行爬行，并且保证了蚂蚁爬行所获得的每个哈密顿路都对应一个灰色关联度最大的组合。

蚂蚁在运动过程中，根据个体路径上的信息量决定其转移方向。用禁忌表tabuk（k=1, 2,…, q）来记录蚂蚁当前走过的城市。在搜索过程中，蚂蚁根据各条路径上的信息量及路径的启发信息来计算状态转移概率，即：

式中：allowedk为蚂蚁k下一步允许选择的城市集；

最后，利用RANSAC算法（randomsampleconsensus）消除误匹配，具体过程如下：

1）从匹配点集中随机反复采样一组数据，每一组抽样的样本数为估算模型所需最小数据量，计算该抽样本所对应的模型，模型参数为4对匹配点。

2）进行全数据检验，统计满足该模型的内点数量，计算内点变换点和内点匹配点的欧氏距离之和，距离和公式为

3）根据内点数量和欧氏距离和来选择模型的参数。

4）重复步骤1），2），直到选出满足评选标准的模型，找出模型对应的内点，最终计算出模型参数。

2.4 图像融合

图像拼接之后，拼接的部分会出现一条拼接缝。本文通过对渐入渐出法的研究，提出了一种基于反正切函数的图像整体匀色方法。该方法针对传统整体匀色方法的缺点进行了改进。利用反正切函数作为平滑函数曲线，通过设置合适的权重，使拼接后的图像像素改动范围减小，降低图像的模糊度，使拼接后的图像能够最大限度地恢复到平滑自然过渡的效果。图4为带有拼接缝的图像，图5为图像融合后的效果图。

图4 带有拼接缝的图像Fig.4 The seam image

图5 融合图像Fig.5 The image fusion

SIFT-ACO算法流程如图6所示。

图6 拼接流程图Fig.6 The imag mosaic flowchart

3 试验结果分析

将SIFT算法、Harris角点检测算法和本文算法，从图像拼接速度和精度2个方面进行对比，试验结果如表1所示。本文中的RANSAC算法参数设为：最小距离阈值d=1.416，迭代次数N=50。

表1 3种算法的试验数据Table1 The experimental data of three algorithms

从表1可以看出，本文算法虽然增加了图像拼接时间，但有效地提高了图像拼接的精度。

4 结语

目前，全景图是通过多幅相邻的图像拼接而成，因此，全景图生成技术的关键是相邻图像的配准及拼接。本文提出了将SIFT算法和ACO算法相结合的方法，来实现图像拼接。本文方法是，先通过SIFI算法检测出图像的特征点，再通过ACO算法实现特征匹配，通过渐入渐出的方法进行图像融合。最后，将本文算法与SIFT算法、Harris算法从图像拼接的时间和精度进行了对比，试验结果表明，与其他2种算法相比，本文算法的拼接精度更高。

[1]Brown L G. A Survey of Image Registration Techniques[J].ACM Computing Surveys，1992，24(4)：325-376.

[2] 林小平，周石琳，张官亮，等. 一种基于蚁群算法和互信息测度的图像拼接技术[J]. 重庆理工大学学报：自然科学，2013，27(1)：76-81. Lin Xiaoping，Zhou Shilin，Zhang Guanliang，et al. A Image Mosaic Technology Based on Ant Colony Algorithm and Mutual Information Measure[J]. Journal of Chongqing University of Technology：Natural Science，2013，27(1)：76-81.

[3] 雷 震，李 东，吴玲达. 基于粒子群优化和互信息量的全景图拼接算法[J]. 计算机仿真，2009，26(4)：256-358，347. Lei Zhen，Li Dong，Wu Lingda. A Mosaic Algorithm of Panoramic Image Based on Particle Swarm Optimization and Mutual Information[J]. Computer Simulation，2009，26(4)：256-358，347.

[4] 冯雪芳. 基于互信息的图像配准技术的研究[D]. 无锡：江南大学，2012. Feng Xuefang. Research on Image Registration Technology Based on Mutual Information[D]. Wuxi：Jiangnan University，2012.

[5] 魏雪丽，张 桦，马艳洁，等. 基于最大互信息的图像拼接优化算法[J]. 光电子·激光，2009，20(10)：1399-1402. Wei Xueli，Zhang Hua，Ma Yanjie，et al. A Optimization Algorithm of Image Mosaic Based on Maximum Mutual Information[J]. Journal of Optoelectronic·Laser，2009，20(10)：1399-1402.

[6] Maes F，Collignon A，Vandermeulen D，et al. Multimodality Image Registration by Maximization of Mutual Information[J]. IEEE Transactions on Medical Imaging，1997，16(2)：187-198.

[7] 程 旭， 珺李拟 ，吴镇扬. 基于SIFT特征的粒子群优化的视觉跟踪算法[J]. 重庆邮电大学学报：自然科学版，2012，24(5)：652-656. Cheng Xu，Li Nijun，Wu Zhenyang. Visual Tracking Algorithm with Particle Swarm Optimization Based on SIFT Feature[J]. Journal of Chongqing University of Posts and Telecommunications：Natural Science Edition，2012，24 (5)：652-656.

[8]周军太，龙永红. 一种改进SURF 算法的图像配准[J]. 湖南工业大学学报，2011，25(2) ：96-99. Zhou Juntai，Long Yonghong. An Improved SURF Algorithm of Image Registration[J]. Journal of Hunan University of Technology，2011，25(2) ：96-99.

[9] 蒋 鸿，胡永祥. 非线性扩散图像配准[J]. 湖南工业大学学报，2011，25(5)：87-91. Jiang Hong，Hu Yongxiang. Nonlinear Diffusion Image Registration[J]. Journal of Hunan University of Technology，2011，25(5)：87-91.

[10]王维真，熊义军，魏开平，等. 基于粒子群算法的灰度相关图像匹配技术[J]. 计算机工程与应用，2010，46(12)：169-171. Wang Weizhen，Xiong Yijun，Wei Kaiping，et al. Gray Intensity Correlated Image-Matching Technology Based on PSO[J]. Computer Engineering and Applications，2010，46(12)：169-171.

（责任编辑：邓 彬）

Image Mosaic Optimization Algorithm Based on SIFT-ACO

Wu Xiuyuan，Long Yongxin，Gao Zongzong
（School of Computer and Communication，Hunan University of Technology， Zhuzhou Hunan 412007，China）

For problems of multiple images stitching of certain rotation angle, puts forward an image mosaic optimization algorithm based on SIFT-ACO. After the mosaic image preprocessing, the algorithm uses SIFT algorithm to extract the image features, adds classic intelligent optimization algorithm to image registration and makes image feature points registration, at last fuses multiple images and obtains a wide viewing angle, seamless and high precision image. The experimental result of image mosaic of different angles indicates that the algorithm can improve the accuracy of image matching effectively without affecting the overall visual effect.

image mosaic；ant colony algorithm；image registration

TP391

：A

：1673-9833(2014)01-0076-05

2013-10-07

国家自然科学基金资助项目（61170102），湖南省自然科学基金资助项目（11JJ3070），湖南省教育厅基金资助项目（12A039）

武岫缘（1988-），女，河北唐山人，湖南工业大学硕士生，主要研究方向为图像拼接等，像拼接的核心，配准的精度直接影响后续的图像处理过程，所以，图像配准非常重要[3-4]。图像配准的算法大致分为3种：1）基于像素的图像配准。由于图像的像素数量巨大，该方法的处理速度很慢。2）基于特征的图像配准。与第一种方法相比，特征点数量大大减少，配准速度有所提高。3）基于变换域的图像配准。该方法的计算复杂，计算量大，只能针对特定图像。可见，基于特征的图像匹配方法具有更大的优势。为了满足实时性要求，该方法的匹配速度还有待提高。

E-mail：851104011@qq.com

10.3969/j.issn.1673-9833.2014.01.016