一种结合FAST算法的红外图像配准算法

徐宏宇，张 博，杨 爽

(沈阳航空航天大学 电子信息工程学院，沈阳 110136)

信息科学与工程

一种结合FAST算法的红外图像配准算法

徐宏宇，张 博，杨 爽

(沈阳航空航天大学 电子信息工程学院，沈阳 110136)

针对目前红外图像配准中存在匹配误点较多，匹配寻找特征点用时过长等问题，提出对经典算法SIFT的优化，对红外图像特征点提取进行改进，结合基于学习的FAST算法，既提升了运行速度又保证了特征点提取的稳定性。在找到初始特征点后，结合RANSAC算法提高图像匹配的正确率，最后使用加权平均法进行图像融合。通过对红外图像配准融合实验，结果表明改进后的算法在缩放、旋转、亮度变化情况下运行更稳定、运行时长较短，对红外图像处理算法研究具有一定的理论及应用价值。

SIFT；红外图像；图像配准；特征点匹配；FAST

目前计算机视觉及数字图像处理技术已经成为包括图像检索、生物医学影像、遥感图像、航空太空技术等领域的热门技术。红外成像技术具有较高的抗干扰能力,可用于夜间探测，其图像更是具有高背景、低对比度等特点，因此针对红外图像的配准研究具有较大的研究价值。

图像配准技术目前在国内外已经拥有不少成果，1999年由David Lowe提出一种在图像旋转、图像缩放、仿射变换、噪声以及光照变化下具有良好不变性的算法—尺度不变特征转换算法(Scale-invariant feature transform即SIFT)，该算法在2004年得到一定程度优化[1-2]。因其特征匹配精度高、鲁棒性强被大量应用于物体识别、地图导航、影像融合、3D模型建立、动态追踪等领域。

但经典的SIFT算法的信息量很大，使运算时长和运算量成为一大问题。本文针对FAST(Features from Accelerated Segment Test)算法速度快的特点，将其结合SIFT算法，一定程度上缩短特征点获取时长，再结合基于数学模型参数的迭代算法的匹配算法RANSAC提高图像匹配点的正确率，并利用加权平均法进行图像融合拼接验证配准效果，实验验证得出改进后的算法较之前效率有所提升，也更具有应用价值。

本文图像配准的大致流程见图1，主要分为对红外图像的获取、配准、融合。首先利用红外图像采集设备获取图像，接下来利用改进的特征点匹配算法进行目标图像配准，最后使用加权平均法对红外图像进行拼接用以验证算法的提升。

图1图像配拼接流程图

1 SIFT特征匹配算法

尺度不变特征匹配变换算法主要思路可分为以下步骤：首先构造图像尺度空间，接下来在尺度空间中搜索图像极值点，由所得极值点建立特征描述向量，最后用特征描述向量进行相似度匹配[3]。

1.1 构造图像尺度空间

SIFT算法的实质是在不同的尺度空间上查找对应特征点，并计算特征点的方向向量，尺度空间构建需要使用高斯模糊实现。一幅图像在尺度空间中表示为图像和可变高斯核函数的卷积，采用高斯金字塔(Laplacian of Gaussian，LoG)算子[4]，公式定义为

L(x,y,σ)=G(x,y,σ)⊗I(x,y)

(1)

(2)

其中，式(1)和式(2)中，I(x,y)为输入的原图像；G(x,y,σ)为可变高斯核函数；σ为尺度空间高斯模糊参数；m，n分别是高斯模板维度；(x,y)为图像的像素位置。

采用高斯差分函数算子提高SIFT算法效率[5]。在实际计算中，使用高斯金字塔每组中相邻的上下两层相减，可得到高斯差分图像，见图2。

图2 高斯差分金字塔的生成

1.2 极值点搜索

极值点搜索是通过同一组内相邻两层图像之间比较完成,每个像素点要和它所有相邻点进行比较，确保在尺度空间和图像空间都检测到极值点[6]，见图3。

图3 尺度空间极值点检测

1.3 特征向量建立及描述子建立

为实现图像的旋转不变性，根据检测到的特征点的局部图像特征结构为其求得一个基准方向[7]。求得局部结构方向的方法是采用图像梯度法，则(x,y)处梯度模值和方向如式(3)和式(4)。

(3)

(4)

其中L为关键点所在的尺度空间。最后建立一个特征点描述符，其中包括特征点坐标、尺度以及方向三个信息，并将其用一组向量表示，使其不随条件变化而改变。描述子不仅包含特征点也包括特征点周围所有有用像素点，并且描述符应具有较高独特性，更利于正确匹配，见图4。

图4 描述子的生成

2 改进配准算法

虽然SIFT算法在不变性特征提取上拥有极大的优势，但其算法仍存在一些缺陷，如提取特征点时间过长、计算复杂度较高、错误匹配等问题，本文针对以上问题将SIFT与FAST算法进行结合改进。

2.1 FAST算法原理及算法结合

FAST算法是在2006年被提出的一种基于加速分割测试的算法。FAST算法为判断一点是否为特征点，是通过判断以该点为中心画圆，该圆中的16个像素点中最少有N个连续像素点满足都比Ip+t大或者都比Ip+t小，其中Ip是该p点的灰度值，t则是一个阈值。而在本文中N值一般为12，如图5所示。

图5 FAST极值点检测

采用基于学习的特征点的FAST算法对场景中多张图片进行学习，建立决策树，然后利用FAST决策树对SIFT中高斯差分金字塔进行特征点的提取[8]。

(1)首先在检测场景多张图的角点提取，选择合适的阈值和N值，提取出的特征点作为训练数据。从圆周16个像素位置中选择一个对特征点进行划分。

(5)

对每个特征点设定一个bool变量Kp意为判定角点，当Kp为true时为角点。

(2)对上面特征点进行训练，使用ID3算法建立决策树，使用第x个像素点进行决策树的划分，那么集合P得到熵K：

(6)

H(P)-H(Pd)-H(Ps)-H(Pb)

(7)

(3)然后递归计算所有子集直到它的熵为0，从而建立决策树模型，见图6。

图6 决策树模型

(4)为了优化速度，令xd、xs、xb相等，选择第二个检测时只需对两个位置点进行比较，可排除绝大多数点，决策树能够根据给定的阈值比较高效地判定为角点[9-10]。

利用FAST算法对SIFT算法中的尺度空间高斯差分金字塔进行极值点的搜素，既保证提取的特征点图像仍具有尺度不变性，又可减少整体搜索极值点所用时间。较之前的SIFT算法在一定程度上提升了图像匹配的效率[11]。

2.2 利用RANSAC算法筛选误点

随机抽样一致算法(Random Sample Consensus，即RANSAC)是一种利用采样验证的方法找出特征点匹配，使用迭代方法估计数学模型的参数[12]。

(1)首先使用SIFT算法中提取的红外图像特征点为观测数据，对均匀缩放的观测数据点的坐标进行计算，使其更具稳定性。

(8)

(2)从特征点中随机选择4对观测数据中的特征点，计算出单应矩阵Hi。对所有的特征点集中求点对到Hi的垂直距离d，判断所有符合距离小于阈值的内点。

(3)多次重复上述两个步骤，当正确特征点对数占所有点对的95%以上时，即为最佳集合。依次重复N次后，直到得出最大的内点对集合，所有符合条件的为所求点对，不符合的则删除。

3 改进后的图像融合算法

本文采用改进后的加权平均法对图像进行融合，可使图像在融合后无明显拼接和过度的痕迹。原加权算法是利用图像重叠区域的像素值进行加权后求和[13-15]，在图像有旋转时会出现边缘模糊现象，本文对加权算法稍加改进，如式(9)所示。

(9)

其中f1、f2分别为参考图像和待拼接图像，f(x,y)为重合部分点，tk为设定阈值，与两图接缝间距离分别为x1、x2，则权值表示为式(10)。

(10)

改进后的加权平均法是对重合部分灰度值与阈值进行比较提取，大于阈值则取原图值，否则提取灰度值。

4 结果与分析

4.1 配准实验结果

选取网络上存在相同部分的红外人像图像进行匹配，实验原图见图7，分别使用原SIFT算法和改进后的算法对特征点进行匹配并记入实验时间，结果见图8和表1，保证实验次数在10次以上，并对实验结果取平均值。

图7 配准实验结果图

图8 配准实验结果图

配准算法特征点/个匹配点/个匹准时间/s融合时间/sSIFT5625179253改进2110101155

对实验统计后的结果进行分析可得，本文改进后的算法一定程度上缩短了执行时间。从表1可得，两种算法完成时间分别为2.53s和1.55s，整体算法的速率提升了30%以上。原算法提取特征点采用差分金字塔，而需将全层尺度空间所有点进行筛选，因此所需时间过长；改进后的算法充分利用基于学习的FAST算法运行速度快的优点，大幅度提升整体运算速率。

除运算速率得到提升外，改进后算法提取的特征点个数也在有效的条件下有所减少，匹配算法寻找到的匹配点个数从原来的25个减少到10个，用时也大大节省。因为改进后的RANSAC算法能够建立一个较正确的特征点模型，可将误差特征点进行筛选剔除，提高了匹配的正确率。由图8可见，原SIFT算法融合处有一明显分界线，利用改进后的加权平均算法对有旋转的图像拼接更为准确，也同时说明错误匹配点对图像拼接有一定的反向影响。因此改进后的算法较之前有了一定的提升。

4.2 特殊情境下配准实验结果

此实验将图像进行旋转、光照、缩放，用改进算法与原SIFT算法进行匹配。图9为对配准图进行旋转时两算法配准结果；图10为对准图进行光照变换时两算法配准结果；图11为对待配准图进行缩小后的两算法配准结果，表2、表3和表4为三种对比实验的数据，均为多次实验后数据的均值。

由以上表格和结果图像可得，在对图像进行旋转和缩放等操作后，改进后的算法提取的特征点数量明显有所减少，旋转后改进算法特征匹配点较之前减少了16个，减少近45%，同时缩小后改进算法提取点也减少14个，减少近48%，因此在一定程度上大量减少了提取时间，提高了整体算法速率。这就表示在图像被旋转和缩放情况下也可以有效去除多余匹配点，良好地结合了SIFT算法不变性以及FAST算法速度快的优点。

在光照改变情况下，改进算法提取点也较之前算法减少11个，说明在图像的光照发生改变时，改进后的算法也拥有较好的稳定筛选功能。这是因为改进后的算法承接了SIFT算法的稳定性以及原算法的归一化。

图9 配准图旋转时算法配准结果

配准算法特征点/个匹配点/个匹准时间/sSIFT3518103改进197052

图10 配准图缩小时算法配准结果

配准算法特征点/个匹配点/个匹准时间/sSIFT2919123改进155042

图11 配准图提亮时算法配准结果

配准算法特征点/个匹配点/个匹准时间/sSIFT2416075改进134021

5 总结

本文针对匹配算法中较为经典的SIFT算法在应用时存在运算时长过长和有一定误匹配的情况进行改进设计。结合基于学习的FAST算法高效提取特征点，从而改善运算匹配融合的时长问题。结合RANSAC算法筛选出错误的匹配点，提高了配准拼接算法的精准度，减少了误差率，通过加权算法将图像进行融合对改进算法进行验证对比。

本文同时也对缩放、旋转和改变光照的红外图像进行了特征点匹配，通过对实验数据结果比较可证明经过改进后的算法比传统SIFT运算高效、稳定、具有较强的鲁棒性。

[1] LOWE DG.Distinctive image feature form scale-invariant key points[J].International Journal of Computer Vision,2004，60(2):91-31.

[2] 聂春鹏，张广辉，宋婷.SIFT特征匹配算法研究[J].装备制造技术，2014，42(6):182-183.

[3] 邹前进，冯亮，汪亚.红外图像空间噪声分析和预处理方法改进[J].应用光学,2007，28(4):426-430.

[4] LINDEBER T.Scale-space for discrete signals[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1990，12(3)：194-201.

[5] 田希山，王利强.基于SIFT特征的视频图像匹配研究[J].科学技术与工程制造，2012，12(29):7749-7753.

[6] 何健，梁凤梅.改进SIFT算法在特征匹配中的应用[J].科学技术与工程制造，2013，13(11):3016-3020.

[7] E ROSTEN,T DRUMMOND.Machine learning for high-speed corner detection[J].European Conference on Computer Vision，2006，3951:430-443.

[8] 王菲.一种改进的红外图像配准拼接算法研究[D].兰州:兰州大学，2015.

[9] 郭振成.一种改进SIFT特征点匹配算法[J].电视技术，2014，38(1):3016-3020.

[10]罗文超,刘国栋,杨海燕.SIFT和改进的RANSAC算法在图像配准中的[J].计算机工程与应用，2013，49(15):147-149.

[11]于丽莉，戴青.一种改进的SIFT特征匹配算法[J].计算机工程,2011，37(2)：210-212.

[12]汪道寅.基于SIFT图像配准算法的研究[D].合肥:中国科学技术大学,2011.

[13]刘生辉，张瑶.基于MATLAB的图像配准技术[J].信息推广技术 2015，24(6):62-64.

[14]赵德利，朱尤攀，吴城，等.一种改进的联合点特征与灰度特征的红外图像配准算法研究[J].红外技术，2014，36(10):820-826.

[15]周武，胡跃明.基于相位相关和重采样的亚像素图像匹配算法[J].华南理工大学学报，2010,38(10)：68-73.

AninfraredimageregistrationalgorithmcombinedwithFASTalgorithm

XU Hong-yu，ZHANG Bo，YANG Shuang

(College of Electronic and Information Engineering,Shenyang Aerospace University,Shenyang 110136,China)

Aiming at the problem that there are too many wrong match points and it takes too much times to match the feature points in the current infrared image registration.In this paper,the classical algorithm SIFT is optimized,and the feature extraction of infrared image is improved.Combined with the learning-based FAST algorithm,both to enhance the speed of operation and to ensure the stability of the feature point extraction.After finding the initial feature points,combined with RANSAC algorithm to improve the correct rate of image matching,and then use weighted average method for image fusion.Through the infrared image registration fusion experiment.The results show that the optimized algorithm is more stable in the case of scaling,rotation and brightness,and the operation time is shorter.This paper has a certain theoretical and practical value for the study of infrared image processing algorithms.

SIFT;infrared image;image registration;feature points matching;FAST

2017-06-28

沈阳市科技攻关项目 (项目编号：F13-096-2-00)

徐宏宇(1965-)，男，辽宁沈阳人，副教授，主要研究方向：信息获取与处理，E-mail：413945957@qq.com。

2095-1248(2017)05-0057-06

TP391

A

10.3969/j.issn.2095-1248.2017.05.008

(责任编辑：刘划 英文审校：齐义文 )