基于特征点的图像配准方法研究*

陈丹淇, 赵 迪

(1 上海机电工程研究所, 上海 201000; 2 上海卫星工程研究所, 上海 201000)

基于特征点的图像配准方法研究*

陈丹淇1, 赵 迪2

(1 上海机电工程研究所, 上海 201000; 2 上海卫星工程研究所, 上海 201000)

图像配准是将不同条件下(时间、传感设备、气候、角度等)得到的两幅或者多幅图像进行匹配、叠加的过程。通常,每种配准技术都是针对某一类具体应用的,有一定的局限性。文中提出了一种融合的、基于特征点的图像配准方法,首先采用小波变换和USAN区域特性相结合的角点检测方法,然后利用互相关和RANSAC相结合的方法进行特征点匹配,最后采用薄板样条法求解点变换矩阵。通过这种方法可以弥补不同配准方法的不足,提高配准精度。通过对人物、景物等大量图像进行实验分析,证明此算法具有很好的配准精度、环境适应性和实时性。

融合;图像配准;角点;特征点匹配

0 基于特征点的图像配准方法

图像配准实际上就是将不同时间、不同成像模式、不同视场下获得的两幅或多幅图像进行空间几何变换的过程。也就是说,要将两幅图像中对应于同一空间位置的两个点联系起来,寻找到一种空间变换关系,使得经过变换后的两幅图像差异性最小。

特征点作为图像的关键特性,包含了图像的高层信号信息,对光照、噪音的抗干扰能力较强。因此,基于特征点的图像配准算法是文中的研究重点,其算法流程图可见图1。

1 基于小波变换和USAN区域特性的角点检测

1.1 基于小波变换多尺度积的边缘检测方法

设:

(1)

M2j代表了梯度向量模,反映了f(x,y)·θ(x,y)在点(x,y)上灰度变化的剧烈程度。M2j沿着A2j取极大值点对应着f(x,y)的突变点,也就是图像的边缘位置。

通过小波变换得到了图像的边缘位置,但是该方法易受噪声影响,因此引入小波变换多尺度积判别准则如式(2)。

(2)

由此可以得到边缘点的判决条件:

1)点f(x,y)是M2j的局部极大值,且M2j>T,T为阈值。

从图2可以看出,加入多尺度积后,可以有效抑制噪声的影响,提高边缘检测的精度。

1.2 边缘连接

利用小波变换进行边缘检测之后,会存在毛草边缘和短小的边缘点。为了去除这些噪声影响,同时为角点检测提供有效的边缘结构,文中利用像素梯度向量模和方向角来进行边缘连接。也就是说,如果像素(m,n)在像素(x,y)的邻域内且他们满足以下条件,就可以把两个像素连接起来:

(3)

通过以上公式可以得到边缘链数组,对于边缘链小于某一阈值(5到15)将被作为噪声边缘去除,由图3可以看出,通过边缘连接后,可以去除掉短小且没有使用价值的边缘信息,并使边缘得到平滑。

1.3 基于曲率的角点检测

根据角点的特性可知,位于光滑曲线上的点,其左右两边曲线所形成的夹角接近于零;而在角点处,其左右两边曲线会形成一个夹角。因此只有当某点左右两边直线之间的夹角在某一个范围内,文中选择[π/4,π/2],则认为这个点为角点。

1.4USAN区域特性去除伪角点

基于曲率的角点检测方法比较简单快速,但会产生很多伪角点,因此文中采用USAN区域特性去除这些噪声点。

将位于圆形窗口模板中心的待检测像素点称为核心点。当核心点在角点处时,USAN区域最小,而相反USAN区域最大。通过此种方法可以有效去除伪角点,如图4。

1.5 基于小波变换和USAN区域特性检测实验结果

本算法由于作用在小波变换多尺度边缘检测的基础上,因而具有一定的抗噪声,同时基于曲率局部极大值进行角点判定,受角度旋转的影响较小。

2 基于互相关和RANSAC算法相结合的特征点匹配

2.1 基于互相关的特征点匹配

假设p=(px,py)和q=(qx,qy)分别是待配准图和参考图像上的特征点。则p和q相似程度的归一化互相关公式如下:

py)-u1][f2(x+px,y+py)-u2]}

(4)

按照上述条件,逐点对两幅图像的特征点集进行判断,可初步建立控制点对之间的匹配关系。

2.2RANSAC(RandomSampleConsensus)算法

运用互相关算法实现粗匹配之后,采用RANSAC方法进行修正,以得到精确的匹配。

算法执行步骤如下:

1)随机提取N对特征点,文中N=4;

2)根据变换模型求解变换参数,采用投影变换;

3)在剩余的特征点对中计算符合变换模型的特征点对的个数,记作K;

4)不断的循环以上步骤,最大循环次数为1 000,同时记录K值最大时相对应的变换参数;

5)依据最优变换参数,对特征点对进行修正,得出匹配结果。

在误匹配点数目接近一半的情况下,RANSAC算法仍然可以得到正确的结果,具有很好的鲁棒性。

2.3 基于互相关和RANSAC相结合的特征点匹配实验结果

图6是采用基于互相关的特征点匹配的算法,其中分别用红、黄、蓝、粉4种颜色标记了误匹配点对的位置。图7是RANSAC法修正后的结果,可以看出经过RANSAC法修正后,误匹配点的错误的运动趋势得到了修正,为点变换矩阵的求解提供了精确的匹配结果。

3 薄板样条法求解点变换矩阵

薄板样条(TPS)图像匹配算法能够将空间变换分解为一个全局仿射变换和一个局部非仿射变换。

此算法在考虑到全局几何变换的同时,考虑到了局部畸变,因此有较高的精确度。求解参数为(m+3)个,便可以得出图像间的变换矩阵。

4 文中实验结果

从试验结果可以看出,文中提出的基于特征点的图像配准方法具有良好的抗干扰性和环境适应性,能够在噪音环境下达到良好的配准标准(图8);能够适应旋转缩小的环境变化,在手动旋转图片和真实拍摄图片上都可以达到良好的试验结果(图8、图9);能够适应不同角度真实环境变化,并有较好的抗干扰性能,在部分内容发生变化的情况下,依然能够保持良好的配准精度(图10)。同时,文中提出的配准方法工作机理较为简单,计算速率较高,具有良好的实时性能。

5 总结

文中在角点检测中将小波变换和USAN区域特性很好的结合到了一起,有很高的准确性,并具备一定的抗噪性和旋转不变性。同时,提出了基于互相关及RANSAC相结合的算法,获得精度很高的匹配结果。最后采用薄板样条法求解点变换矩阵,不但考虑到了

全局的仿射变换,而且考虑到局部的非仿射变换,具有很高的精确度。

文中的整个配准过程完全是自动完成的,通过大量的实验结果证明了文中提出配准方法具有广泛的适用性和良好的配准效果。

[1] XU Peng, YAO Dezhong. A study on medical image registration by mutual information with pyramid Data structure[J]. Computers in Biology and Medicine, 2007(37): 320-327.

[2] PENG Daiqiang, LIU Jian, TIAN Jinwen, et al. Transformation model estimation of image registration Via least square support vector machines[J]. Pattern Recognition Letters, 2006(27): 1397-1404.

[4] HERIC Dusan, ZAZULA Damjan. Combined edge detection using wavelet transform and signal registration[J]. Image and Vision Computing, 2007,25(5): 652-662.

[5] BENTOUTOUA Y, TALEBB N, KPALMAC K, et al. A Feature-based approach to automated registration of remotely sensed images[C]// Proceedings of 2006 2nd International Conference on Information and Communication Technologies. New York: IEEE, 2006.

[6] THUNUGUNTLA Saikiran S, GUNTURK Bahadir K. Feature-based image registration in log-polar domain[C]// Proceedings of ICASSP’05. New York: IEEE, 2005.

版权声明

凡稿件被本刊录用，即视为作者同意将该论文的复制权、发行权、信息网络传播权、翻译权、汇编权等权利在全世界范围内转让给本刊。本刊已许可中文科技期刊数据库(维普)、万方数据数字化期刊群和中国知网(中国学术期刊(光盘版)电子杂志社)在其各自的系列数据库产品中以数字化方式复制、汇编、发行及在信息网络传播本刊全文。作者著作权使用费和稿酬一并支付(即包括印刷版、光盘版和网络版各种使用方式的报酬)。如作者对本声明持有异议，请在投稿时说明。

本刊编辑部

ImageRegistrationBasedonFeature

CHEN Danqi1, ZHAO Di2

(1 Shanghai Electro-mechanical Engineering Institute, Shanghai 201000, China; 2 Shanghai Institute of Satellite Engineering, Shanghai 201000, China)

Image registration is a process of matching and superimposing two or more images obtained under different conditions (time, sensing equipment, climate, angle, etc. ). Typically, each registration technique is specific to a particular class of application, with some limitations. An fusion image registration algorithm based on feature is presented in this thesis. Firstly, the corner detection method is combined with wavelet transform and USAN regional features. Then, the feature points are matched by cross correlation and RANSAC(Random Sample Consensus). Finally, the thin-plate spline algorithm is adopted. This method can make up for the shortcomings of different registration methods to improve the accuracy. Through experiments on a large number of images, such as characters and scenes, it is proved that the algorithm has good registration accuracy, environmental adaptability and real-time.

fusion; image registration; corner; feature points matching

TP751;TP391.41

A

2016-07-28

陈丹淇(1986-),女,内蒙古扎兰屯人,工程师,硕士,研究方向:图像与语音处理。