基于图像特征的傅里叶梅林变换在图像配准中的应用*

李傲梅 姜万里

(解放军陆军军官学院 合肥 230000)

基于图像特征的傅里叶梅林变换在图像配准中的应用*

李傲梅 姜万里

(解放军陆军军官学院 合肥 230000)

针对相位相关法配准平移旋转的图像具有明显误差的问题,论文中提出了一种基于图像特征进行傅里叶梅林变换,实现对存在平移旋转的图像进行配准的方法。首先对待配准图像和模板图像进行梯度信息提取、二值化、腐蚀、膨胀等运算;然后,将图像的形态学中心平移到视场中心,并对其进行极坐标变换;最后,根据傅里叶梅林变换特性,得到图像的旋转角度。实验结果表明,该方法对存在平移旋转的图像具有很好的配准特性。

相位相关法; 极坐标变换; 条形码; 傅里叶梅林变换

1 引言

图像配准技术一般分为两大类:基于灰度的方法和基于特征的方法。基于灰度的方法大都采用互相关技术和傅里叶变换技术来实现。直接相位相关配准法是基于灰度的一种常用方法,即采用傅里叶变换技术来实现,主要针对存在平移的图像进行配准;结合对数极坐标变换的相位相关法是另外一种常用方法,主要针对存在缩放和旋转的图像进行配准,而对存在平移和缩放或平移和旋转的图像的配准具有明显的误差[1]。基于特征的方法,则通过提取图像特征进行匹配,该方法更适合对不同波段和不同传感器得到的图像进行配准。基于特征的方法主要有以下步骤:图像特征提取、图像特征匹配、选取合适的变换模型、求解模型参数、插值等,其中图像特征提取和图像特征配准是基于特征的方法的两个难点[1～3]。

在对产品进行检测时,获取的图像总会存在着平移和旋转,单纯采用基于灰度的配准方法,会产生很大的检测误差,所以本文以条形码图像为例,提出了基于图像特征的傅里叶梅林变换,可以有效解决图像存在平移和旋转的配准问题。

2 算法分析

2.1 梅林变换原理

梅林变换具有的一个重要性质就是尺度变换不变性[4],即函数f(t)和尺度变换后的f(at)经过梅林变换后保持不变,连续信号f(t)的梅林变换为

(1)

令t=Tex,则

(2)

对于f(kt)，则

(3)

令y=x+lnk,则

(4)

可知当a=0,即z取虚数时,则|M(z)|=|M′(z)|,证明了梅林变换的尺度不变性。

定义图像f(x,y)的梅林变换为

(5)

可知,梅林变换的一个典型的例子是,将笛卡尔坐标变换到极坐标,再进行傅里叶变换,也就具有了梅林变换的尺度不变性[5]。

2.2 图像特征

一方面,工业拍摄得到的空间图像存在旋转，对目标图像的配准具有一定影响;另一方面,在频域中,由于图像存在平移,对选择图像的配准中心位置造成很大影响。而对于条形码图像,将其所在区域的像素值赋值为1,其余位置为0(理想状态),然后求出其形态学中心,再对中心点位置进行平移到视场中心(该视场是将模板图像和待测图像变换为相同尺寸后的图像视场),就可以很有效地消除图像平移对配准的影响。然后将待测图像和模板图像在频域进行比较,进而得出其旋转系数。其具体判断条形码所在区域步骤如下:

1) 从磁盘载入图像,并将其变化为灰度图f(i,j);

2) 构造灰度图f(i,j)在水平和竖直方向上的梯度幅值表示;

3) 将x-gradient的平方值加上y-gradient的平方值,然后开平方赋值给灰度图f(i,j);

4) 使用9×9的均值滤波,对得到的灰度图f(i,j)进行平均模糊,进而平滑梯度表征的图像中的高频噪声；

5) 对模糊化后的图像进行二值化,梯度图f(i,j)中任何小于225的像素设为0(黑色),其余的设为255(白色);

6) 选择一个正方形的形态学结构元,对其进行多次腐蚀和膨胀运算。图1是对上述步骤演示结果。

图1 条形码处理过程图

2.3 基于极坐标的傅里叶梅林变换

2.3.1 极坐标变换

图2 经过移中处理后的极坐标变换

2.3.2 相位相关法

设两幅图像f1(x,y)和f2(x,y)之间只存在平移关系,即f2(x,y)=f1(x+x0,y+y0)，则根据傅里叶变换的特性,它们之间存在如下关系:

F2(u,v)=ejux0ejvy0F1(u,v)

(6)

则它们的互功率谱为

(7)

对式(7)进行傅里叶反变换,则得到δ(x-x0,y-y0)，可知反变换得到图像内的最大值点的横坐标是x方向上的平移标量,纵坐标是y方向的平移量。相位相关法就是利用上述的变换关系来确定平移参数的。可以看出反变换的结果是一个δ函数,即存在一个尖锐峰值的函数,所以能实现图像间的精确配准。当两幅图像存在相关关系时,则不会出现明显的峰值,而当两幅相关图像存在灰度差或者仅有灰度反转时,这种差别在检测结果中也只表现为在δ函数加一恒量,并不影响检测结果。

设定笛卡尔坐标下的图像f(x,y)变换到极坐标下的图像原点为(x0,y0),则得到下式

(8)

(9)

ρ代表极坐标系的极径,θ表示极角,(x0,y0)是变换中心。则图像f(x,y)在极坐标下表示为f(ρ,θ),所以当其仅存在旋转时,f2(ρ,θ)=f1(ρ,θ+θ0)。可以看出变换到极坐标后,再利用相位相关法就可以求出旋转角度[6～8]。

基于极坐标的相位相关法流程图如图3所示。

图3 相位相关法流程图

3 实验结果及分析

3.1 基于霍夫变换的图像配准

由图1可知,经过预处理之后可以很方便地找到最长的直线,然后通过直线斜率的对比,可得到图像的旋转系数,而不用考虑图像的平移参数。本文选择以霍夫直线变换对经过2.2节预处理后的图像进行配准,然后和本文提出的基于图像特征的傅里叶梅林变换方法进行对比。霍夫变换在模式识别领域中,是对二值图像进行直线检测的最有效的方法[8～10],如图4所示的图像空间的直线可表示为:

d=xcosθ+ysinθ,d≥0,0≤θ<π

(10)

式中d是直线相对于原点的距离,θ是直线与横轴的夹角,所以根据上式,就可以把图像空间的一条直线经过霍夫变换就可以得到一簇相交于一点的正弦曲线,显然经过寻找局部最大值就实现了最长直线的检测。

图4 霍夫直线检测

图5 霍夫变换预处理

图5中,第一列是参考图和待测图的原图,第二列是参考图和待测图经过2.2节中的处理过程得到的结果,第三列中的绿色的线是参考图和待测图经过霍夫变换寻找出的最长直线,从图中可以看出最长的直线和预测的最长直线一致。

图6 霍夫变换配难结果

图6是经过霍夫变换配准后的图像,(a)是参考图像,(b)是待测图像,(c)是配准后的图像,(d)是将配准结果与参考图拼接以后的图像。从图5中可以观测到,对于不同的旋转角度,得到的最长的直线具有不确定性,这就很难求出图像的旋转系数。对于条形码,霍夫变换可以很好地求出图像的旋转角度,但是当2.2节得到的预处理图像的边缘有很大畸变时,该方法就不具有矫正能力了。而本文提出的基于图像特征的傅里叶梅林变换方法可以很好地处理这一问题,具有很好的鲁棒性。

3.2 本文算法的图像配准

图7所示是经过基于图像特征的傅里叶梅林变换方法处理后得到的图像,(a)是参考图,(b)是待测图,(c)是对待测图配准以后的结果,(d)是将配准结果与参考图拼接以后的图像。

表1 实验数据

从表1和图8(白色是霍夫变换,黑色是基于图像特征的傅里叶梅林变换法)中可以看出,当图像的旋转角度在-25°～25°时,霍夫变换和基于极坐标点相位相关法可以很好地配准图像旋转角度,但当图像在这个区间之外,就会产生一定的配准误差(其中霍夫变换会出现3.1节中提出的误差),这与2.2节中采用的图像梯度选取的方向有关,本文选取的角度只是在横坐标和纵坐标求取,所以对于在-25°～25°之外的旋转角度,会存在较大的误差。另外,本文对于具有尺度变换的图像会产生很大的误差,这个产生的原因是对于不同尺度变换的图像,它的前期处理方法也不同,对于此类情况还需进一步改善。

图7 实验结果

图8 实验数据折线图

4 结语

当待检测图像存在平移旋转时,相位相关法不能进行有效的图像配准,而基于图像特征的傅里叶梅林变换法,可以很好地解决存在平移旋转图像的配准问题。实验表明本文提出的基于图像特征的傅里叶梅林变换法能够很好地配准具有旋转和平移的图像,并能检测出旋转角度,对于平移参数,则需要进行统一调整。该配准方法在图像旋转角度较大时,会产生一定的误差,这和条形码梯度的求取方法有很大关系,需要对算法做进一步的改进,使其具有更好的应用性。

[1] Kuglin C D. C.: The phase correlation image alignment method[C]// Proc.intl Conf.cybernetics & Society,2014:163-165.

[2] Chen Hua. A survey of the feature based image registration methods [J]. digital users, 2014: 263-272.

[3] Xu Y P, Tan J, Li H P, et al. Image Matching Based on Analysis of Reliability in Log-Polar Field[J]. Advanced Materials Research,2012,532-533:1131-1135.

[4] Lv Zhanwei, Deng Fourier transform (FMT) in the distortion invariant image recognition in the application of[J]. Applied optics,2009,30(5):783-786.

[5] Chen Fangmin, Li Xin Chi, Fu Ming, et al. Realization of image mosaic of Fourier transform algorithm based on MATLAB[J]. Journal of Capital Normal University(Natural Science Edition),2009(S1):48-51.

[6] Kuglin C D. C.: The phase correlation image alignment method[C]// Proc.intl Conf.cybernetics & Society,2014:163-165.

[7] Ya Li Gan, Tu Dan, Li Guohui. Based on phase gradient related to the automatic image registration method[J]. Microelectronics and computer,2007,24(7):1-3.

[8] Li Zhongke, Wu Lenan. An image registration method based on Hof transform and phase correlation[J]. Signal processing,2004,20(2):166-169.

[9] Mukhopadhyay P, Chaudhuri B B. A survey of Hough Transform[J]. Pattern Recognition,2014,48(3):993-1010.

[10] Sun Fengrong, Liu Jiren. Fast Hof transform algorithm[J]. Journal of computers,2001,24(10):1102-1109.

Application of Fourier-Merlin Transformation Based on Image Feature in Image Registration

LI Aomei JIANG Wanli

(Officer Academy of PLA, Hefei 230000)

Aiming at the problem that phase correlation registration translation and rotation of the image have obvious error, this paper presents a method based on image feature of Fourier-Mellin transform to correct the existence of translation and rotation of the image. Firstly, gradient information extraction、 binarization、 corrosion、 expansion and other operations are carried out to the image to be registered and the template image. Then, the morphological center of the image is translated to the center of the field of view, and the polar coordinate transformation is carried out. Finally, according to the characteristics of Fourier-Mellin transform, the rotation angle of the image is obtained. Experimental results show that the proposed method has good registration of property for the image with translation and rotation.

phase correlation, polar coordinate transformation, bar code, Fourier-Mellin transformation Class Number TP391.41

2016年10月5日,

2016年11月23日

李傲梅,女，博士，教授，研究方向：模式识别、图像处理与计算机视觉。姜万里，男，硕士研究生，研究方向：图像处理与计算机视觉。

TP391.41

10.3969/j.issn.1672-9722.2017.04.030