基于Gaussian-Hermite矩的图像局部特征描述与匹配研究

张朝鑫， 席 平

（北京航空航天大学机械工程及自动化学院，北京 100191）

图像局部特征描述是图像处理与计算机视觉领域的研究热点[1-3]。图像局部特征描述是指用一定的方法描述图像特征点周围一片区域的特征信息。描述方法要使得相同特征或相同场景的描述尽可能的一致，而不同的特征或不同场景的描述差异性尽可能的大。近几年，有很多图像的特征描述方法被提出。这些方法主要可以分为三类：基于滤波的方法[4-5]、基于矩的方法[6-7]与基于像素分布的方法[8-9]。其中基于像素分布的方法被应用较多，尤其是 SIFT[10]与形状上下文[11]。Chen和Sun[6]认为基于Zernike矩的描述子同样具有很强的特征描述能力，甚至在一些条件下比SIFT还优秀。但是Zernike矩也有一些缺点，由于Zernike矩中存在阶乘运算，因此在计算Zernike矩变得耗时，达不到实时性需求，另外Zernike描述子使用较高阶的矩，数字稳定性较差。

本文提出一种基于多尺度的Gaussian-Hermite(GH)矩的特征描述方法。首先使用GH矩的旋转不变矩，解决了相同场景的图像因为旋转计算结果不一致性的问题。其次，由于GH矩中存在尺度因子，同时尺度因子的选择并不影响旋转不变矩的旋转不变性，选用多个尺度因子进行计算，提出多尺度的GH矩描述子。最后通过实例与现有的方法，包括 SIFT与Zernike，进行了详细的评估比较。比较结果表明，基于GH矩的描述子具有更强的特征表述能力。

1 GH矩及其不变矩

1.1 GH矩

给定图像函数f（x,y），GH矩的定义：

其中，Φm,n（x, y ;σ）为GH矩的基函数：

其中，m和n是非负整数，Hm（x）和Hn（x）分别是m次和n次Hermite多项式。

图1给出了GH矩前5阶矩的基函数的灰度图像。

图1 GH矩的前5阶矩的基函数

由定义可知，GH矩是由图1中GH矩的基函数与图像进行卷积运算得到。

1.2 离散形式

GH 矩是定义在连续区间(-∞,∞)上的。GH矩中存在尺度因子σ，在计算矩之前应先设定好大小。对于不同大小的图像，为了更方便设定尺度因子，应把图像坐标转换到一个固定的区间里。因此，根据通常的使用习惯选择区间[-1,1]，即，对于一个定义在区间[0≤i ,j≤K-1]上的数据图像I（i,j），图像坐标首先通过下面的公式进行转换：

那么，定义在图像I（i, j）上m+n阶的GH矩就可以通过以下公式计算：

1.3 旋转不变矩

所谓旋转不变矩是指图像旋转任意一个角度后，计算得到的矩的值与旋转之前是一致的。为了推导旋转不变矩，应把GH矩推广到极坐标下，定义Polar-Gaussian-Hermite(PGH)矩为[12]：

其中基函数定义为：

其中，Bp,q（r）是一组多项式，称为Polar-Hermite多项式。具有以下递推关系：

对角多项式的递推关系：

PGH矩与GH矩有以下关系：

给定矩的阶数，由式(9)和式(10)可以推导了GH矩的旋转不变矩的独立完备集，如果出现复数矩，实数部分与虚数部分分开，各自组成旋转不变矩。其中5阶矩以下的不变矩共18个。以下给出2阶与3阶的旋转不变矩的形式，共6个。

2 基于GH矩的图像局部特征描述方法

2.1 尺度因子与旋转不变矩

由式(4)，GH 矩中有一个尺度因子σ，在计算之前应设定好尺度因子的大小。尺度因子的选择会不会影响旋转不变矩的旋转不变性呢？下面通过计算一对旋转图像的不变矩分析尺度因子与旋转不变性的关系。

如图2所示，为“大猩猩”原图与其旋转45°后的图像。尺度因子大小以 0.01为单位从 0.03增加到1.43，分别计算两幅图像的前5阶18个旋转不变矩，得到的两幅图像旋转不变矩的比值随尺度因子的变化规律记录在图3中。

图2 “大猩猩”原图与旋转45°后的图像

图3 不同尺度因子对18个旋转不变矩的影响

从图中可以看出，随着尺度因子由小到大变化，两幅图像旋转不变矩的比值基本稳定在1左右，但是同时会出现波动，甚至在特定的尺度因子下会出现较大幅度的跳动。通过分析，出现波动现象是由于数字图像是离散的所造成的误差；而出现某个特定的尺度因子下较大范围的跳动，是由于在计算不变矩过程中，多项式乘积的其中一项出现无限接近0值造成较大的位数损失。除了这些由计算机与离散化造成的误差外，可以得出以下结论：尺度的大小不影响GH矩旋转不变矩的旋转不变性。

2.2 GHM描述子

首先，与Zernike矩需进行阶乘运算相比，GH矩计算相对简单，能满足实时性要求；其次，由上节分析，尺度因子选择不影响GH矩旋转不变矩的旋转不变性，因此可以选择低阶矩，每个不变矩选择多个度因子，来构成描述子，解决高阶矩相对噪声不稳定的问题；再次，GH矩是正交矩，具有很强的特征描述能力。基于这些优点，设计基于 GH矩的图像局部特征描述子，称为GHM描述子。

为了避免高阶矩的数字稳定性差，选择5阶矩以下的旋转不变矩，共 18个，然后，对每一个不变矩选择7个不同大小的尺度因子，那么一共可以组成18×7共128维向量的描述子。这就组成了基于GHM矩的描述子。

GHM描述子的具体构造方法可以概括为：

（1）选择7个尺度因子，分别为：σ=0.1,0.2,0.4,0.6,0.8,1.0,1.2；

（2）使用式(4)计算图像前5阶的GH矩；

（3）计算18个旋转不变矩，由于每个旋转不变矩有7个尺度因子，共得到128维的向量：

这128维向量V即为图像的GHM描述子。

通过分析，GHM描述子具有以下优点：

（1）实现过程简单，计算时间快；

（2）因为使用低阶矩，对噪声相对不敏感；

（3）正交矩，描述能力强。

用GHM描述子计算得到特征向量之后，可以用欧式距离进行特征点之间的比较。距离最小或小于一定的阈值，认为是正确的匹配，即表示相同特征。欧式距离公式为：

3 实例分析

本节将通过实例评估所提出的描述子与现有的描述子的特征表述能力。参与评估的描述子有：SIFT、基于Zernike的描述子ZM、复数矩(complex filter)、形状上下文(shape context)。主要从以下几个方面来评估：图片的不同光学变化（模糊、光照、JPEG压缩）与不同的几何形变（旋转、缩放、平移、视角变换）。如图4，5种不同变换的图像用于评估，图像的来源是文献[13]。评估之前，需要选择一种合适的特征点检测方法，先从图像中检测出相同的特征点与特征点周围相关区域，从而再用 5种不同的描述子来计算特征向量。本实例选择 MSER特征点检测方法。

图4 5种不同变换的图像

3.1 效果评估方法

我们用正确率-完整率（precision-recall，PR）曲线来评估最后的匹配效果。其中正确率是指正确的匹配个数与所有匹配个数的比值，那么对应的错误率为：

完整率是指正确的匹配个数与所有应该匹配的个数，即：

如图5所示，描述了PR曲线的产生过程。假设两张图像上分别提取M与N个特征点，那么这两幅图像之间将有M×N个匹配对。在这些匹配对中，其中有一些是正确的匹配（图中用圆表示），另一些是错误的匹配（图中用方形表示），按匹配对之间的距离大小排列开来，即图中的横轴代表匹配对之间的距离，则有一部分区域是正确匹配对与错误匹配对重叠的区域。当所设定的距离阈值Dt从 Dmin开始逐渐增大，正确的匹配对逐渐多起来，当碰到错误匹配对后，错误率从0逐渐增大，当距离阈值到达Dmax的时候，错误率趋近于1。注意到，错误率整体是递增的，但在刚开始阶段，错误率有可能降低。完整率是从0单调递增的，当距离阈值到达所有应该匹配数后，完整率为1。

图5 PR曲线产生过程

3.2 实例结果分析

本实例对比了5种状态下的GHM描述子的匹配效果。①模糊，图像的模糊来自相机聚焦的不同，图6(a)给出了图4(a)图像模糊情况下5种描述子的PR曲线，从图可以看出，GHM的曲线比其他曲线要高，即匹配效果更好。②JPEG压缩，图6(b)给出了图4(b)中在JPEG图像压缩后的5种描述子的PR曲线，从图中可以看出，匹配效果最好的是ZM描述子，其次是GHM与复数矩。在JPEG压缩的情况下，基于矩的方法普遍比其他两种方法要优秀。③光照变化，图4(c)是两张在不同光照条件下拍摄的图片，图6(c)给出了5种不同描述子的匹配效果，从图中看来，SIFT，GHM，ZM 三种描述子表现基本相当。④不同视角，图4(d)是一对相同场景但是从不同角度拍摄的图像，图6(d)给出了5种描述子的PR曲线，从曲线可以看出，GHM描述子表现最为优秀，错误率在0.2以下的完整率是最高的，而ZM表现非常一般。⑤旋转与缩放，图 4(e)是一对经过旋转并缩放的图像，图 6(e)是 5种描述子的匹配结果，从结果可以看出，GHM描述子依旧是表现最有优秀，完整率始终都是处在最高的位置，其次是SIFT，而ZM表现一般。

从5种不同情况的图像匹配结果可以看出，所提出的GHM描述子表现非常出色，在5种不同变换情况下匹配效果都处在前列，甚至在一些情况下还超越了SIFT描述子。实例结果体现了GHM 描述子的优越性，具有非常强的特征描述能力。

4 结 论

本文详细介绍了GH矩及其旋转不变矩，提出了基于GH矩的旋转不变矩的图像局部特征描述方法。并且通过实例与现有的方法进行详细的比较，实例结果表明，基于GH矩的图像特征描述方法与现有的方法相比具有更强的图像特征表述能力。

图6 不同图像对匹配结果

[1] Yang Xin,Cheng Kuangting. Local difference binary for ultra-fast and distinctive feature description [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,36(1): 188-194.

[2] Miksik O,Mikolajczyk K. Evaluation of local detectors and descriptors for fast feature matching[C]//Recognition(ICPR). Pattern 2012 21st International Conference on Pattern Recognition (ICPR). Tsukuba,Japan,2012: 2681-2684.

[3] Mikolajczyk K,Schmid C. A performance evaluation of local descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

[4] Freeman W T,Adelson E H. The design and use of steerable filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(9):891-906.

[5] Schaffalitzky F,Zisserman A. Multi-view matching for unordered image sets,or “How do I organize my holiday snaps?”[J]. Computer Vision,2002,2350:414-431.

[6] Chen Zen,Sun Shukuo. A zernike moment phase-based descriptor for local image representation and matching [J].IEEE Transactions on Image Processing,2010,19(1):205-219.

[7] Papakostas G A,Koulouriotis D E,Karakasis E G,Tourassis V D. Moment-based local binary patterns: A novel descriptor for invariant pattern recognition applications [J]. Neurocomputing,2013,99:358-371.

[8] Bay H,Tuytelaars T,Van Gool L. Surf: Speeded up robust features [J]. Computer Vision,2006,3951:404-417.

[9] Van De Sande K E,Gevers T,Snoek C G. Evaluating color descriptors for object and scene recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9): 1582-1596.

[10] Lowe D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision,2004,60(2): 91-110.

[11] Belongie S,Malik J,Puzicha J. Shape matching and object recognition using shape contexts [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(4): 509-522.

[12] 张朝鑫,席 平,胡毕富. Gaussian-Hermite矩旋转不变矩的构建[J].北京航空航天大学学报,2014,40(9): 1000-1005.

[13] http://www.robots.ox.ac.uk/-vgg/research/affine/,2013-12-1.