一种改进的ORB图像匹配算法

张磊 郑子健 张殿明 张泽仲

摘  要： 针对ORB特征匹配算法特征提取稳定性差，匹配精度低的问题，提出一种改进的ORB图像匹配方法。通过小波变换对图像预处理，利用自适应频谱抑制方法提取候选特征点集，再建立多尺度空间模型，筛选具有尺度不变性的精确特征点，并通过BRIEF算子生成特征描述子，最后使用Hamming距离进行特征匹配，完成配准。通过3组图像匹配实验对改进算法的有效性进行验证，实验结果表明，改进算法在兼顾 ORB实时性的同时，提高了匹配精度，改善了图像尺度变化较大时特征提取的稳定性。

关键词： ORB算法; 特征点提取; 图像匹配; 自适应频谱抑制; 多尺度空间模型; 特征匹配

中图分类号： TN911.73?34                         文献标识码： A                       文章编号： 1004?373X（2020）03?0027?04

An improved ORB image matching algorithm

ZHANG Lei1， ZHENG Zijian2， ZHANG Dianming2， ZHANG Zezhong1

（1. Hebei University of Technology， Tianjin 300132， China; 2. China Automotive Technology & Research Center Co.， Ltd.， Tianjin 300300， China）

Abstract： An improved ORB （oriented FAST and rotated BRIEF） image matching method is proposed to deal with the fact of poor feature extraction stability and low matching precision of the ORB algorithm. The image is preprocessed by wavelet transform， and the candidate feature point sets are extracted by adaptive spectrum suppression method. Then the multi?scale spatial model is created to select the precise feature points with scale invariance and the feature descriptors are generated by BRIEF operator. The Hamming distance is used for feature matching to complete registration. The effectiveness of the improved algorithm is verified by three groups of image matching experiments， which show that the improved algorithm improves the matching accuracy and perfects the feature extraction stability when the image scale changes greatly while taking the real?time property of ORB into account.

Keywords： ORB algorithm; feature point extraction; image matching; adaptive spectrum suppression; multi?scale space model; feature matching

0  引  言

随着计算机视觉技术的研究在国内外迅速发展，图像拼接技术作为计算机视觉重要组成部分也在不断地革新进步。目前图像拼接技术已在医用影像处理、全景视图、图像遥感技术等方面有较为成熟的应用[1?2]。在图像拼接技术研究不断深入的过程中，先后涌现出许多优秀的特征匹配算法。文献[3]基于原有的尺度及角度不变性检测方法的总结研究的基础上完善了尺度不变特征变换（Scale?Invariant Feature Transform，SIFT）算法;文献[4]提出了加速鲁棒特征（Speeded Up Robust Features，SURF）算法，大大加快了算法的运行速度;文献[5]提出了实时性能表现突出的ORB（Oriented FAST and Rotated BRIEF）算法，但ORB算法的缺点是图像匹配精度低，特征点提取稳定性差。本文为了解决ORB算法匹配精度低和特征点提取稳定性差的缺陷，结合小波变换自适应频谱抑制和多尺度空间提取精确特征点的方法，提出一种改进ORB算法的图像拼接方法。改进算法相比ORB算法，在保证实时性的前提下，改善了传统ORB特征点提取不稳定，特征点误匹配严重导致匹配精度低的问题，使其在不同的图像变换场景也能实现良好的拼接效果。

1  ORB图像匹配算法

1.1  特征点提取

ORB算法在提取特征点时采用FAST算法[6]快速检测特征点。通过对比某个像素点与其邻域内足够多像素点的灰度级来检测特征点，当该点的灰度级与其他点差值的绝对值大于设定阈值时，可视其为特征角点。为了使ORB特征描述子具有旋转不变性，需为特征点分配一个方向。主方向选取是利用灰度质心法实现的，即确定特征点邻域的像素矩，利用特征点到质心构造的向量来表示其主方向。

1.2  生成特征描述子

为了快速表示特征点邻域信息，ORB算法采用BRIEF算子进行特征点描述。通过对FAST算法提取的特征点周围邻域的[n]个点对进行灰度值比较，得到一个长度为[n]的二值码串描述[fnI]，如下式所示：

式中：[Ix]为特征点周围邻域比点对[x+μ，y+?]处的灰度值，[μ，?]为特征点在[x，y]方向上的偏移量;[n]为进行灰度比较的点对个数，一般[n]取256。

由特征点的主方向[θ]，可以得到特征点的旋转矩阵为[Rθ=cosθsinθ-sin θcos θ]。特征点邻域测试点对[xi，yi]可以构造一个2[×n]矩阵[S]，通过[Rθ]与[S]得到矩阵[S]的校正版本[Sθ=RθS]，这样就可以得到表示特征点方向信息，具有旋转不变性的特征描述子，如式（3）所示：

1.3  图像配准

考虑到BRIEF特征点描述子由一串二进制字符串表示，所以选取Hamming距离[7]表述特征距离，其优势在于仅需要计算两个字符串的不同字符数目即可，整个过程仅需1次按位异或计算，既可以极大地提高特征点匹配的速度，同时可以保证匹配效率。Hamming距离的大小可以表示特征点的相似程度，汉明距离越小越相似，对两个特征点描述子的汉明距离进行判断，当其小于设定阈值时，则认为匹配成功。

2  改进的ORB匹配算法

改进的ORB图像拼接方法流程如图1所示。主要内容可大致分为四部分：

1） 对待拼接图像预处理，进行一级小波变换分解，提取包含图像特征的子带图像，有效地去除图像中的无关信息;

2） 利用固定灰度阈值和非极大值抑制的方法对子带图像频谱特征进行处理，去除低响应特征点，保留高辨识度的特征点，提高了算法对图像高相似纹理的适应能力，得到候选特征点集;

3） 建立尺度空间，筛选候选特征点集中具有尺度不变性且精确稳定的ORB特征点;

4） 通过Hamming距离进行特征匹配。

2.1  基于小波变换的图像自适应频谱抑制

2.1.1  图像小波变换预处理

图像中的噪声成分主要集中在图像的高频信息中，通过小波变换对图像进行多层分解[8]既可以提取到图像的有用频谱信息，保留图像特征，又可以在特征提取阶段有效地降低噪声的干扰，提高后续处理的特征提取及匹配精度。因此，改進算法选取小波变换对原始图像进行一级小波分解处理，提取低频图像用于后续特征提取处理。考虑到图像分解后低频图像可提取特征点过少，无法保证图像匹配精度，所以改进算法采用Haar小波函数[9]对图像进行分解预处理。Haar小波是一种紧支集正交小波基函数，其数学定义为：

尺度函数为：

利用Haar小波函数分别对待拼接图像的行与列进行一级小波变换分解，得到图像的4个子带图像LL，HL，LH，HH，如图2所示。

选取反映水平和垂直轮廓特征的子图像分量HL和LH将其叠加，得到图像的水平和垂直方向上的频谱特征。

2.1.2  图像自适应频谱抑制

为了获得分布均匀且具有较好匹配性质的特征点，除剔除噪声角点干扰外，还要对子带图像的频谱特征进行抑制。从频域角度仅保留高辨识度的特征点，减少无效特征点，降低配准耗时，同时抑制误匹配的产生，提高拼接速度。所以改进算法采取固定阈值与局部非极大值抑制的方法对子带图像完成自适应筛选候选特征点，具体算法思想分为以下几步：

1） 根据小波函数定义的二元光滑函数，通过对其变量求导得到尺度[k]下的小波母函数，由小波母函数与图像函数的卷积运算可得到图像在尺度[k]下的水平及垂直方向上的小波变换系数;

2） 由水平方向和垂直方向上的小波系数求得小波梯度向量，向量的模表示该点的灰度强度;

3） 求局部模极大值，通过小波分解后选取的子带图像上的任一点与其周围邻域的梯度模值比较进行非极大值抑制，保留极大值点作为待定特征点;

4） 判断待定特征点的灰度值是否大于设定的固定灰度阈值，若大于设定阈值，记为候选特征点;否则，将该点剔除。

2.2  几何ORB特征提取

多尺度空间理论可以消除配准算法对尺度和方向的依赖性，实现稳定的特征匹配。几何ORB特征提取即建立图像的多尺度几何空间，检测图像在不同的尺度空间下的特征点位置，使特征点具有较好的尺度不变性，进一步提高特征点匹配稳定性。

1） 通过高斯核[Gx，y，δ]对原图像[Sx，y]进行尺度变换，得到不同尺度下的图像尺度函数[Lx，y，δ=Gx，y，δ×Sx，y]。由尺度函数建立高斯金字塔和高斯差分金字塔（DOG）[10]，DOG为相邻两尺度空间函数之差，表示为：

式中：[k]为同阶金字塔中相邻两层的尺度因子比例系数;[δ]为尺度因子。

2） 对应图像进行小波变换处理后得到候选特征点集，在DOG金字塔空间内进行极值点检测，寻找局部极值点。对得到的极值点进行检验，去除不稳定的边缘响应，得到精确极值点的位置和尺度，进一步提高特征匹配时的精度和稳定性。去除边缘极值点的方法为计算待检测极值点的主曲率比值，即该极值点Hessian矩阵[11]迹的平方与行列式的比值，将主曲率比值大于8的极值点剔除[12]。

3） 得到具有精确特征点后，结合上述ORB算法的特征描述和匹配方法完成特征匹配。利用灰度质心法求得特征点的主方向，通过BRIEF算子对特征点描述得到二值码串特征描述子，最终生成旋转不变性和尺度不变性的特征点进行Hamming距离特征匹配。

3  实验结果分析

为验证本文算法的有效性，随机选取自然场景下采集的图像数据进行实验，针对尺度变化情形验证了所提算法的适用性，并将所提算法与ORB，SIFT，SURF进行对比，定量分析了算法特征匹配性能。实验中，取小波变换阈值[ST=50]，匹配距离比阈值[α=0.85]。所有实验均在Windows 10 Intel[?] CoreTM i5?4590 CPU @3.3 GHz 16 GB RAM硬件环境中，Matlab 8.5和Visual Studio 2013软件环境中混合编程得到。

3.1  实验1：尺度不变性匹配结果对比

为了验证在图像尺度发生较大变化时，本文算法对ORB特征点尺度不变性缺陷的改进效果，实验1随机选取了一组尺度存在较大变化的图像进行尺度不变性特征匹配对比实验，匹配实验结果如图3所示。

由图3a）可知，ORB算法提取特征点时检测到大量特征点，但不具有尺度不变的性质，所以ORB匹配结果中出现了大量一对多的误匹配现象，如文字部分的出版社和英文等内容全部匹配错误，图片部分也与文字进行了误匹配，而使用改进算法进行特征匹配时，特征点基本正确匹配。对比图3a），图3b）结果可知，当图像尺度发生较大变化时，改进算法可以稳定提取到具有尺度不变性的特征点，并取得较好的匹配效果，有效地抑制了误匹配的情况。

3.2  实验2：特征匹配结果对比

为进一步验证本文所提算法的有效性，定量分析所提算法的匹配效果，随机选取不同形变程度的4组图像，并利用本文算法、ORB算法、经典的SIFT算法及SURF算法进行匹配实验。表1和表2分别统计了4种算法在不同图像上提取的特征数量、特征提取时间。选取其中一组作为实验图像，如图4所示，本文算法特征匹配效果如图5所示，图6为各算法匹配点对数对比。

由提取的特征数量和图5的匹配点对数来看，改进后的ORB算法比原始ORB算法提取的特征点数少，特征提取时间有所增加，但其正确匹配的特征点对数较原始ORB多，解决了ORB算法特征匹配时一对多的问题，抑制了大量误匹配，匹配精度较高。改进后算法提取特征点平均耗时为0.234 s，用时约为SIFT算法的[1100]，同时也低于SURF算法。实验结果表明，改进后的算法具有更高的匹配精度，且其特征提取效率较高，并保证了算法实时性的优势。

3.3  实验3：自然场景图像拼接

为了验证本文算法对图像拼接效果的改善及算法的可行性，对图4所示的947×434，940×429待拼接图像进行拼接实验，拼接结果如图7所示。

从图7可以看到：利用本文算法获得的拼接图像结构清晰，局部细节对齐精准，同时，整个匹配过程耗时分别为0.532 641 s，因此，本文算法匹配效率快，同时具有较高的匹配精度。

4  结  论

本文提出了一种结合自适应频谱抑制的小波变换和多尺度空间思想的改进ORB算法，在保证原算法实时性的优越性下，通过对特征提取阶段的改进提高了特征的表达能力，抑制了大量误匹配点对，改善了原ORB算法匹配精度低和特征点提取稳定性差的问题。最后通过3组图像匹配实验证明了改进算法的有效性和可行性。

参考文献

[1] 刘增峰，杨俊.SIFT、ORB及KAZE算法的分析和比较[J].江西科学，2017，35（6）：952?955.

[2] ZHUO L， ZHEN G， ZHANG J， et al. ORB feature based web pornographic image recognition [J]. Neurocomputing， 2016， 173： 511?517.

[3] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[4] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features （SURF） [J]. Computer vision and image understan?ding， 2008， 110（3）： 346?359.

[5] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. Barcelona， Spain： IEEE， 2011： 2564?2571.

[6] 公维思，周绍磊，吴修振，等.基于改进FAST特征检测的ORB?SLAM方法[J].现代电子技术，2018，41（6）：53?56.

[7] KIM J， KANG M， ISLAM M S， et al. A fast and energy?efficient Hamming decoder for software?defined radio using graphics processing units [J]. The journal of supercomputing， 2015， 71（7）： 2454?2472.

[8] NISKANEN K. Multi?scale spatial analysis of Neolithic pictographs at Astuvansalmi， Finland [J]. Quaternary international， 2018， 491： 146?158.

[9] 刘娜，田大为.基于小波变换的图像融合算法研究[J].现代电子技术，2018，41（7）：71?74.

[10] 张旭勃，王军锋，杨永永，等.基于小波变换的图像拼接算法[J].计算机仿真，2011，28（10）：219?222.

[11] 杜京义，胡益民，刘宇程.基于区域分块的SIFT图像匹配技术研究与实现[J].光电工程，2013，40（8）：52?58.

[12] 单宝明，胥喜龙.一种结合ORB算法的SIFT图像配准算法[J].工业仪表与自动化装置，2017（2）：27?30.