基于改进ORB算法的近红外和可见光图像特征匹配方法

杨金玲，曹先革, 王霞迎, 万 伟

(1.东华理工大学 测绘工程学院, 南昌 330013; 2.东华理工大学 高等教育研究与评估中心, 南昌 330013)

在图像信息处理方面，综合利用多传感器图像信息进行数据的挖掘和信息的分析是一项重要而又富有挑战的工作。多传感器提供的图像信息与单一传感器相比，具有可靠性、冗余性、互补性等特点，能够为研究对象提供更多的细节信息。近红外传感器和可见光传感器是两种最常见的图像源，近红外图像与可见光图像的融合既可以获得较高的空间分辨率、清晰的地物特征，又可以保留近红外图像所携带的区域场景的反射辐射信息，被广泛地应用在图像融合[1-2]、遥感[3]、图像增强[4]、监视[5]、目标识别跟踪[6-7]等领域。

由于记录地物信息谱段的差异，近红外图像与可见光图像中的像素强度一般没有直接关系，呈现较为复杂的灰度差异，因此两幅图像中同名特征点提取和匹配具有一定的难度。针对图像特征匹配，众多学者进行了大量的研究，提出了不同的匹配算法[2,7-9]。其中，近红外与可见光图像的匹配方法通常分为两类：基于区域的匹配和基于特征的匹配，其中基于特征的匹配算法在该领域使用较为普遍。然而，如何进一步改善基于特征的匹配算法对近红外图像与可见光图像的匹配效果，仍然是需要攻克的关键问题之一。

文中在分析近红外图像与可见光图像共有特征信息的基础上，充分顾及图像特征信息和同名点分布情况，基于文献[10]的ORB算法提出了一种改进的近红外和可见光图像特征匹配方法。首先通过引入BRISK算法思想[11]进行图像尺度空间的构建，以使图像具有尺度信息；然后采用FAST9-16获取特征点，其中c0层为特例，需采用FAST5-8获取特征点；第三步，利用灰度质心法进行特征点方向的确定；第四步，构造向量，利用rBrief描述子描述特征；第五步，利用hamming距离进行匹配，最后采用渐进采样一致性算法进行误匹配的剔除，最终实现可见光与近红外图像特征的匹配。

1 改进算法简介

1.1 尺度空间构建

尺度不变性对高质量关键点的提取至关重要，为增强算法的尺度不变性，本算法首先进行尺度空间的构建。受文献[11]BRISK算法的启示，尺度空间金字塔层由2n层的金字塔组成，包括n个普通层图像octavesci和n个内层图像intra-octavesdi，其中i={0,1,…,n-1}。

每个普通层图像octavesci是通过对原始图像(即图像c0)不断进行两倍下采样而形成的。每个内层图像intra-octavedi位于层ci和ci+1之间(如图1所示)[11]。第一个内层图像intra-octaved0是通过对原始图像(即图像c0)进行1.5倍的下采样来获得的，而其余的内层图像intra-octavedi则是通过连续的两倍下采样来获得的。

图1 尺度空间构建

1.2 特征点探测与插值

特征点探测时，首先利用FAST 9-16检测算子以相同的阈值T分别在普通层图像octave和内层图像intra-octave上识别潜在的感兴趣区域。其次，在尺度空间中对属于这些区域的点进行非极大值抑制筛选响应较强的角点：即在同层的8邻域中FAST得分S最大的点为特征点，同时该点还需要满足在相邻的上下两层中得分值S尽量小。由于相邻层即intra-octave和octave是由不同的形式离散表示的，所以在邻域边界上需要进行插值。

上述2n层金字塔构成的是一个离散的尺度空间，由于图像的显著性实际上是连续的，因此还需要对粗筛选出的特征点进行子像素和尺度上的进一步插值。可利用最小二乘法对特征点坐标进行x,y方向的二维二次插值,得到修正后的子像素位置，然后如图1所示在尺度方向上进行抛物线插值，以得到极值点所在尺度，并用这个尺度根据上下层极值点与关键点位置的偏移量再次对特征点位置进行二次修正，并把这个位置作为特征点的最终位置。在插值过程中，为避免重采样文中采用3×3的得分patch插值图像的坐标及最终尺度。图1描述了下采样和极大值搜索的示例。

1.3 特征点描述

1)特征点的方向。灰度质心方法[12]是一种简单有效的特征点方向检测算法，其原理为：设某特征点所在图像块灰度质心为C，图像块的几何中心为O，若C与O不重合则以向量OC作为特征点的方向。描述步骤如下。

首先，定义图像块的矩mpq：

(1)

式中：I(x,y)为图像的灰度值x,y∈[-r,r]，r为特征点领域s的半径。

然后，根据图像块的距计算质心C：

(2)

第三步，构建一个从几何中心O到质心C的向量OC)。

特征点的方向可以简化为：

θ=atan2(m01,m10).

(3)

至此，每个关键点都确定了主方向，具有了旋转不变性。

2)特征点的描述。BRIEF特征描述子[13]是对由一系列二值灰度测试构成的图像区块的二进制字符串进行描述。对于平滑图像区块p，定义一个二值测试函数τ：

(4)

其中p(x)是平滑后图像领域p在点x的灰度值。特征点被定义为n个二值测试的矢量：

(5)

n可以取值128、256、512等。由于BRIEF描述子对噪声敏感，因此二值测试前需要对图像进行平滑，根据文献[10]对选择平滑窗口的建议，文中在31×31的图像块上以5×5的子窗口对图像进行平滑。

3)转向BRIEF的计算。当图像平面旋转过大时，BRIEF匹配性能随之下降。Calonder[13]提出为每个图像区块的每一组旋转和透视变形分别计算一个BRIEF特征描述，但是这个解决方法计算代价太大。一个更加有效的方法是根据关键点的旋转情况来调整BRIEF方向。对于点(xi,yi)上n个二值测试中任意特征集合，定义一个2×n矩阵：

(6)

用图像块的旋转角θ和相应的旋转矩阵Rθ，可构造一个S的“转向”版本Sθ：

Sθ=RθS,

(7)

那么转向BRIEF就变成：

gn(p,θ):=fn(p)|(xi,yi)∈Sθ.

(8)

得到Steered BRIEF后，执行一个贪婪搜索选择相关性最低的n个像素块对，即得到最终的rBRIEF描述子。

1.4 特征匹配

利用rBRIEF计算另一幅图像中特征点描述子，并将其与第一幅图像中特征点进行匹配，获得最佳匹配对，并记录对应的汉明距离。

遍历第二幅图像中所有特征点Qn；首先，将Qn与第一幅图像中所有聚类的中心点Pc,i进行匹配。即用dist(Pn,Pc,i)=Pn⊕Pc,i；i=1,2,…,k，计算Qn与聚类中心点的汉明距离。如果与中心点Pc,i计算的汉明距离符合设定阈值，则可得最佳匹配的聚类中心点Pc,i，然后再与该聚类下的其他特征点进行匹配，计算汉明距离，并取得最佳匹配; 如果与中心点Pc,i计算汉明距离超出设定阈值，则舍弃该匹配点; 匹配结束后，记录匹配结果C：

C={matchi(P,Q,dist)|i=1,2,3,…,n}.

(9)

式中：C为最终取得的匹配点集合；n为最终取得匹配的特征点的个数；dist为每对匹配点之间的汉明距离，汉明距离越小，证明匹配精度越高。

1.5 基于渐进采样一致性算法剔除误匹配

在误匹配剔除方面，RANSAC算法是应用最广泛的稳健估计方法，但是该方法依赖于预先定义的参数化模型，当图像存在非刚性变换或误匹配较多时，该模型会退化；并且该算法等价的看待所有匹配对，不进行任何区分就进行随机采样，缺乏针对性。

Chum等人对RANSAC方法进行改进，提出了渐进采样一致性算法[14]。

原理如下：设假定匹配对为N个，数据集记作uN。

首先，利用评价函数q对匹配数据进行质量评价，记作q(ui)，并对数据进行降序排列，即若i

然后，在评价函数值最高的匹配数据子集M(M⊂uN)中进行随机采样获得假设模型，并利用所有匹配对进行验证；数据集M可根据验证结果的需要逐渐增大，因此在该方法中采样数据集不容易被误匹配影响；

最后，当uN中内点数In*满足非随机性和极大值策略时停止“采样-验证”循环。非随机性是指：n*个数据的内点In*恰好也是某一个错误模型内点的概率小于阈值ψ(通常设为5%)。极大值策略是指：给定概率阈值η0(通常设为5%)，k为n*个数据中的采样次数，其需要满足：

kn*(η0)≥log(η0)/log(1-PIn*).

(10)

2 实验与分析

2.1 运行环境与数据简介

实验采用的运行环境为Intel(R)Core(TM)i7-5500U CPU @ 2.4GHz，8G内存，64位操作系统的PC机，以VS2017和Opencv4.4.0作为主要实验平台。

研究区域位于纽约哈姆林海滩州立公园，实验数据为RIT-18数据集，数据大小约3G，由搭载在DJI-1000直升机上的Tetracam Micro-MCA6多波段传感器获取[15]。数据包括3个通道的近红外图像和包含R、G、B等3个通道的可见光图像。本研究从整幅图像中选取了具有代表性的区域(大小：640像素×857像素)进行近红外和可见光数据匹配实验。

2.2 结果与分析

为评估改进算法的性能，文中采用文献[16]中的假定匹配率(Putative Match Ratio)、精度(Precision)、匹配得分(Match Score)3个指标对算法进行评定。

基于改进算法探测出的特征点分布情况和特征点匹配结果如图2和图3所示，基于ORB算法探测出的特征点分布情况和特征点匹配结果如图4和图5所示。改进算法和ORB算法特征识别和匹配结果统计数据见表1。当可见光图像尺寸缩小10%后，基于改进算法的特征匹配结果见图6。

图2 改进算法特征点探测结果(左：近红外，右：可见光)

图3 改进算法特征点匹配结果(左：粗匹配，右：精匹配)

图4 ORB算法特征点探测结果(左：近红外，右：可见光)

在误匹配点对剔除阶段，针对经典的RANSAC算法等价的看待所有匹配点对，随机选择点对估算单应矩阵参数的情况，文中采用一种半随机的方式进行点对的选择，即首先对匹配点对的质量进行评价并排序，然后采取逐渐增大采样点对的策略进行点对的选择，有效改善了误匹配剔除性能。由于算法每次特征识别和匹配用时均有一定幅度的变化，因此文中取算法10次运算所用时间的平均值作为渐进采样一致性算法和RANSAC算法的用时，算法运行时间和正确匹配点对数见表2。

表1 基于改进算法和ORB算法的特征识别与匹配结果

图5 ORB算法匹配结果(左：粗匹配，右：精匹配)

图6 基于改进算法的图像尺度变化特征匹配结果

表2 渐进采样一致性算法和RANSAC算法用时

3 结果分析

1)从图2和图4特征点探测结果的对比分析可知，改进算法在近红外图像和可见光图像中均能够有效探测出特征点；与ORB算法相比，文中提出的改进算法性能明显，并且探测出的特征点分布相对均匀。在道路和草地区域内(边缘除外)，由于图像对比度差，像素趋于同质化，两种算法探测出的特征点数均趋近于零。

2)从表1可知，改进算法在近红外图像和可见光图像中分别探测出特征点9 212个和6 961个，ORB算法在近红外图像和可见光图像中分别探测出特征点506个和522个。与ORB算法相比，改进算法在近红外图像中探测出的特征点个数提升了17.21倍，在可见光图像中探测出的特征点个数提升了12.34倍，假定匹配率减少了0.14%，匹配得分提高了5.2%。

3)从表1可知，改进算法获得粗匹配点对2 576对，正确点对844对，匹配精度为32.76%，ORB算法获得粗匹配点对188对，正确点对35对，匹配精度18.62%。与ORB算法相比，改进算法匹配精度提高了14.14%。改进算法最终得到的正确点对数提升了23.11倍，可见本算法在近红外和可见光图像特征点识别和匹配方面具有明显优势。

4)从表2可知，与经典RANSAC算法相比，基于渐进采样一致性算法的误匹配点对剔除方法在近红外和可见光图像特征识别和匹配过程中总体时间减少了14%，最终匹配的点对仅减少了0.35%。

5)如图6所示，当图像尺寸发生变化时(缩小10%)，改进算法能够有效克服尺度变化带来的影响。在图中，改进算法在近红外图像中探测出特征点9 212个，在可见光图像中探测出特征点5 620个，其中粗匹配点对2 122个，正确点对614个，匹配精度为28.93%。

4 结束语

近红外和可见光图像成像原理不同，针对同一场景获取的图像灰度差异大，图像误匹配多。为进一步改善基于特征的匹配算法对近红外图像与可见光图像的匹配效果，文中提出了一种改进的算法，该算法在初始阶段通过引入BRISK算法思想进行图像金字塔的设计，使图像具备了尺度不变性；在误匹配剔除阶段针对传统RANSAC算法等价看待所有匹配点对的不足之处，文中通过采用对匹配点对质量评价、逐渐增大采样点对等方式计算单应矩阵进而剔除误匹配。实验证明，文中提出的改进算法，增加了提取特征点的鲁棒性，显著提高了特征点探测的数量，与ORB算法相比，在Putative Match Ratio、Precision和Match Score方面均得到了明显提高。采用渐进采样一致性算法进行误匹配点对的剔除，有效减少了特征匹配的时间，提高了算法的效率。