基于SIFT/ORB几何约束的红外与可见光图像特征点匹配

奚绍礼，李 巍，谢俊峰，莫 凡

（1.辽宁科技大学 土木工程学院，辽宁 鞍山 114000；2.自然资源部国土卫星遥感应用中心，北京 100048）

0 引言

随着红外技术日趋成熟，联合红外图像的多源遥感应用已逐渐成为未来发展的趋势。红外图像与可见光图像记录信息的谱段不同，两者的匹配融合既可以获得较高的空间分辨率、清晰的地物特征，又可以保留红外图像所携带的区域场景的热辐射信息，应用广泛。红外图像与可见光图像融合过程中，同名点匹配是最为核心的技术之一。红外成像技术属于热辐射信息探测技术，因目标表面存在热辐射差异，则可将高于绝对零度的物体表面自然发射的热红外辐射转化为灰度图像。而可见光成像的探测波段由人眼可见的光谱组成，图像灰度信息取决于物体可见光波段的反射强度而非热辐射强度。可见，红外图像与可见光图像的匹配是两者融合的亟待解决的难点之一[1]。

由于传感器、工作波段范围及成像环境的差异，通常可见光图像的空间分辨率相较于红外图像更高，光谱信息更丰富，而红外图像不依赖于外部光线，表现为灰度图像，不具有色彩及阴影信息，这使得红外与可见光图像之间通常呈现较为复杂的灰度差异，给匹配带来了较大的困难，导致红外与可见光图像的匹配相较于同源图像匹配难度更高。目前，有许多的学者致力于红外与可见光图像匹配的研究，提出不同的匹配算法。通常多源图像匹配算法可分为基于灰度的匹配方法和基于特征的匹配方法[2]。孙雅琳出了基于互信息的匹配方法[3]，但由于红外图像与可见光图像灰度差异较大，此类方法面对异源遥感图像的匹配具有一定局限性，在匹配时对粒子初始值设定的要求较高，且迭代时容易陷入局部极值点。而相比较基于灰度的图像匹配，基于图像局部不变特征的匹配方法在多源图像中应用较多，是目前国内外图像匹配研究领域的热点及难点之一。其通过计算得到具有不变性的特征描述子之间的关系，进而实现图像的匹配。鄢睿丞提出了一种利用模糊形状上下文关系的红外与可见光图像匹配方法[4]，该方法能一定程度上提高匹配正确率，但是面对图像质量好的时候会由于采样损失信息而不如其他方法。由于红外图像的反相图像灰度信息更加接近于可见光图像的灰度信息，纪利娥提出一种可见光和红外反相图像的SURF（speeded up robust features）特征点双向匹配的方法[5]，提高了匹配精度，但对于匹配数量没有显著改善。朱英宏提出了一种基于CSS（curvature scale space）角点提取的红外与可见光匹配算法[6]，该方法在视角变换旋转等方面具有较好的适应性，缺点是没有提高匹配对数。赵明基于改进SIFT特征的方法，在图像质量较高时对SIFT算法的匹配正确性有明显改善，但是采用了相似四边形的精匹配方式，约束了匹配点数量[7]。江泽涛提出了一种基于显著性和ORB（oriented FAST and rotated BRIEF）的红外和可见光图像配准方法[8]，提高了准确匹配率，但是正确匹配点有所减少。由于红外图像与可见光图像是两种灰度弱相关的异源遥感图像，基于特征的匹配算法在该领域使用较为普遍。然而，如何进一步改善基于特征的匹配算法对红外图像与可见光图像的匹配效果仍然是需要攻克的关键问题之一。

本文在分析红外图像与可见光图像共有特征信息的基础上，充分顾及图像特征信息和同名点分布情况，提出了一种基于SIFT与ORB特征点提取的红外图像与可见光图像匹配方法。该方法先利用SIFT与ORB算法进行特征点提取，通过RANSAC（random sample consensus）算法对SIFT的特征点进行精匹配，然后将得到的高精度的SIFT点对对ORB特征点对进行全局性几何约束完成误匹配剔除，最终实现基于多特征点检测的红外图像与可见光图像的特征点匹配。

1 基于SIFT/ORB几何约束的特征点匹配

1.1 SIFT特征点匹配

SIFT算子是由David G.Lowe提出的，基于高斯尺度空间的特征点检测算法[9]。在空间尺度中获取极值点，并提取出其位置、尺度、旋转不变量。在SIFT算法实现过程中，首先要通过高斯模糊来获取尺度空间，尺度空间在实现时使用高斯金字塔表示，如图1所示进行高斯差分（difference of Gaussian，DOG）得到DOG金字塔，寻找极值点。在生成特征点时，每个关键点会有8个方向的梯度强度信息，且存在4×4个子区域，最终得到128维的特征矢量。

在提取到SIFT特征点后，采用RANSAC算法对其进行精匹配。RANSAC为随机抽样一致算法，是一种鲁棒性较高，易于实现的模型参数估计技术[10]。其剔除的关键在于找到两幅图像具有的几何变换关系，这种关系可以表现为一个单应性矩阵H，即存在x′＝Hx，矩阵H如式(1)所示：

令m8＝1使矩阵归一化，则矩阵存在8个未知量，至少需要4对匹配点可解算矩阵参数。当面RANSAC算法面对一组含有“错误点”的数据集时，它可以通过反复选择数据中的一组随子集进行迭代来训练参数模型，从大量观测数据中估计出高精度的参数模型，以此完成误匹配点的剔除。

图1 高斯差分金字塔的生成与DOG空间极值检测Fig.1 Generation of Gaussian difference pyramid and DOG spatial extremum detection

1.2 ORB特征点匹配

为了提升匹配同名点对的数量及单一特征点分布不均的问题，引入一种ORB的特征点检测算法[11]。ORB算法包含带有方向的FAST（featuresfrom accelerated segment test）角点检测方法与BRIEF（binary robust independent elementaryfeatures）[12]特征描述子两部分。第一部分采用灰度质心法来实现，计算过程如下，先计算特征点的灰度矩：

式中：I(x,y)为灰度值；B为特征点邻域。灰度矩心为：

式中：m00、m10及m01分别由公式(2)计算得到。定义特征点的方向为：

将特征点的主方向与BRIEF描述子相结合，使其具有旋转不变性，该描述子为二进制串的形式：

式中：p(x)、q(y)为点对的灰度值。最终通过选择n个点对得到n维向量。

该算法由于直接将归一化的图像中心作为ORB特征点的位置，可以忽略FAST特征点检测的过程，而且描述子采用二进制串的形式，因此具有较高的计算速度[13]。因此在保持算法性能的前提下，可以将ORB特征点检测作为一种多重检测方法进行多类型特征点的检测，以此充分利用图像信息，改善特征点分布结果，提升检测结果的数量。

在提取出ORB特征点后，筛选匹配点方面使用Lowe’s算法获取正确匹配点。由于ORB描述符采用二进制串的形式，算法中使用汉明距离进行计算。最近邻比次近邻的方法对特征点进行匹配点筛选，是获取其中一幅图像的特征点，同时找到该点与另一个图像里汉明距离最近的前两个特征点，通过最近邻距离除以次近邻距离的比值与阈值t相比较，来判断匹配点的可靠性。

1.3 基于几何约束的误匹配特征点剔除

在使用最近邻比次近邻法筛选匹配点时，通过对阈值t不同的设定，会呈现出不同的匹配结果。匹配特征点对的数量会随阈值t的扩大而增多，但质量会随之下降，存在一定数量的误匹配，因此该方法存在一定局限性。我们需要在保证足够的正确匹配数量前提下，对误匹配点进行剔除。

通过SIFT的精匹配结果对ORB的特征点集进行约束完成剔除误匹配。首先进行距离上的约束，该方法从SIFT算子的匹配结果中获取若干对匹配点，其中点(Xai,Yai)为红外图像上的某一特征点，(Xbi,Ybi)为与该点对应匹配的可见光图像上的特征点。此时我们可以得到：

式中：s为两幅图像的尺度比，理论上为一个固定值，考虑到存在一定误差，我们需要进行多次迭代运算，得到平均值。此时，同样在ORB特征点检测结果中，点(Xcn,Ycn)为红外图像中的某一特征点，点(Xdn,Ydn)为与该点对应匹配的可见光图像上的特征点。将其与SIFT算子获取到的精匹配特征点对进行联合计算，为进一步保证精度，该SIFT点(Xa,Ya)对与(Xb－Yb)为模拟点，将所有精匹配结果求平均得到。接下来分别计算两张图像上的两对特征点的距离Da及Db：

同时可得到w：

式中：w是预期估计的待检测ORB特征点与用于检测的SIFT点的理论距离。如图2设δ为阈值半径，若则接受该对特征点，否则将该对特征点进行剔除。但由于没有进行角度上的约束，依旧可能存在误匹配点。

在进行角度约束前，我们可以得到g1和g2：

g1和g2为待检测ORB匹配点对在各自图像上分别与SIFT点对联合计算的角度约束参量。

如图2设g为角度阈值，若g1-g2＜g则接受该对特征点，否则将该对特征点进行剔除。至此，完成SIFT特征点对ORB特征点的约束。按照此算法，依次将ORB特征点进行遍历检测，从而实现得到无误匹配的较多数量的SIFT与ORB匹配特征点。

2 实验结果与分析

本文提出基于SIFT与ORB的特征点匹配算法流程图如图3所示，为了证明本文算法的有效性，对4组红外图像和可见光图像进行特征点匹配的对比实验。实验条件：系统为Windows10，内存为4G的PC环境下，在VS2010平台采用C＋＋语言编程实现。

实验所使用的图像为河北张家口怀来县的红外及可见光的航拍图像。针对红外图像与可见光图像灰度弱相关匹配困难的问题，进行相同分辨率及不同分辨率尺度差异下的对比实验，来检验算法在不同尺度下的图像匹配中的可靠性及稳定性。实验的原始数据，同一区域下，红外图像尺寸为2064×1055，可见光图像尺寸为30186×14235，分辨率相差近15倍。在对比实验中，保持红外图像的参数不变，选择可见光图像使用ENVI进行降采样处理，并且为了方便实验，截取原始图像中的各个区域分为不同图像组，其中①、②两组进行15倍降采样处理，③、④两组分别进行10倍与15倍降采样处理。红外图像及降采样后的可见光图像每组数据如表1所示。将每组图像进行匹配，通过观察匹配成功的特征点的数量及分布，检验算法对于红外图像与可见光图像匹配的可用性。

表1 图像组信息Table 1 Imagegroupinformation

2.1 最近邻比次近邻阈值实验

所提算法中，在使用最近邻比次近邻法对ORB获取正确匹配点时，阈值的设定决定获取匹配点的数量和可靠度，需要通过实验得到较为合适的数值。本实验采用③组与④组图像对进行阈值设置的对比，结果如图4所示。实验发现当阈值t≤0.4时，不存在或很少有匹配点，阈值范围在0.4～0.7时匹配对数在逐渐上升，且正确匹配率较为稳定。其中，阈值t在0.5～0.6时匹配点数量开始明显增加，当阈值t在0.65～0.7时匹配数量均达到110～130对。阈值t＞7时总匹配对数虽然持续上升，但是正确匹配率大幅下降，并且整体特征点数量虽然提高但是点位分布趋于局部密集，整体密度没有显著提高。反复实验发现阈值t＝7时匹配效果最佳，图5为阈值t＝7的两组图像匹配结果，可以看出，特征点密度适中，基本覆盖图像，因此选择0.7作为最近邻与次近邻的比值。

图2 误匹配剔除示意图Fig.2 Mismatched culling diagram

图3 本文文算法流程图 Fig.3 FFlow chart of ouur algorithm

图4 阈值值设置实验Fig.4 Thr eshold setting ee xperiment

图5 阈值值t＝0.7的两组组图像特征点分分布Fig.5 Distribution of two sets of ii mage feature pp oints with thressh old t＝0.7

2..2 本文算法法验证结果及及分析

使用本文文提出的方法法，进行特征点点匹配的对比比实验验。图6为对对①组图像在不同方法下的匹配结果，，特征征点使用“＋＋”进行表示示。其中图6((a)为SIFT算算法结结合RANSAAC的匹配结果，可以看出出效果较好，，但是匹匹配点数量较较少。图6(bb)为ORB算算法结合最近近邻比次次近邻法匹配配结果，此时时阈值t＝7，虽然匹配点较多但但存在大量误误匹配（浅色色表示正确匹匹配，深色表示误匹匹配）。图66(c)为使用本本文的方法，结合SIFT与ORRB并利用几几何约束剔除除误匹配后的结果，结果表明，通过进行距离及角度上的约束后，ORB的误匹配被完全剔除，该方法继承了前两种方法的优势，得到大量正确匹配点，同时点位分布均匀，匹配效果明显改善。

此处对匹配点的接受或剔除进行举例说明。在上述剔除ORB误匹配点时，考虑到点对在两幅图像保留1个像素的误差，则在几何约束策略中令阈值t＝2可基本得到正确匹配点，且同时令g＝0.1即可完全得到正确匹配点。对于该组图像，依据本文方法通过SIFT匹配点得到尺度比s＝0.74，同时可得到SIFT匹配点集下的模拟点对A(445.51,191.41)、a(531.89,246.27)。如图(b)判断其中的点对B(371.0,48.0)、b(427.1,57.6)及C(58.0,218.0)、c(714.0,388.8)是否可接受。计算得到DAB＝161.61、Dab＝215.77，g1＝20.52，g2＝0.55。此时且，则接受点对B(371.0,48.0)、b(427.1,57.6)为正确匹配点。同理对点对C(58.0,218.0)、c(714.0,388.8)进行判断，计算得到DAC＝388.43、Dac＝231.25，g1＝－14.57，g2＝1.27，此时DAB-Dab×s≈216.60 ＜δ=2且g1-g2≈ 15.85 ＜g=0.2，则判断C(58.0,218.0)、c(714.0,388.8)为误匹配点对。如此，对ORB点对进行遍历，完成了该组图像误匹配的剔除。

分别对②、③、④组图像进行不同分辨率尺度下的实验，结果如图7所示。经过误匹配剔除后，分别获得了145、155、152对匹配特征点，特征点分布较为均匀。在分辨率差异较大的情况下，依旧获得了较好的匹配效果，证明了本文方法在不同尺度图像下的鲁棒性。

SIFT算法与本文方法的比较结果如表2所示，4组图像的正确匹配点对分别提升了约3.7倍、3.2倍、3.6倍、3倍，匹配数量相较于SIFT算法在不同分辨率尺度的情况下均有大幅度的提高，通过最终匹配结果证明了本文的匹配方法适用于图像灰度信息差异较大的红外与可见光图像的特征点匹配。

图6 ①组影像不同方法下的匹配结果Fig.6 Themat ching resultsof the group ①bydifferent methods

图7 本文方法下的其余3组图像匹配结果 Fig.7 Three sets of image matching results by using the algorithm in this paper

表2 SIFT算法与本文算法匹配结果对比 Table 2 Comparison of SIFT algorithm and algorithm matching results

3 结论

本文针对红外图像与可见光图像灰度信息差异较大，特征点匹配困难的问题，提出了一种基于SIFT与ORB算子的多种特征点检测方法。对两种图像进行SIFT与ORB的特征点提取，充分利用了图像信息，得到了大量数目的特征点，再通过SIFT精匹配结果对ORB特征点对进行几何约束，完全剔除了ORB算子中的错误匹配点。且通过两种不同的检测方法，匹配特征点基本覆盖图像，分布较为均匀。针对不同比例尺度下的图像匹配，该方法也呈现了较高的鲁棒性。从实验结果可以看出，该方法在匹配效果方面，对传统的SIFT匹配方法有明显改善。