基于融合式PC-ORB的异源图像配准算法

伍 朗，易 诗，陈梦婷，李 立

〈图像处理与仿真〉

基于融合式PC-ORB的异源图像配准算法

伍 朗，易 诗，陈梦婷，李 立

（成都理工大学 机电工程学院，四川 成都 610059）

异源图像配准中，由于图像的成像机理差异，图像像素强度关联和旋转畸变是不可避免的两大问题，针对图像像素强度关联问题，提出了基于辐射不变特征变换（radiation-variation insensitive feature transform，RIFT）的图像配准算法，对图像间像素关联差异小的图像对配准有良好的精度，但对旋转畸变图像会产生较多错误匹配。对于旋转畸变问题，传统的ORB（oriented fast and rotated brief）算法，对旋转图像的配准有一定的稳定性，但对于强度变化不明显的图像对，特征点检测质量较低，配准精度不理想。因此本文将相位一致性（phase consistency，PC）融合进ORB算法，利用相位信息代替传统的图像强度信息，再构造旋转不变性BRIEF特征描述子，对图像像素强度变化和旋转畸变均具有鲁棒性。用图像像素强度关联不明显的红外图像和可见光图像进行配准实验，本文算法针对不同旋转幅度的图像的配准精度较高，RMSE稳定在1.7～2.1，优于RIFT算法，在特征点检测数量、配准精度和效率等性能上均有良好性能。

图像配准；特征匹配；相位一致性；旋转不变性；ORB算法

0 引言

21世纪以来，科学技术发展非常迅速，同时图像传感技术也在持续发展，应用领域越来越广泛，但同源图像只能反映场景信息的一部分，信息获取非常受限制，它已难以满足不断增多的应用需求。异源图像的融合结果可以提供有效的互补信息，图像配准是图像融合的关键技术，对融合结果的质量有直接影响。由于图像之间有相位和比例缩放的关系[1]，为了有效地利用这些异源图像信息，有必要对从不同位置或不同传感器形态观测到的同一场景的图像进行配准[2]。

异源图像配准属于常见的多传感器图像配准类型，被广泛应用于遥感信息融合[3]、军事侦察和医疗图像等[4]。本文异源图像研究对象是红外图像和可见光图像，图像配准主要的任务是计算最优几何变换参数[5]，使得配准图像和目标图像之间形成最大化的相似性。图像的特征匹配是图像配准过程中关键一步，其匹配准确度对最终配准图像的性能有直接影响。常用的图像匹配算法有基于区域[6]的匹配和基于特征的匹配方法[5]。基于区域的算法计算复杂度高，常用的计算变换参数的算法有互相关和互信息[7]（mutual information，MI），基于特征的匹配方法主要是提取图像的角点、边缘等特征，利用特征描述算子使得特征点匹配。2004年Lowe[8]提出了尺度不变的用于特征匹配的算法SIFT，对视角变化和噪声干扰的图片的特征点匹配有较强鲁棒性。2012年，Wang[9]等发表了用双边滤波实现改进的SIFT（scale-invariant feature transform）算法，此算法能保留更多的特征信息，提高了去噪能力。Roblee等于2011年提出了新型二进制特征配准算法ORB[10]（oriented fast and rotate brief），运算速度快，对有旋转度的图像特征点匹配有较强稳定性。2018年Feng[11]等解决了ORB特征点匹配不具有尺度不变性的问题。

对于成像原理，可见光和红外光图像的各自成像特点有较大差异，红外传感器主要是利用其热辐射而成像，对应场景的温度决定了像素亮度，可见光传感器是由环境反射信息而成像，其像素亮度是由环境光决定，因此，其各自图像中的像素强度通常没有直接关联性，红外图像具有模糊的边缘细节，与可见光在非线性辐射上有较大差异，加上其各自图像获取角度，成像分辨率等不同，提高了红外和可见光图像配准的难度。针对这些问题，Li等提出了一种解决像素强度差异和非线性辐射畸变（nonlinear radiation distortion，NRD）问题的方法[12]，即基于辐射不变特征变换（radiation-variation insensitive feature transform，RIFT）的图像配准，对于异源图像的特征点匹配有良好的性能，该方法不再根据传统的针对像素强度和梯度进行特征检测，而是使用相位一致性（PC）来构造旋转度不同的多重最大索引映射（maximum index mapping，MIM）用于特征描述，对非线性辐射畸变有较强鲁棒性，同时也使得RIFT算法有一定旋转不变性，但由于在优化MIM时失去了大量细节信息，其对于旋转畸变失真的健壮性还不够，导致特征点匹配精度降低。

本文提出一种融合式PC-ORB的算法，将相位一致性融入ORB，用相位信息代替图像强度信息进行后续特征点检测，对图像像素强度变换有一定稳定性，且利用ORB算法中rBRIEF（rotation-aware BRIEF）特征描述子，对有旋转畸变的图像有更稳定的配准精度，但ORB算法的图像匹配准精度和抗干扰能力不足，引入了随机抽样一致性（RANSAC）算法对ORB特征匹配对进行几何校验后，有效过滤错误匹配对，经过变换模型再进行图像配准，文献[13]提出改进的ORB算法，采用RootSIFT构造特征描述符，提高了特征描述符的稳定性，但对于旋转图像，配准稳定性不足，本文算法先构造PC图，再用rBRIEF进行特征描述符构造，对于旋转图像的配准精度更优。经过实验结果的分析，相比于传统的特征匹配算法（SIFT、ORB）以及原RIFT算法，本文算法对于异源图像配准有更良好的性能。

1 本文算法流程

红外图像和可见光图像成像原理差异较大，采用相位一致性构造边缘图像能有效减少图像间光线强度大小和对比度变化的影响，且能保留图像纹理、边缘和角点等关键信息。ORB算法采用FAST特征检测和rBRIEF的特征描述的算法对图像旋转畸变有鲁棒性，一定程度上可以克服RIFT算法产生的旋转失真的问题，本文将验证这一点，最后用RANSAC对匹配点进行精匹配，提高变换参数的准确度。本文的融合式PC-ORB算法具体流程如图1所示。

2 基于PC-ORB特征检测和特征描述

2.1 构造PC

利用小波变换构造PC图，即含有丰富信息的边缘图，有效避免图像局部光线明暗等因素对特征点检测的影响，且能保留图像边缘对比度较低的时候的边缘信息。通常通过LGF滤波器的高斯扩展得到2D-Log-Gabor滤波器，其没有直流分量，频域的覆盖面广[14]，定义为式(1)：

式中：,和为2D-Log-Gabor尺度和方向参数；(,)表示对数极坐标；(,)表示2D-Log-Gabor的中心频率值；和的频率带宽由,表示。构造PC首先需要把给定的二维图像(,)和式(1)经过傅里叶逆变换得到的偶对称小波和奇对称小波进行卷积，得到在尺度和方向上的响应值，根据响应值算出在,的振幅分量和相位分量，PC定义为式(2)：

式中：A(,)为振幅分量；(,)为相位分量，(,)表示像素位置；(,)是作用在频域的权重因子。

为了减少方向变化对PC图像的影响，使用式(2)对多个方向上的相位一致性进行计算得到PC()，、分别表示多个方向和多个方向的角度值，然后据此算出相位一致性矩，由力矩分析算法可知，主轴对应的是最小力矩，包含了特征量的方向信息，于其对应的垂直于主轴的是最大力矩，其计算式如下式：

式中：、、是根据各个方向的相位一致性，在图像的各个点中计算出的中间量。为主轴的角度；为最小力矩，主要用来检测角点特征，为最大力矩，具有图像的边缘特征，由于边缘结构特征对图像辐射畸变有抑制作用，常结合角点特征和边缘结构特征进行特征匹配。

源图像和计算得到的PC图如图2所示，图2(a)为输入的可见光-红外光图像对，图2(b)为PC构造后的可见光-红外光图像对。

图2 可见光图像和红外图像的PC图

2.2 FAST特征检测

用FAST算法找到图中的特征点是ORB算法的第一步，与SIFT和SURF特征点检测算法相比，FAST算法的运算速度快[15]，运算量小，其检测特征点原理图如图3所示。

图3 FAST特征检测原理

FAST算法的原理是选取一个定义的像素点为中心，通过比较邻近点的像素点的灰度值来判断该点是否为特征点。对于邻近点的像素点，以点为圆心，通常选取3个像素点为半径，形成一个穿过16个像素点的圆形，将每个圆周经过的像素点标记序号为1～16，设定一个阈值，计算16个像素点与点的灰度值的差值绝对值，若有个连续大于或等于阈值的绝对值（通常取为9或者12），则该点就被标记为特征点。由于此过程的判别过程耗时较大，为了提高其判别效率，先计算点像素灰度值与序号为1、5、9、13的4个等间隔像素点的灰度值差值的绝对值，如果有3个及以上的绝对值大于阈值，则选取该点为特征点，如果不满足，则排出该点，有效地提高了搜索特征点的运算效率，其判别公式如下式：

式中：I为点周围待判别像素的灰度值；I为候选点的灰度值；为判别阈值。

FAST算法能快速检测出特征点，但是对方向变化较为敏感，ORB算法采用改进的FAST算法，即oFAST算法，在原算法特征中添加方向信息，该方向信息由特征点周围像素强度决定。首先在特征点领域范围内通过领域矩方法计算而找到灰度质心，然后以特征点到质心的方向为特征方向，领域矩定义为：

式中：m表示为＋阶矩；(,)表示(,)处的灰度值，计算领域质心和特征方向的公式为：

式中：结合式(7)，10、01和00是式(7)中和取0或者1的领域矩结果，表示特征方向角度值。

对图2(b)构造后的PC图进行FAST特征检测，如图4所示，可明显看出，源红外光-可见光图像的FAST特征检测点个数较少，构造PC后的可见光-红外图像边缘角点特征个数增多，为后续的特征点匹配奠定了稳定基础。

2.3 rBRIEF特征描述

ORB算法第二步是用BRIEF算法描述通过FAST检测到的特征点，BRIEF是二进制编码的描述符，也称二进制字符串，是只包含1和0的特征描述符，不同于传统的灰度直方图描述特征点的方法，有效降低了特征匹配时间，其描述向量定义为：

式中：()和()分别是图像中特征点对应的像素灰度值大小，通过比较随机特征对的灰度值大小，向BRIEF描述符对应位赋值，若第一个特征点灰度值小于第二个特征点灰度值，则赋位值1，反之赋位值0，通过一系列比较后得出一个维的二进制描述符，可表示为：

在选取点对时，BRIEF算法对旋转畸变和噪声较为敏感，该算法是以当前关键点为中心建立坐标系，其中水平方向定义为轴，垂直方向定义为轴，如果图像旋转，则在保持不变的坐标系下选择相同的点，由此生成的特征描述子也会有所不同。ORB算法对此进行了改进，在计算BRIEF的时候以关键点为圆心，并以连接该关键点与所选取点区域质心的线段为轴，如图5所示。

对于任意特征点对(x,y)，在领域的对特征点对能用一个2×的矩阵表示：

由特征点主方向可计算出经过旋转矩阵后的新点对，如下式：

图5 改进前后的BRIEF的对比

＝S (14)

最终的改进后的BRIEF描述子可表示为：

改进后的BRIEF算法虽具有旋转不变性，但在改进过程削弱了描述符的相关性，即可区分性，对于后续的特征点匹配影响较大，造成错误匹配。ORB后续采用统计学习的算法，该算法是对一个均值约0.5的不相关检验的贪婪搜索，重新计算二进制点对，即rBRIEF（rotation-aware BRIEF），对比图5所示的第一次改进后的BRIEF算法，在算法的方差和相关性都有所提升且都对图像旋转畸变有抑制作用。

2.4 RANSAC算法

RANSAC算法即随机抽样一致性（random sample consensus）算法[16]，广泛运用于计算机视觉和图像处理相关领域。该算法根据包含错误数据和正确数据的样本集合，通过迭代的方式从集合中不断提取数据来计算最优模型的参数，RANSAC算法中将满足变换模型的点称为内点，不满足则称为外点，基本流程如下：

1）从输入的样本特征点对集合中提取子数据集，该子数据集包含样本集合的最少数据量，即确定模型参数的最少数量，将其作为假设的内点集合，计算子数据集的元素构建变换模型。

2）将样本特征点对集合中除子数据集外的剩余特征点对集合全部代入1）中生成的模型计算并验证是否满足该变换模型的阈值条件，如果满足则增加内点统计数目。

3）迭代以上两步，若统计到足够多的内点数目，则说明1）中构建的变换模型较好且保留该模型，若统计的内点数目太少则该模型无效。

4）对迭代出来统计的内点数目再次计算估计变换模型，若迭代后保留的有效模型中内点多于前一个模型，则此为最优变换模型。

图6为RANSAC算法原理图。

为线性表达式，为1）中构建的变换模型的阈值条件，用来判断2）中的特征点对集合是否满足变换模型，如图所示红点为满足阈值条件的内点数，该图内点数为6。

图6 RANSAC算法原理示意图

3 本文算法验证结果及分析

为验证本文算法有效性，采用热红外数据集FLIR的图像进行实验，通过定量和定性实验分析并验证在旋转变化的情况下本文算法的稳定性，并把本文算法与SIFT、ORB、RIFT算法进行对比实验，分析本文特征匹配的性能。本算法的实验硬件环境为64位Windows 10，Intel(R) Core(TM) i5-12400F，2.50GHz，内存为16GB，软件环境为Matlab 2021a。

3.1 旋转不变性匹配结果对比

为验证本文算法的旋转不变性，选取了10对场景不同的红外光和可见光样本集，使得这10对样本中每幅可见光图像每隔20°进行旋转，红外图像角度不变，保持其余匹配设置参数相同下，使得每对图像进行共18次实验，用正确匹配率（correct matching rate，CMR）和均方根误差（root mean square error，RMSE）作为客观评价指标。

CMR和RMSE计算公式如下：

CMR＝N/(16)

与RIFT算法中的特征描述方法相比，本文提出的算法采用rBRIEF算法进行特征描述，在抑制图像旋转畸变方面更有效。在旋转幅度较小的情况下，两种算法的CMR差别较小，特征匹配的结果没有明显影响。随着旋转幅度的增大，达到100°～250°时，两种算法的CMR均有明显下滑，本文算法的CMR大于RIFT算法，匹配性能更优。

另一方面，对于两种方法的RMSE，在图像有旋转幅度时，两种算法的RMSE均有增大，且稳定在1.7～2.1之间，但本文算法RMSE数值平均低于RIFT算法。由图7可知在旋转幅度较大时，本文算法的特征点检测的正确率高于RIFT算法，即在估计变换模型精度上效果更优，总的来看本文算法在匹配质量优于RIFT算法。

图9展示了对可见光图像分别旋转40°和200°后与红外图像进行特征匹配的结果。旋转幅度为40°时，本文算法和RIFT算法的正确匹配率差别不大，旋转幅度达到200°时，与本文算法相比较，RIFT算法的错误匹配对明显增多，最终配准性能受旋转畸变影响较大。

图7 旋转图像的正确匹配率

图8 旋转图像的RMSE

图9 旋转图像的特征点匹配结果

3.2 特征匹配结果对比

为了进一步验证本文算法的有效性，分析本文算法的特征匹配效果，使用SIFT算法、ORB算法和RIFT算法进行对比实验，对检测的特征点个数，正确特征点个数，RMSE以及配准耗时进行测试和分析。表1为对比实验性能指标结果，为了取得稳定的结果，均以5次测量的平均值作为表1中结果。图10为经过去除错误匹配点后的配准效果图。

通过分析不同算法检测到的特征点个数和正确匹配率可知，与RIFT和本文算法相比较，ORB算法和SIFT算法检测到的特征点个数较少，分析其原因是ORB和SIFT算法在特征检测的过程中是根据原图像像素强度来进行特征点检测，而RIFT和本文算法均是先构造PC图，再进行特征检测，有效增加了特征点检测个数，本文算法和RIFT算法的正确匹配率分别为94.49%和93.39%，均表现出了良好的匹配准确性，结合图10可知，SIFT算法的正确匹配数太少，视作匹配失败。

对于RMSE，ORB算法的RMSE最低，误差较大，主要原因是由于成像机理不同，红外图像和可见光图像的像素强度之间关联性不大，导致ORB算法在特征检测阶段误差大，本文算法的RMSE最高，用相位信息替代传统图像匹配中的图像像素信息，进行特征检测和描述，配准精度优于其他3种算法。

在图像配准的过程中，配准耗时主要是在以下4个阶段：图像预处理，特征点检测，特征点描述，图像匹配。ORB算法可以快速地提取图像局部特征，并使用二进制特征描述子，采用汉明距离作为描述子的相似度判断依据，在速度和存储空间上都具有较大优势。本文算法相比于ORB算法增加的耗时主要在图像预处理，用相位信息构造PC图作为预处理策略，有效提高了后续特征点检测和描述的效率。RIFT算法与本文算法配准耗时主要是在于特征描述阶段，前者是构造最大索引图，后者是构造rBRIEF描述符。

表1 不同算法特征匹配性能指标对比

本文算法对于红外光和可见光图像的图像配准，在特征点检测个数、匹配正确率和RMSE上有良好性能，保持了一定的配准精度和配准速度，且对于旋转图像的配准有较强鲁棒性。

图10 不同算法的配准效果

4 结论

本文提出了一种基于融合式PC-ORB异源图像配准算法，主要异源对象是红外图像和可见光图像。重点研究了红外图像和可见光图像的图像强度关联性以及旋转畸变的问题。首先在图像预处理阶段利用图像的相位信息构造PC图代替图像强度信息，采用FAST算法和rBRIEF描述子进行特征检测和特征描述，最后通过RANSAC算法去除错误特征匹配点。通过定量和定性实验分析验证了本文算法的有效性，在旋转畸变方面相较于RIFT算法有明显改善，在配准精度和效率等综合性能上对比传统的图像配准算法均有更优性能。

[1] 韩静, 柏连发, 张毅, 等. 基于改进配准测度的红外与可见光图像配准[J]. 红外技术, 2011, 33(5): 271-274.

HAN Jing, BAI Lianfa, ZHANG Yi, et al. Registration of infrared and visible light images based on improved registration measure[J]., 2011, 33(5): 271-274.

[2] CHEN Y, ZHANG X, ZHANG Y, et al. Visible and infrared image registration based on region features and edginess[J]., 2018, 29(1): 113-123.

[3] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]., 2015, 48(3): 772-784.

[4] LI Y, YU F, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]., 2019, 22: 9435-9443.

[5] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization-powell search algorithm[J]., 2016, 127(1): 188-191.

[6] Brown L G. Survey of image registration techniques[J]., 1992, 24(4): 325-376.

[7] Pluim J P W, Antoine Maintz J B, Viergever M A. Image registration by maximization of combined mutual information and gradient information[C]//3, MICCAI, 2000: 809- 814.

[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]., 2004, 60(2): 91-110.

[9] WANG S, YOU H, FU K. BFSIFT: a novel method to find feature matches for sar image registration[C]//, 2012, 9(4): 649-653.

[10] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//2011, 2011: DOI: 10.1109/ICCV.2011.6126544.

[11] FENG Y, LI S. Research on an image mosaic algorithm based on improved ORB feature combined with SURF[C/OL]//(CCDC), 2018: https://cpfd.cnki.com.cn/Article/CPFD TOTAL-KZJC201806004118.htm.

[12] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]., 2020, 29: 3296-3310.

[13] 王珂, 邓安健, 臧文乾. 基于改进ORB和匹配策略融合的图像配准方法[J]. 测绘与空间地理信息, 2023, 46(2): 43-47.

WANG Ke, DENG Anjian, ZANG Wenqian. Image registration method based on improved ORB and fusion matching strategy[J]., 2023, 46(2): 43-47.

[14] Arrospide J, Salgado L. Log-gabor filters for image-based vehicle verification[J]., 2013, 22(6): 2286-2295.

[15] WU G, ZHOU Z. An improved ORB feature extraction and matching algorithm[C]//33,, 2021: DOI: 10.1109/CAC51589.2020.9327165.

[16] 孙世宇, 张岩, 胡永江, 等. 改进模型估计的无人机侦察视频快速拼接方法[J]. 红外与激光工程, 2018, 47(9): 382-390.

SUN Shiyu, ZHANG Yan, HU Yongjiang, et al. Rapid stitching method for unmanned aerial vehicle reconnaissance videos based on improved model estimation[J]., 2018, 47(9): 382-390.

Heterogeneous Image Registration Algorithm Based on Fusion PC-ORB

WU Lang，YI Shi，CHEN Mengting，LI Li

(,,610059,)

In heterogeneous image registration, because of the differences in the imaging mechanisms, image pixel intensity correlation and rotation distortion are two inevitable problems. Aiming at the problem of image pixel intensity correlation, an image registration algorithm based on a radiation-invariant feature transform (RIFT) is proposed; it has good accuracy for image registration with small differences in the pixel correlation between images, but produces more error matching for rotation distortion images. For the problem of rotational distortion, the traditional Oriented Fast and Rotated Brief (ORB) algorithm has a certain degree of stability in the registration of rotating images; however, for image pairs with insignificant intensity changes, the quality of the feature point detection is low and the registration accuracy is not ideal. Therefore, this study integrates Phase Consistency into the ORB algorithm, replaces traditional image strength information with phase information, and constructs a rotation-invariant BRIEF feature descriptor that is robust to changes in the pixel strength and rotation distortion in the image. The registration experiment is conducted using infrared and visible-light images with unclear pixel intensity correlations. The algorithm proposed in this paper has high registration accuracy for images with different rotation amplitudes, and the RMSE is stable at 1.7-2.1, which is superior to the RIFT algorithm. It performs well in detecting a large number of feature points, achieving high registration accuracy, and maintaining efficiency.

image registration，feature matching，phase consistency，rotational invariance，ORB algorithm

TN911.73

A

1001-8891(2024)04-0419-08

2023-06-07；

2023-07-11.

伍朗（2000-），男，硕士研究生，研究方向：图像处理。E-mail:1213836094@qq.com。

易诗（1983-），男，硕士生导师，研究方向：图像处理。E-mail:549745481@qq.com。

四川省科技厅重点研发项目（2021YFGO075，2021YFGO076），四川省车辆测控与安全重点实验室开放基金（OCCK2021-008），四川省重点科技项目（2020ZDZX0019），成都理工大学2021—2023年高等教育人才培养质量和教学改革项目（JG2130109，JG2130216）。