基于改进旋转不变性二进制描述算法的电力场景图像拼接

苑朝，黄诺飞，蒋阳，赵亚冬，赵振兵

基于改进旋转不变性二进制描述算法的电力场景图像拼接

苑朝1，黄诺飞1，蒋阳2，赵亚冬1，赵振兵3

（1.华北电力大学 自动化系，河北 保定 071003； 2.杭州市中策职业学校 电气运行与控制组，浙江 杭州 310000； 3.华北电力大学 电子与通信工程系，河北 保定 071003）

在图像拼接过程中，使用固定阈值的旋转不变性二进制描述（Oriented fast and rotated brief，ORB）算法检测出的特征点在特征匹配阶段会产生较多误匹配，从而导致拼接的图像在拼接缝处产生重影。针对此问题，提出一种基于改进ORB的图像拼接算法。首先，使用自适应算法将ORB的固定阈值替换为动态阈值对特征点进行检测；然后，使用近邻（-nearest neighbor，KNN）算法进行特征点粗匹配，再用随机抽样一致性（Random sampling consensus，RANSAC）算法对特征点进行精匹配；最后，通过最佳缝合线法和渐入渐出法对图像进行拼接。实验结果表明，相较于传统的ORB算法，利用所提出的算法时所需的特征点检测时间、匹配时间明显减少，匹配正确率明显提高，拼接缝重影被有效消除。

图像拼接；电力生产场景；ORB算法；自适应阈值；最佳缝合线

0 引言

随着电力生产智能化的推进，电力场景的图像拼接技术被广泛应用[1]。在电力设备检测中，将所获取的电力设备图像拼接成全景图像会便于对设备整体运行状态和周边环境的监测，有利于及时发现潜在的安全隐患[2]。对无人机或直升机拍摄的输电线路图像进行拼接，生成输电线路的全景图像，便于巡检人员全面查看线路设备的细节和整体情况，有利于提高巡检效率和准确性[3]。将实际拍摄的图像拼接成全景图像，可以辅助电力设施的规划设计和布局优化。电力设备所处场景多样且环境复杂。为满足实时性和准确性的要求，电力图像拼接过程要求高速度和高质量。

对于图像拼接，目前已经发展出了许多不同的方法，其中关于特征点的研究是当前的热点之一。文献[4]提出了一种基于改进尺度不变特征变换（Scale-invariant feature transform，SIFT）的快速图像拼接和重影优化算法，在降低SIFT算法运算时间的同时提高了图像拼接的质量。文献[5]提出了一种基于ORB特征的高分辨率图像拼接改进算法。虽然该算法在拼接快速性与拼接准确性2个方面具有优越性，但关于图像变换矩阵的计算和重叠区域的图像融合仍有可以进一步优化的空间。文献[6]提出了一种具有动态阈值的改进快速鲁棒特征（Speeded-up robust feature，SURF）算法，优化了特征点的提取过程。考虑到后续可以将所提出的算法与描述子降维算法结合，所以其特征提取、描述和匹配的效率有望进一步提升。文献[7]提出一种基于优化SIFT算法的农田航拍全景图像快速拼接方法。该算法在时间效率方面仍有进一步提高的空间。文献[8]在提取图像周边点的方式和判断特征点条件上进行改进，提出了一种基于改进ORB特征点检测的图像拼接方法，提高了检测效率。

ORB算法相较于其他传统算法虽然具有速度上的优势，但是也会受到固定阈值的限制。固定阈值的ORB算法对图像变化的适应性较差。考虑到实际情况，对于具有不同亮度和对比度的图像，宜采用不同阈值的特征检测算法来准确检测特征点。

鉴于此，为有效减少图像拼接的重影问题，本文提出一种基于改进ORB算法的图像拼接方法：首先，针对不同特性图像，根据图像的均值与标准差，通过所提出的自适应算法计算出特征检测的阈值，使用此阈值进行特征点检测；再使用KNN算法进行特征点粗匹配，采用RANSAC算法对特征点进行精匹配；最后通过最佳缝合线法和渐入渐出法对图像进行拼接。

1 ORB算法及其改进

1.1 ORB算法

在加速分割测试特征（Features from accelerated segment test，FAST）算法的基础上，ORB算法增加了特征点的主方向，被称为“Oriented FAST”，为后续的二值稳健独立基本特征（Binary robust independent element feature，BRIEF）描述子增加了旋转不变性[9]。

ORB算法定义的特征点：如果某个像素点与其周围邻域中有足够多的像素点属于不同的区域，则该像素点可能是特征点。

算法步骤：

选取某一像素点，并假定其灰度值为I。以点为中心确定一个半径为3的圆，选取圆边界上的16个像素点。

设定一个阈值。若圆上有个连续像素点的灰度值都小于I–或者都大于I+，则可定义其为特征点[10]。

式中：I为圆边界上像素点的灰度值；I为待检测像素点的灰度值；为检测阈值；在一般情况下取12。

在完成特征点的检测后，再使用BRIEF算法计算每个特征点的描述子。

1.2 算法改进

在使用ORB算法进行特征点检测时，检测阈值是固定不变的；这将导致算法对外界环境的鲁棒性较弱，使检测到的特征点出现“扎堆”现象，进而影响图像拼接效果。

图1给出了改进后ORB算法流程。如图所示，首先，构建图像金字塔，并确定每层金字塔图像所需提取的特征点数量；计算金字塔图像灰度均值与标准差，通过提出的自适应算法计算出特征检测的阈值。然后，对金字塔图像进行网格划分，并检测特征点。若检测的特征点数量大于每层设定的特征点数，则结束该层特征点的检测；若特征点数量不满足要求，则降低阈值再次检测。最后，采用非极大值抑制的方法来抑制局部密集特征点，并计算特征描述子。

图1 改进后ORB算法流程

改进的ORB算法关键步骤如下：

1）构建图像金字塔，增加特征点检测算法的尺度不变性。先设置缩放比例因子和金字塔的层数，再将原图根据缩放比例因子生成幅图像。分别检测幅图像的特征点，并将其总和作为图像的特征点。每幅图像所需检测的特征点数量计算公式为：

式中：T为每幅图像所需提取的特征点数量；为需要提取的特征点总数。

2）将被检测像素点和圆周上像素点的灰度差值与检测阈值进行比较，进而判断特征点。如果检测阈值固定不变，则容易造成特征点的丢失。本文提出一种基于图像灰度信息的自适应阈值计算方法。

首先，计算图像的均值与标准差。

然后，根据上述信息计算自适应阈值，计算公式为：

式中：为初始阈值；为降低后的阈值。

3）划分网格，并检测特征点。以为行数，以为列数，将每层金字塔图像划分成×个大小相同的网格区域。区域划分完成后，从图像金字塔的第一层开始遍历网格：先用初始阈值进行特征点检测。在检测过程中，对每个网格检测到的特征点进行计数。如果总数大于等于T，则结束该层特征点的检测；如果用初始阈值检测到的特征点数量小于T，则降低阈值再次检测。

4）采用非极大值抑制的方法来抑制局部密集特征点。假设特征点与特征点相邻，则分别计算这2个点与自身周围16个像素点差分和，并剔除差分和较小的特征点。

差分和计算公式为：

式中：1为像素点灰度值大于I+的像素集合；2为像素点灰度值小于I–的像素集合。

5）为增加算法的鲁棒性，用高斯卷积核对图像进行高斯滤波，去除噪声；再根据BRIEF算法计算图像的特征描述子。

2 图像拼接

图像拼接流程如图2所示。

图2 图像拼接流程

为了降低误匹配率、提升图像拼接效果，将特征匹配分为粗匹配和精匹配2个步骤：首先，使用KNN算法[11]获取待拼接图像之间特征点的粗匹配；然后，使用RANSAC算法[12]进行精匹配，剔除误匹配点，提高匹配精度。

在完成图像配准后进行图像融合。若直接对拼接缝两侧的区域使用融合算法，则会出现重影。为了使融合的图像更加平滑自然，避免出现图像重叠区域重影，在图像融合之前首先使用最佳缝合线法对待融合图像进行处理，然后在图像重叠区域内使用渐入渐出融合算法以减少拼接缝痕迹。

1）基于动态规划的最佳缝合线法。

使用最佳缝合线法的目的，是使拼接线从2幅图像重叠区域中差异最小的位置穿过，尽可能减少图像偏差带来的拼接痕迹[13]。

缝合线上像素点的强度计算方法为：

式中：c(,)为图像颜色差异强度值；g(,)为图像结构差异强度值。

式中：、分别为和方向的Sobel算子。

使用动态规划思想，在重叠区域寻找最佳缝合线。以重叠区域的第1行的每个像素点分别作为一条缝合线的起点。若第1行有个像素点，最终将会得到条缝合线。具体步骤为：将第1行第1个像素作为第1条缝合线的当前像素点，并计算其强度值；找到当前像素点在下一行中与之相邻的3个像素点，比较3个像素点的强度值，以强度值最小的像素点作为缝合线的下一个像素点，不断重复直到图像重叠区域的最后一行；以第1行第2个像素为起点、第1行第3个像素点为起点，依次计算直到遍历完第1行所有像素点；比较条缝合线的强度值，将强度值最小的缝合线作为最佳缝合线。

2）渐入渐出融合算法。

对重叠区域内像素点的灰度值进行计算[14]，计算公式为：

式中：为融合后图像的灰度图；1为待融合左图像素点的灰度图；2为待融合右图像素点的灰度图；1、2为加权值，且1+2=1，0<1<1，0<2<1。

3 实验及结果分析

实验计算机配置为：CPU AMD Ryzen 7 5800H，3.20 GHz，内存为16GB，64位Win11操作系统。

实验基于OpenCV3.4.1实现，编程语言为C++，编程环境为Visual Studio 2017。

实验图像如图3所示。

图3 实验图像

在图像拼接过程中，特征点检测速度、特征匹配速度和匹配正确率是衡量算法的重要指标。然而，在实际拼接过程中，拼接效果容易受到待拼接图像尺度和光照条件的影响。因此，针对本文提出的拼接算法，采用了图3所示图像进行实验，从上述3个指标对算法进行评价和分析。

3.1 特征点检测速度

根据提取1 000个特征点的用时，可以对特征点检测速度进行评价。用时越少，则说明特征点检测速度越快。

分别使用SIFT、SURF、ORB、文献[5]、文献[7]和本文算法，对实验图像进行特征点检测。各算法特征点检测时间如表1所示。

表1 各算法特征点检测时间

从表1所示结果可以看出，本文提出的算法在特征点检测时间性能方面继承了ORB算法的快速性，具有最短的检测时间。SURF与SIFT算法用时最长；本文算法用时略低于文献[5]和文献[7]算法。

分析：ORB算法采用FAST算法来检测特征点，且在特征描述时采用二进制编码的BRIEF描述子，从而加快了特征描述子建立的速度。

3.2 特征匹配速度

根据匹配1 000个特征点对的用时，可以对特征匹配速度进行评价。用时越少，说明算法的特征匹配速度越快。

表2展示了各算法对实验图像进行特征匹配的用时情况。

表2 各算法进行特征点对匹配的时间

从表2中可以看出，SIFT与SURF算法检测出的特征点特征匹配用时最长，ORB算法次之，文献[5]、文献[7]和本文算法耗时最短且相差不大。

分析：SIFT与SURF算法检测特征点需要采用欧式距离进行特征相似性度量，因此耗时较长。ORB与本文算法在进行特征描述时，采用了汉明距离进行特征相似性度量，所以耗时较短。

3.3 匹配正确率

匹配正确率（Correct matching rate，CMR）为正确匹配点对数量与所有匹配点对数量之比[15]，其定义为：

式中：t为正确匹配点对数；为所有匹配点对数。

值越大，匹配正确率越高。

对实验图像检测出的特征点进行特征匹配。表3给出各算法匹配正确率比较结果。

表3 各算法匹配正确率比较结果

从表3中可以看出，对于尺度不同、光照不同的图像，本文算法匹配正确率总体较高，文献[5]与文献[7]次之，SURF与SIFT算法再次之，ORB算法最差。

本文算法继承了ORB算法检测特征点速度快的优点，且用本文算法检测出的特征点在匹配正确率上相较于其他算法得到了一定的提升；用SIFT和SURF算法检测出的特征点的匹配正确率较高，但特征点检测速度与特征匹配速度过慢，无法满足实时性的要求；用文献[5]和文献[7]方法检测特征点的用时略高于本文算法，特征匹配时间大致相同，但匹配正确率低于本文算法。

综上所述，本文算法在特征点检测速度上具有快速性；且基于本文算法检测出的特征点在特征匹配速度和匹配正确率上更具优越性。这说明本文算法在处理图像拼接任务时不仅能迅速提取高质量的特征点，还能在特征匹配阶段获得更为准确和可靠的匹配结果。

3.4 图像拼接结果

使用本文算法对图3中的3组图像进行特征点检测与配准，再使用最佳缝合线法和渐入渐出法对配准后的图像进行融合，拼接结果如图4所示。从图中可以看出，拼接后的图像没有明显的拼接缝和重影，拼接效果较好。

图4 图像配准与拼接结果

3.5 拼接图像评价指标

选择图像信息熵和图像平均梯度作为拼接图像的评价指标。由于SIFT算法在特征检测过程中用时过长，不能满足实时性，故不再进行拼接图像评价指标的对比。

1）图像信息熵。信息熵是反映图像信息丰富程度的一种度量。通常情况下，图像的信息熵越大，其信息量就越丰富，图像质量也就越好[16]。信息熵的计算公式为：

式中：为信息熵；()为灰度值为的像素所占比例；为图像像素的行数；为图像像素的列数。

2）图像平均梯度。平均梯度能敏感地反映图像对微小细节的表达能力。一般来说，平均梯度越大，图像越清晰，图像拼接效果越好[17]。平均梯度的计算公式为：

表4、表5分别示出了用各算法得到的图像信息熵和平均梯度。

表4 图像信息熵

表5 图像平均梯度

从表4与表5可以看出，用本文算法拼接得到的图像在信息熵和平均梯度上相较于其他算法均有一定程度的提升。因此，本文算法对于消除重影以及消除拼接处的拼接缝有一定作用。

4 结论

针对采用基于固定阈值的ORB图像拼接算法不能满足电力场景应用中对拼接精度、实时性和适应性要求的问题，本文提出了一种基于改进ORB的图像拼接算法。结果表明：

1）所提出的自适应阈值算法在考虑图像不同特性的基础上计算特征检测的阈值，可获得更快的特征点检测速度。

2）使用KNN和RANSAC方法对提取的特征点对特征分别进行粗匹配与精匹配，使本文算法提取的特征点过程具有匹配速度更快、匹配正确率更高的优势。

3）相较于使用其他特征点检测算法的图像拼接，通过最佳缝合线法和渐入渐出法对图像进行拼接，使本文算法在消除拼接缝痕迹和重影方面的效果有所提升。

展望：可针对电力场景中的图像拼接需求，进一步优化图像融合算法，以适应光照尺度不同场景的变化，提高图像拼接的精度和实时性。

[1] 刘正, 田秀霞, 白万荣. 面向电力场景的双通道图像拼接窜改检测模型[J]. 计算机应用研究, 2022, 39(4): 1218-1223. LIU ZHENG, TIAN XIUXIA, BAI WANRONG. Dual-channel image splicing forgery detection model of electric power site[J]. Application Research of Computers, 2022, 39(4): 1218-1223(in Chinese).

[2] 张亮, 屈刚, 李慧星, 等. 智能电网电力监控系统网络安全态势感知平台关键技术研究及应用[J]. 上海交通大学学报, 2021, 55(S2): 103-109. ZHANG LIANG, QU GANG, LI HUIXING, et al. Research and application of key technologies of network security situation awareness for smart grid power control systems[J]. Journal of Shanghai Jiaotong University, 2021, 55(S2): 103-109(in Chinese).

[3] 彭泓, 李红利, 杜宇, 等. 电力巡线无人机航拍图像拼接算法[J]. 计算机应用与软件, 2020, 37(5): 243-248. PENG HONG, LI HONGLI, DU YU, et al. Stitching algorithm of aerial images taken by power patrol UAV[J]. Computer Applications and Software, 2020, 37(5): 243-248(in Chinese).

[4] 刘杰, 游品鸿, 占建斌, 等. 改进SIFT快速图像拼接和重影优化[J]. 光学精密工程, 2020, 28(9): 2076-2084. LIU JIE, YOU PINHONG, ZHAN JIANBIN, et al. Improved SIFT fast image stitching and ghosting optimization algorithm[J]. Optics and Precision Engineering, 2020, 28(9): 2076-2084(in Chinese).

[5] 刘天赐, 宋延嵩, 李金旺, 等. 基于ORB特征的高分辨率图像拼接改进算法[J]. 激光与光电子学进展, 2021, 58(8): 77-84. LIU TIANCI, SONG YANSONG, LI JINWANG, et al. Improved algorithm for high-resolution image stitching based on ORB features[J]. Laser & Optoelectronics Progress, 2021, 58(8): 77-84(in Chinese).

[6] 徐启文, 唐振民, 姚亚洲. 基于改进SURF算法的图像拼接研究[J]. 南京理工大学学报, 2021, 45(2): 171-178. XU QIWEN, TANG ZHENMIN, YAO YAZHOU. Research on image mosaic based on improved SURF algorithm[J]. Journal of Nanjing University of Science and Technology, 2021, 45(2): 171-178(in Chinese).

[7] 刘媛媛, 何铭, 王跃勇, 等. 基于优化SIFT算法的农田航拍全景图像快速拼接[J]. 农业工程学报, 2023, 39(1): 117-125. LIU YUANYUAN, HE MING, WANG YUEYONG, et al. Fast stitching for the farmland aerial panoramic images based on optimized SIFT algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(1): 117-125(in Chinese).

[8] 秦绪佳, 陈国富, 王洋洋, 等. 改进ORB特征点检测的图像拼接方法[J]. 小型微型计算机系统, 2022, 43(1): 98-102. QIN XUJIA, CHEN GUOFU, WANG YANGYANG, et al. Image mosaic method based on improved ORB feature points detection[J]. Journal of Chinese Computer Systems, 2022, 43(1): 98-102(in Chinese).

[9] 焦嵩鸣, 钟宇飞, 姚鑫, 等. 一种改进自适应阈值的ORB算法研究[J]. 激光杂志, 2022, 43(6): 85-90. JIAO SONGMING, ZHONG YUFEI, YAO XIN, et al. Research on an improved ORB algorithm of adaptive threshold[J]. Laser Journal, 2022, 43(6): 85-90(in Chinese).

[10] 杨倩兰, 宋丽梅, 黄浩珍, 等. 面向集成制造的改进ORB图像匹配方法[J]. 计算机集成制造系统, 2022, 28(7): 2242-2249. YANG QIANLAN, SONG LIMEI, HUANG HAOZHEN, et al. Improved ORB image matching method for integrated manufacturing[J]. Computer Integrated Manufacturing Systems, 2022, 28(7): 2242-2249(in Chinese).

[11] BEIRANVAND F, MEHRDAD V, DOWLATSHAHI M B. Unsupervised feature selection for image classification: a bipartite matching-based principal component analysis approach[J]. Knowledge-Based Systems, 2022, 250: 109085.

[12] MA S, GUO P, YOU H, et al. An image matching optimization algorithm based on pixel shift clustering RANSAC[J]. Information Sciences, 2021, 562: 452-474.

[13] 卢泉, 杨振华, 黄粒峰. 改进最佳缝合线的红外图像拼接方法[J]. 红外技术, 2022, 44(6): 580-586. LU QUAN, YANG ZHENHUA, HUANG LIFENG. Infrared image mosaic method for improving the best seam-line[J]. Infrared Technology, 2022, 44(6): 580-586(in Chinese).

[14] 孙艳丽, 周伟, 张亚周, 等. 基于SIFT的航空侦查图像拼接算法[J]. 电子测量技术, 2020, 43(19): 112-116. SUN YANLI, ZHOU WEI, ZHANG YAZHOU, et al. Image mosaic algorithm of aerial investigation based on SIFT[J]. Electronic Measurement Technology, 2020, 43(19): 112-116(in Chinese).

[15] 韩敏, 闫阔, 秦国帅. 基于改进KAZE的无人机航拍图像拼接算法[J]. 自动化学报, 2019, 45(2): 305-314. HAN MIN, YAN KUO, QIN GUOSHUAI. A mosaic algorithm for UAV aerial image with improved KAZE[J]. Acta Automatica Sinica, 2019, 45(2): 305-314(in Chinese).

[16] 丁洁, 陆安江, 彭熙舜, 等. 基于颜色校正和加权融合的水下图像增强[J]. 国外电子测量技术, 2023, 42(3): 167-174. DING JIE, LU ANJIANG, PENG XISHUN, et al. Underwater image enhancement based on color correction and weighted fusion[J]. Foreign Electronic Measurement Technology, 2023, 42(3): 167-174(in Chinese).

[17] 唐霖峰, 张浩, 徐涵, 等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报, 2023, 28(1): 3-36. TANG LINFENG, ZHANG HAO, XU HAN, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36(in Chinese).

Power Scene Images Mosaic Based on Improved Oriented Fast and Rotated Brief Algorithm

YUAN Chao1, HUANG Nuofei1, JIANG Yang2, ZHAO Yadong1, ZHAO Zhenbing3

(1.Department of Automation, North China Electric Power University, Baoding 071003, China; 2.Electrical Operation and Control Hangzhou Zhongce Vocational School, Hangzhou 310000, China; 3.Department of Electronic and Communication Engineering North China Electric Power University, Baoding 071003, China)

During image mosaicing, the feature points detected by the fixed threshold oriented fast and rotated brief (ORB) algorithm will produce more mismatches in the feature matching stage, which results in a double image of the stitched image at the seam. To solve this problem, an image mosaic algorithm based on improved ORB is proposed. Firstly, the fixed threshold of ORB is replaced by the dynamic threshold to detect the feature points by using adaptive algorithm, and then the-nearest neighbour (KNN) algorithm is used to perform the rough matching of the feature points, then, random sampling consensus (RANSAC) algorithm is used to match the RANSAC points, and the image is stitched by the best suture method and the gradual-out method. The experimental results show that compared with the traditional ORB algorithm, the proposed algorithm head less feature point the detection time and matching time, and improve the matching accuracy with eliminating the stitched ghosting effectively.

image mosaic; power production scene; ORB algorithm; adaptive threshold; optimal suture

10.3969/j.ISSN.1672-0792.2024.01.004

TP391

A

1672-0792(2024)01-0031-08

国家自然科学基金联合基金项目重点支持项目（U21A20486）。

2023-08-29

苑朝（1985—），男，讲师，研究方向为机械臂控制、机器视觉、机器人遥操作；

黄诺飞（1996—），男，硕士研究生，研究方向为图像处理、视频拼接；

蒋阳（1990—），男，硕士研究生，研究方向为虚拟现实重建；

赵亚冬（1998—），男，硕士研究生，研究方向为图像处理、机器人感知；

赵振兵（1979—），男，教授，研究方向为电力人工智能、电力视觉技术。

苑朝