一种改进的图像拼接技术及其在无人机病虫害检测中的应用*

2023-03-08蔺瑶曾晏林贺壹婷费加杰黎强杨毅

云南师范大学学报（自然科学版） 2023年1期

蔺瑶，曾晏林，贺壹婷，费加杰，黎强，杨毅

(云南农业大学大数据学院，云南昆明 650201)

1 引言

随着计算机视觉技术的不断发展，图像拼接技术的应用范围也越来越广泛[1-4].基于特征点提取的图像拼接是目前比较流行的拼接方法，并且在常用的特征点提取方法中，ORB算法是Rublee等[5]提出的一种二进制特征提取算法，ORB相较于Harris、SIFT、SURF，它的计算速度快，计算量小，内存消耗低.为此众多相关学者纷纷开始对ORB算法展开研究.李小红等[6]提出了采用ORB特征算子的特征点匹配算法，解决了运动中物体的目标检测的问题.曾海长等[7]将SURF算法中的海森检测算子引入ORB算法中，将改进的ORB算法应用到图像拼接中，解决了尺度和旋转不变性问题.刘婷婷等[8]提出的ORB的改进算法，计算速度提高了很多，减少了重影错位现象.上述学者提出的改进的ORB算法，虽然提高了算法的性能，但没有解决ORB算法匹配精度低的问题，本文将四叉树数据结构引入ORB算法来均匀特征点，通过KNN算法对提取的特征点进行粗略匹配，再根据RANSAC算法过滤掉错误匹配点，计算变换矩阵H.

2 算法原理及实现

ORB算法整合了FAST(Features from Accelerated Segment Test)[9]算法和BRIEF(Bianry Robust Independent Elementary Features)[10]算法，能有效地构造图像特征点的特征向量，并通过特征向量检测图像中的目标.本文在ORB算法的基础上引入四叉树结构，新算法可以使特征点分布均匀，图像更好地融合(记为QT-ORB算法)，引入四叉树前后流程对比如图1所示.

2.1 采用四叉树结构使ORB算法提取的特征点分布更均匀

首先将图像分为N个等分的区域(N为初始图像的宽高比的四舍五入值)，N=round(width/height).将每个区域划分为4个相等的子区域.在子区域内检测特征点并计算特征点描述子.如果子区域的特征点数大于设定的阈值，继续划分，否则停止划分.直到提取的特征点达到期望值，划分结束，在子区域内提取特征点.图2是采用四叉树结构前后特征点的对比图，可以清晰的看出用四叉树结构来进行FAST特征点的提取，比原来的提取方式更均匀，将图像进行划分，把特征点分配到子区域中，在进行图像匹配时，只需选出相应子区域的特征点和描述子.

图1 引入四叉树前后的算法流程对比图

图2 采用四叉树结构特征点分布前后对比图

2.2 RANSAC算法特征点匹配

通过四叉树结构提取特征点后，计算提取出的特征点的描述子和方向,根据特征值的汉明距离[11]进行KNN粗匹配.再通过RANSAC算法筛除错误匹配.先随机选取两个点，计算模型方程，选择满足误差阈值最多点的模型作为问题的解.选取n个质量高的特征点对.然后从中随机选出4对，计算出对应矩阵的8个参数.根据矩阵计算出其余特征点的误差，然后根据误差阈值判断是内点还是外点.如果多于设定的阈值点数量的内点，就判定这个是最佳矩阵.如果没有，重新随机选择1对进行下一次迭代.如果已经到了最大的迭代次数，就返回到内点数最多的模型，得到最佳的单应性变换矩阵.

单应矩阵是两幅图像之间的转换矩阵.RANSAC算法用于估计单应矩阵，单应矩阵有8个未知数，可以选取4对特征点来计算出矩阵.假设两张图像中对应的一组匹配点P1(x,y)、P2(x′,y′)，它们之间的转换关系H表示为：

(1)

2.3 图像拼接算法流程

(1)首先导入图像，将导入的图像转为灰度图.

(2)根据图像金字塔[12]计算特征点进行非极大值抑制，根据最佳阈值提取特征点.

(3)用四叉树结构提取响应值佳的FAST特征点.

(4)对提取的特征点进行二进制编码，得到brief描述并计算方向.

(5)通过KNN实现特征点粗匹配，选出高质量的特征点对.

(6)设置RANSAC算法[13]输入数据的优先级，选出精匹配点对并计算单应性矩阵，进行图像融合.

3 QT-ORB算法在无人机病虫害检测中的应用

实验在Windows11操作系统下进行，硬件配置为R7 5800H处理器，NVIDIA GTX3060 显卡，开发软件为PyCharm2021.实验图像数据来源于自组F250四旋翼无人机搭载IntelRealsense D435i相机拍摄所得的公开图像数据集.图3中(a)、(b)分别为无人机摄像头采集到的玉米虫害蜗牛和粘虫的原始图像.

图3 无人机摄像头采集到的原始数据

图4 三种算法的特征点检测

图4显示了ORB、SIFT和QT-ORB算法的特征点检测的对比结果.从图中可看出，ORB算法提取的特征点过度聚集.与SIFT算法提取的特征点相比，本文算法提取的特征点分布更为均匀.这表明QT-ORB减少了特征点的聚集，提高了特征点提取的均匀性，保证了后续图像的无缝融合.

图5 三种算法的尺度不变性实验结果对比

图5显示了ORB算法、SIFT算法和QT-ORB尺度不变性实验的对比结果.从图中可看出，ORB算法存在错误匹配的现象.SIFT算法相对于ORB算法，效果较好，匹配的特征点对有部分重叠.QT-ORB匹配的特征点对不存在明显的错误匹配现象，有良好的鲁棒性，克服了ORB算法没有尺度不变性的不足.

图6 三种算法的匹配结果对比

图7 图像匹配结果

图6显示了三种不同算法的特征点匹配结果，可以看出ORB算法存在错误匹配的现象，SIFT算法匹配的特征点有重叠现象，QT-ORB匹配点大幅减少，降低了错误匹配率.如图7所示，粗匹配后，仍然存在特征点错误匹配的现象，而QT-ORB设置RANSAC输入数据的优先级，可以很好地消除这一现象.

三种不同算法在数据集(a)、(b)上的特征提取时间、特征匹配时间、匹配精度如表1所示，QT-ORB在特征提取时间和特征匹配时间上都有所提升，相比ORB算法和SIFT算法，特征提取时间分别减少了28.64%、27.56%和45.91%、43.82%，特征点提取的速度明显加快.通过过滤失配对，得到较少的有效匹配对，使QT-ORB特征匹配时间分别比ORB算法以及SIFT算法减少了15.68%、15.02%和32.93%、31.50%.QT-ORB算法最高匹配精度达到94.16%.综上所述，本文算法提高了特征点分布的均匀性、特征点的匹配精度以及速度.