基于POS约束的无人机森林航摄影像分区匹配策略*

李亚东 曹明兰 李长青 冯仲科

(1.北京林业大学精准林业北京市重点实验室 北京 100083；2.北京工业职业技术学院 北京 100042)

近年来，随着无人机航摄技术在森林计测领域的广泛应用，无人机森林航摄影像处理成为了新的研究热点。影像匹配是无人机影像处理的基础，目前国内外普遍采用基于特征的影像匹配算法，该算法的速度主要取决于特征检测、描述、搜索配对算法和匹配策略(孔华生等，2006；Elalametal.，2014)。由于改进算法的可优化空间小，且通用性差，因此很多学者从匹配策略角度研究如何提高影像匹配效率(纪松，2012)。Feng等(2014)提出一种基于Mexican-hat函数的影像特征检测与匹配算法策略，提高了匹配精度，减少了计算量。陈小卫等(2017)提出一种从影像中提取较稳定的闭合线、交点和角点等特征作为共轭实体进行粗匹配，再根据面积、角度等几何信息以及模型参数分布特点逐步剔除误匹配，精匹配时采用多层次二维迭代最邻近点(ICP)法对粗匹配得到的边缘点按采样率由低到高进行匹配的分级匹配策略，在遥感影像匹配中得到了较好效果。李艳荻等(2017)提出一种在匹配过程中分析高维特征空间采样点分布特点，采用自适应分块思想对金字塔匹配核函数的收敛策略进行改进，最后使用K均值聚类进行识别的匹配策略，减少了特征匹配过程的运算量，提高了三维重建的稳定性。Cheng等(2019)提出一种基于二进制流特征描述子的增强影像匹配策略，提高了特征匹配效率；但该算法适合在嵌入式设备上匹配特征较简单的影像，不适合森林航摄影像等具有复杂特征的影像。吴越等(2019)对影像进行下采样，先对低分辨率影像进行匹配，快速筛选掉匹配失败的特征点，然后对匹配成功的特征点回溯到原始影像上进行匹配，以达到加速目的。影像匹配策略包括基元匹配策略、减少冗余匹配策略和分层匹配策略3种(张小宇，2019)，其中分层匹配策略不仅可提高影像匹配速度，而且更容易搭配不同特征算法，是目前常用的匹配策略(以下简称普通策略)，但该普通策略在处理低空无人机森林航摄影像时存在几方面不足：1) 低空无人机森林航摄影像像幅大，普通策略对原始影像进行下采样时需要分层层数过多，严重影响匹配速度；2) 低空无人机森林航摄影像主体内容林冠纹理细节多，普通策略下采样算法只保留边缘信息，会丢失大量纹理细节信息，严重影响匹配精度；3) 森林冠层的光照条件复杂、枝叶繁茂、纹理重复率高，普通策略对整幅影像下采样分层方法没有约束特征点位置关系的机制，不仅造成大量冗余匹配，还会增大错误匹配概率；4) 森林冠层受风和气流影响，像对之间存在大量非刚体性变化，普通策略利用下采样方法进行初始匹配的结果可靠性低。

鉴于此，本研究从低空森林航摄影像特点出发提出一种基于POS(position and orientation system)约束的无人机森林航摄影像分区匹配策略，以提高匹配点的位置质量和匹配速度、减少冗余匹配并降低错误匹配率。

1 原理与方法

1.1 技术路线

定位定向系统(POS)是可直接获取相机曝光时刻摄影中心空间位置和姿态信息的系统单元。无人机POS数据由GPS数据和IMU数据2部分组成，经严格标定后POS提供的数据，通过坐标转换可获取航摄影像的外方位元素(袁修孝等，2006；刘军等，2004)。

本研究讨论如何利用标定后POS提供的姿态和坐标数据构建像对间的单应矩阵，再基于单应矩阵的约束关系，在像对左右2幅影像上按一定面积比例和位置分布划分出若干子区域，在特征提取和配对过程中将子区域视为独立图像，实现在原始影像级别上的分区匹配。技术路线如图1。

图1 技术路线Fig.1 Flowchart of research

1.2 POS数据转换

无人机POS数据中的GPS数据是以WGS-84参考椭球为基准的地理坐标经纬度和高程，需要转换成以地心为原点的右手空间直角坐标(xS,yS,zS)，转换公式如下：

(1)

POS数据中IMU加速度传感器所提供的IMUZ坐标系3个角元素数据Heading (Ψ)、Pitch (Θ)、Roll (Φ)需要转成摄影测量中使用的外方位元素ω、φ、κ，转换公式如下：

(2)

1.3 单应矩阵计算

假设π为测区平面，相邻2幅影像分别为I1和I2，令2幅影像的重叠区域U=(u,v,l)T∈I1，U′=(u′,v′,l)T∈I2，则有矩阵H使得U′=wHU成立，其w为非零常数，称H为像对(I1,I2)关于π的单应矩阵。根据计算机视觉原理，测区平面上任意点x在世界坐标系中的坐标为[xw，yw，zw]T，在相机坐标系中的坐标为[xc,yc,zc]T，在影像坐标系中的坐标为[u，v，l]T，那么从世界坐标系转换到影像坐标系的过程可通过相机内参矩阵K、旋转矩阵R和三维平移向量t来描述:

(3)

2幅影像的重叠区域U、U′可写成下列形式:

(4)

(5)

(6)

(7)

(8)

根据H矩阵的定义U′=wHU，w为尺度因子，是非零常数；本研究无人机飞行2次摄影间隔很短，2次摄影航高zc1、zc2均不为零，且约相等。因此令w=zc1/zc2≈1,可得：

(9)

式中：旋转矩阵R1、R2可通过2次摄影中心的POS数据角元素经式(3)转换得到；平移向量t1、t2可利用POS数据线元素经式(4)转换得到；将t1、t2和R1、R2代入式(9)可计算出单应矩阵H。

1.4 子区域划分

朱进等(2016)研究发现,无论测区面积大小，四周均匀布设控制点有利于保证区域内部精度。本研究在相邻2幅影像的重叠区域内划分子区域时，参考摄影测量航带法四周均匀分布并顾及中间的原则，首先在左片四周和中心地带按像对重复区域30%面积比例划分5个子区域，然后利用式(10)在右片上推算出与左片对应的5个子区域，如图2所示。

图2 子区域划分示意Fig.2 Schematic diagram of dividing sub-areas

2 试验结果与分析

2.1 试验结果

为了充分考察对阔叶林和针叶林低空无人机航摄影像的匹配效果，本研究试验样地选择湖南省某县阔叶灌木林和内蒙古大兴安岭阿尔山林业局伊尔施林场某二类小班落叶松(Larixspp.)针叶林。飞行设备采用固定翼无人机测图鹰X100，机载IMU精度参数为横滚角小于±3°、俯仰角小于±3°、航向角小于±3°，搭载标定过的SONY ILCE-7R光学数码相机，镜头焦距35 mm。设计航高160 m、航向重叠率80%、旁向重叠率60%，影像大小7 360×4 912像素。2次飞行采用的设备和飞行参数相同，飞行当天天气晴朗，风力小于2级。2018年7月进行阔叶林无人机航拍，飞行6个架次，共获取943幅影像；2019年8月进行针叶林无人机航拍，飞行9个架次，共获取1 376幅影像。

数据处理使用同一台I7-6700HQ处理器、8 G内存的ALIENWARE工作站，Windows10 64位操作系统上运行Python 3.7和OpenCV 3.4.2.16搭配的程序开发环境。首先对POS数据进行转换处理，然后用转换POS数据构造像对间H矩阵。运用Python+OpenCV编写的程序以像对为单位在左片上划分出30%原始影像长宽的A、B、C、D、E子区域，再根据H矩阵采用OpenCV的WarpPerspective函数在右片上映射出相对应的A′、B′、C′、D′、E′子区域。

选择常用的ORB、FAST、SURF、SIFT、KAZE、AKAZE共6种特征算子及其默认描述子(Tareenetal.,2018)搭配本研究提出的分区策略与普通分级下的采样匹配策略进行对比试验。特征搜索采用K-D树搜索算法，优化匹配采用RANSAC算法，相同算子设置相同参数，未使用多线程和GPU加速。普通策略匹配参考吴越等(2019)，即先对原始影像进行下采样，然后只对低分辨率上成功匹配的特征点进行更高一层分辨率上匹配的策略。一幅分辨率为M×N的影像I进行n倍下采样，如下：

(10)

式中pk为将原始影像I的第k个区域合成的第k个像素点；Ii为原始影像中的第i个像素，其中i属于第k个区域。

本研究的像幅分辨率为7 360×4 912，最大下采样倍数n取值16。

根据平差理论可知，每个子区域具有4个以上匹配特征点才能平差获得稳定的约束关系，因此，出现少于4个匹配特征点的子区域越少，说明匹配特征点的位置分布质量越好。本研究利用ArcPy的空间查询接口SelectLayerByLocation_management得到每个子区域内成功匹配的特征点数量。不同特征算子搭配普通策略和本研究分区策略的匹配结果对比如表1所示。

表1 不同特征算子搭配普通策略和本研究分区策略的匹配结果对比①Tab.1 Matching result comparison of different features of operators in collaboration with common strategy and partition matching strategy of this study

不同特征算子、不同树种、不同匹配策略下，匹配速度、匹配率和特征点分布情况如图3所示。

为了直观反映本研究分区匹配策略相比普通策略的改善情况，各项指标提升率统计如表2所示。

表2 本研究策略相比普通策略各项指标提升率统计①Tab.2 Statistics of indexes increase rate of partition matching strategy of this study comparing to the common strategy

2.2 结果分析

由图3a可知，本研究策略相比普通策略，6种特征算子的特征点匹配速度均有所提升，这是因为子区域间匹配直接在原始影像上提取有效的子区域，可减小匹配范围，提高匹配速度。由图3b可知，在2种策略下，FAST算子提取到的特征点数量最多，但是匹配率很低，可见考察特征算子好坏不能只看特征点提取数量，提取到的特征点数多不代表成功匹配数就多。由图3b、d可知，与普通策略相比，使用本研究策略所有特征算子提取到的特征点数量都减少的同时，匹配率均明显提高，这是因为子区域间匹配可减小匹配范围，从而降低特征点数量，有效提高匹配率。由图3c可知，与普通策略相比，使用本研究策略在左右影像对应子区域间建立基于POS数据的单应约束方式可降低错误匹配概率，有效提升特征点的位置分布质量。

图3 试验结果对比分析Fig.3 Comparative analysis diagram of experimental results匹配速度是对每像对平均耗时的倒数进行归一化后的结果；匹配率是每像对平均匹配成功数与平均特征提取数的比值；少于4个匹配特征点子区域频数=SUM(少于4个匹配特征点子区域频数)/(像对数×5)。The matching speed is the normailized result of the reciprocal of the average time of each pair of images.The matching rate is the ratio of the average successful matching number of each image pair to the average feature extraction number.Sub area frequency numbers of the matching points of less then 4=SUM(frequency of subregions with less than 4 matching points)/(logarithm of the image multiplied by 5).

为了更直观反映像对的匹配点位置分布质量，抽取影像中具有森林、道路、建筑物、水域等地物类型较全、匹配难度较大的一个像对进行讨论，该像对子区域划分情况如图4所示。

图4 子区域划分与预测结果Fig.4 Sub area division and predicating results

对该像对采用SURF、SIFT、AKAZE 3种特征算子进行特征提取与匹配对比统计，并对特征点进行空间分析，特征点分布于A、B、C、D、E不同子区域统计结果如图5所示。

图5 试验结果对比分析Fig.5 Comparative analysis diagram of experimental results

由图5可知，普通策略的特征点分布不均匀，3种特征算子在A子区域提取到的结果均为0，主要原因是A子区域90%为水域，所有特征算子在水面上提取到的特征点均较少。E和C子区域成功匹配的特征点较多，是因为这2个子区域内有建筑和道路，普通策略的全影像下采样方式导致细节丢失，只保留了轮廓信息。使用本研究策略的实线走势明显比普通策略的虚线饱满、均匀，尤其将原来A子区域的0个特征点提高到了4个以上。这是因为本研究采用原始分辨率级别上的子区域间匹配方式，在保留影像细节的同时限制了匹配范围，虽然特征点数量有所降低，但分布质量明显提高，起到了强制从某个子区域提取特征点的作用。

图6、7分别是阔叶林和针叶林同一像对采用综合表现较优的AKAZE算子搭配普通策略和本研究策略的特征匹配结果对比。可以看出，无论是阔叶林还是针叶林像对，普通策略均存在较高的错误匹配，而搭配本研究策略的错误匹配率则较低。这是因为本研究策略的子区域间匹配方式，杜绝了跨子区域间的错误匹配，从而降低了错误匹配率。另外，针叶林影像比阔叶林影像的错误匹配率低、特征点分布更均匀，是由于针叶林的冠形纹理更清晰，在同名点间的变换关系更具刚体性。本研究子区域大小确定是根据经验选择像对重叠区宽和高的30%尺寸，在实际应用中可依据实际情况进行调整，具体原则为：与像对重叠区尺寸呈正比，与无人机搭载的IMU误差呈反比，确保像对的5个子区域都有4对以上成功匹配点。

图6 阔叶林影像的AKAZE算子特征点匹配结果Fig.6 Matching results of feature points of AKAZE operator of broad-leaved forest imagesa.普通策略Common strategy；b.本研究策略Partition matching strategy of this study.下同The same below.

3 结论

1) 低空无人机森林航摄影像主体内容是森林冠层，与建筑物和道路等固定地物不同，冠层在2次摄影瞬间会受风和气流影响，局部微小摆动都将导致像对同名点存在非刚体性变化。因此，低空无人机森林航摄影像不能简单套用普通测绘影像的匹配策略，采用原始分辨率影像分区匹配策略，在保留影像细节的同时可缩小匹配范围，提高匹配速度，是一种适于低空森林航摄影像特征匹配的匹配策略。

2) 本研究利用低空无人机POS数据，在无人机森林航摄影像左右对应子区域间建立单应约束关系，能够改善匹配特征点的位置分布质量、降低错误匹配率。与以往只考虑特征高维向量的最短欧氏距离方法不同，本研究策略充分考虑特征点位置分布质量，并尝试将GIS空间分析算法引入特征匹配过程，探索基于空间分析的特征点位置分布质量的刻画与评价方法，可为后续改进特征匹配算法提供新思路。

3) 本研究策略可随意搭配不同特征算子，搭配ORB、FAST、SURF、SIFT、KAZE、AKAZE特征算子处理低空无人机森林航摄影像结果表明，AKAZE算子效果最佳，可为进一步针对森林航摄影像纹理特点改进特征算子以及研发专门针对森林航摄影像的特征算子提供参考。