基于无人机倾斜影像的住宅区单株树木检测研究

冯启翔

（1.广州市房地产测绘院，广东 广州 510030；2.广州市测绘产品质量检验中心，广东 广州 510030）

无人机遥感技术正处于快速发展之中，无人机遥感应用具有许多优势（如操作灵活性），针对不同的应用场景，业内提出并验证了各种基于无人机的遥感方法。由于无人机飞行高度往往较低，无人机遥感很少受到云层的影响，飞行活动可以更灵活地规划和操纵。因此，大量基于无人机成像的应用已经在多个领域进行了尝试，如研究地质构造、森林、农业等[1]。

倾斜摄影的亮点在于其技术优势，斜向成像可以用独特的透视图来补充传统的垂直摄影。具体来说，这种技术可以看到建筑物、结构或特征的每一面，并可以暴露盲点、出口和入口[2]。它还可以改进对难以看到的基础设施（如灯柱、电线杆、大道树木等）的识别，它甚至可以直接测量地物的高度、长度和面积。而基于传统的垂直摄影很难定位这些特征，这些优势已经在生成城市区域的虚拟图像、绘制三维城市模型的纹理、提取建筑的应用中得到验证。

然而，无人机倾斜摄影成像较少应用于城市园林和城市绿化中，树木等植被的重建仍然是一项具有挑战性的任务，因为不同视角下，它们的外观可能会有很大差异[3]。虽然已经有一些工作致力于通过从倾斜图像生成点云（例如通过密集匹配）来开发解决方案，从无人机倾斜图像中获取树木结构参数的技术进展一直被报道，但实践表明，无人机的引入迄今为止帮助不大。虽然一些特征参数可以通过统计相关性进行检索，但树高方面的测量结果与实际结果相差很大。

提取无人机倾斜图像中的单个树木可为其三维结构重建提供一些先验知识。与传统最低点摄影中的树冠上表面相比，以无人机倾斜图像形式表示的孤立树木有助于提供更多属性。事实上，有许多应用场景只需要树检测，而不是复杂的树结构重建，涉及三维点的生成。因此，开发无人机倾斜图像中直接检测单株树木的方法具有十分重要的意义。

目前，仍然缺乏直接在无人机倾斜图像中检测单个树木的研究。针对这一差距，本研究试图将无人机倾斜成像技术引入城市林业和城市绿化中的树木调查，并致力于开发新方法，从无人机倾斜RGB 图像中检测住宅环境中的单个树木。

1 数据获取

1.1 无人机成像系统

无人机成像系统包括一架微型无人机md4-200，它是一种由电池供电的四旋翼无人机，能够携带300克的有效载荷。这种无人机可以在一个小的开阔区域内垂直起飞和降落，并且有一个带有罗盘和惯性、陀螺、气压和GPS 传感器的机载飞行控制器。使用当前电池的飞行时间为10 ～20 分钟。系统对风敏感，要求风速低于4 米/秒以获得受控图像块[4]；风速超过4 米/秒时，无人机会急剧倾斜，并导致较大的俯仰角和侧倾角。md4-200 配备了理光GR Digital III（理光GR3）数码紧凑相机。该相机的镜头固定焦距为6毫米，相机装有一个7.6 毫米×5.7 毫米（3648×2736像素）的CCD 传感器，像素大小为2μm。

1.2 数据获取

研究区域位于广州市南沙区（北纬22°38′，东经113°35′），是一个典型的居住区。数据采集时间为2021 年8 月，采集高度约为地面以上40 米，倾斜图像的角度是任意的。未经失真校正等预处理，但直接用于测试的原始图像以快视图形式示出，如图1 所示（主要＜0.2m GSD）。有道路、灯杆、树木、汽车、草坪、灌木和建筑物，这些都是住宅环境中常见的组成部分。试验现场主要由红色屋顶、绿色植被和灰色道路组成，它们的比例在不同地块甚至不同视角下有所不同。一般来说，这表明植被是不可忽视的，这是试验场地显示的宜居环境的特征。香樟和松树的树木高度中等（4 ～5 米），即使在单个图像中，每棵树的视角仍然不同，这表明仅基于有限数量的采集图像验证所提出的算法是可行的。

图1 不同角度的无人机倾斜影像

2 研究方法

2.1 成像特征分析

在传统的树木检测工作中，高密度或中等密度森林区域的高空间分辨率图像的三维视图通常被描述为山地空间结构[5]。对于具有这种圆锥形结构的树木，图像中的明亮峰值对应于通常具有更高水平太阳照明的树梢。因此，检测树梢的问题可被视为在图像中寻找明亮峰值的问题，即在其周围像素中找到亮度值最大的像素。对于VHR 图像，大多数针对树木检测的算法仍然植根于这一原理。

然而，居住环境图像中的树木呈现出显著的特征。首先，在这样的图像中，斜视图会使树顶偏离其中心，而树顶可能不是最亮的部分。其次，无人机低空飞行引发的超高空间分辨率（UHR，GSD＜0.5m）使树冠显示出较大的反射率变化，将其视为传统假设的山地空间结构是不合适的[6]。第三，在无人机倾斜图像中，单个树木的背景往往在很大程度上不同，无人机倾斜图像可能会显示以道路、土地、草坪、灯杆、墙壁或其混合物为背景的单个树木。因此开发适合无人机倾斜图像中树木检测的新算法需要考虑上述所有特征。

2.2 算法程序

图2 算法流程

2.2.1 土地覆盖分类

（1）基于颜色的k 均值聚类图像分割

居住环境通常意味着图像中复杂的颜色分布，这对于单个树木的检测是一个挑战。为了克服这个问题，首先对土地覆盖分类进行操作，这有助于限制树木检测的有效范围。本研究基于颜色的图像分割算法，k均值是用于确定数据集中存在的自然光谱分组的聚类算法，数据中要定位的集群数量提前给出。该算法在多维测量空间中任意地对该数量的聚类中心进行定位。图像中的每个像素都被分配给任意平均向量最接近的簇。该过程持续进行，直到在算法的连续迭代之间，类平均向量的位置没有显著变化。然后，利用k 均值聚类的结果对图像中的每个像素进行标记，从而对图像进行分割。

（2）使用从RGB 导出的新植被指数进行图像分类

分割结果并不意味着每个分段对应的对象类型已知，需要确定由树木组成的植被段集。对于这个问题，植被指数的传统概念有助于对如何构思可能的解决方案提供一些启发。众所周知，植被识别通常采用归一化差异植被指数（NDVI）的参数（Liang，2004）。尽管理光GR3 相机的RGB 相关颜色通道与NDVI 中通常定义的光谱带并不完全一致，但可以基于相机R 和B 波段（NrbVI）合成一个类似NDVI 的植被指数，用于植被识别。如公式（1）所示，NrbVI 值大于0.1 的像素可以标记为植被类型，这符合NDVI 应用中的常见规则。

注意提取的像素需要进一步筛选，以减少颜色通道不一致情况下引入的虚假像素。考虑到输入的不一致性往往表现为极端的输出情况，但数量很少，筛选是基于统计数据进行的。具体而言，根据直方图单独分析RGB 值，并使用高斯函数拟合其概率分布，它们的平均和标准偏差参数可以计算出来，然后将排除位于范围之外的像素。从理论上讲，这种行为可以增加颜色通道一致性的比率，并且可以以更高的精度识别植被覆盖。

（3）通过综合分割和分类结果生成植被覆盖图

很难保证存在一组完全重叠植被类型像素的同类型分段。解决方案是使用逻辑AND 运算处理它们的重叠程度。经过重叠像素统计和比较，显示最大重叠程度的一组线段被视为植被覆盖图。

2.2.2 植被特征转换

植被覆盖图可以有效地缩小单个树木检测的搜索范围，但仍然不能直接给出孤立的树木。此外，树木、灌木和草坪在颜色上的相似性使它们很难区分。就亮度而言，树木可能比草坪暗、类似草坪或比草坪亮。因此，单纯依靠RGB 值的参数不足以区分树木、灌木和草坪。为了区分不同的植被类型，需要找出能够一致表征其特征的新参数。

事实上，就质地而言，树冠明显不同于草坪，树枝和树叶的复杂多变的布局使得树冠比草坪表现出更高的颜色变化，草坪在相对光滑的表面上往往呈现出相对较高的反射率，尤其是在斜视图中较明显。当然，亮度作为植被类别的一个重要指标仍然是假设的，毕竟在大多数情况下，树木呈现出与草坪不同的颜色。此外，如果树木和草坪显示相同的纹理，颜色可能会有所帮助。

因此，通过合成用于植被特征转换的纹理和RGB亮度的特征参数，提出了公式（2）中列出的新参数。对于植被覆盖图中的每个像素，其值将替换为公式（2）的结果。具体来说，在植被覆盖图上部署半径为R 的圆形窗口，其中心位于每个像素上。对于每个这样的像素，窗口内像素的标准偏差（std）和R、G 和B 值的平均值Pmn-Pij≤R是计算出来的。然后，将像素值替换为它们各自的比值之和。由于使用圆形窗口只是为了检查纹理特征，因此可以通过比较经验得出的树木大小或树木样本的平均大小与平均GSD 来确定R 值。这个新变量的新植被特征图将用于单株树木检测。

2.2.3 单株树检测

本文使用标记控制的分水岭分割提取单株树木。植被特征图有助于提取单株树木，而且树木和灌木的亮度相对高于草坪。然而，这与植被覆盖图中显示的场景不同。基于这一现象，本文提出一种基于分水岭分割的树木检测解决方案。分水岭分割的原理是将灰度图像视为地形表面，其高度与灰度成反比，然后逐渐淹没。随着水位上升，封闭的分水岭线可以形成分段的边界，即此处的单个树木，该方法可以在一定程度上解决冠合并问题。

3 数据处理和精度评估

3.1 植被覆盖图

首先，使用k 均值聚类的基于颜色的图像分割的结果如图3（a）所示。分割产生了三种土地覆盖类型，即绿色标记植被、红色标记建筑屋顶和蓝色标记其他。而后，使用从RGB 导出的新植被指数（NrbVI）进行图像分类，结果如图3（b）所示。在这种情况下，从原始图像中导出的用于公式（2）中R、G 和B 的平均值和标准偏差分别为63 和21、77 和26，以及7 和21。虽然并非所有的植被都已经被提取，但提取的像素大多属于植被。这确保了下一次操作的效果。在综合分割和分类结果后，如图3（c）所示为植被覆盖图生成结果。

图3 植被覆盖图生成结果

3.2 植被特征图

图4（a）中示出了窗口半径R 设置为15 像素的步骤2 的结果。与直接从RGB 彩色图像转换而来的相应灰度图像[如图4（b）所示]中的场景相比，在生成的植被特征图中，树木比草坪相对明亮。事实上，一些在RGB 图像中很难通过视觉判读识别的树木在NrbVI变换后清晰地显示出闪亮的斑点。在RGB图像中，一些模式相同的小尺寸树也显示出清晰的边界。这有助于区分个别树木。

图4 植被特征图

3.3 单株树检测

使用标记控制的分水岭分割提取单个树木的结果如图5 所示。形状分析后（通过对PCA 确定的长轴与其垂直轴之间的比率设定阈值，并排除边界线性部分的树木），可以在一定程度上排除特征类似于树木的灌木和当地草坪。然后，在表1 的图2a 和图2b 中，分别确定54 和33 棵形状相对完整且可区分的树作为基本事实，并根据误判和漏判误差评估所提出算法的性能。如表1 所示，可以验证新算法的有效性。

图5 单株树分割结果

表1 算 法的精度评估

4 结论

本文提出的新特征参数综合了纹理和RGB 亮度的常用特征参数，测试的结果验证了所开发的算法可用于在无人机采集的住宅环境的单个倾斜图像中直接检测单个树木。该算法还需要不断改进，以适应不同的场景。对于天然林中的单株树木，可能会满足不同的空间分布模式，树冠可以部分成像，树干可以完全着色，这将不同于本研究部署在住宅环境中的场景。在住宅环境中，单个树木的分布相对孤立，树干通常在图像中可见。此外，将森林图像区分为树木和背景对象也是一项具有挑战性的任务，因为光照、不同颜色阴影和不均匀的树皮纹理等变化很大。因此，本研究中提出的算法在应用于茂密森林时需要进行调整。