结合Faster-RCNN和局部最大值法的森林单木信息提取

2022-08-06王珠鹤

实验室研究与探索 2022年4期

王臻，王珠鹤

（中国地质大学（北京）土地科学技术学院，北京 100083）

0 引言

森林是陆地最大的生态系统，在维持与保护全球气候发挥着重要作用。激光探测与测量（Light Detection and Ranging，LiDAR）技术具有能够部分穿透森林冠层的特点，被广泛应用于森林调查。利用LiDAR技术进行单木提取获得的森林参数能够服务于生物量以及森林生态系统的生物物理过程等研究［1］，得到了广泛的关注。

森林点云去除地面高程影响后形成归一化植被点云，归一化植被点云栅格化后能生成冠层高度模型（Canopy Height Model，CHM）。与之对应的单木提取方法分为：基于点云的方法和基于CHM的方法。

基于点云的方法的优点是避免了CHM 栅格化导致的信息损失，且有机会提取到下层木。缺点是点云处理复杂，效率低，且点云密度不足时，下层木无法有效体现在点云中。主要方法包括，K-均值聚类算法［2］，均值漂移算法［3］等。Gupta 等［4］和林怡等［1］发现以局部最大值法或圆检测理论提取的树顶点作为聚类的初始种子点进行聚类，提取效果优于直接聚类。

CHM能够直观反映树顶点以及树冠表面高程起伏，树冠表面高程起伏是连续表面的特征，在离散点云中难以有效表达，充分利用树冠表面高程起伏特征在CHM上提取上层木时有一定优势。CHM 有效提取上层木也为下层木的准确提取创造了条件［5-6］。但是当前方法主要采用局部最大值法［7-8］，或轮廓识别法［9-10］提取单木，无法充分描述树冠表面高程起伏特征，导致这些方法单木提取能力较弱。同时这些方法依赖人工建立的特征，无法从数据中自动进行特征提取，导致它们无法适应复杂多变的森林环境。

本文借助深度学习优秀的自动特征提取能力，利用Faster-RCNN 方法［11］在CHM 上进行单木提取，同时用局部最大值法对其进行补充，实现了高精度单木提取，并在单木探测数据库NEWFOR［12］上验证了有效性。

1 单木提取方法

本文方法主要包含：树标签构建、Faster-RCNN 单木提取和局部最大值法单木提取3 部分。最终单木提取结果为Faster-RCNN 和局部最大值法提取单木的总和。

1.1 树标签构建

采用Faster-RCNN进行单木提取，首先要获得单木外包框作为训练样本进行神经网络的训练。NEWFOR数据库中只包含树顶点的位置以及高度信息，缺乏冠幅信息，无法有效获得树的外包框。虽能直接从点云中人工划分单木，因点云比较杂乱，且多棵树互相叠掩，单木范围难以确定。依据树高和冠幅具有相关性［13］，利用树高和冠幅之间的关系，能够快速获取单木外包框，用于Faster-RCNN训练。

从点云中获取容易辨别的单木，人工确定它们的外包正方形。依据数据库中树顶点的位置和高度，确定树顶点点云所在位置。利用树高和外包正方形边长建立回归方程。高度与外包正方形边长的散点如图1所示。采用线性方程拟合散点，回归方程的R2为0.69，表明树高与外包正方形边长具有较高相关性。利用该回归方程结合单木树高求得所有单木的外包框用于网络训练，单木外包框如图2 所示。

图1 树高与外包正方形边长的散点图

图2 单木外包框

该方法不仅能应用于NEWFOR数据库，且能推广到其他已经获取的点云或其他数据库中用于深度学习单木提取训练集的构建。

1.2 Faster-RCNN网络

Faster-RCNN 网络主要包含特征提取网络，区域提名网络（Region Proposal Network，RPN）网络和外包框提取网络，其中特征提取网络用于从CHM 中提取特征作为RPN网络的输入，RPN网络用来获得单木候选框，外包框提取网络基于单木候选框获取最终单木外包框。

1.2.1 特征提取网络

VGG-16 网络［14］被用来作为特征提取网络，该网络结构简洁，具有良好的迁移能力，适合在CHM 模型上进行提取特征。VGG-16 网络的输出为CHM 特征图，大小为CHM的1/16，CHM特征图是RPN的输入。

传统方法中为减少点云噪声和CHM 中空洞对寻找树顶点的影响，会利用不同窗口大小的滤波器对CHM进行滤波，滤波器窗口大小的选择会对提取结果有巨大影响。窗口过大容易抹平树顶点，导致单木漏分；窗口过小会探测到大量非树顶点的局部最大值，导致错分，复杂森林环境中选择合适的窗口尤为困难。

VGG网络通过本身含有的多个卷积层以及池化层对CHM进行特征提取。相当于采用了多个不同窗口大小的滤波器对CHM进行探测。多个不同窗口大小滤波器探测的结果也就是VGG网络输出的CHM特征图，将被后续网络综合判断进行单木提取，避免了传统方法中滤波器窗口大小选择的问题。

1.2.2 RPN网络

RPN网络通过锚点框的建立，实现自动候选区的建立。RPN对CHM特征图上的每一个像元生成不同大小的锚点框。锚点框是原始图像上以CHM 特征图中一个像元为中心的不同大小的窗口。本文使用了边长为8、16、32 个像元和长宽比为0.5、1、2 的锚点框，也就是每个CHM 特征图中的像元对应9 个锚点框。利用该像元的特征能预测这9 个锚点框是否包含单木以及预测通过锚点框得到的候选框的位置。为让神经网络达到该目的，要定义参与训练的正负样本锚点框，建立对应的目标函数。

正负样本锚点框依据锚点框和单木真实外包框的重叠度确定，重叠度通过交并比（Intersection over Union，IOU）表达。

式中：SIntersection为2 个外包框的交集；SUnion为2 个外包框的并集。

正负样本锚点框确定步骤如下：

步骤1将与单木真实外包框IOU最大的锚点框作为正样本，保证每个单木真实外包框都有一个锚点框与之对应；

步骤2将剩余的锚点框中与单木真实外包框IOU ＞70%的锚点框作为正样本，IOU ＜30%的锚框作为负样本。正样本确定过程中，保证每一个正样本锚点框都和唯一的单木真实外包框对应。

确定正负样本后，就要定义RPN 网络目标函数，求解目标函数能够得到单木候选框的位置以及其属于单木的概率。RPN网络目标函数

式中：pi为第i个锚点框单木预测概为第i个锚点框是单木的真实概率，正样本锚点，负样本锚点框p*i=0；ti为第i个锚点框预测的单木候选框的4 个坐标值组成的向量为第i个锚点框对应的单木真实外包框的4 个坐标值组成的向量；Ncls为所有锚点框的数量；Nreg为所有正样本锚点框的数量；Lcls为单木预测的损失函数，为交叉熵函数；Lreg为边框回归算法的损失函数；λ 为权重，控制Lcls和Lreg约束的比例。式（2）中第1 项用于约束锚点框预测单木的准确性，第2 项表示对正样本的锚点框进行边框回归算法［11］，最小化模型输出的单木候选框和单木真实外包框的差异。

RPN网络中CHM特征图上每一个栅格都生成锚点框，几乎可以覆盖CHM上所有可能有树的地方，不需要额外进行手工规则进行单木提取，只需要利用锚点框和CHM特征图进行单木判断识别单木。

1.2.3 外包框提取网络

RPN网络获得候选框后，外包框提取网络将进一步判定候选框是否是单木，同时输出更准确的单木外包框位置。

与单木真实外包框IOU ＞70%的锚点框都作为正样本，单木真实外包框周围会有多个被判断为单木的候选框，要去除这些重复的候选框，需要采用非极大值抑制（Non-Maximum Suppression，NMS）算法［11］。NMS算法步骤为：

步骤1将当前候选框按照其属于单木的概率进行排序并放入集合｛A｝中，｛A｝中最高概率的候选框是单木候选框T，并将T从｛A｝中删除；

步骤2遍历｛A｝中其余的候选框，删除与T的IOU大于阈值的候选框；

步骤3重复上述过程，直到｛A｝中没有候选框。

经过NMS后得到的单木候选框，采用感兴趣区域池化的方法［11］能从CHM 特征图中获得对应特征，再次利用式（2）对该候选框内特征进行约束可以得到最终候选框的位置以及其属于单木的概率。和RPN 网络中不同的是外包框提取网络中目标函数针对的是NMS得到候选框，而不再是RPN网络中的锚点框。外包框提取网络最终候选框中属于单木的概率大于概率得分阈值的候选框作为Faster-RCNN 单木提取的结果。

NMS后得到的单木候选框和单木树冠具有较高的重合度，通过该候选框从CHM 特征图中获取的特征包含较为完整和独立的单木树冠高程起伏信息。相对只利用树顶点和树轮廓，外包框内的特征信息更加丰富，采用Faster-RCNN 相对传统方法能具有更高的鲁棒性。

1.3 局部最大值法提取树顶点

Faster-RCNN通过判断锚点框或候选框是否属于单木实现单木提取，误判是不可避免的，会存在部分区域有点云但是没有识别到树的情况。这些区域，采用局部最大值法继续提取单木。最终提取的单木数量为Faster-RCNN提取的单木数量和局部最大值法提取的单木数量之和。

局部最大值法提取单木的步骤：

步骤1获取CHM中未被任意Faster-RCNN提取的单木外包框包含的像元；

步骤2依据该像元的值也就是树高以及1.1 中建立的单木外包框和树高的关系，确定外包框大小；

步骤3如果该像元是该外包框的最大值，则该外包框是单木外包框。

2 实验结果与分析

2.1 实验数据

NEWFOR数据库中Leskova地区被用于本文方法的验证。Leskova地区包含4 个样地，295 棵树，点云密度为30 点/m2，是冷杉、云杉，山毛榉，梧桐等树木组成的多层针阔混交林，能够用于验证本文方法在复杂森林区域的提取性能。

2.2 单木提取性能

为验证方法的鲁棒性及泛化性，采用4 倍交叉训练的方式进行训练和测试，选取3 块样地做训练集，1块做测试集，重复4 次，直到所有样地都被测试到。

2.2.1 定性分析

图3显示了Leskova地区a 区域和b 区域的单木提取结果，其中红色点代表真实树顶点的位置，绿色框代表预测的单木外包框，黑色代表有树点云的像元。

图3 CHM上提取结果

由图3 可见，单木提取结果较好，大部分树都被有效提取，即使样地内树间距比较紧密，依然保持了良好的提取能力，显示了本文方法良好的性能。

图4显示了局部最大值法的效果，图4 按树高分层设色显示了一个区域的点云。图4（a）是垂直视角的点云，图4（b）是3 个红色框内树点云的水平视角。这3 棵树只有一半树有点云，转化成CHM 后，Faster-RCNN无法有效识别。通过局部最大值法这3 棵树能被提取到，这显示了局部最大值法是Faster-RCNN 有益的补充。

2.2.2 定量分析

图4 局部最大值法的提取效果

除了定性分析，定量分析也被用来评估单木提取精度。依据文献［6，12］，单木被探测到的标准为：将算法探测到的单木顶点水平距离最近的真实单木顶点对应的单木作为其探测到的真实单木。精度评价指标通常采用提取率（ER）、匹配率（MR）、错分率（CR）、漏分率（OR）以及F1-Measure。则：

式中：Ntest为算法提取的单木数量；Nref为真实单木数量；Nmatch为算法提取的单木中匹配正确的单木数量；NCom为算法提取的单木中匹配错误的单木数量；NOm为真实单木中未被匹配的单木数量。

Faster-RCNN单木提取结果受到概率得分阈值和NMS阈值影响，对不同的概率得分阈值和NMS 阈值组合进行测试，验证方法性能的同时测试方法敏感性。不同阈值结果见表1。

表1 不同NMS阈值和概率得分阈值下单木提取结果

由表1 可见，概率得分阈值越高，提取率、匹配率和错分率都越低；NMS阈值越高，提取率、匹配率和错分率都越高。这是因为得分阈值越高，保留的外包框变少，对应的正确的和错误的外包框都会变少；NMS阈值越高，去掉的重叠的框越少，对应的去掉的正确的和错误的外包框都会变少。概率得分阈值为0.5，NMS阈值为0.3 时，F1度量结果最好为0.72，证明了模型具有优异的单木提取能力，且较高的F1度量证明了模型能够有效兼顾探测能力和探测精度两方面。除了概率得分阈值为0.4，NMS 阈值为0.5 以外，F1度量都大于0.65，证明了方法对NMS 阈值和概率得分阈值敏感性较低，整体保持了较高的精度，确保了模型即使在复杂地区，NMS阈值和概率得分阈值不是最优设置情况下，也能保证较高的精度。

为进一步验本文方法的单木提取能力，表2 显示了与其他主要方法包括局部最大值+滤波法（方法1）［12］、局部最大值+区域生长法（方法2）［12］、局部最大值+多尺度CHM法（方法3）［12］、分割+聚类法（方法4）［12］、Mean shift 法（方法5）［15］、水平分割+垂直合并法（方法6）［16］，标记分水岭+空间分析法（方法7）［6］的比较结果。这些方法在相似地区的结果报告从文献［6］中得到。因为大部分方法报告的提取率都略大于100%，为了方便比较，表2 中将概率得分阈值为0.4，NMS 阈值为0.3 时的结果进行了展示。对比可知，本文方法在相似的提取率情况下，具有最低的遗漏率、错分率以及最高的匹配率，证明了本文方法具有最优的性能。