一种基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法

赵冬阳，范国华,2，赵印勇，陈信，王文宇，张友华,2,*

(1.安徽农业大学 信息与计算机学院计算机系，安徽 合肥 230036；2.安徽省北斗精准农业信息工程实验室，安徽 合肥 230036；3.砀山县酥梨种质资源省级自然保护区办公室，安徽 砀山 235300)

古树，是珍贵的自然资源，是考古学、古生物学、古生态学的重要研究对象，并在生态系统、景观、旅游和科学研究中扮演着重要的角色[1-4]。古老的梨树，属于典型的古树名木，是珍贵的自然遗产，对于它们的保护和监管是非常必要的。近年来，很多梨树种植区域为了打造农产品明星品牌，都建立“老梨园” 的区域品牌和文化，主打古老梨树及其相关产品的售卖。不管是对古老梨树进行保护监管，还是开发其经济价值，对梨树树龄的测定都是所有工作最初也是最重要的一步。

对古树的树龄测定一般有两类方法：第一类方法精确测定古树的树龄，此类方法包括回归模型[5-7]、X射线[8-9]、CT扫描[10]、生长锥[11]和14C测定[12]。这类方法可以对单棵古树的树龄进行精确测定，但一般需要特殊的设备，且耗时耗费较高。第二类方法粗略测定古树的树龄，将古树树龄归纳于各个树龄范围，包括类比推断和基于文献的方法[12]，这类方法对古树树龄的测定精确度较低，但耗时耗费较低。国内大多数梨树种植园种植的梨树数量都超过2000棵，因此，第一类方法不太适合对梨园内的大量梨树进行树龄测定，第二类方法虽然可以提高梨树树龄的测定效率但效率提高有限，且测定精度有所不足，因此，需要利用计算机辅助手段进行数据处理和统计以减少时间花费。

计算机辅助手段中，图像是最容易获取的一种方案，对于大量(超过千棵)的梨树，遥感图像拥有大面积同步观测的优点，传统的航摄方式(如卫星遥感、普通航空遥感)存在着信息获取费用昂贵、数据获取周期较长、缺乏机动灵活性等问题，不适用于短期、高频的动态统计研究，而使用无人机进行动态统计则有着高精度、高效率、低成本的优点。利用机器视觉对农业遥感图像进行自动检测和分类是目前农业遥感图像研究主流的发展方向，卷积神经网络(Convolutional Neural Network, CNN)，能够自动从数据中学习特征，避免了传统算法中人工设计、提取特征的复杂性和局限性，在没有人为干预的情况下，具有极大的特征学习潜力，已成为机器视觉的主流算法之一[13-14]，在农业遥感图像领域中，卷积神经网络已经被广泛用于农业图像的分类、提取、识别和检索，Cheng等[15]提出了一种基于残差学习的深度卷积神经网络农业害虫分类方法，对10种虫害图像的识别准确率达到98.67%；Cruz等[16]开发了一种基于机器视觉的深度卷积网络技术，并检测出受感染的油橄榄叶片焦枯叶；张建华等[17]提出了一种基于改进型RESNET卷积神经网络的棉花病害识别模型，对棉花的5种常见病斑识别率达到89.51%；金秀等[18]分析了卷积神经网络卷积层同小麦赤霉病特征的关联性，构建的深度卷积神经网络对小麦赤霉病高光谱病症点识别率达到74.2%。从上面的研究可以看出：卷积神经网络对农业图像的分类、识别已广泛超越传统方法。

本文以安徽省砀山县的梨树为研究对象，通过无人机拍摄低空遥感图像，然后，对低空图像进行一系列预处理并通过试验分析，提出一种基于卷积神经网络的梨树树龄梯度识别方法，该方法可以利用廉价的无人机，快速识别出大量梨树的树龄梯度，大幅度降低梨树树龄测定成本开支。

1 数据采集

1.1 研究区概况

研究区位于中国安徽省砀山县，砀山县素有“中国梨都”的美誉，是中国主要的酥梨品种“砀山酥梨”的发源地和集中产区，拥有全世界最大的连片果园产区，梨年产量114.2228万吨，占中国梨总产量的6.1%，世界梨总产量的4.5%[19]。本文实验的主要实验基地为砀山县下辖的良梨镇，该地区位于北纬34°16′～34°39′，东经116°29′～116°38′之间，总面积1193 km 2，年平均气温14.1°C，年平均降水量680mm，地势平坦，土壤为黄河冲积而成的沙壤土，地处暖温带半湿润季风气候区，四季分明，气候温和，雨量适中，日照充足，无霜期长，适合种植果树。梨树王风景区的地理位置见图1。

图1实验基地地理位置

1.2 数据来源

实验所用数据为无人机遥感图像，无人机为大疆精灵4pro，搭载相机为FC6310，拍摄时间为2017年12月～2018年3月，图像采集在阴天和多云环境下进行，以降低阴影对图像的影响。拍摄地点为砀山县下辖的梨良镇梨树王风景区，拍摄地点区域内植被类型为林地，地势平坦，拍摄对象为梨树，拍摄方式为垂直俯视，无人机飞行高度为30～35米，单幅航拍图像大小为5472像素*3078像素。无人机与相机参数如表1所示。

表1 无人机及相机参数

2 研究方法

针对现有方法无法快速测定大量梨树树龄的问题，本研究提出了一种基于深度卷积神经网络的无人机低空遥感图像梨树树龄梯度识别方法。该方法流程如图2所示。首先根据农业领域的要求，设定好梨树的树龄梯度，通过无人机获得梨树的图像，对获得的图像进行合成，并分割出单棵梨树图像，利用基于CNN的多种模型对训练集中的单棵梨树图像特征进行抽象与学习，以自动获取图像深层特征，最后对测试集中的梨树图像进行识别，识别出其树龄梯度。

图2 基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法流程图

2.1 树龄梯度构建

现有的树龄测定方法主要是基于树的年轮测定，而如果要得到树的年轮，就必然要截取树的枝干等部分，这严重影响树龄的测定速度。实际操作中，对于大本植物的年龄的估测往往不需要如此精确，一些研究者已提出对大本植物年龄进行分段[20-21]，对梨树树龄的测定同样也不需要如此精确，因此，我们提出树龄梯度这个概念，将梨树的树龄范围分段在各个梯度范围。中国国家林业局颁布的《全国古树名木普查建档技术规定》中，将中国古树分为3个级别，1级古树树龄为500年以上，2级古树树龄为300～499年，3级古树树龄为100～299年[22]，这种树龄分级法即可视为一种树龄梯度的划分方法，中国绝大多数著名梨树种植区将梨树的树龄划分为2个级别：大于等于100年或小于100年，因此我们在本文中也将梨树的树龄梯度分为2个级别：大于等于100年或小于100年。

2.2 数据集构建

本文数据使用6块样地无人机遥感图像，1～3号样地的图像作为训练集，4～6号样地的图像作为测试集。为了便于识别图像中梨树的实际位置，每块样地的图像使用PTGui拼接成一整张图像，选择合适尺度对图像进行规则切分，以反映连续分布区域的梨树小图像块为研究对象，将切分得到的小图像块作为实验数据集，以待学习与提取图像深层特征。从中随机选择一定数量的数据作为训练/验证样本集，剩余数据作为测试数据集。所有图像经过数据扩增，增加了其余两个方向的旋转角度，总共3517张图像，其中训练/验证集图像2326张，测试集图像1191张。图像标注通过标注工具labelimg完成，标注内容为梨树的矩形框坐标及梯度分类信息。标注由我们采集完成后，经砀山县酥梨种质资源省级自然保护区专家复核。

2.3 卷积神经网络(CNN)模型

卷积神经网络(CNN)是一种包含卷积计算且具有深度结构的前馈神经网络，主要由卷积层、池化层、全连接层以及输出层组成，由多个卷积层和池化层组合，通过逐层提取图像特征来模仿人类视觉逐层认知物体的方式[23]，卷积神经网络在图像识别领域取得了很好的效果[24-25]。

三个月后，高志明被任命为照相馆副经理。淘汰国产911彩扩机，用上进口的诺日士自动冲印机，换了背景和道具服装，春风照相馆也辟出了艺术摄影业务。

卷积神经网络的卷积运算本质上是一个向量內积运算，通过卷积核同图像矩阵的內积操作，得到图像不同特征的响应，其工作原理可由公式1表示:

(1)

除了卷积运算，激活函数即非线性映射函数，也是卷积神经网络中不可或缺的关键模块，卷积神经网络强大的表示能力相当一部分都是由激活函数的非线性带来的，常用的激活函数包括：Sigmoid函数、tanh函数、ReLU函数等，其中,Sigmoid函数已不建议使用，ReLU函数是目前卷积神经网络使用最多的激活函数。

目前主流的卷积神经网络模型包括：AlexNet、VGGNet、ResNet等，其中，VGGNet[26]是ILSVRC 2014年比赛的亚军和定位项目的冠军，VGGNet通过反复堆叠组合3×3的小卷积核和2×2的最大池化层，成功构建了多个级别11～19层的深层卷积神经网络，比较常用的VGG16和VGG19。ResNet(Residual Neural Network)[27]由微软研究院的Kaiming He等人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。本论文使用的是VGG16和Resnet101结构进行比较。VGG是由13个卷积层+3个全连接层叠加而成，当输入一副图像后，在卷积层使用3×3的卷积核，2～3个卷积层连续堆叠成卷积序列，模仿出更大的感受野效果，在池化层使用2×2的窗口，减少卷积后的特征图大小，在全连接层则使用3个连续的4096通道全连接进行组合，最后由1个具有1000个标签的分类器进行输出。VGG16最大的特点是通过小卷积核的叠加来增加对图像细小特征的提取，并减少卷积层的参数[28]。从图像中提取CNN特征，VGG16是最好的几种算法之一[29]。而Resnet的网络结构会用到两种残差模块，一种是以两个3×3的卷积网络串接在一起作为一个残差模块，另外一种是1×1、3×3、1×1的3个卷积网络串接在一起作为一个残差模块。ResNet有不同的网络层数，比较常用的是50-layer，101-layer，152-layer。他们都是由上述的残差模块堆叠在一起实现的，本文将采用效果较好的resnet101进行试验。

3 结果与分析

3.1 实验环境

本文实验所使用的软件和硬件开发环境图表2所示，实验中，采用pytorch作为深度学习的框架，并完成训练和测试，同时，也使用了GPU来加速优化速度。

表2 实验环境

3.2 特征提取

卷积神经网络的卷积操作可以自动提取图像特征[30]，图3可视化了Resnet101模型中的f1_conv1、f5_layer1，f8_layer4_2三层。从这些可视化的特征图里可以看出：图像中的梨树内容已跟背景分离，而特征已被resnet101模型自动提取。

图3 resnet101部分卷积层特征可视化

3.3 识别结果与比较

在实验中，我们将梨树树龄划分为2个梯度：大于等于100年或小于100年。大于等于100年树龄的梨树命名为peartree，小于100年树龄的梨树命名为youngpear，共使用样本遥感图像3517张，其中，2326张用于训练和验证，1191张用于测试。训练/验证集中，1257张为peartree图像，1069张为youngpear图像，测试集中，655张为peartree图像，536张为youngpear图像，识别效果如图4所示。

(a) VGG16识别结果

(b) RESNET50识别结果

(c) RESNET101识别结果

针对梨树树龄的识别效率涉及准确率和时间效率2个尺度，用不同的模型对识别准确率进行比较，并将基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法与传统树龄识别方法进行时间效率的比较。

为了评估各模型的识别效率，我们将其同不同的模型进行比较，比较结果如表3所示，在4种深度卷积神经网络模型中，AlexNet的识别准确率过低，因此不参与后期的比较，剩余的3种模型中，RESNET101的识别准确率和F1-Score值是最高的，由于RESNET101模型在测试集上的表现最好，因此，将其作为基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法的识别模型。

表3 不同模型评估结果

3种模型的训练结果如图5所示，对于VGG16网络来说，一共进行了200次训练，ACC上升更加的缓慢，loss数值的下跌也有波动，且val验证集的acc高于train训练集，loss低于train训练集，即有一定的过拟合现象。而RESNET的acc的上升幅度非常快，之后数据趋于平稳，且val测试集的曲线和train训练集的曲线并没有相差很远，说明并没有发生拟合和欠拟合现象，而loss值有一定的波动，但是还是在可以接受的范围内一直降低。这证明了RESNET的训练较为稳定,其中RESNET101相比RESNET50准确率更高，说明对于RESNET模型来说，层数越高，准确率越高、识别效果越好。

VGG16

Resnet50

Resnet101

为了进一步评估不同模型的泛化性和对不同树龄目标的响应，本文使用混淆矩阵对测试集进行评估，结果如图6所示，可以看出：各模型对于peartree的识别准确率最高，而对于youngpear的识别准确率则偏低，这说明：深度卷积神经网络模型对于特征(颜色、纹理、形状等)明显的梨树遥感图像样本响应更敏感。

图6 不同模型的混淆矩阵

梨树树龄识别时间效率的提高是本文研究的核心目的，本文将基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法与常用的4种传统树龄识别方法进行时间效率的比较(比较中已加入各方法的预处理和训练时间)，各方法对于单棵梨树的平均识别时间如表4所示，可见，基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法的时间效率远胜4种传统树龄测定方法。

表4不同方法的时间效率单位：min

3.4 典型误检结果分析

从表3以及图6的结果可知，深度卷积神经网络模型对于特征明显的梨树遥感图像样本响应敏感，因此，对于树龄大于100年的梨树遥感图像识别准确率极高，对于树龄小于100年的梨树遥感图像识别准确率则偏低。这主要是由于梨树本身的生理特性：其树龄达到70年后，外观变化速度减缓，70年以上树龄的梨树与100年树龄的梨树外观经常并无太大差异，如图7所示。

(a)100年树龄的梨树，测定正确 (b)80年树龄的梨树，测定错误

4 结论与展望

现有的古树树龄测定方法主要都是针对单棵古树，不适合对大量的梨树进行树龄测定。针对此问题，本文提出了一种基于无人机遥感和卷积神经网络的梨树树龄梯度识别方法。首先对树龄测定领域的需求进行细分，提出树龄梯度的概念，然后将无人机遥感监测和卷积神经网络图像分类相结合，实现对大量梨树树龄梯度的快速测定。实验结果表明：本方法的树龄梯度测定准确率为85.56%，单棵梨树树龄梯度测定时间仅为0.5min，准确率和时间效率远胜传统树龄测定方法。综上所述，本文的研究对于大量梨树树龄测定统计问题具有重要的理论价值和实际意义，此外，本文的研究经验也可应用于其它大本植物的年龄测定研究。

本文的研究结果显示：当梨树成长到一定年龄阶段(70年)，其外观将在很长一段时间内变化差异极小，这时候树龄测定的准确率将明显下降。本质上，这是一个细粒度图像分辨问题，未来，笔者将进一步研究细粒度梨树遥感图像的树龄梯度识别问题。