基于深度学习的大型食草动物种群监测方法

罗巍 陈曙东 王福涛

摘要：借助无人机遥感手段对分布在青海省玛多县的大型食草动物进行监测。监测对象包括家养藏羊、家养牦牛、马3种家养食草动物和藏原羚、藏野驴、岩羊3种野生食草动物。运用深度学习模型mask r-cnn对航拍影像中的各类大型食草动物进行检测和定位，得到的召回率、正确率、漏识别率均值分别为89%、98.4%、10.8%。通过提取Mask R-CNN检测过程中生成的掩膜获取动物的轮廓矢量，进而可以估算出各类大型食草动物的种群数量和分布信息。通过与青海省草原总站提供的家畜存栏信息对比，两者的差值百分比分别为家养藏羊7.5%，家养牦牛为8.8%，马为2.8%。

关键词：大型食草动物;无人机遥感;深度学习;目标检测;种群分布;种群密度

中图分类号：S127   文献标志码： A  文章编号：1002-1302（2020）20-0247-09

随着遥感影像分辨率的提高和计算视觉技术的不断发展，研究人员开发了许多自动或半自動的动物识别和计数方法[1-4]，但到目前为止大多数研究仅停留在小范围试验水平上，研究区域通常仅数平方公里或数张影像，且要求监测对象与背景差距较大，环境较为单一[5-6]。一般来说，图像识别与分类算法主要分为基于像素和基于对象2种。其中，基于像素的方法是最常用的、最简单的自动或半自动动物识别方法，主要包括监督分类、非监督分类、阈值分割法（thresholding）等[7-9]。使用的影像主要为分辨率较低的卫星影像[5，10]和热红外航空影像[9，11]，因为动物在这些影像上通常只有几个像素，面向对象的方法帮助有限[2，5，9]。监测动物包括鸡[7]、琵鹭[8]、海豹[9]、考拉[11]、鹿[11]、南露脊鲸[12]、大红鹳鸟[11]等。与基于像素的方法仅使用光谱、纹理等进行对象识别相比，面向对象的方法还可以使用分割对象的形状、光谱、纹理、上下文背景等信息，因而通常精度更高[1]。一些研究尝试使用基于对象分类法或融合基于对象和基于像素2种分类法来提高识别精度。Yang 等组合使用基于像素和基于对象2种分类法[13]，开展了基于 GeoEye-1 影像的非洲角马和斑马识别，平均数量误差仅8.2%，丢失对象 6.6%，错分对象 13.7%。Dominique等发展了一种基于面向对象的雪鹅识别与计数法，可适应多种复杂的环境、多变的光照和曝光条件，获得了较好的精度，与手动计数法相关性达0.998，回归系数为0.974[1]。虽然基于像素分类法或传统面向对象分类法简单易行，有时也能取得较高精度，但由于需要人为选择识别特征，精度受用户的经验技能影响较大[5-6，14]。

厘米级航空影像（含无人机影像）的出现提供了更为丰富的动物特征细节，相关的机器学习识别算法得到快速发展[15-17]。Christiansen等发展了一种基于离散余弦变换（discrete cosine transform，简称DCT）特征提取和K最近邻分类器 （k-NearestNeighbor，简称KNN）从热红外影像中自动识别野兔和鸡的算法[7]，当飞行高度在3～10 m时识别精度达93.3%。Rey等发展了一种基于改进支持向量机（EESVM）的主动学习系统，开展了基于 6 500 张无人机影像的非洲萨瓦纳草原大型哺乳动物的识别试验，但当召回率为75%时，精度仅为10%[4]。Xue等发展了一种基于机器学习从GeoEye-1 影像识别非洲角马和斑马的算法，该算法采用自适应神经网络（adaptive-network-based fuzzy inference system，简称ANFIS），不仅能使用已有的专家知识，而且能从数据中学习动物特征，从而获得了比传统基于阈值分割法更高的精度[18]。

近年来，深度学习理论和实践均取得了突破性进展。深度学习能够从大数据中自动学习到一些人类难以手动提取到的特征，因而精度更高，可以取得比以往传统浅层机器学习模型（如ANN）难以达到的效果。相关成果已应用在动物识别领域并被《Nature》[19-20]《PNAS》[21]等期刊争相报道，逐渐成为遥感[22]、地球系统科学[20]等大数据处理领域不可或缺的工具。Benjamin等使用卷积神经网络（convolutional neural networks，简称CNNs）从数千张4 cm分辨率无人机RGB 影像中识别了20余种大型哺乳动物（试验中没有区分物种，统一当作动物一类）[23]，取得了较传统浅层机器学习[4]更高的精度。Norouzzadeh等组合使用AlexNetGoogLeNet、ResNet等9种深度神经网络模型，开展了基于地面热红外触发相机图像中的动物识别与分类，取得了与志愿者人工解译相近的精度（判断图像中是否存在动物的准确度达96.6%）[24]。

1 材料与方法

1.1 研究区概况

青藏高原是世界高寒地区生物多样性集中区，据统计区内有69种国家重点保护动物，其中16种国家Ⅰ级重点保护动物，53种国家Ⅱ级重点保护动物[25]。建立三江源国家自然保护区以来，该地区的生态环境明显改善，大型食草动物种群数量逐年增加，如何系统全面地掌握该地区大型食草动物的种群数量和分布成为对该地区进行科学合理保护的关键。

1.2 无人机遥感数据获取

2019年7月8日至18日，作者及作者所在课题组相关成员赴三江源地区开展航拍，此次航拍主要在青海省玛多县境内完成，飞行航迹如图1所示。飞行总面积约200 km2，分辨率为8 cm，拼接后用于大型食草动物调查的范围为150 km2。

航拍主要采用中国科学院成都山地所长期在高原地区使用的2款自主研发无人机，如图2所示。

在700 m航高时，单个相机的拍摄宽度（幅宽）为800 m。为增加每条航带的覆盖范围采用双相机拍摄系统，这样每条航带的宽度增加至1 200 m。双相机系统详细参数见表1。

1.3 解译标志及数据预处理

在玛多县获取的包含14个无人机起落的遥感影像中选取10 000张作为样本库，其中7 000张影像作为训练集，剩余3 000张作为测试集。解译的对象包括家养牦牛、家养藏羊、马3类家养食草动物以及藏野驴、藏原羚、岩羊3类野生食草动物。本研究依据遥感解译诸要素，总结建立可应用的解译标志，并归纳，详见表2。借助上述解译标志，使用labelme标注工具对每一幅训练集影像中的大型食草动物进行标注[26]。

1.4 训练深度学习模型

构提出的新的卷积神经网络，该网络在有效地检测目标的同时完成了高质量的语义分割。Mask R-CNN的主要思路就是把原有的Faster R-CNN进行扩展，添加一个分支使用现有的检测对目标进行并行预测。同时，这个网络结构比较容易实现和训练，速度也算比较快，可以很方便地应用到其他领域，如目标识别、场景分割、关键点检测等，并且比现有的其他算法效果都要好。

首先，为强化基础网络，Mask R-CNN替换了原先在Faster R-CNN中使用的VGG网络，转而使用特征表达能力更强的残差网络。另外为了挖掘多尺度信息，还使用了FPN网络。通过 ResNeXt-101+FPN 用作特征提取网络，达到 state-of-the-art 的效果，其结构如图3所示。

其次，ROI Align layer代替了原先Faster R-CNN的ROI Pooling过程，可以更有效、精准地检测图片中的较多小目标。因此，使用mask rcnn对于提高动物识别概率有很大的帮助， 本试验中对各类成年家养牦牛体长多在1.6～2.2 m。以4 cm分辨率航片为例，个体长度多在40～50像素。幼年牦牛可小至0.8 m（但幼年牦牛不会离群单独出现）        成年家养藏羊体长多在1.2 m左右，一般体长不会超过1.5 m。以4 cm分辨率航片为例，个体长度多在25～35像素。幼年藏羊可小至0.4 m（但幼年藏羊不会离群单独出现）         成年家馬体长多在1.6～2.2 m。以4 cm分辨率航片为例，个体长度多在40～55像素。幼年家马可较小，但不应远离马群及母马出现形状整体形状近椭圆形、长方形。长宽比多在1.5 ∶ 1～3 ∶ 1之间 整体形状近椭圆形、水滴形。长宽比多在1.5 ∶ 1～3 ∶ 1之间整体形状近长条块状或长柄长圆形。长宽比多在3 ∶ 1～5 ∶ 1之间大型食草动物的检测结果如图5所示。

1.5 掩膜生成及矢量化

由于mask rcnn是针对像元进行语义分割，因此在检测的同时可以输出掩膜图像，本试验采用Python语言作为开发工具，通过编码实现对动物掩膜的自动提取并转化为轮廓矢量输出[26]，将得到的动物掩膜轮廓矢量导入地学分析软件ArcGIS中，即可获得动物的种群数量、面积和分布信息[26]。

2 结果与分析

2.1 深度学习模型损失曲线的生成

深度学习模型mask rcnn在检测过程中生成了相应的损失曲线（以牦牛为例），如图4所示。从左上角顺时针依次是分类损失曲线、回归损失曲线、mask分割损失曲线以及rpn回归损失曲线。

2.2 各类大型食草动物的检测结果

通过海量训练生成相应的训练模型，测试程序通过调用该模型对测试集中的各类大型食草动物进行检测及定位，检测结果样例如图5所示。

2.3 各类大型食草动物的精度评价

采用准确率、 召回率和漏识别率作为对大型食草动物检测进行精度评价的指标，识别效果如表4所示。可以看出，mask r-cnn模型对各类大型食草动物的检测精度较高，平均召回率达89%，平均准确率为89.4%，平均漏识别率仅为10.8%。

2.4 各类大型食草动物的分布情况

汇总上一节得到的各调查样带中各类大型食草动物的统计结果（表5中将各类家羊食草动物换算成羊单位），可以对分布在不同调查样带当中的大型食草动物的密度进行推算，结果如图6至图8所示。

2.5 各类大型食草动物的总数估算

基于无人机样带调查结果，根据玛多县国土面积可以推算出玛多县全境的食草动物种群数量。据计算， 有18.570 2万只家养藏羊， 10.423 6万头家养牦牛，2.909 5万只藏野驴，1.543 3万只藏原羚，1.568 6万只岩羊。由此可见，大型野生食草动物数量远少于家畜数量，仅为后者的20.66%（表6）。

2.6 与官方家畜数的对比分析

基于2019年家畜估算结果，假设仔畜出生率为30%，2018年底玛多县家养藏羊存栏数应为78 615只，家养牦牛应为54 461头。马无需考虑出生率，2018年底马存栏数应为1 476匹。

根据青海草原总站提供的数据，2018年底玛多县实际存栏有73 133只家养藏羊，59 235头家养牦牛，1 576匹马。通过对比分析，两者的差值百分比家养藏羊为 75%， 家养牦牛为 8.8%， 马为 2.8%（图9）。由此可知，本研究使用基于无人机样带调查和深度学习模型分类的方法对大型食草动物进行种群数量估算， 估算结果与动物实际存栏数误差在10%以内，方法具有较高的估算精度和广阔的应用前景。

3 结论

无人机遥感是在高海拔高寒地区开展大型食草动物监测行之有效的手段。鉴于研究区极为开阔，样带调查获取的高分辨率影像数量巨大，逐一开展目视解译费事费力。利用深度学习模型对影像中的大型食草动物进行检测和定位不仅大大提高了解译效率，而且具有较高的精度。MASK R-CNN模型针对像元进行语义分割，在检测的同时输出动物的掩膜图像。通过自动提取掩膜轮廓并转化为矢量输出，可以获取研究区大型食草动物的种群数量、面积和分布等信息。通过与官方数据对比，本研究所采用的方法误差率很低。尽管深度学习方法在处理遥感大数据时优势明显，但训练得到的模型是不可解释的[22]。本质是一种黑匣解决方案，实际应用中除了需要标记大量样本外，还要根据实际情况调整模型以便获取更高的精度和效率[19，23]。

[16]Olivares-Mendez M，Fu C H，Ludivig P，et al. Towards an autonomous vision-basedunmanned aerial system against wildlife poachers[J]. Sensors 2015，15（12）：31362-31391.

[17]Torney C J，Dobson A P，Borner F，et al. Assessing rotation-invariant feature classification for automated wildebeest population Counts[J]. PLoS One，2016，11（5）：e0156342.

[18]Xue Y F，Wang T J，Skidmore A K. Automatic counting of large mammalsfrom very high resolution panchromatic satellite imagery[J]. Remote Sensing，2017，9（9）：1-16.

[19]Lecun Y，Bengio Y，Hinton G E. Deep learning[J]. Nature，2015，521（7553）：436-444.

[20]Reichstein M，Camps valls G，Stevens B，et al. Deep learning and process understanding for data-driven Earth system science[J]. Nature，2019，566（7743）：195-204.

[21]Waldrop M M . News feature：what are the limits of deep learning？[J]. Proceedings of the National Academy of Sciences，2019，116（4）：1074-1077.

[22]Zhu X X，Tuia D，Mou L，et al. Deep learning in remote sensing：a comprehensive review and list of resources[J]. IEEE Geoence & Remote Sensing Magazine，2018，5（4）：8-36.

[23]Benjamin K，Diego M，Devis T. Detecting mammals in UAV images：best practices to address a substantially imbalanced dataset with deep learning[J]. Remote Sensing of Environment，2018，216：139-153.

[24]Norouzzadeh M S，Nguyen A，Kosmala M，et al. Automatically identifying，counting，and describing wild animals in camera-trap images with deep learning[J]. Proceedings of the National Academy of Sciences of the United States of America， 2018，115（25）：5716-5725.

[25]邵全琴，樊江文. 三江源区生态系统综合监测与评估[M]. 北京：科学出版社，2012.

[26]罗 巍，王东亮，夏列钢，等. 一种基于深度学习的林业资源调查方法[J]. 林业科技通讯，2020（8）：17-22.张 坤，刘永强，阿依尼格尔·亚力坤，等. 塔克拉玛干沙漠腹地土壤热通量的陆面过程与卫星遥感研究[J]. 江蘇农业科学，2020，48（20）：256-264.