多尺度特征和多模型相融合的草原区牧畜遥感监测

肖如林，高吉喜，刘爱军，侯鹏，张文国，杨勇，李运保，付卓，靳川平，杨栩，郑淑华，殷守敬

1.生态环境部卫星环境应用中心,北京 100094;

2.内蒙古自治区草原遥感及应急技术储备重点实验室,呼和浩特 010020;

3.绵阳市生态环境局信息中心,绵阳 621050

1 引言

中国草地资源丰富，畜牧业发达，畜牧业在中国北方草原区国民经济中占有重要地位。然而草原超载过牧的问题也比较突出，成为中国草原退化的主要原因之一（付国臣 等，2009）。载畜情况监测是禁牧区放牧活动监管、草畜平衡区载畜情况监测与草畜平衡评估分析的关键。因此，高效、精准地获取牛、羊等草原典型牧畜的分布、规模等信息，及时掌握禁牧区是否存在放牧、草畜平衡区是否过牧等情况，实现对草原区牧畜的精准监管，对维护草原区生态安全、国民经济可持续发展、社会稳定都具有重要意义。

在应用方面，目前对放牧活动的监管主要依托逐级填报统计（王庆 等，2007）、入户调查统计（王美兔和李迪强，2017）、无人机或系留式空基遥感监测（中国科学院植物研究所，2020；汪琪等，2021）、在线视频或穿戴式设备监控（张小栓等，2019；王奎 等，2020）等方式。其中，逐级填报方式存在漏报、虚报、瞒报的可能，数据质量难以保障；入户调查统计方式以及无人机、系留式航空遥感监测方式由于成本高，只能采取抽样估算，难以全面实施；在线视频或穿戴式设备方式通常只能安装在出入口、羊圈、头羊等位置，可操作性差，且投入和运维成本高。

在技术研究方面，目前一些基于无人机、系留式空基遥感的动物或牧畜监测技术（邵全琴 等，2018；郭兴健 等，2019；Peng 等，2020；中国科学院植物研究所，2020；汪琪 等，2021），主要基于目标信息丰富、清晰的分米或亚分米级超高分辨率的航空遥感图像，对米级或亚米级高分卫星遥感图像并不适用。目前实际载畜情况的卫星遥感监测研究和应用几乎处于空白，主要还集中在理论载畜量估算、集成地面实际载畜资料数据和气象数据等的载畜平衡评估预警或草地状况关联分析方面（刘爱军 等，2003；刘爱军和韩建国，2007；李刚等，2014；梁天刚 等，2019；Pearson 等，2021）。随着亚米级高分辨率卫星遥感、人工智能等技术的发展，研究建立基于高分卫星遥感的草原典型牧畜监测技术，对实现牧畜精准监管、拓展卫星遥感应用、促进小（微）目标遥感监测技术发展等方面，都具有十分重要的意义。

2 原理与技术方法

2.1 机理分析

在草原区，牛羊等牧畜与周边草地、荒漠等背景具有明显的对比度差异，在亚米级高分卫星图像上表现为较明显的小斑点，且呈现聚集成群的“点群”分布特征。由于牧畜的持续移动性，牧畜“点群”不会固定不变，在不同时相的影像上处于不同的位置、呈现不同的形态。小灌丛（树木）、裸露石（砂、沙、土）块、凹坑、残存的小雪迹、收割后的草捆等地物在高分影像上也表现为斑点群分布特征，但一般位置和形态固定不变，或者形状比较规则，或者在规模、颜色上与牧畜群有差异。牧畜群及易混淆地物的解译标志具体如表1所示。

表1 牧畜群遥感识别特征分析Table 1 Recognition feature of livestock

在草原区，牧畜的“小斑点形态”、“点群分布”、“变化不固定”等多种特征，是基于高分卫星影像的草原区牧畜群遥感监测提取技术的重要机理基础。

2.2 总体技术流程

规则集、面向对象等传统方法可综合各种知识和规则，机理性强，但对成像条件、经验知识、特征参数等非常敏感，普适性、可迁移性差。深度学习等机器学习方法是基于样本的自学习训练，可以弥补传统方法的不足，然而在“小目标”检测中的精度通常相对较低（刘晓楠 等，2019；梁鸿 等，2021；Tong 等，2020；赵景波和杜保帅，2023；Tong和Wu，2022），且多针对车辆、舰船、飞机等相对规则的目标（姚红革 等，2020；马志龙和倪佳忠，2022；沙苗苗 等，2022）。牛羊等牧畜在高分遥感影像上尺寸更小，通常仅3 或4 个像元大小，是典型的“弱信号”、“微目标”，而且牧畜群形态、聚散程度等复杂多样、不规则，检测识别难度则更大，现有基于深度学习的“小目标”检测技术难以适用。因此，仅依赖深度学习方法或传统方法中的一种实现牧畜精准监测难度很大，需将两者的优势相结合。在此，提出一种基于多时相亚米级高分遥感影像、结合深度学习和面向对象方法、融合“斑点+群体”分布特征和“移动不固定”变化特征的典型牧畜高分卫星遥感监测方法。具体技术框架如图1所示。首先，获取至少两期亚米级高分遥感影像，进行几何校正、图像增强等预处理，实现牧畜目标信号有效增强。其次，一方面基于牧畜“群体”分布特征，以“群”为单元，利用深度学习方法，实现牧畜分布区域即牧畜“群”的初提取；另一方面基于两期图像上牧畜斑点的变化、不固定特征，利用两期影像梯度差的变化检测方法和面向对象的识别提取方法，提取牧畜“斑点”的分布数据。再次，利用牧畜“斑点”分布数据对牧畜“群”分布数据进行校正增强，形成增强的牧畜“群”分布数据。最后，再利用人工修边，形成最终的牧畜“群”及其内部所包含的牧畜“斑点”精细分布数据。

图1 总体技术路线图Fig.1 Technical roadmap

2.3 基于深度学习的牧畜群分布初提取

基于牧畜群在高分遥感影像上呈现的点群分布特征，进行牧畜群分布的初提取。考虑牧畜本身尺度非常小，直接以“牧畜斑点”为基本单元进行样本标注和训练，标注难度和工作量大，在技术上也不可行。因此采用以“牧畜群”为基本单元进行样本标注和训练，一方面实现样本信号的增强，样本的尺寸、内部纹理等信息都得到增加；另一方面也充分利用牧畜的“群”分布特征，实现基于“牧畜群”的深度学习，从而提高模型精度。为此，在锡林郭勒草原，利用4 景GF-2 影像上人工解译提取的312个羊群斑块作为原始标注样本。标注时，尽量将牧畜群的轮廓勾勒精细准确（图2）。鉴于原始标注样本数量较少，通过对原始标注样本做11次30°旋转，以实现样本数据的丰富和增强。鉴于牧畜群的尺度一般不大于500 m，因此采用重叠度为256 像元、大小为512×512 像元的8 比特位无符号图片，将原始标注样本及其旋转样本导出为训练样本集。

图2 典型羊群样本（同一区域不同时刻）Fig.2 Typical sample of sheep flock（at different time in the same area）

由于高分影像上牧畜尺度比较小，通常仅3或4 个像元大小，且不像车辆、舰船、飞机、人脸等具有规则的形状信息和丰富的内部纹理信息，同时牧畜群也不具备规则形态，因此对象检测（Object Detection）和实例分割（Instance Segmentation）等类别的深度学习模型难以有效适用。同时，通过实验发现，采用像素分类模型（Pixel Classification）要好于对象检测模型，其中，UNet 像素分类模型具有较好的训练效果（图3）。

图3 模型训练情况Fig.3 Analysis of the deep learning model training

基于训练好的模型，利用监测区域的同等分辨率的高分影像进行深度学习应用，输出最终监测区域的“牧畜群”分布初步检测数据。

2.4 基于高斯拉普拉斯（LoG）梯度差和面向对象的牧畜斑点提取方法

基于牧畜斑点群在两期影像上的变化特征，利用基于梯度差的变化分析方法和面向对象的方法提取潜在牧畜斑点分布数据。其主要流程如图4所示：

图4 基于LoG梯度差的牧畜斑点提取方法Fig.4 Livestock block detection based on LoG Gradient Difference

（1）对两期数据进行滤波、灰度图和梯度图生成等预处理。通过比对分析发现，针对牧畜这种微目标，采用双边滤波算法（Bilateral Filter）效果较好（图5），既能增强牧畜斑点，也能有效抑制噪声。将滤波后的图像转为灰度图（图6），然后利用高斯拉普拉斯（LoG）算子生成图像的梯度图。梯度图相对于原始图像，可以一定程度上屏蔽成像条件差异的影响，同时也能实现对羊斑点等弱信号的增强（图7）。通过研究和实验发现，在1 m 分辨率高分影像上，5×5 窗口的高斯拉普拉斯梯度算子对牧畜斑点增强效果较好，因为该窗口尺寸与大部分情形下牧畜斑点尺寸比较匹配。

图5 图像滤波（GF-2）Fig.5 Image filtering（GF-2）

图6 灰度图Fig.6 Gray image

图7 LoG梯度图Fig.7 LoG gradient image

（2）计算当期监测影像与比对影像的梯度差值，并选择梯度差大于（提取白色的羊等亮色牧畜目标）或小于（提取暗色的牛马等暗色牧畜目标）一定阈值的斑点对象作为潜在牧畜斑点。计算梯度差时，用当期影像像元的梯度减去该像元邻域内比对影像梯度的最大值（提取白色的羊等亮色牧畜目标）或最小值（提取暗色的牛马等暗色牧畜目标），以消除两期影像空间配准误差的影响。其计算公式为：ΔGi，j=G1i，j-M（G0N（i，j，r））；其中G1i，j表示行列号为i、j的像元在当期影像梯度值，M（G0N（i，j，r））表示行列号为i、j的像元对应的半径为r的邻域范围内比对影像梯度的最大或最小值。阈值可以基于梯度差图像的直方图统计数据进行设置（比如μ+2σ或者Top2.5%分位数等作为阈值），也可综合区域草地、牧畜的对比度差异等基于专家经验进行设置。

（3）利用面向对象的方法，从潜在牧畜斑点中，利用面积、邻居斑点数量、距最近邻居斑点距离、邻近斑点分布密度等特征，删除明显不符的斑点，形成“牧畜斑点”初步分布数据。

2.5 数据融合与人工辅助修正

利用牧畜斑点分布数据对深度学习检测的牧畜群分布数据进行校验和增强，主要是通过空间叠加分析，基于包含斑点数量、面积、分布密度等特征，删除不符的牧畜群，形成增强的牧畜群分布数据，具体流程如图8。

图8 数据融合与人工辅助修正流程Fig.8 Data fusion and manual correction process

由于深度学习提取的“牧畜群”矢量边界比较破碎、不够精准（图8），在此利用人工辅助修正，逐个对增强后的“牧畜群”矢量边界进行修边，形成最终的“牧畜群”分布成果数据；最后利用空间叠加分析，提取位于修正的“牧畜群”边界内部的斑点，形成最终的“牧畜斑点”分布数据。在最终牧畜群和牧畜斑点数据的基础上，可基于斑点数量和面积，大体估算牧畜群的规模（即每个牧畜群中牧畜个体的大概数量），为区域实际载畜规模提供参考。

此环节虽然需人工参与，但是通常牧畜群的分布密度不大，约1群/km2，一个监测区域内需要修正边界的牧畜群数量不多，人工参与的工作量在整个工作量中占比较小。

3 实验与分析

3.1 实验区域

从应用角度，羊是最具代表性的牧畜类型，也是目前存栏量最大的牧畜类型；从科学角度，羊相对于牛马等体型更小，同等分辨率条件下遥感监测识别难度更大，因此选取羊作为实验对象。综合考虑监测对象类型和数据情况，选择位于内蒙古锡林浩特市的锡林郭勒草原保护区核心区所在区域为实验区域。考虑牧畜群移动变化特性，为保持牧场完整性和监测数据的可比性，基于GF-2 遥感影像人工解译提取了核心区内草场边界作为具体的监测范围（面积约140.5 km2），详情如图9 所示。实验数据采用覆盖该区域且成像时间间隔较近的2019-10-15 和2019-11-08 日两景GF-2 遥感影像，以便结果数据之间的交互比对和验证。由于牧畜群的快速移动变化特性，基于卫星和地面的同步观测验证几乎不可能。为此，通过人工解译的方法提取了牧畜群的分布数据（2019-10-15 影像有羊群35 群，2019-11-08 影像有羊群40 群）、牧户的分布数据（约39 个独立牧户点，1 个集中牧户点），对实验结果进行评估验证。

图9 实验区域区位图Fig.9 Map of the study area

3.2 实验结果

基于两期遥感影像，仅利用深度学习方法分别检测出羊群329 群和868 群；再利用基于梯度差阈值提取的潜在羊斑点数据对深度学习提取的羊群数据进行校验增强，分别得到羊群39 群和48 群。如图10 所示，以2019-10-15 结果为例，图10（a）中显示了原始深度学习的羊群检测结果和基于梯度差阈值提取的羊斑点检测结果，检出羊群数量和斑点数量都比较多；图10（b）中显示了两者融合增强后的综合检测结果，羊群数量缩减约90%。

3.3 结果分析

由于模型检测的牧畜群与人工解译的牧畜群两者边界无法完全吻合，开展结果验证与精度分析时，采取以“群”为基本统计单元，通过空间叠加分析的方法进行评估分析：如果模型检测牧畜群与人工解译牧畜群之间存在空间重叠关系，即认定检测的牧畜群为正检出，否则为误检出或漏检出。此外，由于检测的牧畜群与人工解译的牧畜群为“n：m”的对应关系，不适合利用IoU等综合精度进行评价，所以仅从正检、漏检、误检等3个方面分别进行精度评估分析。

如表2、表3所示，分别为2019-10-15和2019-11-08 两期影像的检测结果分析。数据显示，深度学习方法的检出率分别为0.886 和0.775（平均约0.831），同时误检率分别为0.860和0.954（平均约0.907）。通过基于梯度差的牧畜斑点检测结果对深度学习的检测结果进行融合增强后，检出率分别为0.829和0.775（平均约0.802），误检率分别为0.154和0.333（平均约0.244）。两者增强融合后误检率由0.907 大幅下降至0.244，检出率由0.831小幅下降至0.802，总体精度较好。

表2 2019-10-15影像的羊群检测结果分析Table 2 Analysis of the result（2019-10-15）

表3 2019-11-08影像的羊群检测结果分析Table 3 Analysis of the result（2019-11-08）

（1）正检出情况：检出率总体约0.802，尤其对于大型羊群，检出率约0.937。方法对规模大、聚集度适中、斑点特征明显、周边背景简单的羊群检测效果更好，如图11所示。

图11 正检出的羊群示例（群正检出、且斑点正检出）Fig.11 Positive detection case（positive detection both by sheep flock detection and blob detection）

（2）漏检出情况：漏检率总体约0.198。如图12所示，漏检出的大多位于牧户房子、道路等复杂背景周边，多为小规模羊群（图12）或聚集度较高的羊群（图12（c））。漏检出的主要原因是背景复杂导致牧畜斑点特征不明显，同时模型训练时该情形的训练样本少，降低了深度学习模型对该情形羊群的检测精度。后续可以通过增加该情形的训练样本数量、复杂背景区域对比度拉伸等方法进一步提升精度。

图12 漏检出的羊群示例（群漏检出，但斑点正检出）Fig.12 Missed detection case（sheep flock missed detection and sheep blob positive detection）

（3）误检出情况：误检率总体约0.244。误检出的大多为裸露的小岩石、砂（砂、土）堆或者残存的雪迹等易混淆地物，其在图像上也表现为斑点群形态，且在不同期影像上由于成像角度、光照等差异也偶尔会呈现梯度变化，从而造成误检出（图13）。后续可通过增加对两期检测的牧畜群数据、牧畜斑点数据的交互校验和融合，剔除两期均被检出，且重叠度较高、斑点群形态分布相近的易混淆地物，实现精度的进一步提高。

图13 误检出的羊群示例（群误检出，且斑点误检出）Fig.13 False detection case（sheep flock false detection and sheep blob false detection）

4 结论

本研究面向草原区牧畜活动监管、草畜平衡、草原生态环境保护监管等相关领域的迫切需求，针对牧畜“小（微）目标”监测的难点痛点，综合利用牧畜“点”特征、“群”特征、“移动不固定”等多种特征以及融合深度学习、面向对象等多种技术方法，构建了一种多尺度特征和多模型方法相融合的牧畜高分卫星遥感监测技术方法。它通过对牧畜弱信号的有效增强，“牧畜群”和“牧畜斑点”的分阶段检测与相互融合增强，实现了牧畜群分布、牧畜斑点分布和牧畜群规模的监测提取。虽然目前精度仍不够高、实验范围较小，但后续可通过补充不同类型、不同时刻、不同区域、不同形态等不同情形的牧畜群样本，进一步提高模型的精度和普适性。本研究初步实现了基于亚米级卫星影像的直观的“点数”式、精细化牧畜监测，可为草原区载畜情况的监测监管（特别是禁牧区或禁牧时节禁牧落实情况的监管）提供技术支撑。同时，本研究中相关的弱信号图像增强、基于LoG 梯度差的变化分析、基于数据驱动的深度学习与基于机理驱动的面向对象相结合等技术方法和策略也可为其他典型“小（微）目标”的遥感监测提供借鉴和参考。因此，无论是在技术创新还是业务应用方面都具有十分重要的意义。

目前本研究还处于初期阶段，后续亟需在影像空间分辨率、区域和季节、羊的种类、羊的年龄、羊群聚集度、羊群规模、区域背景复杂度等对模型检测精度影响机理和影响程度的定量化评估分析，大范围应用中不同牧畜群辨识和去重，同步观测难的情况下如何利用无人机“准同步观测”和地面牧场区划数据进行“同名牧群”验证和标定，牧畜群中牧畜个体数量精准计算等多个方面开展更深入细致的研究。