基于国产高分大数据和深度学习的北方露天煤矿识别

刘 锐

（北京建筑大学测绘与城市空间信息学院，北京）

引言

我国遥感环境监测研究起步较晚。20 世纪90 年代后期我国初步开展矿山环境研究工作[4]。王晓红等[5](2005)对比分析了IKONOS 等数据的使用效果，并提出矿山开发与环境遥感调查数据源的选择步骤[6]。2015 年在ILSVRC 上何凯明团队构建的ResNet[7]算法模型，将ImageNet 数据集的分类误差降到了3.57%，这是首次深度学习算法图像分类准确率超越人眼识别分类。冯小雨通过改进Faster R-CNN，构建了静态空中目标数据集和视频图像数据集来训练算法模型，将其应用于空中目标的检测[8]。

本文借助深度学习技术，以国产高分遥感大数据影像作为数据源，训练并测试北方地区煤矿MASK R-CNN 特征识别模型的，为煤矿进行监测、规范露天煤矿管理以及潜在危险监测提供技术支持。对于露天矿区资源开采具有一定的理论意义和实际价值。

1 研究区和数据集

本文的研究区为内蒙古自治区、新疆维吾尔自治区和山西省三省的露天煤矿。数据源为我国国产卫星“高分二号”。年份为2017 年到2019 年这三年。为了满足对植被、云层和积雪的要求，月份选择5 月到9月。选取数据时，遵循以下三个选择条件。

（1） 云量对感兴趣区域无明显遮挡。

（2） 地面无积雪。

（3） 植被生长状况良好。

并以此为基础制作数据集，以训练露天矿区识别MASK R-CNN 模型。

小儿化食口服液是广州市香雪制药股份有限公司生产的，具有消食化滞、泻火通便功效的中成药。为验证该药对小儿功能性便秘食积化热证的治疗作用，10家医疗机构进行了以安慰剂为对照的上市后再评价临床研究。临床研究负责单位天津中医药大学第一附属医院医学伦理委员会批准了本研究的试验方案（批准号TYLL2013［Y］字005）。

2 研究方法

2.1 遥感影像的像素识别方法

全卷积神经网络（FCN）的提出对于深度学习意义重大，它使得图像分类的级别精细到像素。实际上FCN 相对于卷积神经网络修改只有一处，那就是将全连接层替换为反卷积层。这样一来，分类网络将可以输出一个精度达到像素级别的分类热图，该图的尺寸与原图一致。FCN 还利用了一种方法使得识别更精细，即特征图跳跃级联。为了实现遥感图像的像素识别，本文也采取这种方式。全卷积神经网络示意如图1所示。

图1 全卷积神经网络示意

2.2 露天煤矿特征地物的分类方法

在Faster R-CNN 中目标分类的网络为全连接网络。这种网络要求图像在输入时尺寸固定。那么在这种情况下，就需要对尺寸不一的前景特征图进行归一化处理。在Faster R-CNN 中，采取的方式为ROI Pooling（感兴趣区池化）。这样就会出现一个问题，即在池化尺寸缩小的时候，采取的策略是向下取整。如此一来，得到的特征图是不能够跟原图一一对应的，不可避免地就产生了像素误差。虽然说，在Faster R-CNN 的任务里，这样的误差不会造成太大的影响，但是如果把误差放到类似于本文的任务中，这样的误差就不允许存在。这是因为，本文所进行的任务是像素级别的，微小的误差也会造成严重的偏移。因此，本文选用的池化方法为ROI Align（感兴趣区匹配）。

2.3 损失函数设计

在本文的训练过程中，为了及时反馈模型状态，损失函数值是实时输出的。这样的记录方式方便于调整训练的策略。除此之外，损失值会在不断的迭代中降低，这样一来，就可以让模型收敛，使其达到一个最佳的状态。本文参考平均交并比（Mean Tntersection over Union）等参数设计了损失函数。其计算公式如式（1）所示。

式中：LClS代表着分类网络的误差；Lbox代表着边框回归误差；Lmask代表着识别掩膜误差。

3 结果

3.1 模型的训练与测试

本文将露天矿区的遥感图像分成了三类地物，分别是矿区、排土场和背景。以制作的包含排土场的1053 幅露天煤矿图像为输入进行训练。

本文采取了迁移学习的方式，直接利用MASK R-CNN 在数据集上原有的训练权重作为本次训练的预训练权重，在此基础上直接对本文的数据集进行训练，这样以来便可以将训练的效率提升。

训练的batch_size=4，每轮迭代steps_per_epoch为50；计划训练epochs 为300 轮；采用早停法控制训练过程，若验证集损失函数loss 值在10 个epoch 内没有下降则停止训练，从而防止过拟合。优化器为adam，初始学习率均为0.0001；学习率训练策略为如果训练过程中loss 在3 个epoch 内没有降低则学习率降低为原来的0.1 倍。输入图像统一缩放到512×512×3 大小。图像预处理输入除以255 进行归一化处理。

图2 即为训练过程中的损失函数的变化曲线。图标中纵坐标为损失函数的值，横坐标为迭代次数。

图2 损失函数的变化曲线

图2 中展示了算法模型中三部分的损失函数图像。分别是分类（Class）部分、掩码（Mask）部分和特征提取网络（Region Proposal Networks，RPN）网络部分。可以看到随着迭代次数的增加，这四个损失函数的图像均逐渐趋于收敛，证明模型训练结果可信。

3.2 精度评价

3.2.1 评价指标

召回率（Recall）是指所有的正例中被提取出来的正例所占的比例。m-Recall，即为多个样本的平均召回率。Dice 系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1]，而M-Dice系数是指多个样本Dice 系数的平均值；IoU 是对象类别分割问题的标准性能度量，M-IoU 则为多个样本的平均值。

召回率、Dice 系数和IoU 的公式如式（2）所示。

其中，TP、FP 和FN 分别为真阳性，假阳性和假阴性。X 和Y 分别表示原始区域和识别区域。

由于这三个参数都是评价精度的指标，很有可能出现某一个较高而另一个较低的复杂情况，在这种情况下结果就难以判断。为了避免这种情况，采用一个综合指标（Intergrated Precision,IP）对这三个参数进行平衡。处理方式为加权求和，Recall 和IoU 各赋权0.4，Dice 赋权0.2。最后的结果用多个样本平均值的IP 取平均值（m-IP）。

3.2.2 评价结果

最后得到的结果精度如表1 所示。

表1 实验精度

从结果上看，本文所用模型对于露天矿区的识别精度较好，综合指标的值达到了0.8 以上。对于排土场的识别效果稍差一些，综合指标在0.736 左右。

4 结论与展望

本文在研究国内外相关Mask R-CNN 模型的基础上，结合矿区开采过程中遥感图像特点，采用卷积神经网络模型来对矿区开采场景进行识别，针对遥感影像矿区地物信息量较少，识别困难且存在植被背景等地物的干扰等问题，针对面向露天煤矿开采识别的高分遥感影像全卷积神经网络学习方法开展深入研究，从而为矿区信息化、智能化监管提供技术支持。本文研究工作主要总结如下。

（1） 开展了深度学习目标识别相关算法的研究，并根据通用深度学习数据及组织形式以高分二号影像为数据源经过裁剪和数据增强方式获取了矿区识别的样本影像数据，以手工标注的方式制作了样本标签数据，初步完成了矿区遥感影像深度学习数据集的制作。

（2） 针对我国大型露天煤矿开采遥感影像特点，引入了一种结合特征金字塔和残差网络的卷积神经网络模型Mask R-CNN 进行矿区遥感影像识别和识别。采用FPN 为主干网络提取影像特征，RPN 对特征图进行区域选择初步选定目标区域，再用双线性插值的方式把初步选定目标的特征图归一化为固定的较小尺寸特征图，最后输出类别。

（3） 总体上，本研究中该方法提取采矿区精度效果较好，有效的提取出边界清晰的矿区信息，综合指标m-IP 值达到了0.8 以上，满足了国家资源相关部门对矿区监测工作的需求，为后续遥感进行矿区的监管以及露天矿区行业的健康开采提供了技术支持。