深度学习在矿产资源卫片执法中的应用研究

潘勇卓，谢洪斌，杨 雪，姜良美，张 勇

（1.外生成矿与矿山环境重庆市重点实验室（重庆地质矿产研究院），重庆 401120；2.煤炭资源与安全开采国家重点实验室重庆研究中心，重庆 401120）

矿产资源是人类社会存在与发展的重要物质基础，矿产资源的合理开发、利用是国土资源监管的重要主题。为及时发现矿产资源的偷采、盗采、乱采行为，国土资源部开展了土地矿产卫片执法专项行动，对违法采矿行为进行了有力打击，有效维护了矿业开采秩序。然而卫片执法过程中，海量遥感影像的矿山信息提取工作主要为人工解译，不仅成本高、时效性差，而且解译结果受人为主观影响，容易出现错误和遗漏。随着遥感技术的发展，影像的获取将更加快捷、频繁，影像所包含的监测信息也更加海量，这无疑对传统的人工信息提取工作带来更大的考验。

遥感影像信息自动提取分类常用的方法有BP 神经网络、支持向量机（SVM）等，然而这些分类方法难以应用于卫片执法工作，究其原因主要在于其自动提取的精度难以达到生产需求，因此难以代替人工解译。近年来，人工智能领域的深度学习技术在计算机视觉、语音识别、信息检索等领域取得了良好的效果，具有高精度、高时效的特点，为遥感影像信息的分类提取提供了新的思路。

在此，本文以石灰岩矿山为例，将深度学习的方法引入到遥感影像矿山信息精确识别中，利用大量人工解译的矿山图斑制作样本，通过深度卷积神经网络框架Mask R-CNN 进行机器训练圈取矿山，并结合采矿权信息与GIS空间分析技术，探索露天矿山疑似违法图斑线索快速提取的应用方法。

1 原理与方法

1.1 Mask R-CNN

Mask R-CNN是由HE等提出的一种用于实例分割（Instance Segmentation）的深度卷积神经网络（Convolutional Neural Networks,CNN）框架，是当前实例分割领域的研究热点。该框架扩展自该作者提出的Faster R-CNN，模拟人脑神经网络进行信号识别，能并行地在边缘检测器（Bounding Box Recognition）分支上添加一个用于预测目标掩模（Object Mask）的新分支，不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果，有效实现图片中目标物体的像素级识别圈取。

Mask R-CNN 框架的工作分两阶段进行，其网络结构如图1所示。第一个阶段扫描图像，通过CNN和区域建议网络（Region Proposal Networks,RPN）生成有可能包含目标区域的感兴趣区（Region of Interest,RoI），第二个阶段平行于预测类别和坐标信息，利用一个小的全积神经网络（Fully Convolutional Network,FCN）对每个RoI 输出一个预测分割掩膜Mask。

1.2 损失函数

为了提供网络的分层非线性映射学习能力，减小预测值与真实值之间的差距程度，Mask R-CNN 提供如下损失函数来参与训练，并对每个RoI 输出一个二值Mask：

上式中，Lclass表示分类识别的损失，本文采用softmax的分类交叉熵形式表示；Lbbox表示边框回归的损失，边框回归的目的是增大输出边框与真实边框之间的重叠度；Lmask表示掩膜的损失，根据RoI 中每个像素点计算sigmoid 形式的平均二值交叉熵得出，该定义允许每个类都生成掩膜，并且不会存在类间竞争关系。

图1 Mask RCNN 网络结构图

图2 ResNet 结构示意图

1.3 网络模型

常见的CNN 网络模型由LeNet、AlexNet、GoogleNet、VGG、ResNet等，不同的模型结构对样本容量有不同的适应性，样本容量过低或过高则会出现训练欠拟合或过拟合的问题。深度残差网络ResNet 由He 提出，核心思想是用学习输入x的残差F(x)替代映射H(x)，解决了网络加深的同时梯度弥散越发显著的问题[，该网络模型在小样本研究中表现出相比其他模型更高的准确率，因此本文选择ResNet 作为CNN的网络模型，选择ReLU 作为激活函数。其结构如图2所示。

1.4 卫片执法判定方法

Mask R-CNN 可用于遥感影像的训练与目标识别，从而圈取影像中的目标图斑。本文以露天矿山作为自动提取的对象，通过Mask R-CNN 获得矿山图斑后，需对存在开采问题的图斑进行判定。

采矿许可证是采矿权人行使开采矿产资源权利的法律凭证，是国家有关部门指导和规范矿山开发秩序的有效参考。采矿权许可证明确规定了矿山合法开采的空间范围，即采矿权范围内的视为合法开采，采矿权范围外的则为疑似违法开采。因此本文以采矿权矢量图层作为疑似违法检测依据，通过GIS空间叠加法[14]判定存在开采问题的图斑。

2 基于遥感影像识别的方法流程

2.1 样本采集

实验所使用的影像为高分二号遥感影像（包含红、绿、蓝、近红外4 波段，分辨率0.81m），选取石灰岩、砂岩作为矿山识别对象。首先，对52 幅影像进行人工解译，圈取共632个矿山矢量图斑；其次，以图斑中的每个影像像素为中心，按50 像素的步长逐点裁切为512×512大小的样本影像，同时裁切对应的矢量范围。最终形成矿山样本（包含影像和矢量）共约110 000个。

2.2 样本扩充

为了增加样本的相关性，使模型具有更好的泛化能力，本文依次对训练样本进行旋转（90°、180°、270°）和翻转（水平、垂直、对角线）操作，最终矿山样本扩充至880 000个。

2.3 训练预处理

Mask R-CNN的训练数据集通常为COCO数据格式，该格式文件包含了，即样本图片和该图片对应的掩膜。根据高分二号影像采集的样本包含了样本影像（tif图像格式）和影像中对应的矿山矢量范围（shp文件格式），输入到Mask R-CNN 进行训练之前需将样本转换为COCO数据格式。

实验样本的tif图像包含四个波段信息，与常规RGB 三通道图片不同，COCO 文件无法直接读取tif图像，因此通过二进制文件流的形式读取tif图像并保存到COCO数据的图片信息中。

shp 文件包含有矿山矢量范围的节点坐标，可用于生成COCO 中的掩膜本。文中矿山样本的shp 文件坐标系为空间地理坐标系，然而COCO数据中的掩膜节点坐标为图形坐标，因此需通过如下公式进行坐标转换。

上式中，xgeo、ygeo为shp 文件中的节点坐标；x´、y ´为影像左上角顶点坐标，可从tif 头文件中获取；p为像素的空间分辨率，高分二号影像p值取0.81；x、y为转换后的图像坐标。

根据上述方法将样本构建为COCO数据集输入到Mask R-CNN 中进行训练，直至损失函数不再下降，即完成模型训练。

2.4 识别预处理

通过Mask R-CNN 训练后的模型即可用于矿山图斑的自动提取，而该过程的输入影像尺寸应与训练样本的影像尺寸保持一致。在识别一幅完整的遥感影像之前，通过切割处理将影像分割为数个512×512尺寸的小影像。为避免影像边缘的目标被切割后区域过小而导致识别遗漏，本文设置一定的重叠区域提高目标切割的完整性。

2.5 识别后处理

自动提取的图斑成果基于切割后的小影像，图斑掩膜节点坐标为图形坐标，无法与采矿权矢量图层进行叠加分析。因此根据式（2）反算节点的空间地理坐标，从而构建矿山图斑矢量文件。利用自动提取的矿山图斑矢量文件与采矿权矢量图层进行空间叠加分析，位于采矿权矢量图层范围外的矿山图斑即可提取判定为疑似违法图斑。

图3 矿山提取效果图

3 实验与结果

3.1 实验流程

1）人工解译遥感影像制作矿山图斑，并切割为512×512 尺寸的小样本，样本包含tif 影像和shp 矢量文件。

2）扩充样本，对样本进行旋转、翻转操作。

3）制作COCO数据集用于Mask R-CNN 网络模型训练，直至损失函数不再下降即完成训练。

4）利用训练好的模型提取遥感影像中的矿山图斑。

5）根据采矿权矢量图层提取疑似违法图斑。

3.2 实验结果

本文实验采用Linux系统，Mask R-CNN 搭建采用Caffe2-GPU平台，算法仿真采用Python 语言，计算机显卡为GeForce GTX1080（显存8G），处理器为Core i7-4790 CPU@3.60GHz（内存16G）。模型训练时长约380小时，损失函数停留在1.05左右。提取效果如图3所示。

mAP（mean,Average,Precision）是深度学习目标检测中衡量识别精度的常用指标，通过目标、非目标的正确、错误分类的数量反映识别的效果。本文以像素为单位，横向对比本文方法与KNN和SVM 方法在本文数据上的实验效果。各类方法mAP 精度如下表。由表可知，本文方法的精度高于传统方法，在露天矿山疑似违法图斑提取的问题上具有很强的有效性和优越性。

提取精度表

4 结论

本文提出了一种基于Mask R-CNN的遥感影像露天矿山疑似违法图斑自动检测提取方法，通过人工采集大量矿山图斑样本并对其进行扩充处理，制作特定的COCO数据集输入到Mask R-CNN 进行训练，得到的分类网络模型用于目标识别，实现遥感影像矿山图斑的自动提取，再以采矿权矢量图层作为疑似违法的判定依据，圈取影像中的问题图斑，从而实现疑似违法图斑的自动提取。经实验，本文方法的提取精度高于传统分类方法20%以上，能有效圈取目标图斑。

同时本文方法仍有不足，实验过程中发现对部分矿山边缘轮廓的勾画不准确；错解、漏解的数量远高于人工解译，因此难以替代实际卫片执法工作中的人工解译劳动力；数据输入和成果输出以裁切后512×512的小图形式为单元，未实现整幅遥感影像的直接输入和成果展示。

矿产资源卫片执法工作中，本文方法提取成果可作为初步解译结果辅助人工判读，为深度学习在卫片执法中的应用研究作出了实践性尝试。今后的研究重点将着力于提高识别的准确性、精确性以及勾画完整性，并尝试实现完整影像的输入与输出。