基于小样本的无人机影像城市工地环境要素提取

徐如意 王兰洲

（1.河南理工大学 测绘与国土信息工程学院，河南 焦作 454003；2.河南省数联测绘科技有限公司，河南 郑州 450052）

1 引言

随着城市化进程的加快，我国城市建设高速发展，城市及城市周边的建筑工地大量增加，由建筑工地施工造成的环境污染，已经成为雾霾现象加重、PM2.5指数超标的主要原因[1,2]。因此，建筑工地的环境管理对治理大气扬尘污染有着决定性影响。目前工地环境治理，主要通过喷淋设施和安装防尘网等方式进行预防和改善。由于工地环境复杂、工作量大等问题，对于防尘网的铺设具有局限，对于堆积的建筑材料无法提供及时有效的防尘措施。

无人机遥感影像具有快速获取、高精度、广视角等特点，利用相关方法能够获取关键信息，结合地理信息平台，提供精准的位置服务。近年来，深度学习方法由于能够自动提取深层抽象特征，在计算机视觉相关领域得到广泛研究和应用，极大推动了遥感图像智能解译[3]。目前，在遥感图像密集预测、目标检测、实例分割等细分领域，均有广泛研究的成熟深度学习模型。例如面向密集预测任务的U-Net[4,5]、DeeplabV3+[6]，面向目标检测的R-CNN[7]，面向实例分割的Mask R-CNN[8,9]等。以上模型均可应用于遥感图像地物提取，取得优于传统方法的效果。

近年来，利用生成对抗网络（Generative Adversarial Network，GAN）进行对抗学习扩充训练样本的思路在遥感图像解译领域有着很大潜力[10,11]。GAN 通过深层神经网络学习图像本质特征，结合生成器和判别器对抗的博弈过程，可产生和原始标记样本分布接近的虚拟样本，这种研究思路给小样本遥感图像地物提取问题提供了解决方案。

本文基于城市无人机影像、环保信息、关联时间和地理位置，采集试验区工地区域的黄土裸露、建筑材料堆积等多种影响环境的样本。利用以上方法采集到少量样本，基于GAN 和SAN 扩充形成样本数据集，建立工地环境要素的特征模型库；然后用深层残差网络进行特征提取；最后在Mask R-CNN 的基础上建立能够准确识别工地环境要素的网络模型SE R-CNN，实现工地要素提取。本文以河南省某市为例利用无人机巡查采集数据，开展工地环境要素分析，为城市环保的规划和管理、大气治理提供帮助。

2 环境要素样本库建立

2.1 试验区域的确定

本文试验区域为河南省某市，测试数据按照时相信息，选择两个不同年份的3 月、6 月、8 月、11 月数据为整个研究的数据集。样本实际应用效果如图1所示。

图1 样本实际应用效果

城市环境中，基于小样本的城市工地环境要素提取的主要工作内容包括3 个部分：基础工地环境要素的定义和样本标注、基于GAN 网络的样本生成、无人机影像工地环境要素提取，提取框架如图2所示。

图2 工地环境要素提取框架

2.2 工地环境要素定义与样本库建立

（1）工地环境要素。工地环境要素是指在工地建设过程中，通过图像分析可以获取的对环境质量具有负面影响的图像信息。本文利用高精度、多时相的无人机数据，将黄土裸露、建筑材料堆积、建筑垃圾堆积定义为本研究的环境要素。

（2）样本库建立。结合数据标签工具，对城市数据进行全面标签化。在识别阶段，用以消除建筑物、道路、绿地植被等信息的干扰，提高识别精度。城市全要素定义如表1 所示，其中分类8、分类9 为本研究中定义的工地环境要素。人工标记初始样本集每个类别不超过50个标签。样本标注效果如图3所示。

表1 城市全要素定义

图3 样本标注效果

3 样本库扩充和环境要素提取方法

3.1 基于GAN 和SAN 的样本扩充

利用工地环境要素的不规则形状，在图像中表现出的颜色和纹理，结合图像视觉基础及工地环境的目标特征，采用GAN 网络方法对工地环境要素的样本数量进行扩充，数据扩充过程如图4 所示。

图4 数据扩充示意图

3.1.1 GAN 模型

GAN 由两个网络组成，生成网络Generator 和判别网络Discriminator Generator 负责接收随机的噪声z，通过噪声生成样本，记为G(z)；Discriminator判定生成的样本是否真实，接收输入x，输出D(x)代表x为真实样本的概率。其数学表达为公式（1）：

3.1.2 选择性GAN 模型（SAN）

本研究中，在标注样本数据集中，由于标注的类别全面，为突出工地环境要素，将分类8、分类9 定义为工地环境要素Gf，利用选择性对抗网络Selective Adversarial Networks（SAN），增强其纹理特性。其主体框架如图5 所示。

图5 SAN示意图

本研究定义全要素类别标签集为全域数据集，类别8、类别9 为子集。Gf是以工地要素的颜色特征、灰度共生矩阵、图像深度特征构建的特征提取器，用以约束迁移学习的结果表达。

3.2 工地环境要素提取方法

本文在候选区域的卷积神经网络（mask regionbased convolutional neural network，Mask R-CNN）[12]基础上，建立能准确识别工地环境要素的网络模型（Site environment region-based convolutional neural network，SE R-CNN）。 将 深 度 残 差 网 络（ResNet50）[3]作为底层的特征提取网络，并以人工标注3000 张数据集作为目标识别的基础训练权重。对于工地环境要素检测和分割，交并比（Intersection over Union，IoU）＞0.5 为有效分割。依赖Mask R-CNN定位精度高的特性，提升工地要素识别的精准度。本研究设定IoU 为0.7。通过GAN、SAN 增强样本后，经过迁移训练得到SE R-CNN 模型的平均精度均值mAP（mean average precision）为85.6%，充分肯定了SE R-CNN 模型对工地环境要素提取的有效性。

4 试验结果分析

本研究在通过小样本标注后，利用样本扩充的方式，结合SE R-CNN 的目标提取验证。对研究采用的两种样本库扩充方法，进行特征库构建，然后将人工标定的工地数据集作为真实样本集，对两种特征库提取的工地环境要素结果进行统计和对比，用以评定样本扩充的有效性和准确性。设Nc为采用本研究算法被正确分类为工地环境要素数量，Nf为被误检为工地环境要素数量；Nt为人工标注的工地环境要素数量，因此工地环境要素检测的定量指标为正确率和虚警率，计算方式如公式（2）和公式（3）：

根据上述评定方法，采用给出的两种特征库进行同一方法识别的评定结果，如表2 所示，通过选择性样本扩充的工地环境要素特征库，具有更好的适应性，检出精度较高。

表2 检出结果分析

5 结语

针对城市工地环境要素提取，本文建立了小样本工地环境特征库，首先利用GAN 和SAN 补充训练样本，并增强样本纹理特性；然后利用ResNet-50 提取深度特征，最后用Mask R-CNN 改进的SE R-CNN 实现要素提取。试验表明，该方法有效提高了对无人机巡查数据的利用率，增强了环保巡查的精准性和高效性，可为城市环境建设提供参考。后续研究计划增强工地环境要素的相关特征，提高工地环境要素分割模型SE R-CNN 的泛化能力,利用多时相数据扩展其在变化检测方向的应用，使工地环境要素特征库更具实用意义。