基于DeepLab V3+深度学习的无人机影像建筑物变化检测研究

郝 明，田 毅，张 华，郑南山

(1.江苏省资源环境信息工程重点实验室，江苏 徐州 221116；2.中国矿业大学环境与测绘学院，江苏 徐州 221116)

0 引 言

随着城镇化进程不断加快，中国城镇化水平已从1995年的29.0%提高到2019年的60.6%[1]。建筑物作为城市中最重要的地物类型之一，其拆除、新增、改扩建等与城市规划、基础建设和居民切身利益等密切相关。建筑物变化检测广泛应用于城市地图数据库更新、城市规划、三维建模以及“数字城市”和“智慧城市”等方面[2]。

相较于传统的人工巡查，高分辨率遥感影像具有覆盖范围广、成本低、地物细节丰富等优势，被越来越多地用于城市精细变化检测[3]。季顺平和袁修孝提出一种基于阴影检测的建筑物变化检测方法[4]。近年融合多特征的建筑物变化检测取得进展。张志强等提出一种基于像素级和对象级结果融合的建筑物变化检测方法，一方面利用随机森林分类器对多维影像特征分类，获取像元级建筑物变化检测结果；另一方面对后时相遥感影像分割获得影像对象，通过二者融合识别变化建筑物[5]。李军胜等在影像分割基础上，利用变化矢量分析法生成两期影像的光谱、纹理和形态学建筑物指数等差异特征，并利用证据理论对各类特征的变化概率进行融合，通过设置规则检测变化建筑物[6]。深度学习研究遥感影像建筑物变化检测日益成为热点。王明常等提出一种基于深度学习模型的高分辨率遥感影像建筑物变化检测方法，将残差结构和特征金字塔网络融合到Unet模型中，建立了特征提取更优且具有多尺度分析能力的FPN Res-Unet模型，在所用数据集的实验中准确率、召回率、F1三种指标均达到了90%以上[7]。顾炼等将超列和FlowNet中的细化结构引入U-Net，提出一种面向建筑物变化检测的FlowS-Unet网络，实验结果优于全卷积网络(FCN)和U-Net网络[8]。

然而，多时相高分辨率遥感影像存在成像时间、角度、光照等差异，建筑物变化检测面临虚假变化的难题[9-10]，且无法满足违章建筑物检测对高时空分辨率的要求。随着无人机续航时间和成像技术不断改善，倾斜摄影测量可为城市建筑物变化检测提供可靠解决方案。杨钰琪等针对城市建筑物变化，提出一种无人机影像密集匹配点云多层次分割的建筑物层高变化检测方法，实现建筑物的三维变化检测，实验结果表明提出方法的检测完整率、正确率及检测质量均达到90%[11]。任媛媛等利用Faster R-CNN网络模型目标检测方法对无人机遥感影像中的建筑物可进行快速识别，且总体精度超过90%[12]。

本文研究基于深度学习的无人机影像建筑物变化检测，验证无人机影像建筑物变化检测深度卷积神经网络方法的有效性：① 结合变化矢量分析生成无人机影像变化检测数据集；② 研究基于DeepLab V3+深度网络的建筑物变化检测迁移学习；③ 利用训练网络模型实现无人机影像建筑物变化检测和精度评价。

1 无人机影像变化检测深度学习方法

深度卷积神经网络主要由输入层、卷积层、池化层和全连接层等组成，在图像分类、目标检测和语义分割等领域具有广泛应用[13]。随着深度学习的发展，大量的深度学习网络被提出，其中DeepLab系列网络(DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+)使用广泛，较多研究是对已有网络的改进[14]。本文采用新近提出的DeepLab V3+深度学习网络试验研究无人机建筑物变化检测。

1.1 DeepLab V3+深度学习网络

如图1所示，DeepLab V3+网络结构其网络的创新在于使用空间金字塔结构，利用膨胀卷积在扩大局部感受野的同时，设置不同的膨胀系数获得多尺度的上下文信息，在语义分割领域具有良好表现[15]。其在DeepLab V3 网络基础上增加了一个编码模块组成新编码—解码结构，可选择ResNet、Xception用于特征提取，利用不同膨胀系数的空洞卷积增加局部感受野，使用1×1的卷积混合特征，提高了网络特征提取泛化能力。解码模块利用特征提取网络获得的深层抽象特征进行上采样，通过混合、3×3的卷积和上采样恢复与原图像大小一致的预测结果。

图1 基于DeepLab V3+的无人机建筑物变化检测流程图

1.2 建筑物变化检测迁移学习

现有DeepLab V3+网络无法直接用于无人机影像建筑物变化检测，需要对已有网络进行迁移学习，生成适用于建筑物变化检测的深度网络。包括数据集生成、建筑物变化检测网络迁移学习、建筑物变化检测和精度评价。

1.2.1 数据集生成

深度学习最为重要的环节是模型训练，而模型训练效果除了受算法模型和训练次数影响以外，便是样本数据集质量。本研究首先对两个时期无人机影像进行变化矢量分析[16]，即将两个时期的特征向量相减，生成相应的变化强度图。

设无人机在T1、T2两时期影像的多光谱特征矢量分别为A=(a1,a2,...,ak)和B=(b1,b2,...,bk)，k是两时期影像的波段数，经影像配准后，生成变化特征向量表示为：

(1)

ΔG包含了两幅影像中所有的变化信息，变化强度由|ΔG|决定。

(2)

|ΔG|越小，表示该像元的光谱相似性越高，发生变化的可能比越小；反之，则表示发生变化的可能性较大。在此基础上，设置合适的阈值，即可得到初步的变化检测结果，经过人工分析后确定建筑物变化标签。最后以生成的变化强度|ΔG|作为输入数据，与生成的变化标签组成数据集。

1.2.2 数据集增强

无人机数据集与计算机视觉中公开的数据集相比样本数量较少，为达到较好的训练效果，需进行样本增强，实现网络参数的调优。首先，对无人机影像以256×256进行随机切图，并对图片进行数据增强。① 将原图和标签数据分别旋转90°、180°和270°；② 对原图和标签数据分别沿y轴作镜像；③ 对原图做模糊操作；④ 对原图做光照调整；⑤ 对原图分别增加高斯噪声和椒盐噪声。经过数据增强后，生成最终的数据集。

1.2.3 精度评价指标

采用漏检率、虚检率和总错误率对实验结果进行定量评价[17]。

(1)漏检率pm：标签数据中的变化建筑物像素被错误地检测为未变化像素的数目与标签数据中变化建筑物像素数目的比值。

Pm=m1/n1×100%

(3)

式中，m1为漏检像素数目，n1为标签数据中变化像素的数目。

(2)虚检率Pf：标签数据中的未变化建筑物像素被错误地检测为变化像素的数目与标签数据中未变化像素数目的比值。

Pf=m2/n2×100

(4)

式中，m2为虚检像素数目，n2为标签数据中未变化像素的数目。

(3)总错误率Pt：总的错检的像素数目与总像素数目的比例。

Pt=m/n×100%

(5)

式中，m为总的错检像素数目，n为总像素数目。

2 实验与结果分析

2.1 数据来源

实验数据为大疆精灵4无人机分别于2018年6月和9月航拍的广东省惠州市某地区影像，分辨率为0.8 m，经过处理后生成正射影像。如图2所示，从上到下为本研究选取的3个实验区，数据大小分别为3 491×1 896、4 167×3 587、7 305×5 937像素，从左到右依次为前时期影像、后时期影像和变化强度影像，各实验区包含建筑物、道路、河流、农田等多种对象要素，同时存在部分建筑物变化。

图2 实验影像数据

2.2 变化检测网络训练

实验选用硬件配置NVIDIA RTX2080ti显卡，显存11 G，Intel I9-9900k处理器，内存64 G的计算终端。经影像增强后，共生成9 999张256×256像素的影像和标签数据集。在训练过程中定义训练数据batch的大小为32，基础学习率设置为0.01，正则化权重衰减设置0.000 01，训练次数设置为10 000次，损失函数使用交叉熵，最终学习准确率稳定在0.99附近。在此基础上，将正射影像裁剪为256×256像素大小图片，利用训练好的建筑物变化检测网络进行检测，最后进行图片拼接，生成最终的建筑物变化检测结果。

2.3 结果分析

图3为三个实验区建筑物变化检测结果，第一行和第二行影像分别为检测结果和参考数据，从左到右依次为实验区一、二、三。

图3 建筑物变化检测结果

3个实验区建筑物变化检测精度定量评价如表1所示。3个实验区结果的错检率均较低，为1%左右，而漏检率相对较高，分别为15.77%、12.38%和18.62%，其原因是由于两时期无人机影像的拍摄间隔较短，发生变化的建筑物较少，导致定量精度评价时对于漏检错误更加敏感。

表1 建筑物变化检测精度评价

实验区一中的建筑物变化主要为加盖彩钢结构房屋，且部分变化房屋的光谱特性与原房屋相似，导致存在一栋房屋漏检；由于光线和季节变化，导致部分虚假检测；对于过小的建筑物变化效果不好。实验区二中的建筑物变化检测效果较好，但因光照引起的阴影变化，导致存在部分虚检错误。实验区三中的建筑物变化也得到了较好的检测，但受光线变化影响，导致部分漏检错误。对于小尺度的变化建筑物无法检测。

总体分析表明，3个实验区的总错误率均低于3%，且与参考数据的一致性较好，基本不存在“椒盐”噪声，为后期人工分析提供了较好的数据支持。

3 结 语

针对城市建筑物变化检测高时间和高空间分辨率需求，研究了基于深度学习的无人机影像建筑物变化检测方法。以大疆精灵4无人机正射影像为数据源，基于DeepLab V3+深度网络，研究了无人机影像建筑物变化迁移学习，实现了建筑物变化检测。实验结果表明：深度学习可有效用于无人机影像建筑物变化检测，总精度可达到97%以上，可为大范围城市建筑物动态检测、违章检测、损害检测提供技术支持。

现有深度学习方法对基于无人机正射影像的建筑物变化检测，还存在无法检测小尺寸和与原建筑物光谱高度相似的变化建筑物，易受光照变化影响。未来可将无人机点云数据引入深度网络，进一步提高建筑物变化检测精度。