利用全卷积网络提取Sentinel-2影像高低层建筑区

闫 智，李利伟，程 钢

(1. 河南理工大学测绘与国土信息工程学院, 河南 焦作 454003; 2. 中国科学院遥感与数字地球研究所中国科学院数字地球重点实验室，北京 100094)

及时准确地获取不同类型建筑区空间分布信息，对城镇化科学发展决策、环境保护等方面有重要意义。2016年开始全球免费分发的10 m空间分辨率Sentinel-2多光谱数据,具有幅宽大、成像时间短和观测几何比较稳定的特点，相对于高分辨率影像，更有利于大场景具有一定面积的结构性地物的动态监测。因此，研究利用Sentinel-2数据进行不同类型建筑区提取具有很强的现实意义。

当前应用遥感技术进行建筑区提取已有较多研究[1-5]。如文献[1]利用谱间特征和归一化指数实现了城市建筑用地的提取；文献[2]运用谱间特征和阈值相结合的方式对QuickBird高分辨率影像进行了建筑区提取；文献[3]应用SAR影像进行了建筑区提取；文献[4]研究了典型民居类建筑区的遥感影像提取方法；文献[5]提出了一种纹理特征与视觉注意机制相结合的方法进行光学影像建筑区提取。这些研究将建筑区作为一个整体进行提取，并没有进一步细分类型。

实际应用中，不同类型建筑区的空间分布信息对于规划管理和环境保护等有着不同的意义，如现代高层小区与传统低矮村落在人口经济承载、资源能源利用及环境风险评估中有着不同的权重。当前，国内外对于多类型建筑区分类提取方面研究较少。文献[6]利用Landsat7数据和基于纹理的方法提取了北京市城区内高低层建筑区。

近年来深度网络技术在自然图像特征表达和分类识别上取得了巨大成功[7-10]。文献[10]通过结合深度分层表达框架和编解码思路提出了应用于像素级语义分割的全卷积网络。应用深度网络技术进行遥感智能解译已成为遥感信息提取领域的一个研究热点[11-14]。

本文充分利用全卷积网络(fully convolutional networks，FCN)在影像结构特征表达和提取方面的优势，面向Sentinel-2多光谱数据，构建了一种基于全卷积网络模型的高低层建筑区快速提取技术，并结合雄安新区及其周边Sentinel-2数据进行精度验证和结果分析。

1 试验数据与高低层建筑区划分

1.1 试验数据

本研究选取Sentinel-2卫星数据。该卫星成像幅宽达290 km，同时，通过双星协同观测实现中纬度地区约5 d重访，包含4个10 m空间分辨率的可见光-近红外通道，对于建筑区等地表结构化地物动态监测具有很强的应用价值。

试验数据为2017年3月9日获取的4幅Sentinel-2数据(对应景号为50SLH、50SLJ、50SMH和50SMJ)，该数据以雄安新区为中心，覆盖北京南部、天津东部和河北大部区域，共4.4×104km2(有效区域约4.03×104km2)，4幅影像拼接后如图1所示。

1.2 高低层建筑区划分

建筑区划分兼顾遥感影像结构特征与实际功能类型。依据百度地图和谷歌地球中高分影像判读，结合重点区域实地调查量测，对试验区典型建筑高度及其功能属性进行统计分析，以平均高度30 m(约10层)为界限，将研究区内建筑区分为高层建筑区(建筑高度大于30 m、有明显建筑阴影、建筑密度低，主要对应高层现代化住宅区、高端写字楼等，简称高层建筑区)和低层建筑区(建筑高度小于30 m、没有明显建筑阴影，主要对应乡村村落、旧式住宅小区、别墅区、工业厂房和仓储等，简称低层建筑区)。

1.3 训练样本及验证真值制备

结合雄安新区周边地貌特征，选择任丘市和高碑店市作为训练样区。在人工判读高分影像和Sentinel-2试验数据的基础上，对重点区域进行实地考察，获取样区内高层和底层建筑区的二值标记栅格样本。同时,根据待提取地物尺寸对训练区域数据和类别标记数据进行裁剪，得到128×128像素大小的真彩色图像和对应二值标记图像，分别包括360组切片数据。为了降低模型复杂度和提高训练效率，高层和底层建筑区分别进行提取。

为了验证算法提取结果，在训练样区之外，考虑空间分布和地物代表性，选择8个区域作为验证样区，依据高分影像判读获取验证区建筑区类型，对于结构复杂不容易区分的区域，进一步结合实地调查获取验证真值。

2 基于全卷积网络的建筑区分类提取流程

研究采用文献[10]提出的经典全卷积网络模型结构，通过与实际遥感数据特征相结合，构建用于建筑区提取的全卷积网络模型，如图2所示。全卷积网络计算过程主要包括编码阶段和解码阶段两部分，编码阶段实现数据的压缩采样和特征抽取，解码阶段实现全空间分辨率类别信息的提取。

在编码阶段，主要采用了去除全连接层的VGG-16模型[9]。针对输入图像(形状为3×128×128)，经过两次空间卷积和线性整流函数(Relu)激活，图像尺寸变为64×128×128(卷积层使用补0填充，不改变图像形状)；然后经过一次池化得到pool1(形状为64×64×64)；对pool1进行两次空间卷积、Relu激活和池化，得到pool2(形状为128×32×32)；进一步对pool2进行三次空间卷积、Relu激活和池化，得到pool3(形状为256×16×16)；对pool3进行三次空间卷积、Relu激活和一次池化，得到pool4(形状为512×8×8)；最后对pool4进行三次空间卷积、Relu激活和池化，得到pool5(形状为512×4×4)。至此编码阶段结束。

在解码阶段，首先将pool5进行一次卷积，改变通道大小(图像形状变为2×4×4)，之后进行一次图像2倍上采样得到upsample1(图像大小变为2×8×8)；将pool4进行卷积，改变通道大小(大小变2×8×8)，然后与upsample1相加并将结果进行2倍上采样得到upsample2(形状为2×16×16)；将pool3进行卷积，改变通道大小(形状为2×16×16)，然后与upsample2相加并将结果进行8倍上采样得到upsample3(形状为2×128×128)；最后对upsample3进行softmax分类，以某点类别概率最大作为该点类别，得到最终结果。

由于建筑区判识主要依赖影像纹理结构特征，同时，为了利用机器视觉领域大样本自然图像进行迁移学习，研究选择Sentinel-2中RGB波段进行试验，并将原始波段数据进行线性拉伸(单景影像全局直方图上下截断0.05%)，得到0—255区间的真彩色图像，作为全卷积网络输入数据。

3 数据试验与结果分析

3.1 数据试验

试验硬件环境为：Intel Core i7-5930 CPU、128 GB内存、Nvidia GeForce GTX 1080显卡。软件环境为Ubuntu14.4系统Tensorflow1.2平台和Envi 5.3。

利用高层建筑区和低层建筑区样本分别对本文提出的FCN模型进行训练，VGG-16在ImageNet图像数据库上的预训练模型参数，优化函数为Adam函数，学习率为1E-5，迭代次数12 000次，将训练后FCN模型对4景试验数据进行处理。结合全球30 m DEM数据，将坡度大于15°区域作为建设不适宜区，从提取结果中进行排除，如图3所示，局部结果见表1。

类型Test_1Test_2Test_3Test_4Test_5Test_6Test_7Test_8验证区Sentinel-2影像验证区高分影像图高层建筑区高值图FCN高层提取结果GL-ED高层提取结果低层建筑区真值图FCN低层提取结果GL-ED低层提取结果

利用相同样本并参照文献[6]中经验参数对纹理结构方法(GL-ED法)进行试验。将RGB波段均值作为输入，分别计算Mean、Variance、Homogeneity、Contrast、Dissimilarity、Entropy、Second Moment、Correlation 8个灰度共生矩阵特征(窗口大小5×5，方向为默认135°)。将纹理特征进行主成分分析，选取前5个主成分与边缘密度特征相结合进行最大似然分类，提取试验区内高层与低层建筑区，并排除不适宜建设区域(局部见表1)。

3.2 精度评价

本文采用定性和定量两种方法对提取结果进行精度评定。首先将FCN法和GL-ED法提取的高层建筑区和低层建筑区结果，按照验证样区进行裁剪，得到各验证样区提取结果，见表1。

结合表1中验证真值进行定性判读分析可知，高层建筑区整体较少，分布较为稀疏，FCN法提取高层结果较为接近真值；而GL-ED法提取结果不符合验证区高层建筑真实分布，尤其是对于验证区8(Test_8)，该区域为典型村落式人口聚居区，不存在任何高层建筑，但GL-ED仍提取出较多高层建筑，结果误差较大。对于低层建筑区，FCN提取结果同样符合验证区域真实建筑分布，提取结果轮廓和位置都比较准确；而GL-ED提取结果较为散碎，提取结果在位置上比较准确，但内部细节失真很大。

利用验证真值数据，以基于像元个数统计的精度为指标，对8个验证样区提取结果进行精度定量评价，计算公式如下

精度=正确像元个数/整体像元个数

结果表明，整体建筑区提取平均精度为95.30%。其中FCN法提取的高层建筑区的最小精度为98.75%,平均精度达到99.22%；FCN法提取的低层建筑区的精度最低为88.57%，平均达到91.38%。而GL-ED法提取结果精度整体明显低于FCN法提取结果，平均相差20%左右。同时，在8个验证样区上，GL-ED法提取结果波动较大，表明FCN法应用于高低层建筑区提取具有较高准确性和稳定性。

3.3 结果分析

对FCN法提取结果进行统计，研究区内高层建筑区约占地94 km2，低层建筑区约占地7351 km2。高层建筑区整体较少，重点集中于保定市城区、廊坊市城区、固安县北部与北京大兴交接处、武清区、定州市城区等地。低层建筑区除了研究区西北部易县、涞水县、涞源县等地处山区分布相对较少外，其他区域分布十分密集，主要体现出两个特点：一是与乡村居民点分布高度相关，二是在城镇区域分布较为集中，如保定市区、廊坊市区。雄安新区中心安新、雄县和容城三县内高层建筑区约1.25 km2，低层建筑区约312.24 km2。其中高层建筑区主要分布在县城城区，低层建筑区主要分布在安新、雄县和容城县城城区，以及在人口聚居较多的乡镇。

4 结 语

本文面向Sentinel-2数据，提出了一种基于全卷积深度网络的高低层建筑区提取方法，并结合雄安新区及其周边4幅Sentinel-2数据进行了试验分析，对比了经典的纹理结构算法。结果表明，基于全卷积网络的方法具有提取效率高、准确度高等优点，在Sentinel-2遥感影像高低层建筑区提取中有很好的表现，相对于纹理算法结构更适合大范围中高分辨率遥感影像建筑区提取。

本文方法可以结合Sentinel-2数据大幅宽和高频次的观测特点，以及更多类型建筑区样本，实现大范围地表多类型建筑区的动态高效监测。