基于深度置信网络与数学形态学融合的遥感影像建筑物变化检测

朱春宇， 王明常,2*， 王凤艳， 张海明， 李婷婷

(1.吉林大学地球探测科学与技术学院，长春130026；2.自然资源部城市国土资源监测与仿真重点实验室，深圳 518000)

城市建设的速度日益加快，给城市规划与管理工作带来了诸多问题，如城乡结合部建设混乱、违反规定大规模圈地占地、产生大量的违法建筑物、毁坏文物、大拆大建，以及无规则擅自批建等，严重影响城市的可持续发展[1]。随着中国城市化率的进一步提升，城市建设也在快速发展。在中国国土检查业务中，建筑物的建、拆、改、扩的检测是最重要的工作之一，是有利于抵制建筑物非法建设的工作。建筑物作为基础地理信息数据库中重要的地物标志,在大数据时代下，遥感数据获取方法不断丰富，信息提取技术高速发展[2]，对建筑物实现自动变化检测一直是遥感研究领域的技术难题。基于遥感影像建筑物变化检测是指利用多时相获取的覆盖同一地表区域的遥感影像及其他辅助数据来确定和分析建筑物的变化，利用计算机图像处理系统，对不同时段的建筑物变化进行识别、分析，能确定一定时间间隔内建筑物的变化，并提供建筑物的变化空间分布及其变化的定性与定量信息，是目前遥感研究领域的热点之一，对于更好地进行城市规划、灾害预测和国土动态调查起着重要的作用。

建筑物变化检测作为高分辨率遥感影像变化检测的一个主要的应用领域，具有很大的科学研究意义和实用价值。与中低分辨率遥感影像相比，高分辨率遥感影像具有显著的空间分辨率，能够清晰刻画城市内部结构要素，如建筑物、道路、车辆等。然而随着空间分辨率的提高，遥感影像地物光谱异质性增加，同类地物类内方差增大，不同地物类间方差减小，导致“同物异谱，同谱异物”的现象愈发严重[3]，给传统的遥感影像建筑物变化检测方法提出巨大挑战。为满足高分辨率下遥感影像建筑物变化检测的需求，需要研究合适的遥感影像建筑物变化检测方法为进一步提高城市智能化程度提供技术基础。有大量研究采用不同的图像处理方法来检测卫星影像上建筑物的变化，这些检测方法从初始的面向像元逐渐向基于对象的方法过渡。如均质区域识别[4]、分水岭分割[5]、形态学房屋指数计算[6]、自下而上/自上而下混合算法[7]等模型和方法。丁海勇等[8]提出采用数学形态学运算得到高分辨率遥感图像的纹理特征序列，在进行决策树分类，获得土地利用变化前后期的图像类别信息，然后采用图像变化轨迹法进行变化检测；张永梅等[9]使用Ratio梯度与交叉累计剩余熵相结合的配准算法将两个不同时相的合成孔径雷达(synthetic aperture radar, SAR)图像和全色图像进行配准，继而使用知识规则识别SAR和全色图像建筑区域，再利用像素比值法进行建筑物的变化检测；刘波等[10]通过提取影像形态学建筑物指数特征，通过卡方变换将其与光谱特征进行融合，然后利用一种单分类器完成建筑物变化初始判定，最后利用改进的长宽比形状特征完成最终建筑物变化判定；俞晓飞[11]提出了基于证据融合的城市建筑物变化检测方法。

上述方法在遥感影像建筑物提取领域有着一定的进步意义，但也存在工作过于繁琐、人工成本高等不足之处。近年来，随着人工智能技术的发展，在深度学习、自动化的时代，提高变化检测精度的同时节省人工成本成为科研和实践的主要目标。

深度置信网络(deep belief network, DBN)能够学习样本数据集中低层到高层的本质特征，是机器学习领域一个代表性的模型，具有很高的灵活性。数学形态学是由法国地质学家Matheron和Serra于1964年共同创立的基于积分几何、随机集合论等数学理论发展起来的一种非线性图像处理和分析理论。经过几十年的发展，数学形态学已在图像处理、图形分析、计算机视觉和边缘检测等方面取得了优秀成果。

传统的遥感图像变化检测方法是针对单一目标变化检测，根据不同目标的固有特性(如尺寸、颜色、形状等)分别设计相应特征，然后采用人工对整幅遥感图像中的变化目标进行提取。该类方法简单易行，自动化程度不高。针对目前遥感影像变化检测中的问题，研究提出基于DBN与数学形态学的融合模型对遥感影像建筑物进行变化检测的方法，将DBN和数学形态学在图像处理方面的优势充分融合，相比于传统的算法能应用于各种尺度、不同分辨率和色彩的卫星影像，且不需要去做特殊的特征提取和人工计算，可提高工作效率、减轻人力负担，增强了建筑物变化检测的鲁棒性，并将其用于武汉大学地学智能感知与机器学习SIGMA研究组发布的Multi-temp Scene Wuhan(MtS-WH)数据集测试，结果表明了本文方法的优越性和稳健性。

1 方法原理

1.1 深度置信网络

DBN是一个概率生成模型，区别于传统的判别模型的神经网络[12]，它的特点是分类的错误率小[13]一类概率生成式模型，通过学习过程建立输入数据与标签数据间的联合分布。DBN的总体结构是由多个受限玻尔兹曼机(restricted Boltzmann machine，RBM)及反向传播(back propagation, BP)神经网络加一个顶层的Softmax分类器构成。DBN是神经网络的一种，它能够获取较优的特征表达，因此，选择DBN进行遥感影像建筑物变化检测。DBN的组成部分RBM是随机生成的神经网络的一种(图1)，通过对输入数据集的学习概率分布，本质上是为网络的状态定义一个“能量”，当能量最小的时候，网络达到理想状态，而网络的训练就是将函数最小化。

图1 受限玻尔兹曼机Fig.1 Restricted Boltzmann machine

一个受限玻尔兹曼机由两层网络组成，分别为可见层(visible layer)和隐藏层(hidden layer)。其中，输入特征与可见层关联，特征检测器与隐藏层关联。两层之间为全连接，而层内无连接。定义可见单元(v)和隐藏单元(h)的一个联合能量为

(1)

或者用矩阵的形式表示为

E(v,h)=-aTv-bTh-hTWv

(2)

式中：vi、hj为可见单元i和隐藏单元j的两种状态(0和1)；ai、bj为它们的偏置，wij为它们之前的权重值，即可见层神经元i和隐藏层神经元j之间的连接。根据能量函数，可以得到联合概率分布：

(3)

(4)

式中：Z被称为配分函数，它是在节点的所有可能取值下e-E(v,h)的和(亦即使得概率分布和为1的归一化常数)。类似地可见层取值的边缘分布可通过对所有隐层配置求和得到，即

(5)

由于RBM为一个二分图，层内没有边相连，因而隐层是否激活在给定可见层节点取值的情况下是条件独立的。类似地，可见层节点的激活状态在给定隐层取值的情况下也条件独立。亦即，对m个可见层节点和n个隐层节点，可见层的配置v对于隐层配置h的条件概率为

(6)

h对于v的条件概率为

(7)

式中：单个节点的激活概率为

(8)

(9)

式中：σ(x)是Sigmoid函数；vi、hj是无偏样本。Sigmoid函数为

(10)

在受限玻尔兹曼机求解过程中，为方便计算，通常会对对数形式的似然函数进行梯度计算[14]，即

(11)

式(11)中：<·>data和<·>model分别表示关于数据的经验分布与模型真实分布的期望。由于吉布斯采样效率较低，所以采用文献[15]提出的对比散度算法(contrastive divergence，CD)进行训练，目前对比散度算法是受限玻尔兹曼机的标准训练算法。

RBM训练过程，重复以下3步。

(1)正向传播。将输入的图像或者矩阵转化为二进制的向量，将其输入网络，向量中的每个数与权重的乘积加上偏置的值经激活函数激活后，得到该神经元是否被激活。

(2)反向重构。隐藏层的激活神经元将结果反向传递给可见层，在可见层中，输入将被重构。在此过程中，数据在反向传播经过和正向传播相同的权重和偏置。所以，当信息到达可见层，在给定隐藏的情况下构成了输入值的概率分布。对该分布采样，输入就被重构了。反向传播就是猜测原始输入的概率分布。

(3)模型微调。通过比较重构结果和原始数据来对重构性能进行评估。RBM计算误差并调整权重和偏置将误差降低。在每一个周期(一个正向传播和反向传播)，计算步骤(1)和步骤(2)的均方误差和作为误差。这3步一直重复直到误差足够的小。

DBN的训练过程：DBN是由多层受限玻尔兹曼机以及一个BP构成，如图2所示，将上一层受限玻尔兹曼机的输出作为下一层受限玻尔兹曼机的输入。DBN的训练过程主要分为两步，首先由于直接训练整个DBN是很繁琐的，所以分别单独无监督地训练每一个RBM，在确保特征向量映射到不同的特征空间时，尽可能多地保留住特征信息。其次在 DBN 的最后一层设置 BP 网络,将所有的RBM输出特征向量作为BP网络的输入特征向量，有监督地训练Softmax分类器。因为RBM是单独训练的，所以所获得的参数并不是整个模型的最优参数，因为还需要利用进行整体模型的方向传播，将各层的RBM中的参数微调优化成对整个模型精度最高的参数。

图2 深度置信网络结构Fig.2 Structure of deep belief networks

1.2 检测结果优化理论方法

在DBN进行建筑物变化检测后，会存在建筑物完整度欠缺、空间存在孤立点等问题，会对建筑物变化检测精度造成一定负影响。而数学形态学在图像滤波、特征抽取、图像增强和恢复等方面具有良好的性能，利用形态学算子还可以有效地消除图像噪声，同时保留图像中原有的信息，突出图像的几何特征[16]。因此，采用数学形态学理论对建筑物变化检测结果进行优化。

数学形态学的基本思想是通过集合来定量描述目标信号的几何结构，即利用预先定义好的结构元素与信号的集合特征进行局部匹配或修整，同时保留目标信号的主要形状特征，以达到抑制噪声并提取有用信息的目的。其中，结构元素是数学形态学的基本要素，具有任意形状和尺寸[17]。数学形态学处理对象主要为灰度图像和二值图像[18]，其基本运算包括膨胀、腐蚀、闭运算、开运算等。

膨胀是将于目标区域接触的背景点合并到目标物中，使目标边界向外部扩张，用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声。

A⊕B={x,y|(B)xy∩A≠Ø}

(12)

式(12)表示用结构B膨胀A，在B中定义一个原点，且B的移动过程与卷积核移动的过程一致，同卷积核与图像有重叠之后再计算，将结构元素B的原点平移到图像像元(x，y)位置。如果在图像像元(x，y)处与A的交际不为空，即B中为1的元素位置上对应A的图像值至少有一个为1，则输出图像对应的像元(x，y)赋值为1，否则赋值为0。膨胀过程如图3所示。

图3 膨胀运算示意图Fig.3 Schematic diagram of expansion operation

图4 腐蚀运算示意图Fig.4 Schematic diagram of corrosion operation

腐蚀可以使目标区域范围“变小”，其实质是造成图像的边界收缩，用来消除小且无意义的目标物。

A⊖B={x,y|(B)xy⊆A}

(13)

式(13)表示用结构B腐蚀A，当B的原点平移到图像A的像元(x，y)时，如果在(x，y)处，完全被包含在图像A重叠的区域，即B中为1的元素位置上对应的A图像值全部也为1，则将输出图像对应的像元(x，y)赋值为1，否则赋值为0。腐蚀过程如图4所示。

形态学闭、开运算是在膨胀和腐蚀运算基础上组合而来的，是膨胀、腐蚀两种运算的不同叠加。闭运算为先膨胀再腐蚀，相对地开运算为先腐蚀再膨胀。

在实际应用中，为了获得更好的效果，往往通过多个数学形态学基本运算的变形叠加来构建效果较好的复合数学形态学滤波器。

2 DBN与数学形态学融合的变化检测

将两期影像进行预处理，预处理的过程主要包括影像配准、相对辐射校正和滤波去噪。图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅影像进行匹配、叠加，从而消除影像之间的差异。相对辐射校正的目的是消除或改正辐射误差而引起的影像畸变。滤波去噪是减少影像中噪声和小斑点误差。

经过遥感影像的预处理过程后，标记生成训练样本，在影像中，将建筑物明显变化与未变化的区域手动标记出来。因为仅仅对图像进行简单的标记并且精度的要求不高，所以仅需要少量的人工操作。利用样本标记获得的标签，应用滑动窗的方法从标记的区域获取大量带有标签的样本，建筑物变化检测的样本是在两期3波段影像中裁取大小为3×3×3图斑，组合成1×54的二值向量作为一个样本，训练数据和测试数据按照4:1的比例设置，且训练数据和测试数据中变化与未变化的样本等量。如此选择样本可以有效地去除样本误差，提高了样本质量，同时也简化了样本选择的繁琐工作。

将所得到的样本输入融合模型中，进行训练。将训练好的模型以滑动窗口的方式对建筑物进行变化检测，这样可以有效地填补DBN模型在建筑物变化检测中存在的不足之处，提高高分辨率遥感影像建筑物的变化检测质量，得到更为接近实际的变化检测图。变化检测流程如图5所示。

3 实验与结果分析

实验采用的影像是武汉大学地学智能感知与机器学习(sensing intelligence, geoscience and machine learning lab, SIGMA)研究组发布的Multi-temp Scene Wuhan(MtS-WH)数据集[19-20]，该数据集主要包括两张由IKONOS传感器获得的，大小为7 200×6 000×3的大尺寸高分辨率遥感影像。覆盖范围为中国湖北省武汉市汉阳区。影像分别获取于2002年2月和2009年6月，经过格拉姆-施密特(Gram-Schmidt, GS)算法融合，分辨率为1 m，包含4个波段(蓝、绿、红和近红外波段)。从两景整幅影像中裁取同一地区的部分影像作为变化检测的基准图与检测图。每景影像由前3个波段组成，图像的尺寸为709×1 033×3。图6所示为实验研究区影像。

图5 变化检测流程Fig.5 Process of change detection

图6 研究区影像Fig.6 Image of study area

在模型训练中，共随机选取了100 000个样本进行模型的训练，其中80 000个为训练样本，20 000个测试样本，训练和测试样本中，变化样本与未变化样本相同。实验训练的DBN模型的精度为92.61%，为了评价本文方法的性能，采用准确率、召回率和F1的计算方法作为评价指标。准确率指的是所有预测正确的像元个数占总像元个数的比重；召回率指的是检测结果中变化的像元占所有真实变化的像元的比例；F1是统计学中用来衡量二分类模型精确度的一种指标，它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种加权平均，其公式为

(12)

式(12)中：P为准确率；R为召回率。

精度评定所用的参考变化图(图7)为目视解译结果，图中白色代表变化区域，黑色代表未变化区域。DBN对建筑物进行变化检测如图8所示，本文方法如图9所示。DBN检测方法的准确率为94.68%，召回率为84.24%，F1为89.15；本文方法准确率为94.76%，召回率为87.63%，F1为91.06%。可以看出，本文方法可以作为高分辨率影像建筑物变化检测的有效方法。

实验环境为：操作系统Windows7，CPU为i7-7500，内存8 G，编程软件为MATLAB2017b。

图7 参考变化图Fig.7 Reference Change image

图8 DBN检测Fig.8 Image Detected by DBN

图9 本文方法Fig.9 The method in this paper

4 结语

提出一种利用DBN结合数学形态学构成的融合模型进行高分辨率遥感影像建筑物变化检测的方法，充分地将DBN和数学形态学在图像处理的性能结合起来，以弥补单一的DBN在进行变化检测存在的建筑物变化完整度缺陷和空间孤立点缺陷，通过选取少量样本，利用滑动窗获取大量带有标签的训练样本，经融合模型训练得到分类器以达到建筑物变化检测的目的。通过实验可以看出，该方法可以为建筑物变化检测提供科学依据，为高分辨率遥感影像建筑物变化检测提供一个新的途径。虽然本方法对建筑物变化检测提供了一定检测效果，但仍然具有很大的改进空间。深度学习在遥感影像建筑物变化检测领域具有较大潜力，作为一种新兴的技术，仍有很多工作需要研究，特别是对于阴影部分或者光照条件不一致时，变化检测结果并不是很理想。下一步将在本文工作的基础上，研究面向对象融合的方法进行遥感影像建筑物变化检测。