高分辨率SAR图像中建筑物特征融合检测算法

苏 娟,张 强,陈 炜,王继平

1.第二炮兵工程大学,陕西西安 710025;2.第二炮兵装备研究院,北京 100083

高分辨率SAR图像中建筑物特征融合检测算法

苏 娟1,张 强2,陈 炜1,王继平2

1.第二炮兵工程大学,陕西西安 710025;2.第二炮兵装备研究院,北京 100083

提出一种高分辨率SAR图像中建筑物的特征融合检测算法。首先,根据SAR图像中建筑物目标与背景存在较大差异的特点,采用视觉注意模型进行建筑物的感兴趣区分割;然后,提取位于感兴趣区域内的高亮线条和阴影区域;最后,采用D-S证据理论对注意焦点、高亮线条和阴影区域进行特征融合,实现建筑物目标的检测。试验结果表明,本文算法对矩形建筑物具有较高的检测精度。

SAR图像处理;建筑物检测;视觉注意模型;D-S证据理论;特征融合

1 引 言

随着高分辨率SAR技术的发展,从高分辨率SAR图像中进行建筑物的自动检测在军用和民用等领域均得到了广泛的应用[1-3]。由于SAR特有的成像机理,建筑物在SAR图像中具有非常独特的特征,因此不能直接利用其他类型图像的建筑物检测算法[4-6]。SAR图像中建筑物的特征主要体现在:①与背景在灰度和纹理特征上存在显著差异;②存在高亮线条和黑色阴影等明显特征。因此,在利用单幅SAR图像进行建筑物检测时,高亮线条和黑色阴影常被作为建筑物存在的主要证据[7-9]。

由于SAR图像本身受斑点噪声影响,并且特征提取容易受到目标周边的草地或树林等具有强反射回波地物的影响,造成特征提取的结果不完全可靠,从而导致建筑物检测的不确定性。因此,有效地提高建筑物检测所需的底层特征的准确性,降低背景地物的干扰,是提高SAR图像中建筑物检测准确性的重要问题。在进行特征提取前,确定建筑物可能存在的感兴趣区是一个较好的解决方案,能使建筑物检测的准确率和效率得到提高。如前所述,高分辨率SAR图像中,建筑物与其所处背景具有较大的差异,该差异可以用来提取建筑物的感兴趣区,文献[10—13]提出的视觉注意模型就是一种有效的方法,能直接定位场景中的视觉显著区域。

在特征提取的基础上,多数文献采用的方法是,利用高亮线条作出建筑物存在的假设,然后用阴影区域对假设进行验证。高亮线条的形状在不同成像条件下可能差异很大,呈现出非标准线条状的复杂形状,而且由于噪声和局部强散射等因素的影响,其灰度分布也并不均匀。阴影区域在背景较暗或建筑物密集的情况下也难以实现准确的分割。因此,需要对不同特征进行有效的融合,以减小某种特征提取不准确对建筑物检测结果的影响。

D-S证据理论是一种常用的特征融合算法。该理论由文献[14—15]提出和发展而成,是对Bayes理论的重要推广,它用信任区间代替概率,用集合表示事件,用Dempster组合规则代替Bayes公式更新信任函数。由于D-S证据理论能够很好地表达推理过程中的不确定性,推广形式简单,能有效地对多种证据信息进行综合,因而在特征提取、图像分割和目标检测中得到了广泛应用[16-18]。

因此,本文将视觉注意模型和特征融合检测进行有效组合,采用视觉注意模型提取SAR图像中建筑物的感兴趣区域,并由此得到注意焦点,采用最大稳定极值区域(MSER)算法[19]提取建筑物的阴影区域,采用边缘检测算法提取高亮长直线条,在建筑物成像模型的约束下,对注意焦点、高亮线条和阴影区域等底层特征进行基于D-S证据理论的特征融合,有效地综合应用各种特征进行目标检测的优点,实现对建筑物目标的检测。

2 算 法

本文算法是建立在SAR图像中建筑物成像特性分析的基础上的。图1为SAR图像中建筑物成像特性原理图,可以看出,在高分辨率SAR图像中,建筑物具有以下特性:

(1)二面角效应导致建筑物墙地线以高亮长直线条的形式出现,见图1中b部分。

(2)建筑物的遮挡导致被遮挡区域没有任何后向散射信号返回,在SAR图像中表现为黑色阴影区域,见图1中e部分。

(3)屋顶的平整程度与材质导致屋顶在SAR图像中以亮区域或暗区域出现,见图1中d部分。

(4)部分屋顶、墙壁和建筑物前地面的后向散射的叠加会产生叠掩现象,在SAR图像中以亮区域出现,见图1中a＋c＋d部分。

上述特性能为建筑物的存在提供有力的证据支持。坡顶建筑物同样具备类似于上述平顶建筑物的特征,即存在高亮线条、阴影区域和亮区域等。

图1 SAR图像中建筑物成像特性[20]Fig.1 Imaging characteristics of building in SAR images[20]

本文算法流程如图2所示,主要包括基于视觉注意模型的感兴趣区提取、底层特征提取以及基于D-S证据理论的特征融合检测3部分。

图2 本文算法流程Fig.2 Flow chart of the proposed algorithm

2.1 基于视觉注意模型的感兴趣区提取

本文提取了原始SAR图像的亮度、方向和局部熵特征,采用Itti模型进行高分辨率SAR图像中的视觉显著区域提取[10,13]。在此基础上,对生成的显著图进行自适应阈值分割,得到SAR图像中的视觉显著区域,以此作为底层特征提取的感兴趣区域。

图3给出了采用视觉注意模型提取得到的感兴趣区。由图可知,采用视觉注意模型能够对自然场景中的建筑物目标区域进行粗略定位。

图3 建筑物感兴趣区提取Fig.3 Extraction of building ROI

2.2 感兴趣区内特征提取

在分割得到的建筑物感兴趣区内,分别提取注意焦点、高亮线条和阴影区域,作为建筑物检测所需的底层视觉特征。

2.2.1 注意焦点

人们在观察一个场景时,总是有选择地将注意力集中在场景中的某些最具吸引力的内容上。在该过程中,引起人们注意的场景内容被称为注意焦点。在基于视觉注意模型获得的显著图(如图3(b)所示)中,显著值较大的位置即为注意焦点。因此,本文采取以下方法进行SAR图像中注意焦点的确定。首先选择当前显著度值最大的位置作为当前的注意焦点,确定该注意焦点对应的显著区域,然后将该显著区域的显著度值赋为最小值,重复以上步骤,直到确定的注意焦点数目达到预设数目。由此可得到一组显著度值逐渐下降的注意焦点,即一组目标与背景差异较大的图像位置。

2.2.2 高亮线条

如前所述,建筑物的墙地线在SAR图像中表现为高亮长直线条,是建筑物存在的有力证据。并且,在局部区域内,建筑物的朝向比较一致,因此建筑物的高亮线条的方向也比较一致。本文采取以下方法进行高亮线条的提取:①运用Canny算子对原始灰度图像进行边缘提取,将边缘点连接成为边缘线段;②保留具有稳定曲率的边缘线段,根据线段斜率提取并保留局部区域内朝向一致的边缘;③计算边缘上所有像素点的平均灰度,保留平均灰度大于预设阈值的边缘,记录边缘端点、边缘像素的坐标、拟合直线的斜率与截距等;④如果保留的边缘的局部片段位于提取的显著区域内,则将整条边缘作为建筑物的墙地线证据保留。

2.2.3 阴影区域

SAR成像特性导致SAR图像中高大建筑物存在灰度值比较低而稳定的阴影区域,并且,在局部区域内,建筑物的朝向比较一致,因此建筑物的阴影朝向也比较一致。本文采取最大稳定极值区域(MSER)算法进行阴影区域的提取:①采用MSER算法检测出最小灰度MSERs;②对检测出的极值区域进行数学形态学处理,去除杂乱小区域,填补空洞等;③对极值区域进行标识,记录区域的面积、朝向、外接矩形参数等,如果极值区域的面积和其外接矩形面积之比(本文将此定义为矩形度)大于预设阈值,则认为该极值区域为矩形区域;④如果保留的矩形极小值区域与提取得到的显著区域存在部分重合,则将其作为建筑物阴影区域整体保留。

采用以上方法,对图3(a)所示的原始SAR图像进行特征提取,得到的底层视觉特征如图4所示。

图4 提取得到的底层视觉特征Fig.4 Extracted low-level visual features

2.3 基于D-S证据理论的特征融合检测

在提取得到SAR图像中与建筑物特性相关的底层特征的基础上,本文基于D-S证据理论的信息融合框架,在SAR图像中建筑物成像模型的约束下,通过对注意焦点、高亮线条和阴影区域进行特征融合,实现建筑物的检测。

在进行特征融合检测时,根据SAR图像中建筑物的成像特性,建立如下的知识规则:①每个注意焦点与其对应的高亮线条和阴影区域比较接近;②阴影区域均在高亮线条的同一侧;③高亮线条与阴影区域的外接矩形的某条边的长度比较接近。

在此知识规则的约束引导下,从每个注意焦点出发,搜索与之对应的高亮线条和阴影区域,主要通过设置距离阈值、方向阈值和长度差阈值实现。在此基础上,基于D-S证据理论建立如下的融合算法。以注意焦点、高亮线条和阴影区域为多证据体,将建筑物检测的辨识框架定义为Θ＝{h0,h1},分别表示建筑物和非建筑物。对于每种证据(即底层特征),可分别定义该证据关于某种辨识的可信度{m1(h0),m1(h1)}、{m2(h0),m2(h1)}、{m3(h0),m3(h1)}。根据注意焦点对应的显著度值,计算该证据属于建筑物的可信度,显著度值越大,可信度相应越大。根据高亮线条上像素的平均Canny算子响应值和平均灰度值,计算该证据属于建筑物的可信度,Canny算子响应值越大,平均灰度值越大,可信度相应越大。根据阴影区域的矩形度和平均灰度值,计算该证据属于建筑物的可信度,矩形度越大,平均灰度越小,可信度相应越大。

Dempster组合规则如下所示

对于辨识得到的建筑物目标,以阴影区域的下边缘和高亮线条组成的四边形的外接矩形作为建筑物存在的标识,并对存在相互包围的外接矩形或顶点非常接近的外接矩形进行合并处理,将其作为同一个建筑物目标。

采用以上方法,对图4所得的底层特征进行特征融合检测,检测结果如图5所示。

图5 特征融合检测结果Fig.5 Detection result by feature fusion

3 试验结果与分析

为定量评估本文算法的性能,本节对算法的目标级检测率进行评估。本文算法的检测对象为具有一定面积、有阴影和高亮线条存在的矩形建筑物。参考数据通过人工判读和手工标识获得,评估结果由查全率和查准率给出,如果一个建筑物目标2/3以上的像素被检测为目标的像素,则认为该目标被检测到。

本文算法在特征提取与融合部分设置了部分阈值,例如边缘线段的平均灰度、阴影区域的矩形度、特征之间的距离阈值、方向阈值和长度差阈值等。由于特征融合阶段可以有效地去除虚警,上述阈值的选取对最终检测结果的影响较小,因此其设定范围均比较宽松,在整个测试集上保持不变。注意焦点个数的选取对检测结果具有较大的影响,选取太大则增加运算量,选取太小则可能漏掉目标,本文的做法是:根据图像分辨率、建筑物的大致尺寸、建筑物的密集程度等先验知识进行选取,数值偏大,以不发生漏检为该参数设定的主要原则。

采用本文算法对12张包含建筑物目标的高分辨率SAR图像进行了建筑物检测试验,其空间分辨率为1 m,包含建筑物目标162个。在该测试数据集上的查全率和查准率分别为92.6%和96.7%,表明本文算法具有理想的检测效果,在降低虚警率方面具有明显优势。

限于篇幅,本文给出了3组比较有代表性的试验。试验1为图3所示试验,具体过程与最终结果均已在前文中给出,从图5所示的试验结果看来,本文算法检测得到的建筑物与实际情况比较吻合,能够检测出明显可辨的矩形建筑物。试验2如图6所示。图中左上角有一处矩形目标,尽管存在注意焦点(具有明显的亮度和纹理特征),但因为同时缺乏高亮线条和阴影证据的支持,未能作为建筑物检测出来。检测结果表明,本文算法基本上能够检测出目视比较清楚的建筑物,尽管建筑物的轮廓不一定很精准,但能够标识出建筑物的存在,满足大部分应用场合的需要。

试验3给出了本文算法与文献[1]提出的基于标记控制分水岭变换的建筑物检测算法的比较结果。文献[1]算法采用变差函数纹理特征对建筑物区域进行分类检测,然后在建筑物区域进行独立建筑物的检测,检测结果如图7(d)所示。可以看出,由于场景左下角区域未能作为建筑物区域检测出来,导致该区域内两个较为明显的建筑物发生漏检。本文算法提取得到的显著区域(图7(b))比较准确,左下角区域内的两个建筑物具有阴影和高亮线条的显著特征,因此被正确检测出来。采用本文算法,场景其他区域内的建筑物也得到了正确的检测,但个别建筑物的定位准确度不如文献[1]算法。

图6 建筑物检测试验2Fig.6 Building detection experiment 2

图7 建筑物检测试验3Fig.7 Building detection experiment 3

4 结 论

从高分辨率SAR图像中进行建筑物检测时,检测效果受特征提取准确性的影响较大。本文因此提出了一种多特征融合检测算法。该算法充分利用SAR图像中建筑物目标与背景存在较大差异的特点,采用视觉注意模型进行建筑物的感兴趣区分割,提取注意焦点、高亮线条和阴影区域作为底层特征,在SAR图像中建筑物成像模型的约束下,通过D-S证据理论的特征融合实现建筑物目标的检测。试验结果表明,本文算法具有较高的检测精度,在降低虚警率方面具有明显优势。

但是,本文算法具有一定的适用范围,待检测的建筑物需具有以下特点:①高亮长直线条为本文算法所使用的主要特征之一,因此建筑物轮廓必须为矩形或矩形的组合,以保证能够提取出反映建筑物结构的高亮线条;②阴影为本文算法所使用的主要特征之一,因此建筑物需要有阴影区域存在。未来研究中将致力于多种形状的建筑物的检测,使算法具有更好的适应性。

[1] ZHAO Lingjun.Building Extraction from High Resolution SAR Imagery[D].Changsha:National University of Defense Technology,2009.(赵凌君.高分辨率SAR图像建筑物提取方法研究[D].长沙:国防科技大学,2009.)

[2] FERRO A,BRUNNER D,BRUZZONE L.Building Detection and Radar Footprint Reconstruction from Single VHR SAR Images[C]∥Proceedings of IGARSS 2010.Hawaii: IEEE,2010:291-295.

[3] SU Juan,XIAN Yong,SONG Jianshe.A Building Extraction Algorithm Based on the Fusion of SAR and Optical Images[J].Acta Armamentarii,2010,31(11):1448-1454.(苏娟,鲜勇,宋建社.SAR图像与可见光图像融合的建筑物提取算法[J].兵工学报,2010,31(11):1448-1454.)

[4] TAO Chao,TAN Yihua,CAI Huajie,et al.Object-oriented Method of Hierarchical Urban Building Extraction from High-resolution Remote-sensing Imagery[J].Acta Geodaetica et Cartographica Sinica,2010,39(1):39-45.(陶超,谭毅华,蔡华杰,等.面向对象的高分辨率遥感影像城区建筑物分级提取方法[J].测绘学报,2010,39(1): 39-45.)

[5] CHENG Liang,GONG Jianya.Building Boundary Extraction Using Very High Resolution Images and LiDAR[J].Acta Geodaetica et Cartographica Sinica,2008,37(3):391-399.(程亮,龚健雅.LiDAR辅助下利用超高分辨率影像提取建筑物轮廓方法[J].测绘学报,2008,37(3):391-399.)

[6] MAYER H.Automatic Object Extraction from Aerial Imagery:ASurvey Focusing on Buildings[J].Computer Vision and Image Understanding,1999,74(2):138-149.

[7] TUPIN F.Extraction of 3D Information Using Overlay Detection on SAR Images[C]∥Proceedings of 2nd GRSS/ ISPRS Joint Workshop on Remote Sensing and Data Fusion over Urban Areas.Berlin:IEEE,2003:72-76.

[8] ZHANG F L,SHAO Y,ZHANG X,et al.Building L-shape Footprint Extraction from High Resolution SAR Image [C]∥Proceedings of 2011 Joint Urban Remote Sensing Event.Munich:IEEE,2011:273-276.

[9] MICHAELSEN E,STILLA U,SOERGEL U,et al.Extraction of Building Polygons from SAR Images:Grouping and Decision-level in the GESTALT System[J].Pattern Recognition Letters,2010,31:1071-1076.

[10] ITTI L,KOCH C,NIEBUR E.A Model of Saliency-based Visual Attention for Rapid Scene Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[11] BORJI A,ITTI L.State-of-the-art in Visual Attention Modeling [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):185-207.

[12] BAN S W,LEE I,LEE M.Dynamic Visual Selective Attention Model[J].Neurocomputing,2008,71:853-856.

[13] SU Juan,YANG Luo,LU Jun.An Infrared Target Detection Algorithm Based on Knowledge Model[J].Acta Photonica Sinica,2013,42(7):839-844.(苏娟,杨罗,卢俊.一种基于知识模型的红外目标检测方法[J].光子学报, 2013,42(7):839-844.)

[14] SHAFER G,LOGAN R.Implementing Dempster’s Rule for Hierarchical Evidence[J].Artificial Intelligence,1987, 33(3):271-298.

[15] DEMPSTER A P.Upper and Lower Probabilities Induced by Multivalued Mapping[J].Annals of Mathematical Statistics,1967,38(2):325-339.

[16] ZHANG Hao.Research and Application of Image Edge Feature Extraction Based on Multiple Information Fusion and Image Registration Technique[D].Hangzhou:Zhejiang University,2008.(张浩.多信息融合图像边缘特征提取及图像配准研究与应用[D]杭州:浙江大学,2008.)

[17] SUN Ziwen,LI Hui,JI Zhicheng.Fusion Image Steganalysis Based on Dempster-Shafer Evidence Theory[J].Control and Decision,2011,26(8):1-5.(孙子文,李慧,纪志成.基于D-S证据理论的融合图像隐写分析[J].控制与决策, 2011,26(8):1-5.)

[18] WU Yan,JIAO Jingmei,YANG Xiaoli,et al.Segmentation Algorithm for SAR Images Based on Fusion of HMT in the Contourlet Domain and D-S Theory of Evidence[J].Acta Geodaetica et Cartographica Sinica,2011,40(2):148-155.(吴艳,焦惊眉,杨晓丽,等.基于Contourlet域HMT和D-S证据融合的SAR图像分割[J].测绘学报,2011, 40(2):148-155.)

[19] MATAS J,CHUM O,URBAN M.Robust Wide Baseline Stereo from Maximally Stable Extremal Regions[C]∥Proceedings of BMVC 2002.Cardiff:BMVA,2002: 384-393.

[20] BRUNNER D,LEMOINE G,BRUZZONE L.Earthquake Damage Assessment of Buildings Using VHR Optical and SAR Imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(5):2403-2420.

(责任编辑:宋启凡)

A Building Detection Algorithm Based on Feature Fusion in High Resolution SARImages

SU Juan1,ZHANG Qiang2,CHEN Wei1,WANG Jiping2
1.The Second Artillery Engineering University,Xi’an 710025,China;2.The Second Artillery Equipment Institute, Beijing 100083,China

A building detection algorithm based on feature fusion is proposed for high spatial resolution SAR images.Firstly,visual attention model is constructed on the basis of great difference between buildings and backgrounds,and used to segment the ROIs of buildings.Secondly,bright lines and shadow regions are extracted in the segmented ROIs.Finally,D-S evidence theory is used to fuse the focuses of attention,bright lines and shadow regions,and then the buildings are detected.Experimental results demonstrate that,the proposed algorithm has high detection accuracy for rectangular buildings in SARimages.Key words:SAR image processing;building detection;visual attention model;D-S evidence theory;feature fusion

SU Juan(1973—),female,PhD, associate professor,majors in remote sensing image processing and pattern recognition.

TP751

A

1001-1595(2014)09-0939-06

国家自然科学基金(61302195;61132008)

2013-02-14

苏娟(1973—),女,博士,副教授,主要研究方向为遥感图像处理与模式识别。

E-mail:suj04＠mails.tsinghua.edu.cn

SU Juan,ZHANG Qiang,CHEN Wei,et al.A Building Detection Algorithm Based on Feature Fusion in High Resolution SAR Images[J].Acta Geodaetica et Cartographica Sinica,2014,43(9):939-944.(苏娟,张强,陈炜,等.高分辨率SAR图像中建筑物特征融合检测算法[J].测绘学报,2014,43(9):939-944.)

10.13485/j.cnki.11-2089.2014.0162

修回日期:2014-03-15