顾及几何及颜色信息的倾斜影像立面点云提取

周行行， 邹峥嵘， 张云生， 郑特

(中南大学地球科学与信息物理学院，长沙 410083)



顾及几何及颜色信息的倾斜影像立面点云提取

周行行， 邹峥嵘， 张云生， 郑特

(中南大学地球科学与信息物理学院，长沙 410083)

针对建筑物立面自动提取难题，根据多角度航空倾斜影像密集匹配生成的三维点云，提出了一种顾及点云几何及颜色信息的建筑物立面点云自动提取方法。首先通过计算三维点云中各点对应的法向量，并根据法向量方向进行粗略的分割； 然后根据各点的颜色信息剔除植被点云； 在此基础上剔除少量地面点，通过基于聚类分析的后处理获取立面点云。利用2组数据进行了实验，结果表明,本文方法能够自动提取出建筑物的立面，立面的完整性和正确性都大于90%，准确率大于83%，为后续立面的重建提供了基础。

倾斜摄影； 立面提取； 点云； 法向量； 聚类分析

0 引言

关于激光点云数据立面提取的方法已经有较多研究，如李必军等[3-4]通过投影点密度和阈值分割的方式实现建筑物边界的提取; 魏征等[5]改进了点投影密度的缺点，提出了一种新的特征图像生成方法; Shahzad等[6]提出TomoSAR数据的定向散射密度估计方法，并结合立面的几何形态，采用聚类、分割等算法优化，分割出立面点。这些方法虽然取得了一定的进展，但是难以直接应用于倾斜影像密集匹配生成的三维点云。目前有关倾斜影像的立面提取方法较少，如Hohmann等[7]采用GML形状语法，在立面图像中人为地确定语法规则; Musialski等[8]是基于图像的半自动化立面建模，该方法结合了一致性概念，但需进行人工同步编辑; Teeravech等[9]在立面图像中利用随机抽样一致性算法发现重复模式，通过在主结构中发现重复模式(如窗户、阳台等)，此算法实际应用易受噪声影响，建立在重复模式是规则分布的假设上。Xiao等[10]提出一种基于图像的交互式方法，利用启发式分离方法自动细分立面，但该方法需大量的用户交互。黄敏儿等[11]提出了一种利用倾斜影像生成的像素高度图来识别和提取三维建筑物目标的方法。

针对以上方法的不足，本文提出一种顾及几何及颜色信息的倾斜影像立面点云提取方法，根据点云数据中的法向量几何信息和对应影像的光谱信息提取立面点云有良好的完整性和正确性。

1 建筑物立面提取方法

图1为本文提出的点云立面提取方法流程。

图1 倾斜点云立面提取重建流程图

对于航空倾斜摄影系统采集的多角度倾斜影像密集匹配生成的点云，首先利用法向量对点云进行初始分割； 然后根据颜色信息剔除大部分的植被点，并采用渐近三角网加密的方法[12]获取数字高程模型(digital elevation model,DEM)，从而剔除掉点云中的地面点； 最后利用聚类算法将以上步骤获取的点云进行聚类，根据点云的数量和点间距剔除非立面点，实现立面点云的提取。

本文试验数据为某城市区域的2组倾斜点云以及对应的倾斜影像，其中一组数据如图2所示，图2(a)为点云，图2(b)为其对应的倾斜影像。

(a) 点云 (b) 倾斜影像

图2 点云和对应的倾斜影像

Fig.2 Oblique image and point cloud

1.1 基于法向量的立面点云提取

本文中，假设城市区域的倾斜点云主要包含了3种对象： 建筑物、植被和地面。其中建筑物又可以看成由立面和屋顶组成。这4类对象在三维点云和2维影像颜色上表现出不同的特征。对于立面，几乎垂直地面，位于墙上的各点紧密相邻，有着几乎水平的法向量； 对于植被，邻近点的位置不规则且点密度稀疏，各点的法向量分布通常也不规则，对应的点云在原始倾斜影像中的光谱特征与其他对象有着明显区别； 对于地面点和屋顶，表面平滑，法向量异于立面对象； 其他对象的点密度小且高度相对很低。

根据以上特征，首先计算所有点的法向量，保留法向量与水平面夹角度小于δA的点。为了保证立面点在该步过滤中不损失，δA取经验值40。由于植被上的大部分点也有着近于水平的法向量，植被点在初次滤波中不能完全被过滤，植被的大部分点也被保留。原始点云数据基于法向量方向滤波前后的结果如图3所示。

反应寿险需求的指标较多，在这里我们考虑数据的可得性和人口数量对寿险需求的影响，选取人均寿险保费收入(元)Y来作为被解释变量。

(a) 处理前 (b) 处理后

图3 基于法向量的立面点云初步提取结果

Fig.3 Segmentation result according to normal information

1.2 基于颜色信息的植被点云过滤

经过法向量方向滤波后，结果点云中主要是建筑物立面点和植被点以及少量的地面点。考虑到植被点对应的绿色波段值相对较高，根据点云和影像的对应关系获取每个点的颜色值(RGB)，利用绿化率(GreenRatio)来识别树木、草地等植被[13]，即

(1)

式中：R，G，B分别表示点在原影像中对应的红色、绿色和蓝色波段亮度值。

根据实验可以发现，植被点云的绿化率在0.20～0.35之间，因此根据绿化率去除大部分植被点，但由于树木上的一些点位于树叶间的阴影点，不具有正常绿色植被点的光谱特征，所以这些特殊的植被点仍被保留，基于颜色信息过滤前后的结果如图4所示。

(a) 颜色信息过滤前的点云(b) 颜色信息过滤前点云在影像上的对应位置

(c) 颜色信息过滤后的点云(d) 颜色信息过滤后点云在影像上的对应位置

图4 基于颜色信息的植被点云过滤

Fig.4 Point cloud filtering based on spectral feature

1.3 地面点的去除

经过1.2节初始分割后，立面点几乎都被提取出来了，但依然混有少量植被及地面点。可以发现这些非立面点的分布有离散且不规则的特点。

针对少量的地面点，本文采用渐进三角网加密算法进行非地面点和地面点的分离，以过滤掉经初始分割和颜色信息处理后点云中残留的少量地面点。经过该算法处理后，聚集在植被附近的地面点以及建筑物下的地面点被剔除，同时使得植被类附近的点变得更加稀疏。去除地面点前后及局部效果如图5所示。

(a) 去除地面点前的点云(b) 去除地面点处理前局部影像效果

(c) 去除地面点后的点云(d) 去除地面点处理后局部影像效果

图5 地面点去除结果

Fig.5 Result of removing the ground points

1.4 基于聚类分析的立面提取结果后处理

将上步结果点云投影到对应影像中可发现，建筑物立面点几乎全被提取出来，剩下的噪声点主要集中在树木的阴影处和距离地面一定高度的车身侧面，分布离散且数量较少。因此，首先采用密度聚类方法[14]将保留的点聚集成簇群,由于植被点相对离散，点密度较小，故保留点数大于500以及点间距小于2.0 m的点； 第一次聚类后仍有少量的植被点和车身侧面点，这些点相对集中，密度较大，须进行第二次聚类，保留点数大于2 000以及点间距小于1.5 m的点，结果如图6所示。

(a) 初次聚类 (b) 二次聚类

图6 聚类后优化结果

Fig.6 Clustering results

2 实验与结果分析

为了验证本文方法，采用了2组数据进行试验。第一组数据如图2所示； 第二组数据如图7所示。为了对实验结果进行定量分析，采用人机交互的方式标记出参考立面点云，图8为两组数据的参考立面在原始倾斜影像中的投影。

(a) 点云 (b) 倾斜影像

图7 第二组数据

Fig.7 The second group data

(a) 第一组(b) 第二组

图8 参考立面

Fig.8 Reference facades

图9为两组数据提取结果的投影图。将原始点云中的点分为立面点和非立面点2类，通过本文方法识别的立面点且为参考立面中的点定义为“正确点”(true positive, TP)，如图9中蓝色显示的点； 本文方法未识别的立面点但是为参考立面点，定义为“遗漏点”(false negative, FN)，如图9中绿色显示的点； 本文方法中识别的立面点但不是参考立面点，定义为“错误点”(false positive, FP)，如图9中红色显示的点。

(a) 第一组(b) 第二组

图9 立面提取结果

Fig.9 Results of facade extraction

本文采用文献[15]的精度评定方法，评价实验结果的完整性(Completeness)、正确性(Correctness)及准确率(Quality),评价指标为

(2)

对2组实验数据结果中的TP，FN，FP各点数进行统计，按照式(2)计算提取的立面点云的完整性、正确性及准确率，结果如表1所示。

表1 实验结果评价表

由参考立面图以及提取的结果图可见，第一组实验数据中共52个参考立面，本文方法共检测出55个立面，其中提取出51个正确立面，4个错误立面； 由表1可看出提取结果的完整性、正确性及准确率均达到91%以上。第二组实验数据中共38个参考立面，本文方法共检测出43个立面，其中正确提取出37个立面，6个为错误立面； 提取结果也具有较好的完整性、正确性及准确率。从结果可见本文方法能够自动提取出大部分的立面，将绝大部分的地面、植被等非立面点滤除，提取出的立面能够保持很好的完整性和连贯性。

3 结论

从倾斜影像密集匹配生成点云中提取建筑物能大大降低城市三维建模的成本，在建筑物识别及提取方面具有很大的优势。针对现有方法对该类点云的适用性不足，本文根据城市中各种对象的几何特征和光谱颜色信息提取立面点云并进行聚类优化，自动提取立面点云。试验结果表明，本文的方法能够有效地自动提取出建筑物的立面，提取出的立面有着很好的完整性和连贯性，能够保持较高的正确率。后续工作将进一步深入研究点云的特征及规律，在识别立面的基础上,进行单体建筑物的识别,并且对立面进行精细重建。

[1] Musialski P,Wonka P,Aliaga D G,et al.A survey of urban reconstruction[J].Computer Graphics Forum,2013,32(6):146-177.

[2] Xiong X H,Adan A,Akinci B,et al.Automatic creation of semantically rich 3D building models from laser scanner data[J].Automation in Construction,2013,31:325-337.

[3] 李必军,方志祥,任娟.从激光扫描数据中进行建筑物特征提取研究[J].武汉大学学报:信息科学版,2003,28(1):65-70. Li B J,Fang Z X,Ren J.Extraction of building’s feature from laser scanning data[J].Geomatics and Information Science of Wuhan University,2003,28(1):65-70.

[4] Li B J,Li Q Q,Shi W Z,et al.Feature extraction and modeling of urban building from vehicle-borne laser scanning data[C]//International Archives of the Photo-grammetry,Remote Sensing and Spatial Information Sciences.Istanbul:ISPRS,2004:934-939.

[5] 魏征,杨必胜,李清泉.车载激光扫描点云中建筑物边界的快速提取[J].遥感学报,2012,16(2):291-296. Wei Z,Yang B S,Li Q Q.Automated extraction of building footprints from mobile LIDAR point clouds[J].Journal of Remote Sensing,2012,16(2):286-290.

[6] Shahzad M,Zhu X X.Robust reconstruction of building facades for large areas using spaceborne TomoSAR point clouds[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(2):752-769.

[7] Hohmann B,Havemann S,Krispel U,et al.A GML shape grammar for semantically enriched 3D building models[J].Computers & Graphics,2010,34(4):322-334.

[8] Musialski P,Wimmer M,Wonka P.Interactive coherence-based façade modeling[J].Computer Graphics Forum,2012,31(2pt3):661-670.

[9] Teeravech K,Nagai M,Honda K,et al.Discovering repetitive patterns in facade images using a RANSAC-style algorithm[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:38-53.

[10]Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust façade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11]黄敏儿,杜志强,朱庆,等.利用像素高度图的三维建筑物屋顶和立面提取方法[J].武汉大学学报:信息科学版,2014,39(10):1221-1224. Huang M E,Du Z Q,Zhu Q,et al.3D building facade and roofs objects extraction from pixel height map[J].Geomatics and Information Science of Wuhan University,2014,39(10):1221-1224.

[12]Axelsson P.DEM generation from laser scanner data using adaptive tin models[J].International Archives of Photogrammetry and Remote Sensing,2000,33:110-117.

[13]Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[14]熊仕勇.一种新型的基于密度和栅格的聚类算法[J].计算机应用研究,2011,28(5):1721-1723,1727. Xiong S Y.Novel clustering algorithm based on grid and density[J].Application Research of Computers,2011,28(5):1721-1723,1727.

[15]Pu S,Rutzinger M,Vosselman G,et al.Recognizing basic structures from mobile laser scanning data for road inventory studies[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S28-S39.

(责任编辑： 李瑜)

Facade extraction from oblique point cloud considering geometrical and color information

ZHOU Hanghang, ZOU Zhengrong, ZHANG Yunsheng, ZHENG Te

(SchoolofGeosciencesandGeomatics,CentralSouthUniversity,Changsha410083,China)

Aimed at tackling the difficulty in extracting facade from point cloud derived from dense matching of multi-angle airborne oblique images, this paper proposes a facade extraction method considering point cloud geometrical and color information. This method calculates normal vector for each point in the point cloud, and then uses the orientation of the normal vector for initial facade segmentation. After that, color information is used to remove point cloud about vegetation. On the basis of the initial result, the remaining ground points are removed. Finally, clustering analysis is used to refine the result, and facade point cloud can be obtained. Two groups of data sets are used for experiments, and the results reveal that the proposed method can automatically extract the facade of the building, with the completeness and correctness up to 90%, and the accuracy is more than 83%, thus providing the basis for the subsequent facade reconstruction.

oblique photogrammetry; facade extraction; point cloud; normal vector; clustering analysis

10.6046/gtzyyg.2016.04.07

周行行，邹峥嵘，张云生,等.顾及几何及颜色信息的倾斜影像立面点云提取方法[J].国土资源遥感,2016,28(4):43-48.(Zhou H H,Zou Z R,Zhang Y S,et al.Facade extraction from oblique point cloud considering geometrical and color information[J].Remote Sensing for Land and Resources,2016,28(4):43-48.)

2015-05-15；

2015-07-23

国家“863”计划资助项目“统一时空体系下的城市多种类型空间信息接入与加载的规范”(编号： 2013AA122301)、国家自然科学基金“自适应三角形约束的多角度影像多基元匹配方法”(编号： 41201472)及湖南省高校创新平台开放基金项目“面向灾害应急响应的无人机影像快速处理方法”(编号： 12K009)共同资助。

P 208

A

1001-070X(2016)04-0043-06

周行行(1990-)，女，硕士研究生，主要从事倾斜影像立面提取方面的研究。Email： zhh1990926@163.com。